CN106926800A - 多摄像头适配的车载视觉感知*** - Google Patents

多摄像头适配的车载视觉感知*** Download PDF

Info

Publication number
CN106926800A
CN106926800A CN201710193302.9A CN201710193302A CN106926800A CN 106926800 A CN106926800 A CN 106926800A CN 201710193302 A CN201710193302 A CN 201710193302A CN 106926800 A CN106926800 A CN 106926800A
Authority
CN
China
Prior art keywords
camera
vehicle
unit
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710193302.9A
Other languages
English (en)
Other versions
CN106926800B (zh
Inventor
刘梓林
黎予生
熊周兵
郑玲
李涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing University
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University, Chongqing Changan Automobile Co Ltd filed Critical Chongqing University
Priority to CN201710193302.9A priority Critical patent/CN106926800B/zh
Publication of CN106926800A publication Critical patent/CN106926800A/zh
Application granted granted Critical
Publication of CN106926800B publication Critical patent/CN106926800B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231Circuits relating to the driving or the functioning of the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种多摄像头适配的车载视觉感知***,包括车载摄像头信号传输单元、DSP处理单元、摄像头类型判断单元、视觉数据存储单元及图像信息预处理单元;本发明可以实现包括红外摄像头、单目摄像头、单目广角摄像头、双目立体摄像头、双目图像拼接摄像头、多镜头图像拼接全景摄像头在内的多种摄像头类型的适配,并且建立一种通用型的车载视觉处理方案,为汽车驾驶辅助***提供多样兼容性视觉方案,同样可以减少多种车载视觉搭载的时间成本以及经济成本。

Description

多摄像头适配的车载视觉感知***
技术领域
本发明涉及于车载视觉感知技术领域,特别涉及一种多摄像头适配的车载视觉感知***。
背景技术
近年来,随着汽车驾驶辅助技术的日益成熟,各种汽车辅助功能被越来越多地应用在量产汽车上。汽车驾驶辅助技术是汽车由“机械化”向“智能化”发展的一个必经的技术阶段;其可以为驾驶员驾驶行为提供安全保障,同时提高车辆行驶的舒适性、安全性、燃油经济性。在驾驶辅助技术和无人驾驶技术中,环境感知是其重要的核心组成部分。环境感知技术指车辆通过包括摄像头、超声波雷达、毫米波雷达、激光雷达等传感器的相关信号对周围环境进行感知,为车辆的控制决策提供重要依据。其中,相较于其他环境传感器,摄像头可以提供更加丰富的环境信息,并且价格低廉、性能可靠,常被认为是无人驾驶环境感知技术的一个不可替代的方向。
由摄像头一种传感器组成的环境感知***被统称为车载视觉***。车载视觉***的功用有很多,包括行车记录、防撞预警、ACC、车道检测等。现有的车载视觉***只提供单一功能。如果驾驶员期望实现多种驾驶辅助功能,则往往需要在车辆上安装多套不同功能种类的车载视觉***,不可避免的造成了硬软件经济成本的大量浪费。同时多种类车载视觉***的兼容问题和数据冗余问题,也极大的影响了车载视觉***的稳定性、安全性以及经济性。
现有车载视觉感知***中,摄像头种类繁杂,包括红外/纯可见光摄像头、定焦/变焦摄像头、普通/广角摄像头、单目/双目摄像头、平面/立体摄像头等等。这些摄像头各有各的强调优势,但在功能处理方面又有一定相似之处。现有车载视觉***并未对多个种类的摄像头进行适配,以适用于多种不同种类的摄像头。
综上所述,现有车载视觉感知***在多类别摄像头适配和多模块功能集成化处理方面具有缺陷,需要改进。
发明内容
有鉴于此,本发明的目的在于提供一种多摄像头适配的车载视觉感知***,为驾驶辅助技术以及无人驾驶技术提供更加稳定、更加安全、更加功能集成化的车载视觉技术。
本发明的多摄像头适配的车载视觉感知***,包括:
车载摄像头信号传输单元,用于车载硬件感光元器件的信号转换及信号传输;
DSP处理单元,与车载摄像头信号传输单元相连,用于车载摄像头数字信号的信号滤波及A/D转换;
摄像头类型判断单元,与摄像头类型判断单元相连,用于识别车载摄像头的硬件类型并为***功能提供摄像头类型信息;
视觉数据存储单元,与DSP处理单元相连,用于储存车载摄像头数据作为行车记录,储存图像预处理结果数据作为传感器融合的数据接口;
图像信息预处理单元,与摄像头类型判断单元及视觉数据存储单元相连,用于将摄像头数据根据摄像头类型进行预处理,对图像进行去雾-优化处理、香农熵检测、灰度化、二值化及基于边缘检测的图像分割。
进一步,该***还包括图像处理单元,所述图像处理单元与图像信息预处理单元相连;所述图像处理单元包括:
路面估计单元,用于根据去雾优化后的图像数据对车辆行驶路面进行估计、分类;
视觉里程计单元,用于根据去雾优化处理数据/灰度图像数据,对车辆行驶进行相对位姿解算;
图像特征计算单元,用于对去雾优化处理数据、灰度图像数据进行视觉特征解算,包括特征检测、特征描述,计算特征分别为Haar、HOG、FAST、ORB、BRIEF或者LBP,特征实际解算种类由摄像头处理需求指定;
视觉地图构建单元,用于针对BRIEF特征建立视觉特征地图库,与视觉里程计融合为视觉环境SLAM,对视觉地图进行优化处理,进行实时回环检测;
图像识别单元,用于根据已知图像特征对车辆、行人、交通标识、车道线进行视觉识别;
图像追踪单元,用于对车辆、行人、交通标识、车道线在不同帧画面中位置进行特征匹配,计算、估计车辆、行人、交通标识、车道线在世界坐标系下的时刻状态、位置;以及
视觉特征库储存单元,用于储存图像特征计算单元解算出的视觉特征数据,存储方式为依时序下3D结构重建的特征库储存方式,为视觉地图构建单元提供计算数据接口。
进一步,该***还包括***后端,所述***后端与图像处理单元相连;所述***后端包括:
结构化道路构建单元,用于利用路面估计单元、视觉地图构建单元、图像识别单元解算结果搭建结构化道路模型,优化模型结果;
行驶环境检测单元,用于根据路面估计单元、视觉地图构建单元、图像识别单元、图像追踪单元数据解算结果,检测自车辐射范围L米内行驶环境变化;以及
***数据交互接口单元用于为人机共驾、人机交互、车辆控制决策定位数据提取、车辆控制决策环境数据提取及传感器数据融合决策级数据提取提供数据接口。
进一步,所述L为100-200。
进一步,所述摄像头类型判断单元包括:
车载视觉信号输入模块,用于提供摄像头类型判断数据接口,将DSP处理单元处理结果信号、红外线发生器信号输入车载摄像头类型判断单元;
摄像头类型判断模块,用于判断摄像头类型,其包括红外/纯可见光摄像头判断模块、摄像头数量检测模块、摄像头广角检测模块及摄像头视野检测模块;以及
摄像头类型信息输出模块,用于输出摄像头判断结果。
进一步,该***还包括:
车载视觉信息输入单元,设在摄像头类型判断单元与图像信息预处理单元之间,用于传输摄像头类型信息及摄像头安装位置信息数据;以及
车载视觉信号输入单元,设在摄像头类型判断单元与图像信息预处理单元之间,用于传输原有摄像头数据。
本发明的有益效果:本发明的多摄像头适配的车载视觉感知***,可以适配多种摄像头类型,完成车载视觉的多种模块化功能;在这个过程中,工程人员只需极少的人工作业以及人工干预,节省了大量的人力、时间成本;本发明可以实现包括红外摄像头、单目摄像头、单目广角摄像头、双目立体摄像头、双目图像拼接摄像头、多镜头图像拼接全景摄像头在内的多种摄像头类型的适配,并且建立一种通用型的车载视觉处理方案,为汽车驾驶辅助***提供多样兼容性视觉方案,同样可以减少多种车载视觉搭载的时间成本以及经济成本。
附图说明
下面结合附图和实施例对本发明作进一步描述:
图1为本发明的结构框图;
图2为发明的摄像头类型判断单元的结构框图;
图3为本发明的图像信息预处理单元及图像信息预处理单元的结构框图;
图4为单个车载红外摄像头图像处理线程流程图;
图5为单个车载纯可见光摄像头图像处理线程流程图;
图6为多摄像头全景图像差异化处理流程图;
图7为双目立体视觉图像差异化处理流程图;
图8为单目广角摄像头图像差异化处理流程图。
具体实施方式
本车载视觉感知***包括:车载视觉硬件/软件***前端、车载视觉摄像头类型判断单元、图像预处理单元、图像处理单元、车载视觉***后端。
其中,车载视觉硬件/软件***前端包括车载摄像头硬件安装布置、更换,车载摄像头感光元器件信号转换、A/D转换、数字信号处理DSP,摄像头红外发生器工作状态;车载视觉摄像头类型判断单元包括摄像头红外检测、摄像头数目判断、摄像头广角检测、摄像头视野检测;图像预处理单元包括摄像头内参数标定、图像去雾、图像香农熵检测、图像分割、图像信号灰度化、图像二值化;图像处理单元包括路面估计、特征检测、视觉里程计、视觉地图、行人识别、行人追踪、车辆识别、车辆追踪、车道线识别、交通标识识别;车载视觉***后端包括车辆定位、结构化道路构建、驾驶环境状态检测,车载视觉***后端最终为驾驶员/无人驾驶汽车提供驾驶行为安全警示、控制决策依据、数据融合视觉特征、数据、决策接口。
该车载视觉***的实际功能是判断摄像头类型;根据摄像头类型,对摄像头的相关信号进行处理;并最终输出可以被车载控制决策单元直接使用的数据,或者对驾驶员行驶行为进行安全警示;为信息融合提供数据、特征、决策接口;于此同时,对摄像头处理过程中产生的相关重要结果和摄像头原始数据进行储存。
通过车载视觉感知***:
第一、判断车载视觉摄像头种类,涵盖摄像头类型有:1)红外摄像头-纯可见光摄像头;2)单目视觉摄像头-多目视觉摄像头;3)单目广角摄像头-单目普通摄像头;4)双目立体摄像头-双目图像拼接摄像头-两个单目普通摄像头;5)多目全景摄像头-多个单目普通摄像头。
第二、根据车载视觉摄像头类型以及图像数据,完成图像预处理。包括图像进行去雾-优化处理、香农熵检测、灰度化、二值化、基于边缘检测的图像分割。
第三、根据车载视觉摄像头类型、图像数据以及图像预处理解算结果,完成图像处理。包括路面估计、特征检测、视觉里程计、视觉地图、行人识别、行人追踪、车辆识别、车辆追踪、车道线识别、交通标识识别。
第四、根据车载视觉摄像头类型、图像数据以及图像处理解算结果,完成车载视觉***后端功能实现,包括车辆定位、结构化道路构建、驾驶环境状态检测。
第五、本车载视觉***最终为驾驶员/无人驾驶汽车提供驾驶行为安全警示、控制决策依据、数据融合视觉特征、数据、决策接口。
下面参照说明附图以及实施例对本发明进行详尽地说明:
图1为本发明的结构框图,详细列出***相关组成单元,包括:车载摄像头信号传输单元111、DSP处理单元112、摄像头类型判断单元113、视觉数据存储单元114、图像信息预处理单元115、路面估计单元116、视觉里程计单元120、图像特征计算单元121、视觉地图构建单元122、图像识别单元123、图像追踪单元124、视觉特征库储存单元125、结构化道路构建单元130、行驶环境检测单元131、***数据交互接口单元132。
其中,车载摄像头信号传输单元111用于车载硬件感光元器件信号转换、信号传输。DSP处理单元112用于完成车载摄像头数字信号处理包括信号滤波、A/D转换。摄像头类型判断单元113负责识别车载视觉多种摄像头适配模块化***的硬件类型,为车载模块化***功能提供摄像头类型信息。视觉数据存储单元114用于储存车载摄像头数据作为行车记录,储存图像预处理结果数据作为传感器融合的数据接口,存储数据包括:原有摄像头数据、摄像头去雾-优化数据、摄像头灰度数据、摄像头二值化数据、摄像头香农熵监测数据。图像信息预处理单元115用于将摄像头数据根据摄像头类型进行预处理,对图像进行去雾-优化处理、香农熵检测、灰度化、二值化、基于边缘检测的图像分割。路面估计单元116用于根据去雾优化后的图像数据对车辆行驶路面进行估计、分类,主要功能包括;路面附着系数估计,路面变化估计、结构化/非结构化道路分类、道路材质大类分类。视觉里程计单元120用于根据去雾优化处理数据/灰度图像数据,对车辆行驶进行相对位姿解算。图像特征计算单元121用于对去雾优化处理数据、灰度图像数据进行视觉特征解算,主要功能包括特征检测、特征描述,计算特征分别为Haar、HOG、FAST、ORB、BRIEF、LBP,特征实际解算种类由摄像头处理需求指定。视觉地图构建单元122用于针对BRIEF特征建立视觉特征地图库,与视觉里程计融合为视觉环境SLAM,对视觉地图进行优化处理,进行实时回环检测。图像识别单元123用于根据已知图像特征对车辆、行人、交通标识、车道线进行视觉识别。图像追踪单元124用于对车辆、行人、交通标识、车道线在不同帧画面中位置进行特征匹配,计算、估计车辆、行人、交通标识、车道线在世界坐标系下的时刻状态、位置。视觉特征库储存单元125用于储存图像特征计算单元121解算出的视觉特征数据,存储方式为依时序下3D结构重建的特征库储存方式,为视觉地图构建单元122的计算前端,为其提供计算数据接口。结构化道路构建单元130用于利用路面估计单元116、视觉地图构建单元122、图像识别单元123解算结果搭建结构化道路模型,优化模型结果。行驶环境检测单元131用于根据路面估计单元116、视觉地图构建单元122、图像识别单元123、图像追踪单元124数据解算结果,检测自车辐射范围L米(L可为100-200,优选为150)内行驶环境变化,包括路面、车辆、行人、交通标识、车道线、障碍物状态变化信息;其中,自车辐射范围两米内摄像头视野遮挡范围内行驶环境变化,根据优化估计理论EKF方法进行估计。***数据交互接口单元132用于为人机共驾、人机交互、车辆控制决策定位数据提取、车辆控制决策环境数据提取、传感器数据融合决策级数据提取等,提供数据接口。
图2为发明的摄像头类型判断单元的结构框图,包括:车载视觉信号输入模块21、摄像头类型判断模块22及摄像头类型信息输出模块23。
其中,车载视觉信号输入模块21指将DSP处理单元112处理结果信号、红外线发生器信号输入车载摄像头类型判断单元113,提供摄像头类型判断数据接口。
摄像头类型判断模块22,包括:红外/纯可见光摄像头判断模块221、摄像头数量检测模块、摄像头广角检测模块223、摄像头视野检测模块。其中红外/纯可见光摄像头判断模块221中判断方案为:a)检测红外线发生器信号,b)检测夜视/无可见光环境视觉图像数据信号。摄像头数量检测模块,根据摄像头图像数据,检测摄像头个数。摄像头个数包括:单摄像头222、双摄像头224、多摄像头226。检测为双摄像头224和多摄像头226情况后,对摄像头进行双摄像头视野检测模块225、多摄像头视野检测模块227,检测方式为图像局部特征匹配、局部图像香农熵比较、局部图像像素匹配。多摄像头视野检测模块227检测结果判断是否为全景拼接摄像头、双摄像头视野检测模块225检测是否为双目立体摄像头。单摄像头222继续进行摄像头广角检测模块223输出结果为:1)是否为广角摄像头、2)摄像头广角数值。
摄像头类型信息输出模块23,对本***输出摄像头判断结果:1)是否为红外摄像头、2)摄像头个数、3)是否为全景摄像头、4)全景摄像头图像拼接图像输出、5)是否为双目立体摄像头、6)是否为单目摄像头、7)摄像头广角数值输出。
图3为本发明的图像信息预处理单元及图像信息预处理单元的结构框图,如图所示,车载视觉信息输入单元311包括摄像头类型信息311a、摄像头安装位置信息311b。摄像头类型信息311a输出摄像头类型信息输出模块23步骤结果。摄像头安装位置信息311b包括:车载摄像头安装高度、单摄像头车载安装方向设定、多摄像头***车载安装方向设定,车载视觉信息输入311综合摄像头类型信息311a、摄像头安装位置信息311b,判断摄像头车载位置。
车载视觉信号输入单元312传输原有摄像头数据。
图像预处理32为图像信息预处理单元115的实际功能模块,包括:摄像头内参数标定321、图像预处理功能模块322。摄像头内参数标定312方案有两种:1)人工输入摄像头内参数值;2)根据车载视觉信息输入311、车载视觉信号输入312,对摄像头进行自标定。图像预处理功能模块322包括:图像去雾-优化322e、图像灰度化322a、图像二值化322b、图像香农熵检测322c、图像分割322d。图像预处理功能模块322数据储存,并为图像处理模块提供数据接口。
车载视觉图像处理功能模块33包括:路面估计331、特征处理332、视觉识别333、视觉里程计334、视觉地图构建335、视觉追踪336。特征处理332包括:图像检测332a、特征描述332b,计算特征分别为Haar、HOG、FAST、ORB、BRIEF、LBP,解算结果为视觉识别333、视觉里程计334、视觉地图构建335、视觉追踪336提供解算数据以及解算特征。视觉识别333包括:车辆识别333a、行人识别333b、车道线识别333c、交通标识识别333d。视觉追踪336包括车辆追踪336a、行人追踪336b、车道线追踪336c。其中,路面估计331、特征处理332、视觉识别333、视觉里程计334、视觉追踪336图像数据为图像去雾-优化322e数据、图像灰度化322a数据以及图像二值化322b数据,根据摄像头内参数标定312、车载视觉信息输入311所提供的相关数据进行处理,具体处理流程如图4、5、6、7、8所示。
车载视觉功能模块34包括:结构化道路构建341、行驶环境状态检测342、车辆定位343。车载视觉图像处理功能模块34解算数据为:自车辐射范围三维环境坐标系、路面估计331数据结果、视觉识别333数据结果、视觉地图构建335数据结果、视觉里程计334数据结果、视觉追踪336数据结果。
车载视觉模块***与外部接口模块35包括信息融合351、行驶安全警示352、控制决策353。信息融合351为外部数据融合提供融合数据(视觉数据存储单元114提供)、融合特征(特征处理332提供)、融合决策(车载视觉功能模块34)。行驶安全警示352、控制决策353根据车载视觉功能模块34解算结果对驾驶员行驶安全进行警示或针对无人驾驶智能车辆进行控制。
图4所示为单个车载红外摄像头图像处理线程流程图,图中工作流程起始触发条件为车载视觉信息输入311判断车载视觉***为红外摄像头。单个红外摄像头数据41为车载视觉信号输入312数据。
本***对红外图像数据进行图像储存421a、摄像头内参数标定422b。图像储存421a储存红外摄像头原始数据以及二值化数据。本***同时多线程进行:图像数据二值化431b、特征计算441、香农熵检测432c、图像分割433d、路面估计442e。图像数据二值化431b二值化数据用于图像储存421a以及特征计算441中ORB特征描述部分、BRIEF特征计算部分。香农熵检测432c、图像分割433d为图像预处理功能模块322,可作用于全景图像检测、主动视觉功能拓展接口。路面估计442e直接用于结构化道路构建472q。特征计算441解算结果用于车辆识别451f、行人识别452g、车道线识别453h、交通标识识别454i、视觉里程计455g、视觉地图构建456k。车辆识别451f、特征计算441解算数据以及单个红外摄像头数据41用于车辆追踪461m。行人识别452g、特征计算441解算数据以及单个红外摄像头数据41用于行人追踪462n。特征计算441解算数据以及单个红外摄像头数据41用于车道线追踪463p。视觉里程计455g、视觉地图构建456k解算数据用于车辆定位464。车道线识别453h、交通标识识别454i、车道线追踪463p、视觉地图构建456k、路面估计442e解算结果用于结构化道路构建472q。车辆识别451f、行人识别452g、车辆追踪461m、行人追踪462n解算结果用于行驶环境状态检测471。
图5所示为单个车载纯可见光摄像头图像处理线程流程图,图中工作流程起始触发条件为车载视觉信息输入311判断车载视觉***为纯可见光摄像头。单个纯可见光摄像头数据51为车载视觉信号输入312数据。
本***对红外图像数据进行图像储存521a、摄像头内参数标定522。图像储存521a储存纯可见光摄像头原始数据、灰度化数据以及二值化数据。视觉图像灰度化531b后,将灰度图像数据进行图像储存521a,并进行下一步骤。
本***同时多线程进行:图像数据二值化541c、特征计算551、香农熵检测542d、图像分割543e、路面估计552f。图像数据二值化541c二值化数据用于图像储存521a以及特征计算551中ORB特征描述部分、BRIEF特征计算部分。香农熵检测542d、图像分割543e为图像预处理功能模块322,可作用于全景图像检测、主动视觉功能拓展接口。路面估计552f直接用于结构化道路构建582r。特征计算551解算结果用于车辆识别561g、行人识别562h、车道线识别563i、交通标识识别564j、视觉里程计565k、视觉地图构建566m。车辆识别561g、特征计算551解算数据以及单个纯可见光摄像头数据51用于车辆追踪571n。行人识别562h、特征计算551解算数据以及单个纯可见光摄像头数据51用于行人追踪572p。特征计算551解算数据以及单个纯可见光摄像头数据51用于车道线追踪573q。视觉里程计565k、视觉地图构建566m解算数据用于车辆定位574。车道线识别563i、交通标识识别564j、车道线追踪573q、视觉地图构建566m、路面估计552f解算结果用于结构化道路构建582r。车辆识别561g、行人识别562h、车辆追踪571n、行人追踪572p解算结果用于行驶环境状态检测581。
图6是多摄像头全景图像差异化处理流程图。摄像头判别为多摄像头全景61,车载视觉信息输入311判断车载视觉***为全景图像。对于纯可见光摄像头则将摄像头1至摄像头N原始数据图像、二值化图像、灰度图像、全景特征以及结构化道路解算结果进行拼接,完成图像拼621以及结构化道路构建结果拼接622。对于红外摄像头则将摄像头1至摄像头N原始数据图像、二值化图像、全景特征以及结构化道路解算结果进行拼接,完成图像拼621以及结构化道路构建结果拼接622。
图7是双目立体视觉图像差异化处理流程图。摄像头判别为双目立体视觉71,车载视觉信息输入311判断车载视觉***为双目立体视觉。则,根据左右摄像头数据计算视觉特征空间三维坐标72,同时根据双目立体视觉算法完成视觉里程计731、视觉地图构建732、结构化道路构建733。
图8是单目广角摄像头图像差异化处理流程图。摄像头判别为单目广角摄像头81,车载视觉信息输入311判断车载视觉***为单目广角摄像头。对单目广角摄像头进行广角摄像头畸变矫正82,并输出矫正摄像头信号数据83。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种多摄像头适配的车载视觉感知***,其特征在于,包括:
车载摄像头信号传输单元,用于车载硬件感光元器件的信号转换及信号传输;
DSP处理单元,与车载摄像头信号传输单元相连,用于车载摄像头数字信号的信号滤波及A/D转换;
摄像头类型判断单元,与摄像头类型判断单元相连,用于识别车载摄像头的硬件类型并为***功能提供摄像头类型信息;
视觉数据存储单元,与DSP处理单元相连,用于储存车载摄像头数据作为行车记录,储存图像预处理结果数据作为传感器融合的数据接口;以及
图像信息预处理单元,与摄像头类型判断单元及视觉数据存储单元相连,用于将摄像头数据根据摄像头类型进行预处理,对图像进行去雾-优化处理、香农熵检测、灰度化、二值化及基于边缘检测的图像分割。
2.根据权利要求1所述的多摄像头适配的车载视觉感知***,其特征在于,该***还包括图像处理单元,所述图像处理单元与图像信息预处理单元相连;所述图像处理单元包括:
路面估计单元,用于根据去雾优化后的图像数据对车辆行驶路面进行估计、分类;
视觉里程计单元,用于根据去雾优化处理数据/灰度图像数据,对车辆行驶进行相对位姿解算;
图像特征计算单元,用于对去雾优化处理数据、灰度图像数据进行视觉特征解算,包括特征检测、特征描述,计算特征分别为Haar、HOG、FAST、ORB、BRIEF或者LBP,特征实际解算种类由摄像头处理需求指定;
视觉地图构建单元,用于针对BRIEF特征建立视觉特征地图库,与视觉里程计融合为视觉环境SLAM,对视觉地图进行优化处理,进行实时回环检测;
图像识别单元,用于根据已知图像特征对车辆、行人、交通标识、车道线进行视觉识别;
图像追踪单元,用于对车辆、行人、交通标识、车道线在不同帧画面中位置进行特征匹配,计算、估计车辆、行人、交通标识、车道线在世界坐标系下的时刻状态、位置;以及
视觉特征库储存单元,用于储存图像特征计算单元解算出的视觉特征数据,存储方式为依时序下3D结构重建的特征库储存方式,为视觉地图构建单元提供计算数据接口。
3.根据权利要求2所述的多摄像头适配的车载视觉感知***,其特征在于,该***还包括***后端,所述***后端与图像处理单元相连;所述***后端包括:
结构化道路构建单元,用于利用路面估计单元、视觉地图构建单元、图像识别单元解算结果搭建结构化道路模型,优化模型结果;
行驶环境检测单元,用于根据路面估计单元、视觉地图构建单元、图像识别单元、图像追踪单元数据解算结果,检测自车辐射范围L米内行驶环境变化;以及
***数据交互接口单元用于为人机共驾、人机交互、车辆控制决策定位数据提取、车辆控制决策环境数据提取及传感器数据融合决策级数据提取提供数据接口。
4.根据权利要求3所述的多摄像头适配的车载视觉感知***,其特征在于,所述L为100-200。
5.根据权利要求3所述的多摄像头适配的车载视觉感知***,其特征在于,所述摄像头类型判断单元包括:
车载视觉信号输入模块,用于提供摄像头类型判断数据接口,将DSP处理单元处理结果信号、红外线发生器信号输入车载摄像头类型判断单元;
摄像头类型判断模块,用于判断摄像头类型,其包括红外/纯可见光摄像头判断模块、摄像头数量检测模块、摄像头广角检测模块及摄像头视野检测模块;以及
摄像头类型信息输出模块,用于输出摄像头判断结果。
6.根据权利要求5所述的多摄像头适配的车载视觉感知***,其特征在于,该***还包括:
车载视觉信息输入单元,设在摄像头类型判断单元与图像信息预处理单元之间,用于传输摄像头类型信息及摄像头安装位置信息数据;以及
车载视觉信号输入单元,设在摄像头类型判断单元与图像信息预处理单元之间,用于传输原有摄像头数据。
CN201710193302.9A 2017-03-28 2017-03-28 多摄像头适配的车载视觉感知*** Expired - Fee Related CN106926800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710193302.9A CN106926800B (zh) 2017-03-28 2017-03-28 多摄像头适配的车载视觉感知***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710193302.9A CN106926800B (zh) 2017-03-28 2017-03-28 多摄像头适配的车载视觉感知***

Publications (2)

Publication Number Publication Date
CN106926800A true CN106926800A (zh) 2017-07-07
CN106926800B CN106926800B (zh) 2019-06-07

Family

ID=59426518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710193302.9A Expired - Fee Related CN106926800B (zh) 2017-03-28 2017-03-28 多摄像头适配的车载视觉感知***

Country Status (1)

Country Link
CN (1) CN106926800B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613262A (zh) * 2017-09-30 2018-01-19 驭势科技(北京)有限公司 一种视觉信息处理***与方法
CN107600072A (zh) * 2017-08-31 2018-01-19 上海科世达-华阳汽车电器有限公司 一种多乘客共同偏好参数的获取方法及***
CN108195378A (zh) * 2017-12-25 2018-06-22 北京航天晨信科技有限责任公司 一种基于环视相机的智能视觉导航***
CN108259764A (zh) * 2018-03-27 2018-07-06 百度在线网络技术(北京)有限公司 摄像机、应用于摄像机的图像处理方法及装置
CN108566529A (zh) * 2018-04-08 2018-09-21 深圳市沃特沃德股份有限公司 车载***自适应摄像头视频格式的方法及装置
CN108609001A (zh) * 2018-05-09 2018-10-02 上海蓥石汽车技术有限公司 一种主动刹车行人防撞的设计方法
CN109188932A (zh) * 2018-08-22 2019-01-11 吉林大学 一种面向智能驾驶的多摄像头在环仿真测试方法及***
CN109522825A (zh) * 2018-10-31 2019-03-26 蔚来汽车有限公司 视觉感知***的性能测试***及其性能测试方法
CN109752724A (zh) * 2018-12-26 2019-05-14 珠海市众创芯慧科技有限公司 一种图像激光一体式导航定位***
CN109752008A (zh) * 2019-03-05 2019-05-14 长安大学 智能车多模式协同定位***、方法及智能车辆
CN109754415A (zh) * 2017-11-02 2019-05-14 郭宇铮 一种基于多组双目视觉的车载全景立体感知***
CN109801339A (zh) * 2018-12-29 2019-05-24 百度在线网络技术(北京)有限公司 图像处理方法、装置和存储介质
CN109842782A (zh) * 2017-11-29 2019-06-04 深圳市航盛电子股份有限公司 一种车辆辅助测试方法、测试设备以及存储介质
CN109857123A (zh) * 2019-03-21 2019-06-07 郑州大学 一种基于视觉感知和激光探测的室内slam地图的融合方法
CN110136199A (zh) * 2018-11-13 2019-08-16 北京初速度科技有限公司 一种基于摄像头的车辆定位、建图的方法和装置
CN111833627A (zh) * 2019-04-13 2020-10-27 长沙智能驾驶研究院有限公司 车辆视觉范围扩展方法、装置、***和计算机设备
CN111860050A (zh) * 2019-04-27 2020-10-30 北京初速度科技有限公司 一种基于图像帧的回环检测方法及装置、车载终端
CN111959400A (zh) * 2020-08-31 2020-11-20 安徽江淮汽车集团股份有限公司 车辆辅助驾驶控制***及方法
US20210156951A1 (en) * 2019-11-26 2021-05-27 Sick Ag Safety system
CN113031594A (zh) * 2021-02-26 2021-06-25 山东交通学院 基于养护作业的伴随式主动安全警示机器人、***及方法
CN113327428A (zh) * 2021-06-21 2021-08-31 深圳腾达智能科技有限公司 一种快速采集停车场进出车辆数据的方法
CN113525234A (zh) * 2021-07-26 2021-10-22 北京计算机技术及应用研究所 一种辅助驾驶***装置
CN113581098A (zh) * 2020-04-30 2021-11-02 丰田自动车株式会社 车辆用控制***
CN115643353A (zh) * 2022-10-18 2023-01-24 广东笑翠鸟教育科技有限公司 一种基于ai教学感知设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014046748A (ja) * 2012-08-30 2014-03-17 Toyota Motor Corp 車両制御装置
CN103988499A (zh) * 2011-09-27 2014-08-13 爱信精机株式会社 车辆周边监视装置
CN205620323U (zh) * 2016-04-18 2016-10-05 华南理工大学 一种基于图像处理的公路路面分析***
CN205632380U (zh) * 2016-03-30 2016-10-12 郑州宇通客车股份有限公司 一种车辆用多功能集成式主动安全***及车辆
CN106231284A (zh) * 2016-07-14 2016-12-14 上海玮舟微电子科技有限公司 三维图像的成像方法及***
CN106467060A (zh) * 2015-08-20 2017-03-01 Lg电子株式会社 显示装置及包括该显示装置的车辆

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103988499A (zh) * 2011-09-27 2014-08-13 爱信精机株式会社 车辆周边监视装置
JP2014046748A (ja) * 2012-08-30 2014-03-17 Toyota Motor Corp 車両制御装置
CN106467060A (zh) * 2015-08-20 2017-03-01 Lg电子株式会社 显示装置及包括该显示装置的车辆
CN205632380U (zh) * 2016-03-30 2016-10-12 郑州宇通客车股份有限公司 一种车辆用多功能集成式主动安全***及车辆
CN205620323U (zh) * 2016-04-18 2016-10-05 华南理工大学 一种基于图像处理的公路路面分析***
CN106231284A (zh) * 2016-07-14 2016-12-14 上海玮舟微电子科技有限公司 三维图像的成像方法及***

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107600072A (zh) * 2017-08-31 2018-01-19 上海科世达-华阳汽车电器有限公司 一种多乘客共同偏好参数的获取方法及***
CN107613262A (zh) * 2017-09-30 2018-01-19 驭势科技(北京)有限公司 一种视觉信息处理***与方法
CN109754415A (zh) * 2017-11-02 2019-05-14 郭宇铮 一种基于多组双目视觉的车载全景立体感知***
CN109842782A (zh) * 2017-11-29 2019-06-04 深圳市航盛电子股份有限公司 一种车辆辅助测试方法、测试设备以及存储介质
CN108195378A (zh) * 2017-12-25 2018-06-22 北京航天晨信科技有限责任公司 一种基于环视相机的智能视觉导航***
CN108259764A (zh) * 2018-03-27 2018-07-06 百度在线网络技术(北京)有限公司 摄像机、应用于摄像机的图像处理方法及装置
CN108566529A (zh) * 2018-04-08 2018-09-21 深圳市沃特沃德股份有限公司 车载***自适应摄像头视频格式的方法及装置
CN108609001A (zh) * 2018-05-09 2018-10-02 上海蓥石汽车技术有限公司 一种主动刹车行人防撞的设计方法
CN109188932A (zh) * 2018-08-22 2019-01-11 吉林大学 一种面向智能驾驶的多摄像头在环仿真测试方法及***
CN109522825A (zh) * 2018-10-31 2019-03-26 蔚来汽车有限公司 视觉感知***的性能测试***及其性能测试方法
CN110136199A (zh) * 2018-11-13 2019-08-16 北京初速度科技有限公司 一种基于摄像头的车辆定位、建图的方法和装置
CN110136199B (zh) * 2018-11-13 2022-09-13 北京魔门塔科技有限公司 一种基于摄像头的车辆定位、建图的方法和装置
CN109752724A (zh) * 2018-12-26 2019-05-14 珠海市众创芯慧科技有限公司 一种图像激光一体式导航定位***
CN109801339A (zh) * 2018-12-29 2019-05-24 百度在线网络技术(北京)有限公司 图像处理方法、装置和存储介质
CN109752008A (zh) * 2019-03-05 2019-05-14 长安大学 智能车多模式协同定位***、方法及智能车辆
CN109857123A (zh) * 2019-03-21 2019-06-07 郑州大学 一种基于视觉感知和激光探测的室内slam地图的融合方法
CN111833627B (zh) * 2019-04-13 2022-02-08 长沙智能驾驶研究院有限公司 车辆视觉范围扩展方法、装置、***和计算机设备
CN111833627A (zh) * 2019-04-13 2020-10-27 长沙智能驾驶研究院有限公司 车辆视觉范围扩展方法、装置、***和计算机设备
CN111860050A (zh) * 2019-04-27 2020-10-30 北京初速度科技有限公司 一种基于图像帧的回环检测方法及装置、车载终端
CN111860050B (zh) * 2019-04-27 2024-07-02 北京初速度科技有限公司 一种基于图像帧的回环检测方法及装置、车载终端
US20210156951A1 (en) * 2019-11-26 2021-05-27 Sick Ag Safety system
US11892551B2 (en) * 2019-11-26 2024-02-06 Sick Ag Safety system
CN113581098A (zh) * 2020-04-30 2021-11-02 丰田自动车株式会社 车辆用控制***
CN113581098B (zh) * 2020-04-30 2024-01-02 丰田自动车株式会社 车辆用控制***
CN111959400A (zh) * 2020-08-31 2020-11-20 安徽江淮汽车集团股份有限公司 车辆辅助驾驶控制***及方法
CN113031594A (zh) * 2021-02-26 2021-06-25 山东交通学院 基于养护作业的伴随式主动安全警示机器人、***及方法
CN113327428A (zh) * 2021-06-21 2021-08-31 深圳腾达智能科技有限公司 一种快速采集停车场进出车辆数据的方法
CN113525234A (zh) * 2021-07-26 2021-10-22 北京计算机技术及应用研究所 一种辅助驾驶***装置
CN115643353A (zh) * 2022-10-18 2023-01-24 广东笑翠鸟教育科技有限公司 一种基于ai教学感知设备

Also Published As

Publication number Publication date
CN106926800B (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
CN106926800B (zh) 多摄像头适配的车载视觉感知***
CN109435942B (zh) 一种基于信息融合的车位线车位识别方法及装置
CN106845547B (zh) 一种基于摄像头的智能汽车定位与道路标识识别***及方法
US10552982B2 (en) Method for automatically establishing extrinsic parameters of a camera of a vehicle
CN110930323B (zh) 图像去反光的方法、装置
CN107600067A (zh) 一种基于多视觉惯导融合的自主泊车***及方法
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及***
CN105654732A (zh) 一种基于深度图像的道路监控***及方法
CN110850413A (zh) 一种汽车前方障碍物检测方法和***
JPH06266828A (ja) 車輌用車外監視装置
EP3824623A1 (en) Camera assessment techniques for autonomous vehicles
CN113071518B (zh) 一种自动无人驾驶方法、小巴、电子设备以及存储介质
CN110083099B (zh) 一种符合汽车功能安全标准自动驾驶架构***和工作方法
WO2022115987A1 (zh) 一种自动驾驶数据采集和闭环管理的方法及***
CN113792707A (zh) 基于双目立体相机的地形环境检测方法、***和智能终端
CN115410181A (zh) 双头解耦对齐的全场景目标检测方法、***、装置及介质
JP3324859B2 (ja) 車間距離制御装置
CN114818819A (zh) 一种基于毫米波雷达与视觉信号的道路障碍物检测方法
CN113052071B (zh) 危化品运输车驾驶员分心行为快速检测方法及***
CN113870246A (zh) 一种基于深度学习的障碍物探测和识别方法
CN112529011A (zh) 目标检测方法及相关装置
CN116403185A (zh) 基于视觉融合感知的全天候路面障碍物检测预警方法
Zhang et al. Principles of intelligent automobiles
CN115303263A (zh) 一种基于神经网络的自动泊车方法及***
TW201816745A (zh) 智慧多功能行車輔助駕駛記錄方法及系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190607

Termination date: 20200328

CF01 Termination of patent right due to non-payment of annual fee