CN113506425A - 一种电子后视镜以及车辆 - Google Patents
一种电子后视镜以及车辆 Download PDFInfo
- Publication number
- CN113506425A CN113506425A CN202110715870.7A CN202110715870A CN113506425A CN 113506425 A CN113506425 A CN 113506425A CN 202110715870 A CN202110715870 A CN 202110715870A CN 113506425 A CN113506425 A CN 113506425A
- Authority
- CN
- China
- Prior art keywords
- driving
- image
- camera
- face
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000011156 evaluation Methods 0.000 claims abstract description 26
- 230000001815 facial effect Effects 0.000 claims 1
- 238000007405 data analysis Methods 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例公开了一种电子后视镜,包括:图像采集模块,用于在驾驶过程中采集车身两侧后方的行车图像以及驾驶员的人脸图像;显示模块,用于对行车图像进行显示;目标识别模块,用于对识别出行车图像中的目标对象;控制模块,用于计算目标对象与车身之间的距离,当存在距离低于预设阈值的第一目标对象时,控制显示模块发出警报,以及用于,对第一目标对象以及人脸图像进行分析,生成驾驶员的驾驶行为评价结果。本发明实施例通过设备之间的联动,降低了对设备的数据进行汇总的难度,提高了数据汇总的效率,解决了现有技术中对车辆上的设备的数据进行汇总工作量较大,导致难以实现综合数据分析的技术问题。
Description
技术领域
本申请实施例涉及后视镜领域,尤其涉及一种电子后视镜以及车辆。
背景技术
随着经济的发展,人们生活水平不断提高,人均汽车占有量不断提升。目前在公共交通领域,交通安全越来越受到人们的重视。一般而言,影响公共交通安全性的因素有主观因素和客观因素,为了进一步排除主观因素的影响,提高驾驶安全性,一般通过在汽车上安装设备来对司机的考勤、司机的驾驶行为、车辆的驾驶过程等进行监控管理。而现有的设备往往只能实现某种特定的功能,且设备之间是相互独立的,导致安装在汽车上的设备越来越多,成本较高,占用空间大,且设备之间的联动性比较差,数据汇总的工作量比较大,难以实现综合数据分析。
发明内容
本发明实施例提供了一种电子后视镜以及车辆,用于解决现有技术中对车辆上的设备的数据进行汇总工作量较大,导致难以实现综合数据分析的技术问题。
第一方面,本发明实施例提供了一种电子后视镜,包括:
图像采集模块,用于在驾驶过程中采集车身两侧后方的行车图像以及驾驶员的人脸图像;
显示模块,用于对所述行车图像进行显示;
目标识别模块,用于对识别出所述行车图像中的目标对象;
控制模块,用于计算所述目标对象与所述车身之间的距离,当存在所述距离低于预设阈值的第一目标对象时,控制所述显示模块发出警报,以及用于,对所述第一目标对象以及所述人脸图像进行分析,生成所述驾驶员的驾驶行为评价结果。
优选的,所述图像采集模块包括有行车摄像头以及人脸摄像头,所述行车摄像头包括安装在车身左侧的左侧行车摄像头以及安装在车身右侧的右侧行车摄像头,所述左侧行车摄像头和右侧行车摄像头分别用于采集所述车身左侧后方的第一行车图像以及所述车身右侧后方的第二行车图像,所述人脸摄像头用于采集驾驶过程中驾驶员的人脸图像。
优选的,所述显示模块包括第一显示屏以及第二显示屏,所述第一显示屏和第二显示屏分别安装于所述车身内部左右两侧,所述第一显示屏用于显示所述第一行车图像,所述第二显示屏用于显示所述第二行车图像。
优选的,所述控制模块还用于,在车辆启动时控制所述人脸摄像头采集所述驾驶员的人脸考勤图像,将所述人脸考勤图像与本地数据库中的人脸图像进行匹配,根据匹配结果生成所述驾驶员的考勤结果。
优选的,所述控制模块用于控制所述控制所述显示模块发出警报的具体过程为:
确定与所述第一目标对象相对应的显示屏,控制所述相对应的显示屏发出警报。
优选的,所述人脸摄像头用于在驾驶过程中间隔采集驾驶员的第一人脸图像,以及,接收控制指令,根据所述控制指令采集所述驾驶员的第二人脸图像;
相应的,所述控制模块还用于在控制所述显示模块发出警报时,向所述人脸摄像头发送控制指令,所述控制指令用于控制所述人脸摄像头采集所述第二人脸图像。
优选的,所述控制模块用于对所述第一目标对象以及所述人脸图像进行分析,生成所述驾驶员的驾驶行为评价结果的具体过程为:
所述控制模块用于确定所述第一目标对象的目标位置,根据所述第二人脸图像确定所述驾驶员的人脸朝向,根据所述人脸朝向以及所述目标位置,生成所述驾驶员的驾驶行为评价结果。
优选的,所述左侧行车摄像头和所述右侧行车摄像头均包括有第一摄像头与第二摄像头,且所述第一摄像头的拍摄方向与水平线平行,所述第二摄像头的拍摄方向与所述水平线成预设角度。
优选的,所述目标识别模块还用于在对所述行车图像进行可视化显示时,标记出所述目标对象。
第二方面,本发明还提供了一种车辆,所述车辆上安装有如第一方面所述的一种电子后视镜。
上述,本发明实施例提供的一种电子后视镜,包括:图像采集模块,用于在驾驶过程中采集车身两侧后方的行车图像以及驾驶员的人脸图像;显示模块,用于对所述行车图像进行显示;目标识别模块,用于对识别出所述行车图像中的目标对象;控制模块,用于计算所述目标对象与所述车身之间的距离,当存在所述距离低于预设阈值的第一目标对象时,控制所述显示模块发出警报,以及用于,对所述第一目标对象以及所述人脸图像进行分析,生成所述驾驶员的驾驶行为评价结果。本发明实施例通过在电子后视镜中设置控制模块,对图像采集模块采集到的图像以及目标识别模块识别到的目标对象进行汇总分析,在检测到存在靠近车身的第一目标对象时,控制显示模块发出警报,并且生成驾驶员的驾驶行为评价结果。通过设备之间的联动,降低了对设备的数据进行汇总的难度,提高了数据汇总的效率,实现了数据的综合分析。并且通过生成驾驶行为评价结果对驾驶员具有指导和提醒作用,同时也方便在出现事故情况进行回溯调查。
附图说明
图1为本发明实施例提供的一种电子后视镜的结构示意图。
图2为本发明实施例提供的采用R-CNN法来识别出行车图像中的目标对象的流程图。
具体实施方式
以下描述和附图充分地示出本申请的具体实施方案,以使本领域的技术人员能够实践它们。实施例仅代表可能的变化。除非明确要求,否则单独的部件和功能是可选的,并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本申请的实施方案的范围包括权利要求书的整个范围,以及权利要求书的所有可获得的等同物。在本文中,各实施方案可以被单独地或总地用术语“发明”来表示,这仅仅是为了方便,并且如果事实上公开了超过一个的发明,不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中,诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来,而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素。本文中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的结构、产品等而言,由于其与实施例公开的部分相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
实施例一
如图1所示,图1为本发明实施例提供的一种电子后视镜的结构示意图,包括:
图像采集模块101,用于在驾驶过程中采集车身两侧后方的行车图像以及驾驶员的人脸图像。
在本实施例中,图像采集模块101分别安装在车身的两侧以及车身内部,车身两侧的图像采集模块101用于在驾驶过程中采集车身两侧后方的行车图像,行车图像中包括有车身两侧后方的障碍物、人以及车辆等,车身内部的图像采集模块101用于采集驾驶员的人脸图像。当车辆的发动机启动后,图像采集模块101随之启动,并开始进行图像采集。
在上述实施例的基础上,图像采集模块101包括有行车摄像头以及人脸摄像头,行车摄像头包括安装在车身左侧的左侧行车摄像头以及安装在车身右侧的右侧行车摄像头,左侧行车摄像头和右侧行车摄像头分别用于采集车身左侧后方的第一行车图像以及车身右侧后方的第二行车图像,人脸摄像头用于采集驾驶过程中驾驶员的人脸图像。
在本实施例中,左侧行车摄像头、右侧行车摄像头以及人脸摄像头的安装位置可根据实际需要进行设置,示例性的,在一个实施例中,左侧行车摄像头安装在车辆左侧的A柱外部,右侧行车摄像头安装在车辆右侧的门板外部,人脸摄像头安装在车顶内部。可理解,摄像头的安装位置可根据实际需要进行设置,在本实施例中,不对左侧行车摄像头、右侧行车摄像头以及人脸摄像头的具体安装位置进行限定。
在上述实施例的基础上,左侧行车摄像头和右侧行车摄像头均包括有第一摄像头与第二摄像头,且第一摄像头的拍摄方向与水平线平行,第二摄像头的拍摄方向与水平线成预设角度。
在本实施例中,通过设置第一摄像头和第二摄像头来拍摄不同角度的行车图像,从而扩大驾驶员的视野范围,减小驾驶员在驾驶过程中的视野盲区,提高驾驶的安全性。在一个实施例中,由于车辆A柱处为驾驶员的视野盲区,因此,将预设角度设置为负角度,从而使得第二摄像头可以拍摄到车辆A柱处的行车图像,扩大驾驶员的视野范围,避免发生交通事故。将第一摄像头设置成与水平线平行,使得第一摄像头可以拍摄到车辆后方的行车图像。
在一个实施例中,车辆左侧的第一摄像头和第二摄像头分别拍摄到行车图像后,对行车图像进行拼接,从而生成第一行车图像,同理,将车辆右侧的第一摄像头和第二摄像头拍摄到的行车图像进行拼接,可以得到第二行车图像。
显示模块102,用于对行车图像进行显示。
在本实施例中,图像采集模块101在采集到行车图像后,对行车图像进行显示,以便驾驶员对行车图像进行观察,判断后方的障碍物或者来车情况。在一个实施例中,显示模块102上划分有第一显示区域和第二显示区域,第一显示区域用于显示第一行车图像,第二显示区域用于显示第二行车图像,第一显示区域和第二显示区域所占屏幕的比例可以根据实际需要进行设置。在一个实施例中,显示模块102的显示界面上还设置有一个悬浮框,通过悬浮框显示图像采集模块101采集到的人脸图像。
在上述实施例的基础上,显示模块102包括第一显示屏以及第二显示屏,第一显示屏和第二显示屏分别安装于车身内部左右两侧,第一显示屏用于显示第一行车图像,第二显示屏用于显示第二行车图像。
本实施例中通过设置第一显示屏和第二显示屏分别对第一行车图像和第二行车图像进行显示,从而可以使得驾驶原更加容易对行车图像进行观察,避免相互干扰。并且第一显示屏和第二显示屏分别安装于车身内部左右两侧,符合驾驶员的传统的行车习惯,提高驾驶员的用户体验。在一个实施例中,将第一显示屏安装在车身左侧A柱的内侧,将第二显示屏安装在车身右侧A柱的内侧,从而使得驾驶员在观看第一显示屏和第二显示屏时,动作与查看传统的后视镜的动作相同,无需对驾驶员的驾驶习惯进行改动,减小驾驶员的适应周期,提高用户体验。在一个实施例中,人脸摄像头安装在第一显示屏的顶部,从而方便对驾驶员的人脸图像进行采集。
目标识别模块103,用于对识别出行车图像中的目标对象。
在本实施例中,目标识别模块103用于对识别出行车图像中的目标对象,目标对象可以是障碍物、行人以及车辆等。在一个实施例中,目标识别模块103预先获取行车图像不存在目标对象时的标准图像参数。之后,接收图像采集模块101在驾驶过程中采集的实时行车图像,提取实时行车图像中的实时图像参数,将实时图像参数与预先提取的标准图像参数进行比对,当比对结果不一致时,则实时行车图像中存在目标对象。
在一个实施例中,可以采用R-CNN法来识别出行车图像中的目标对象,具体包括以下步骤:
步骤201、通过Selective Search方法从行车图像中筛选出备选区域框。
首先通过基于图的图像分割方法初始化行车图像的原始区域,即将行车图像分割成多个的区域,之后,使用贪心策略计算每每两个相邻区域之间的相似度,将相似度最高的区域进行合并,直至最终只剩下一块完整的区域,将该过程中每次合并产生的区域进行保存作为备选区域框。
步骤202、对备选区域框进行缩放,将备选区域框缩放到指定尺寸,将缩放后的备选区域框输入到CNN神经网络中进行特征提取,得到行车图像的特征图。
步骤203、将行车图像的特征图输入到SVM分类器进行分类,得到初步预测结果,之后,将初步预测结果输入到Bbox reg中进行bbox的微调,得到最终的边框预测,即行车图像中的目标对象。
在本实施例中,SVM分类器的数量并不唯一,每个SVM分类器对应一个分类类别。示例性的,在一个实施例中,行车图像中要识别的类别包括行人、车辆、石头以及路障,则需要设置四个SVM分类器。
在上述实施例的基础上,目标识别模块103还用于在对行车图像进行可视化显示时,标记出目标对象。
在一个实施例中,目标识别模块103在识别出目标对象后,在显示模块102对行车图像进行可视化显示时,标记出目标对象。在一个实施例中,目标识别模块103对目标对象进行标记的过程为:使用方框圈出目标对象,或者是,将目标对象的外轮廓加粗显示。可理解,在本实施例中,对目标对象标记的方式可根据实际需要进行设置,在本实施例中不对目标对象的标记方式进行限定。
控制模块104,用于计算目标对象与车身之间的距离,当存在距离低于预设阈值的第一目标对象时,控制显示模块102发出警报,以及用于,对第一目标对象以及人脸图像进行分析,生成驾驶员的驾驶行为评价结果。
在本实施例中,目标识别模块103在识别出目标对象后,控制模块104计算出目标对象与车身之间的距离,如果存在距离低于预设阈值的第一目标对象,则控制显示模块102发出警报,从而提醒驾驶员注意。在一个实施例中,首先对行车摄像头进行标定,将世界坐标转化为行车图像中的像素坐标,之后,采用harris法从行车图像中获取第一目标对象的角点位置,确定角点位置在像素坐标中的坐标点。根据坐标点以及几何关系,即可计算出目标图像距离车身之间的距离。在本实施例中,预设阈值可以根据实际需要进行设置,示例性的,在一个实施例中,将预设阈值设置为1m,在本实施例中不对预设阈值的具体数值进行限定。
在本实施例中,当行车图像中存在第一目标对象时,控制模块104还对第一目标对象以及人脸图像进行分析,判断驾驶员在第一目标对象出现时的驾驶员的人脸是否朝向第一目标对象出现的位置,从而对驾驶员的驾驶行为进行评价,生成驾驶员的驾驶行为评价结果。在一个实施例中,控制模块104还用于在图像中存在第一目标对象时,采集汽车的速度数据以及方向盘的转向数据,根据速度数据以及方向盘的转向数据来对驾驶员的驾驶行为进行评价。示例性的,在行车图像中检测到后方出现接近车身的第一目标对象时,则根据速度数据以及转向数据判断汽车是否有加速或变道,从而生成驾驶行为评价结果。
在上述实施例的基础上,控制模块104用于控制控制显示模块102发出警报的具体过程为:
确定与第一目标对象相对应的显示屏,控制相对应的显示屏发出警报。
在一个实施例中,显示模块102的第一显示屏和第二显示屏分别用于显示第一行车图像和第二行车图像,控制模块104在检测到第一目标对象后,确定第一目标对象位于第一行车图像中还是位于第二行车图像中,并控制与行车图像相对应的显示屏发出警报。从而使得驾驶员能够得知第一目标对象相对于车身的位置。示例性的,若第一目标对象位于第一行车图像内,则控制第一显示屏发出警报。在一个实施例中,第一显示屏和第二显示屏上设置有喇叭,第一显示屏和第二显示屏通过喇叭来发出警报。
在上述实施例的基础上,控制模块104还用于,在车辆启动时控制人脸摄像头采集驾驶员的人脸考勤图像,将人脸考勤图像与本地数据库中的人脸图像进行匹配,根据匹配结果生成驾驶员的考勤结果。
在一个实施例中,对于出租车运营公司,可在车辆上设置储存模块,储存模块中预先录入有每个出租车司机的人脸图像以及身份信息,当车辆启动后,控制模块104控制人脸摄像头采集驾驶员的人脸考勤图像,并将人脸考勤图像与储存模块中的人脸图像进行匹配,判断是否有储存模块中是否有相匹配的人脸图像,若是,则考勤成功,若否,则考勤失败,最后,根据匹配结果生成驾驶员的考勤结果。从而实现自动化考勤,节省人力成本,提交考勤效率。在一个实施例中,控制模块104还与按键相连接,驾驶员进入车辆后,触发按键,控制模块104接收到按键被触发的信息后,进入考勤模式,从而实现人工考勤。
在上述实施例的基础上,人脸摄像头用于在驾驶过程中间隔采集驾驶员的第一人脸图像,以及,接收控制指令,根据控制指令采集驾驶员的第二人脸图像;
相应的,控制模块104还用于在控制显示模块102发出警报时,向人脸摄像头发送控制指令,控制指令用于控制人脸摄像头采集第二人脸图像。
在本实施例中,在驾驶员驾驶车辆的过程中,人脸摄像头以一定的时间间隔采集驾驶员的第一人脸图像。可理解,在本实施例中,时间间隔可根据根据实际需要进行设置,示例性的,在一个实施例中,将时间间隔设置为30S,人脸摄像头每隔30S采集一次驾驶员的第一人脸图像。
当控制模块104在行车图像中检测到第一目标对象时,则说明此时车辆处于危险情况,为了后续评价驾驶员在危险情况下的驾驶行为,控制模块104在控制显示模块102发出警报时,向人脸摄像头发送控制指令,从而控制人脸摄像头采集驾驶员在危险情况下的第二人脸图像,以便后续在第二人脸图像的基础上生成驾驶员的驾驶行为评价结果。在一个实施例中,若人脸摄像头采集第二人脸图像的时间刚好与采集第一人脸图像的时间相同,则获取第一人脸图像作为第二人脸图像。
在上述实施例的基础上,控制模块104用于对第一目标对象以及人脸图像进行分析,生成驾驶员的驾驶行为评价结果的具体过程为:
控制模块104用于确定第一目标对象的目标位置,根据第二人脸图像确定驾驶员的人脸朝向,根据人脸朝向以及目标位置,生成驾驶员的驾驶行为评价结果。
在本实施例中,控制模块104首先确定第一目标对象的目标位置,第一目标对象的目标位置可根据第一目标对象属于第一行车图像还是第二行车图像进行确定,若属于第一行车图像,则第一目标对象的位置在车辆左后侧,若属于第二行车图像,则第一目标对象的位置在车辆右后侧。在确定了第一目标对象的目标位置后,需要进一步根据人脸图像的朝向确定驾驶员的人脸朝向,在本实施例中,确定驾驶员人脸朝向的具体过程为:将人脸图像输入到预先训练好的人脸朝向识别模型中,得到人脸朝向的识别结果。其中,得到预先训练好的人脸朝向识别模型的具体过程为:获取历史人脸图像,在历史人脸图像中标注出人脸朝向的角度,将标注好的历史人脸图像输入到神经网络模型中,采用反向传播法对神经网络模型进行训练,直至神经网络模型的误差小于阈值,得到训练好的朝向识别模型。
将人脸图像输入到训练好的朝向识别模型后,即可得到人脸朝向,之后,根据人脸朝向以及目标位置,生成驾驶员的驾驶行为评价结果。在一个实施例中,通过判断人脸朝向与目标位置是否一致来生成驾驶员的驾驶行为评价结果,示例性的,若目标位置在车辆左侧后方,则第一显示屏在发出警报后,在安全驾驶情况下,此时驾驶员的人脸朝向应该是朝向第一显示屏的方向,从而对第一显示屏进行观察,确认此时的第一目标对象的情况。若第一显示屏在发出警报后,驾驶员的人脸朝向不是朝向第一显示屏的方式,则说明驾驶员没有对第一目标对象的情况进行观察,存在危险驾驶的情况。因此,通过人脸朝向以及目标位置,即可生成驾驶员的驾驶行为评价结果。
在一个实施例中,驾驶员的驾驶行为评价结果与驾驶员的身份信息进行绑定,驾驶行为评价结果中显示有驾驶员的身份信息。若驾驶员在驾驶过程中没有存在危险驾驶的情况,则生成包含有“驾驶员安全驾驶”的内容;若驾驶员在驾驶过程中存在危险驾驶的情况,则生成有“驾驶员存在危险驾驶的情况”,将第二人脸图像在驾驶行为评价结果中进行显示,并生成相应的改正建议。
本发明实施例通过在电子后视镜中设置控制模块104,对图像采集模块101采集到的图像以及目标识别模块103识别到的目标对象进行汇总分析,在检测到存在靠近车身的第一目标对象时,控制显示模块102发出警报,并且生成驾驶员的驾驶行为评价结果。通过设备之间的联动,降低了对设备的数据进行汇总的难度,提高了数据汇总的效率,实现了数据的综合分析。并且通过生成驾驶行为评价结果对驾驶员具有指导和提醒作用,同时也方便在出现事故情况进行回溯调查。
实施例二
在本实施中提供了一种车辆,车辆上安装有上述电子后视镜。可以理解的,在车辆上安装电子后视镜后,通过在电子后视镜中的控制模块对图像采集模块采集到的图像以及目标识别模块识别到的目标对象进行汇总分析,在检测到存在靠近车身的第一目标对象时,控制显示模块发出警报,并且生成驾驶员的驾驶行为评价结果。通过设备之间的联动,降低了对设备的数据进行汇总的难度,提高了数据汇总的效率,实现了数据的综合分析。并且通过生成驾驶行为评价结果对驾驶员具有指导和提醒作用,同时也方便在出现事故情况进行回溯调查。
注意,上述仅为本发明实施例的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明实施例不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明实施例的保护范围。因此,虽然通过以上实施例对本发明实施例进行了较为详细的说明,但是本发明实施例不仅仅限于以上实施例,在不脱离本发明实施例构思的情况下,还可以包括更多其他等效实施例,而本发明实施例的范围由所附的权利要求范围决定。
Claims (10)
1.一种电子后视镜,其特征在于,包括:
图像采集模块,用于在驾驶过程中采集车身两侧后方的行车图像以及驾驶员的人脸图像;
显示模块,用于对所述行车图像进行显示;
目标识别模块,用于对识别出所述行车图像中的目标对象;
控制模块,用于计算所述目标对象与所述车身之间的距离,当存在所述距离低于预设阈值的第一目标对象时,控制所述显示模块发出警报,以及用于,对所述第一目标对象以及所述人脸图像进行分析,生成所述驾驶员的驾驶行为评价结果。
2.根据权利要求1所述的一种电子后视镜,其特征在于,所述图像采集模块包括有行车摄像头以及人脸摄像头,所述行车摄像头包括安装在车身左侧的左侧行车摄像头以及安装在车身右侧的右侧行车摄像头,所述左侧行车摄像头和右侧行车摄像头分别用于采集所述车身左侧后方的第一行车图像以及所述车身右侧后方的第二行车图像,所述人脸摄像头用于采集驾驶过程中驾驶员的人脸图像。
3.根据权利要求2所述的一种电子后视镜,其特征在于,所述显示模块包括第一显示屏以及第二显示屏,所述第一显示屏和第二显示屏分别安装于所述车身内部左右两侧,所述第一显示屏用于显示所述第一行车图像,所述第二显示屏用于显示所述第二行车图像。
4.根据权利要求3所述的一种电子后视镜,其特征在于,所述控制模块还用于,在车辆启动时控制所述人脸摄像头采集所述驾驶员的人脸考勤图像,将所述人脸考勤图像与本地数据库中的人脸图像进行匹配,根据匹配结果生成所述驾驶员的考勤结果。
5.根据权利要求3所述的一种电子后视镜,其特征在于,所述控制模块用于控制所述控制所述显示模块发出警报的具体过程为:
确定与所述第一目标对象相对应的显示屏,控制所述相对应的显示屏发出警报。
6.根据权利要求5所述的一种电子后视镜,其特征在于,所述人脸摄像头用于在驾驶过程中间隔采集驾驶员的第一人脸图像,以及,接收控制指令,根据所述控制指令采集所述驾驶员的第二人脸图像;
相应的,所述控制模块还用于在控制所述显示模块发出警报时,向所述人脸摄像头发送控制指令,所述控制指令用于控制所述人脸摄像头采集所述第二人脸图像。
7.根据权利要求6所述的一种电子后视镜,其特征在于,所述控制模块用于对所述第一目标对象以及所述人脸图像进行分析,生成所述驾驶员的驾驶行为评价结果的具体过程为:
所述控制模块用于确定所述第一目标对象的目标位置,根据所述第二人脸图像确定所述驾驶员的人脸朝向,根据所述人脸朝向以及所述目标位置,生成所述驾驶员的驾驶行为评价结果。
8.根据权利要求2所述的一种电子后视镜,其特征在于,所述左侧行车摄像头和所述右侧行车摄像头均包括有第一摄像头与第二摄像头,且所述第一摄像头的拍摄方向与水平线平行,所述第二摄像头的拍摄方向与所述水平线成预设角度。
9.根据权利要求1至权利要求8任一项所述的一种电子后视镜,其特征在于,所述目标识别模块还用于在对所述行车图像进行可视化显示时,标记出所述目标对象。
10.一种车辆,其特征在于,所述车辆上安装有权利要求1至权利要求9任一项所述的一种电子后视镜。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110715870.7A CN113506425A (zh) | 2021-06-24 | 2021-06-24 | 一种电子后视镜以及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110715870.7A CN113506425A (zh) | 2021-06-24 | 2021-06-24 | 一种电子后视镜以及车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113506425A true CN113506425A (zh) | 2021-10-15 |
Family
ID=78010942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110715870.7A Pending CN113506425A (zh) | 2021-06-24 | 2021-06-24 | 一种电子后视镜以及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113506425A (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002083400A (ja) * | 2000-09-06 | 2002-03-22 | Honda Motor Co Ltd | ドライバの視線領域の適合性を判定する車載情報処理装置 |
CN201923014U (zh) * | 2010-11-24 | 2011-08-10 | 宁波罗谊特电子科技有限公司 | 汽车安全监控装置 |
JP2012247871A (ja) * | 2011-05-25 | 2012-12-13 | Fujitsu Ltd | 運転技術判別装置および運転技術判別プログラム |
CN106347223A (zh) * | 2016-11-02 | 2017-01-25 | 厦门乐创智联科技有限公司 | 一种车载智能后视镜 |
CN106372856A (zh) * | 2016-08-31 | 2017-02-01 | 北京汇通天下物联科技有限公司 | 一种司机考勤方法及*** |
JP2019040354A (ja) * | 2017-08-24 | 2019-03-14 | 本田技研工業株式会社 | 運転支援装置、および運転支援方法 |
CN110091801A (zh) * | 2019-05-22 | 2019-08-06 | 庞少东 | 一种智能后视镜*** |
CN110217167A (zh) * | 2019-04-28 | 2019-09-10 | 深圳市赛亿科技开发有限公司 | 一种智能后视镜的控制方法及智能后视镜装置 |
CN110450727A (zh) * | 2019-08-12 | 2019-11-15 | 杭州炽云科技有限公司 | 一种透明显示*** |
CN112896051A (zh) * | 2021-03-04 | 2021-06-04 | 广州融盛科技有限公司 | 一种能消除汽车视觉盲区的全景电子后视镜 |
-
2021
- 2021-06-24 CN CN202110715870.7A patent/CN113506425A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002083400A (ja) * | 2000-09-06 | 2002-03-22 | Honda Motor Co Ltd | ドライバの視線領域の適合性を判定する車載情報処理装置 |
CN201923014U (zh) * | 2010-11-24 | 2011-08-10 | 宁波罗谊特电子科技有限公司 | 汽车安全监控装置 |
JP2012247871A (ja) * | 2011-05-25 | 2012-12-13 | Fujitsu Ltd | 運転技術判別装置および運転技術判別プログラム |
CN106372856A (zh) * | 2016-08-31 | 2017-02-01 | 北京汇通天下物联科技有限公司 | 一种司机考勤方法及*** |
CN106347223A (zh) * | 2016-11-02 | 2017-01-25 | 厦门乐创智联科技有限公司 | 一种车载智能后视镜 |
JP2019040354A (ja) * | 2017-08-24 | 2019-03-14 | 本田技研工業株式会社 | 運転支援装置、および運転支援方法 |
CN110217167A (zh) * | 2019-04-28 | 2019-09-10 | 深圳市赛亿科技开发有限公司 | 一种智能后视镜的控制方法及智能后视镜装置 |
CN110091801A (zh) * | 2019-05-22 | 2019-08-06 | 庞少东 | 一种智能后视镜*** |
CN110450727A (zh) * | 2019-08-12 | 2019-11-15 | 杭州炽云科技有限公司 | 一种透明显示*** |
CN112896051A (zh) * | 2021-03-04 | 2021-06-04 | 广州融盛科技有限公司 | 一种能消除汽车视觉盲区的全景电子后视镜 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105769120B (zh) | 疲劳驾驶检测方法和装置 | |
CN102765365B (zh) | 基于机器视觉的行人检测方法及行人防撞预警*** | |
CA2885019C (en) | Robust windshield detection via landmark localization | |
CN112026686B (zh) | 一种自动调节车辆座椅位置的方法及装置 | |
JP6679152B1 (ja) | 事故分析装置、事故分析方法及びプログラム | |
CN105654753A (zh) | 一种智能车载安全驾驶辅助方法及*** | |
CN105620489A (zh) | 驾驶辅助***及车辆实时预警提醒方法 | |
CN104786933A (zh) | 一种全景影像驾驶辅助装置及方法 | |
CN103824037B (zh) | 车用防跟踪报警装置 | |
CN106600748A (zh) | 非法行驶记录方法及装置 | |
CN112622765B (zh) | 一种全时视觉辅助后视镜*** | |
US11482012B2 (en) | Method for driving assistance and mobile device using the method | |
JP7285799B2 (ja) | 事故分析装置、事故分析方法及びプログラム | |
CN112466159B (zh) | 一种大型车辆右转弯安全性预警*** | |
CN108108680A (zh) | 一种基于双目视觉的后方车辆识别与测距方法 | |
DE102017223284A1 (de) | Verfahren zum assistierten Betreiben eines Fahrzeugs und Fahrzeugassistentsystem | |
CN110458050A (zh) | 基于车载视频的车辆切入检测方法及装置 | |
JPH1062162A (ja) | 障害物検出装置 | |
CN108459520B (zh) | 用于车辆的自动显示方法及其*** | |
CN114445798A (zh) | 一种基于深度学习的城市道路停车位识别方法及*** | |
JP2001256485A (ja) | 車種判別システム | |
CN109421598A (zh) | 一种车辆辅助驾驶***、车辆预警方法及装置 | |
CN113506425A (zh) | 一种电子后视镜以及车辆 | |
US11989787B2 (en) | Remote vehicle damage assessment | |
KR102264266B1 (ko) | 단속 대상 전반을 단속처리하기 위한 인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |