CN110633653B - 基于流媒体内后视镜的并线辅助*** - Google Patents

基于流媒体内后视镜的并线辅助*** Download PDF

Info

Publication number
CN110633653B
CN110633653B CN201910800923.8A CN201910800923A CN110633653B CN 110633653 B CN110633653 B CN 110633653B CN 201910800923 A CN201910800923 A CN 201910800923A CN 110633653 B CN110633653 B CN 110633653B
Authority
CN
China
Prior art keywords
vehicle
rear view
doubling
lane
view image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910800923.8A
Other languages
English (en)
Other versions
CN110633653A (zh
Inventor
黄宇恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN110633653A publication Critical patent/CN110633653A/zh
Application granted granted Critical
Publication of CN110633653B publication Critical patent/CN110633653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于流媒体内后视镜的并线辅助***，利用在车辆上广泛使用的流媒体内后视镜，通过对后方车辆的位置信息进行跟踪，并基于预设的后视图像的分区信息，判断并线车辆与后方车辆的行驶状况是否属于并线危险的四种情形之一，以实现为驾驶员在准备并线时提供并线安全信息的辅助功能；并且，本发明无需再车辆上增加额外设备，具有成本低的优点。

Description

基于流媒体内后视镜的并线辅助***
技术领域
本发明涉及车辆领域，具体的说是一种基于流媒体内后视镜的并线辅助***。
背景技术
流媒体后视镜凭借着广阔的视角及诸多优势，已经逐渐取代传统后视镜。现流媒体后视镜可视视角已达到150度以上，流媒体后视镜虽然能看到后方车辆，却不能主动预警在并线时侧后方来车所造成的危险。
并线辅助功能在车辆上已经有了广泛的应用。现有技术中多采用微波雷达或安装于左后视镜和右后视镜中的摄像头来实现并线辅助功能。但如果已安装流媒体内后视镜，使用这两种技术都会增加成本且需额外安装。
发明内容
本发明所要解决的技术问题是：提供一种基于流媒体内后视镜的并线辅助***，以解决现有车辆并线辅助功能需要在车辆上增加额外设备而造成成本增加以及需要额外进行设备安装的问题。
解决上述技术问题，本发明所采用的技术方案如下：
一种基于流媒体内后视镜的并线辅助***，包括安装在并线车辆上的流媒体内后视镜，所述流媒体内后视镜设有后摄像头和处理器，所述处理器能够通过所述后摄像头实时采集所述并线车辆后方的后视图像，且所述后视图像涵盖所述并线车辆所在的当前车道，以及分别位于该当前车道左右两侧的左侧车道和右侧车道；其特征在于：
所述处理器建立有图像处理模块和并线辅助模块；
所述图像处理模块，用于：每隔预设的检测周期，获取一幅所述后视图像，并识别显示在该后视图像中的后方车辆的位置信息，该位置信息包括：四条边均与所述后方车辆相切的矩形定位框，以及，所述矩形定位框的中心点在所述后视图像中的坐标，其中，所述后方车辆包含两种情况：其一，所述后方车辆为完整显示在所述后视图像中的整车，记为完整车辆，其二，所述后方车辆为整车显示在所述后视图像中的部分，记为车辆局部；从而，实现了对后方车辆的位置跟踪。
所述并线辅助模块，预设有作为所述后视图像的分区标记的左车道分界线和右车道分界线，使得：在所述后视图像中，所述左侧车道位于所述左车道分界线两侧的区域，分别为所述并线车辆的驾驶员通过左后视镜观察不到的左车道盲区和能够观察到的左车道可见区，所述右侧车道位于所述右车道分界线两侧的区域，分别为所述并线车辆的驾驶员通过右后视镜观察不到的右车道盲区和能够观察到的右车道可见区；
所述并线辅助模块，用于产生所述并线车辆的并线安全信息，包括：
情形一、如果所述矩形定位框的中心点落在所述后视图像的左车道盲区中，则判断所述并线车辆在当前时刻向所述左侧车道并线为危险；
情形二、如果所述矩形定位框的中心点落在所述后视图像的右车道盲区中，则判断所述并线车辆在当前时刻向所述右侧车道并线为危险；
情形三、当所述后方车辆为完整车辆时，如果所述矩形定位框的中心点落在所述后视图像的左车道可见区中，则计算所述后方车辆到达所述左车道盲区的左车道预判时间；并且，从当前时刻开始计时，当计时达到所述左车道预判时间时，为左车道计时结束时刻，如果所述后方车辆在该左车道计时结束时刻未出现在所述后视图像中，则判断所述并线车辆在所述左车道计时结束时刻向所述左侧车道并线为危险；
情形四、当所述后方车辆为完整车辆时，如果所述矩形定位框的中心点落在所述后视图像的右车道可见区中，则计算所述后方车辆到达所述右车道盲区的右车道预判时间；并且，从当前时刻开始计时，当计时达到所述右车道预判时间时，为右车道计时结束时刻，如果所述后方车辆在该右车道计时结束时刻未出现在所述后视图像中，则判断所述并线车辆在所述右车道计时结束时刻向所述右侧车道并线为危险；
除上述四种情形之外，判断所述并线车辆在当前时刻并线为安全。
从而，本发明利用在车辆上广泛使用的流媒体内后视镜，通过对后方车辆的位置信息进行跟踪，并基于预设的后视图像的分区信息，判断并线车辆与后方车辆的行驶状况是否属于并线危险的四种情形之一，以实现为驾驶员在准备并线时提供并线安全信息的辅助功能；并且，本发明无需再车辆上增加额外设备，具有成本低的优点。
作为本发明的优选实施方式：所述处理器还建立有预警模块；
所述预警模块，用于：接入所述并线车辆的转向灯信息，并基于所述并线辅助模块产生的并线安全信息，产生并线预警信号，包括：
当所述并线车辆的转向灯信息为左转时，如果所述并线安全信息为所述情形一或情形三，则产生所述并线预警信号；
当所述并线车辆的转向灯信息为右转时，如果所述并线安全信息为所述情形二或情形四，则产生所述并线预警信号。
从而，本发明利用预警模块，能够在并线车辆准备并线并符合四种并线危险的情形之一时，通过产生并线预警信号，主动向驾驶员预警并线存在危险，以大幅度提高行车安全。
优选的：所述的并线辅助***还包括预警执行装置；所述预警执行装置能够在所述预警模块产生并线预警信号时，发出警报。
作为本发明的优选实施方式：所述图像处理模块预设有基于MobileNet-V2神经网模型训练得到的车辆位置检测模型，所述后视图像通过转换为TFRecord格式数据后输入所述车辆位置检测模型，得到所述后方车辆的位置信息。
从而，本发明采用基于MobileNet-V2神经网模型训练得到的车辆位置检测模型，实现后视图像中后方车辆的位置信息识别，具有运算速度快的优点，能够适用于现有的流媒体内后视镜。
优选的：训练得到所述车辆位置检测模型的方式为：
步骤一、采集多张所述后视图像，得到图像数据样本；
步骤二、对每一幅所述后视图像中的后方车辆的位置信息和车辆信息进行人工标记，得到位置信息样本和车辆信息样本，其中，所述车辆信息表示所述后方车辆为完整车辆或车辆局部；
步骤三、将所述图像数据样本以及对应的位置信息样本和车辆信息样本转换为TFRecord格式数据，并按预定比例划分为训练集和测试集；
步骤四、将所述训练集输入MobileNet-V2神经网模型中进行训练，得的待验证模型；
步骤五、用所述测试集对所述待验证模型进行验证，如果通过验证，则所述待验证模型为所述车辆位置检测模型，否则，重新执行所述步骤一至步骤五。
作为本发明的优选实施方式：所述情形三中，所述左车道预判时间的计算方式为：先依据所述后方车辆在连续N幅所述后视图像中的位置信息，计算得到所述后方车辆在当前时刻的车速，再结合所述后方车辆在当前时刻与所述左车道盲区的距离，计算得到所述左车道预判时间，其中，N为大于2的正整数。
作为本发明的优选实施方式：所述情形四中，所述右车道预判时间的计算方式为：先依据所述后方车辆在连续N幅所述后视图像中的位置信息，计算得到所述后方车辆在当前时刻的车速，再结合所述后方车辆在当前时刻与所述右车道盲区的距离，计算得到所述右车道预判时间，其中，N为大于2的正整数。
与现有技术相比，本发明具有以下有益效果：
第一，本发明利用在车辆上广泛使用的流媒体内后视镜，通过对后方车辆的位置信息进行跟踪，并基于预设的后视图像的分区信息，判断并线车辆与后方车辆的行驶状况是否属于并线危险的四种情形之一，以实现为驾驶员在准备并线时提供并线安全信息的辅助功能；并且，本发明无需再车辆上增加额外设备，具有成本低的优点。
第二，本发明利用预警模块，能够在并线车辆准备并线并符合四种并线危险的情形之一时，通过发出并线预警信号，主动向驾驶员预警并线存在危险，以大幅度提高行车安全。
第三，本发明采用基于MobileNet-V2神经网模型训练得到的车辆位置检测模型，实现后视图像中后方车辆的位置信息识别，具有运算速度快的优点，能够适用于现有的流媒体内后视镜。
附图说明
下面结合附图和具体实施例对本发明作进一步的详细说明：
图1为本发明的并线辅助***的原理框图；
图2为本发明中后视图像1的示意图；
图3为本发明中训练得到车辆位置检测模型的流程框图。
具体实施方式
下面结合实施例及其附图对本发明进行详细说明，以帮助本领域的技术人员更好的理解本发明的发明构思，但本发明权利要求的保护范围不限于下述实施例，对本领域的技术人员来说，在不脱离本发明之发明构思的前提下，没有做出创造性劳动所获得的所有其他实施例，都属于本发明的保护范围。
实施例一
如图1和图2所示，本发明公开的是一种基于流媒体内后视镜的并线辅助***，包括安装在并线车辆上的流媒体内后视镜，所述流媒体内后视镜设有后摄像头和处理器，所述处理器能够通过所述后摄像头实时采集所述并线车辆后方的后视图像1，且所述后视图像1涵盖所述并线车辆所在的当前车道2，以及分别位于该当前车道2左右两侧的左侧车道3和右侧车道4；
所述处理器建立有图像处理模块和并线辅助模块；
所述图像处理模块，用于：每隔预设的检测周期，获取一幅所述后视图像1，并识别显示在该后视图像1中的后方车辆的位置信息，该位置信息包括：四条边均与所述后方车辆相切的矩形定位框A，以及，所述矩形定位框A的中心点A1在所述后视图像1中的坐标，其中，所述后方车辆包含两种情况：其一，所述后方车辆为完整显示在所述后视图像1中的整车，记为完整车辆，其二，所述后方车辆为整车显示在所述后视图像1中的部分(也即整车有一部分处于后摄像头的盲区中，未能显示在所述后视图像1中)，记为车辆局部；从而，实现了对后方车辆的位置跟踪。
其中，所述后视图像1可以是所述后摄像头通过拍照功能获得，也可以是从所述后摄像头的录像中读取得到的视频帧。
所述并线辅助模块，预设有作为所述后视图像1的分区标记的左车道分界线3a和右车道分界线4a，使得：在所述后视图像1中，所述左侧车道3位于所述左车道分界线3a两侧的区域，分别为所述并线车辆的驾驶员通过左后视镜观察不到的左车道盲区3-1和能够观察到的左车道可见区3-2，所述右侧车道4位于所述右车道分界线4a两侧的区域，分别为所述并线车辆的驾驶员通过右后视镜观察不到的右车道盲区4-1和能够观察到的右车道可见区4-2；其中，在所述流媒体内后视镜安装完成后，所述左车道分界线3a和右车道分界线4a在所述后视图像1中的位置，可以通过人工标记得到。
所述并线辅助模块，用于产生所述并线车辆的并线安全信息，包括：
情形一、如果所述矩形定位框A的中心点A1落在所述后视图像1的左车道盲区3-1中，则判断所述并线车辆在当前时刻向所述左侧车道3并线为危险；该情形一适用于所述后方车辆为完整车辆或车辆局部该两种情况。
情形二、如果所述矩形定位框A的中心点A1落在所述后视图像1的右车道盲区4-1中，则判断所述并线车辆在当前时刻向所述右侧车道4并线为危险；该情形二适用于所述后方车辆为完整车辆或车辆局部该两种情况。
情形三、当所述后方车辆为完整车辆时，如果所述矩形定位框A的中心点A1落在所述后视图像1的左车道可见区3-2中，则计算所述后方车辆到达所述左车道盲区3-1的左车道预判时间；并且，从当前时刻开始计时，当计时达到所述左车道预判时间时，为左车道计时结束时刻，如果所述后方车辆在该左车道计时结束时刻未出现在所述后视图像1中(有可能是后方车辆在左车道预判时间内突然加速，达到了所述后摄像头的拍摄盲区，例如后方车辆与并线车辆并排的情况)，则判断所述并线车辆在所述左车道计时结束时刻向所述左侧车道3并线为危险；
情形四、当所述后方车辆为完整车辆时，如果所述矩形定位框A的中心点A1落在所述后视图像1的右车道可见区4-2中，则计算所述后方车辆到达所述右车道盲区4-1的右车道预判时间；并且，从当前时刻开始计时，当计时达到所述右车道预判时间时，为右车道计时结束时刻，如果所述后方车辆在该右车道计时结束时刻未出现在所述后视图像1中，则判断所述并线车辆在所述右车道计时结束时刻向所述右侧车道4并线为危险；
除上述四种情形之外，判断所述并线车辆在当前时刻并线为安全。
从而，本发明利用在车辆上广泛使用的流媒体内后视镜，通过对后方车辆的位置信息进行跟踪，并基于预设的后视图像1的分区信息，判断并线车辆与后方车辆的行驶状况是否属于并线危险的四种情形之一，以实现为驾驶员在准备并线时提供并线安全信息的辅助功能；并且，本发明无需再车辆上增加额外设备，具有成本低的优点。
实施例二
在上述实施例一的基础上，本实施例二还采用了以下优选的实施方式：
所述处理器还建立有预警模块；
所述预警模块，用于：接入所述并线车辆的转向灯信息，并基于所述并线辅助模块产生的并线安全信息，产生并线预警信号，包括：
当所述并线车辆的转向灯信息为左转时，如果所述并线安全信息为所述情形一或情形三，则产生所述并线预警信号；
当所述并线车辆的转向灯信息为右转时，如果所述并线安全信息为所述情形二或情形四，则产生所述并线预警信号。
从而，本发明利用预警模块，能够在并线车辆准备并线并符合四种并线危险的情形之一时，通过产生并线预警信号，主动向驾驶员预警并线存在危险，以大幅度提高行车安全。
以上为本实施例二的基本实施方式，可以在该基本实施方式的基础上做进一步的优化、改进和限定：
优选的：所述的并线辅助***还包括预警执行装置；所述预警执行装置能够在所述预警模块产生并线预警信号时，发出警报。例如：所述预警执行装置可以是所述流媒体内后视镜的显示屏，通过在该显示屏上显示信息发出警报；或者，所述预警执行装置也可以是蜂鸣器、预警灯、震动器等，通过声音、光线、震动等方式发出警报。
实施例三
在上述实施例一或实施例二的基础上，本实施例三还采用了以下优选的实施方式：
所述图像处理模块预设有基于MobileNet-V2神经网模型训练得到的车辆位置检测模型，所述后视图像1通过转换为TFRecord格式数据后输入所述车辆位置检测模型，得到所述后方车辆的位置信息。
从而，本发明采用基于MobileNet-V2神经网模型训练得到的车辆位置检测模型，实现后视图像1中后方车辆的位置信息识别，具有运算速度快的优点，能够适用于现有的流媒体内后视镜。
以上为本实施例三的基本实施方式，可以在该基本实施方式的基础上做进一步的优化、改进和限定：
优选的：如图3所示，训练得到所述车辆位置检测模型的方式为：
步骤一、采集多张所述后视图像1，数量应符合MobileNet-V2神经网模型的训练要求，得到图像数据样本；
步骤二、对每一幅所述后视图像1中的后方车辆的位置信息和车辆信息进行人工标记，得到位置信息样本和车辆信息样本，其中，所述车辆信息表示所述后方车辆为完整车辆或车辆局部；
步骤三、将所述图像数据样本以及对应的位置信息样本和车辆信息样本转换为TFRecord格式数据，并按预定比例划分为训练集和测试集；
步骤四、将所述训练集输入MobileNet-V2神经网模型中进行训练，得的待验证模型；
步骤五、用所述测试集对所述待验证模型进行验证，如果通过验证，则所述待验证模型为所述车辆位置检测模型，否则，重新执行所述步骤一至步骤五。
实施例四
在上述实施例一至实施例三中任意一个实施例的基础上，本实施例四还采用了以下优选的实施方式：
所述情形三中，所述左车道预判时间的计算方式为：先依据所述后方车辆在连续N幅所述后视图像1中的位置信息，计算得到所述后方车辆在当前时刻的车速，再结合所述后方车辆在当前时刻与所述左车道盲区3-1的距离，计算得到所述左车道预判时间，其中，N为大于2的正整数。
所述情形四中，所述右车道预判时间的计算方式为：先依据所述后方车辆在连续N幅所述后视图像1中的位置信息，计算得到所述后方车辆在当前时刻的车速，再结合所述后方车辆在当前时刻与所述右车道盲区4-1的距离，计算得到所述右车道预判时间，其中，N为大于2的正整数。
本发明不局限于上述具体实施方式，根据上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，本发明还可以做出其它多种形式的等效修改、替换或变更，均落在本发明的保护范围之中。

Claims (5)

1.一种基于流媒体内后视镜的并线辅助***，包括安装在并线车辆上的流媒体内后视镜，所述流媒体内后视镜设有后摄像头和处理器，所述处理器能够通过所述后摄像头实时采集所述并线车辆后方的后视图像(1)，且所述后视图像(1)涵盖所述并线车辆所在的当前车道(2)，以及分别位于该当前车道(2)左右两侧的左侧车道(3)和右侧车道(4)；其特征在于：
所述处理器建立有图像处理模块和并线辅助模块；
所述图像处理模块，用于：每隔预设的检测周期，获取一幅所述后视图像(1)，并识别显示在该后视图像(1)中的后方车辆的位置信息，该位置信息包括：四条边均与所述后方车辆相切的矩形定位框(A)，以及，所述矩形定位框(A)的中心点(A1)在所述后视图像(1)中的坐标，其中，所述后方车辆包含两种情况：其一，所述后方车辆为完整显示在所述后视图像(1)中的整车，记为完整车辆，其二，所述后方车辆为整车显示在所述后视图像(1)中的部分，记为车辆局部；
所述图像处理模块预设有基于MobileNet-V2神经网模型训练得到的车辆位置检测模型，所述后视图像(1)通过转换为TFRecord格式数据后输入所述车辆位置检测模型，得到所述后方车辆的位置信息；
训练得到所述车辆位置检测模型的方式为：
步骤一、采集多张所述后视图像(1)，得到图像数据样本；
步骤二、对每一幅所述后视图像(1)中的后方车辆的位置信息和车辆信息进行人工标记，得到位置信息样本和车辆信息样本，其中，所述车辆信息表示所述后方车辆为完整车辆或车辆局部；
步骤三、将所述图像数据样本以及对应的位置信息样本和车辆信息样本转换为TFRecord格式数据，并按预定比例划分为训练集和测试集；
步骤四、将所述训练集输入MobileNet-V2神经网模型中进行训练，得的待验证模型；
步骤五、用所述测试集对所述待验证模型进行验证，如果通过验证，则所述待验证模型为所述车辆位置检测模型，否则，重新执行所述步骤一至步骤五；
所述并线辅助模块，预设有作为所述后视图像(1)的分区标记的左车道分界线(3a)和右车道分界线(4a)，使得：在所述后视图像(1)中，所述左侧车道(3)位于所述左车道分界线(3a)两侧的区域，分别为所述并线车辆的驾驶员通过左后视镜观察不到的左车道盲区(3-1)和能够观察到的左车道可见区(3-2)，所述右侧车道(4)位于所述右车道分界线(4a)两侧的区域，分别为所述并线车辆的驾驶员通过右后视镜观察不到的右车道盲区(4-1)和能够观察到的右车道可见区(4-2)；
所述并线辅助模块，用于产生所述并线车辆的并线安全信息，包括：
情形一、如果所述矩形定位框(A)的中心点(A1)落在所述后视图像(1)的左车道盲区(3-1)中，则判断所述并线车辆在当前时刻向所述左侧车道(3)并线为危险；
情形二、如果所述矩形定位框(A)的中心点(A1)落在所述后视图像(1)的右车道盲区(4-1)中，则判断所述并线车辆在当前时刻向所述右侧车道(4)并线为危险；
情形三、当所述后方车辆为完整车辆时，如果所述矩形定位框(A)的中心点(A1)落在所述后视图像(1)的左车道可见区(3-2)中，则计算所述后方车辆到达所述左车道盲区(3-1)的左车道预判时间；并且，从当前时刻开始计时，当计时达到所述左车道预判时间时，为左车道计时结束时刻，如果所述后方车辆在该左车道计时结束时刻未出现在所述后视图像(1)中，则判断所述并线车辆在所述左车道计时结束时刻向所述左侧车道(3)并线为危险；
情形四、当所述后方车辆为完整车辆时，如果所述矩形定位框(A)的中心点(A1)落在所述后视图像(1)的右车道可见区(4-2)中，则计算所述后方车辆到达所述右车道盲区(4-1)的右车道预判时间；并且，从当前时刻开始计时，当计时达到所述右车道预判时间时，为右车道计时结束时刻，如果所述后方车辆在该右车道计时结束时刻未出现在所述后视图像(1)中，则判断所述并线车辆在所述右车道计时结束时刻向所述右侧车道(4)并线为危险；
除上述四种情形之外，判断所述并线车辆在当前时刻并线为安全。
2.根据权利要求1所述基于流媒体内后视镜的并线辅助***，其特征在于：所述处理器还建立有预警模块；
所述预警模块，用于：接入所述并线车辆的转向灯信息，并基于所述并线辅助模块产生的并线安全信息，产生并线预警信号，包括：
当所述并线车辆的转向灯信息为左转时，如果所述并线安全信息为所述情形一或情形三，则产生所述并线预警信号；
当所述并线车辆的转向灯信息为右转时，如果所述并线安全信息为所述情形二或情形四，则产生所述并线预警信号。
3.根据权利要求2所述基于流媒体内后视镜的并线辅助***，其特征在于：所述的并线辅助***还包括预警执行装置；所述预警执行装置能够在所述预警模块产生并线预警信号时，发出警报。
4.根据权利要求1至3任意一项所述基于流媒体内后视镜的并线辅助***，其特征在于：所述情形三中，所述左车道预判时间的计算方式为：先依据所述后方车辆在连续N幅所述后视图像(1)中的位置信息，计算得到所述后方车辆在当前时刻的车速，再结合所述后方车辆在当前时刻与所述左车道盲区(3-1)的距离，计算得到所述左车道预判时间，其中，N为大于2的正整数。
5.根据权利要求1至3任意一项所述基于流媒体内后视镜的并线辅助***，其特征在于：所述情形四中，所述右车道预判时间的计算方式为：先依据所述后方车辆在连续N幅所述后视图像(1)中的位置信息，计算得到所述后方车辆在当前时刻的车速，再结合所述后方车辆在当前时刻与所述右车道盲区(4-1)的距离，计算得到所述右车道预判时间，其中，N为大于2的正整数。
CN201910800923.8A 2018-10-09 2019-08-28 基于流媒体内后视镜的并线辅助*** Active CN110633653B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811170324 2018-10-09
CN2018111703244 2018-10-09

Publications (2)

Publication Number Publication Date
CN110633653A CN110633653A (zh) 2019-12-31
CN110633653B true CN110633653B (zh) 2023-04-18

Family

ID=68969357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910800923.8A Active CN110633653B (zh) 2018-10-09 2019-08-28 基于流媒体内后视镜的并线辅助***

Country Status (1)

Country Link
CN (1) CN110633653B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1726513A1 (en) * 2005-05-02 2006-11-29 Iveco S.p.A. Driving assistance system for lane keeping support, for lane change assistance, and for driver status monitoring for a vehicle
CN108162866A (zh) * 2017-12-21 2018-06-15 宁波吉利汽车研究开发有限公司 一种基于流媒体外后视镜***的车道识别***及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1726513A1 (en) * 2005-05-02 2006-11-29 Iveco S.p.A. Driving assistance system for lane keeping support, for lane change assistance, and for driver status monitoring for a vehicle
CN108162866A (zh) * 2017-12-21 2018-06-15 宁波吉利汽车研究开发有限公司 一种基于流媒体外后视镜***的车道识别***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Arduino单片机的汽车并线辅助***设计;李明娟;《实验室研究与探索》;20171215(第12期);全文 *

Also Published As

Publication number Publication date
CN110633653A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
US10186147B2 (en) Wrong-way determination apparatus
CN110889351B (zh) 视频检测方法、装置、终端设备及可读存储介质
KR20140019571A (ko) 후측방 경보 시스템 및 방법
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及***
JP4528283B2 (ja) 車両周辺監視装置
WO2010077316A1 (en) Multiple object speed tracking system
CN111010530B (zh) 应急车辆检测
CN113808418B (zh) 路况信息显示***、方法、车辆、计算机设备和存储介质
CN111492416A (zh) 一种违章监控***及违章监控方法
CN112758088A (zh) 危险源的提醒方法及高级驾驶辅助***
JP4848644B2 (ja) 障害物認識システム
JP6459809B2 (ja) 画像処理装置およびこれを備えた交通管理システム、画像処理方法
JP4813304B2 (ja) 車両周辺監視装置
CN110633653B (zh) 基于流媒体内后视镜的并线辅助***
CN112907979A (zh) 一种基于多摄像头的机动车违法行驶轨迹跟踪***及方法
JP2005338941A (ja) 視程検出方法および視程検出装置
CN206907232U (zh) 一种基于光学多目视觉车辆追尾预警装置
CN114170798B (zh) 消息提醒***以及方法
JPH0628596A (ja) 画像処理式速度超過警告装置
WO2008037473A1 (en) Park assist system visually marking up dangerous objects
CN111815958B (zh) 一种交通电子警察抓拍控制装置及方法
CN114582146A (zh) 红绿灯剩余时长智能提醒方法、***、存储介质及汽车
CN115626159A (zh) 车辆示警***、方法及汽车
KR20070013610A (ko) 주정차 위반차량 단속 시스템
CN211349574U (zh) 一种车辆360度环视预警***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant