CN108447305B - 一种礼让行人预警方法及预警*** - Google Patents

一种礼让行人预警方法及预警*** Download PDF

Info

Publication number
CN108447305B
CN108447305B CN201810363236.XA CN201810363236A CN108447305B CN 108447305 B CN108447305 B CN 108447305B CN 201810363236 A CN201810363236 A CN 201810363236A CN 108447305 B CN108447305 B CN 108447305B
Authority
CN
China
Prior art keywords
pedestrian
information
vehicle
traffic sign
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810363236.XA
Other languages
English (en)
Other versions
CN108447305A (zh
Inventor
杨明
钱烨强
罗铨
王春香
王冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201810363236.XA priority Critical patent/CN108447305B/zh
Publication of CN108447305A publication Critical patent/CN108447305A/zh
Application granted granted Critical
Publication of CN108447305B publication Critical patent/CN108447305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种礼让行人预警方法及预警***,该方法包括:采集车辆行进信息、行人信息以及交通标志线信息;采用基于深度学***台以及预警装置,用于需要礼让行人时进行预警。本发明的礼让行人预警方法及预警***,能够辅助驾驶人员明确礼让行人条例,并保障行人的安全。

Description

一种礼让行人预警方法及预警***
技术领域
本发明涉及辅助驾驶领域的预警技术,特别涉及一种新交规下礼让行人预警方法及预警***。
背景技术
2017年礼让行人正式进入中国新交规,许多城市也加大了对车辆礼让行人的检查力度,这一规章对于保障行人安全车辆畅通具有重要的意义。
礼让行人的规则是:
1.行人在道路另一侧人行横道行走,未抵达中心线时可慢速驶过,否则礼让行人。
2.行人在机动车道和非机动车道分离线外侧等待未进入机动车道时,减速慢行,但若行人越过机动车道线则预警礼让。
3.行人走过对应车道时,可以慢速驶过,但当行人在绿化带中心线等待时,预警礼让行人。
但是多数驾驶员并没有很好的明晰礼让行人的具体规则。目前的辅助驾驶***也都不能够很好的解决这一问题,例如PCW等并不能监测到道路两侧行人的动态。所有的辅助驾驶***还没有把当前的礼让行人的新交规融合进去。
因此,急需研究一种能够适用于新交规下礼让行人预警技术。
发明内容
本发明针对上述现有技术中存在的问题,提出一种新交规下礼让行人预警方法及预警***,能够辅助驾驶人员明确礼让行人条例,并保障行人的安全。
为解决上述技术问题,本发明是通过如下技术方案实现的:
本发明提供一种礼让行人预警方法,其包括:
S11:采集车辆行进信息、行人信息以及交通标志线信息;
S12:采用基于深度学习的行人检测算法对所述行人信息进行检测,完成行人位置检测及类别区分;
S13:采用交通标志线检测算法对所述交通标志线信息进行检测,将交通标志线提取出来;
S14:根据所述S12和S13得到的结果,判断行人是否有过马路的意图,如果有过马路的意图,则进入S15;
S15:分析行人与车辆的相对位置,当所述车辆符合停车礼让行人的规定时,发出预警信号以提示车辆驾驶员停车等待行人通过。
所述S11、S12、S13可以按照任意顺序进行,可以不分先后,同时进行。
较佳地,所述S15之后还包括:
S16:在行人过马路的过程中,始终跟踪行人的位置,一旦行人离开车辆前的安全范围,则所述预警信号停止。
较佳地,所述S11和S12之间还包括:
S17:对所述车辆行进信息、行人信息以及交通标志线信息进行畸变校正。
较佳地,所述S17具体为:采用直线模型对所述车辆行进信息、行人信息以及交通标志线信息进行畸变校正。
较佳地,所述S15中的预警信号包括:灯光预警信号以及声音预警信号。
本发明还提供一种礼让行人预警***,其用于需要礼让行人时进行预警,包括:传感器、嵌入式平台以及预警装置,其中,
所述传感器用于采集车辆行进信息、行人信息以及交通标志线信息;
所述嵌入式平台用于采用基于深度学习的行人检测算法对所述行人信息进行检测,完成行人位置检测及类别区分;还用于采用交通标志线检测算法对所述交通标志线信息进行检测,将交通标志线提取出来;还用于根据上述结果判断行人是否有过马路的意图,如果有过马路的意图,则分析行人与车辆的相对位置,当所述车辆符合停车礼让行人的规定时,控制所述预警器发出预警信号;
所述预警器用于发出预警信号。
较佳地,所述嵌入式平台还用于在行人过马路的过程中,始终跟踪行人的位置,一旦行人离开车辆前的安全范围,则控制所述预警器停止发出预警信号。
较佳地,所述传感器为广角摄像机,广角摄像机可以克服普通相机视野较窄的问题,对车前方较大区域内进行监控。
较佳地,所述预警装置包括:灯光预警装置和/或声音预警装置。
较佳地,所述嵌入式平台还用于对所述车辆行进信息、行人信息以及交通标志线信息进行畸变校正。广角摄像机因为其固有的原因,在二维平面成像时会形成画面的畸变,出现例如笔直的车道线会弯曲,行人会扭曲的等问题,可以采用直线模型对畸变图像进行校正,使得图像上的曲线还原成真实场景中的直线。
相较于现有技术,本发明具有以下优点:
(1)本发明的礼让行人预警方法及预警***,根据道路交通标志线和行人检测结果,设计了一套符合新交规的逻辑判断***,可以警示司机,明确礼让行人的规则,同时也保护了正常过马路的行人的安全;
(2)本发明的礼让行人预警方法及预警***,采用基于深度学***台的使用也使得整个体统的体积控制在合理范围内;
(3)本发明的礼让行人预警方法及预警***,采用广角摄像机,克服了之前智能***存在的对道路两侧的视野盲区问题。
当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
下面结合附图对本发明的实施方式作进一步说明:
图1为本发明的实施例的礼让行人预警方法的流程图
图2为本发明的实施例的礼让行人预警***的结构示意图。
标号说明:1-传感器,2-嵌入式平台,3-预警装置。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
结合图1,对本发明的礼让行人预警方法的部分实施例进行详细描述,如图1 所示,其包括:
S11:采集车辆行进信息、行人信息以及交通标志线信息;
S12:采用基于深度学习的行人检测算法对行人信息进行检测,直接在原图上进行行人位置检测及类别区分;
本步骤中,采用深度人工神经网络,将特征提取网络,空间转化网络和检测网络统一到一起,端到端的进行行人特征的提取,转化和分类。利用大量标注的数据集进行有监督训练,将行人和背景准确区分开。通过将空间转化网络(spatial transformer network)直接融合到现有网络中,很好的解决了大视角图像上的行人畸变问题,提高了检测精度。
S13:采用交通标志线检测算法对交通标志线信息进行检测,将交通标志线提取出来;
本步骤中,交通标志线检测算法,根据具体的交通规则,包括对斑马线、车道线,机动车和非机动车道分界线等道路交通标志线的检测。
在本发明部分实施例中,采用Hough变换和Canny算子,限定ROI区域,对道路上的各类标线进行检测。Hough变换将图像坐标系转化到新的Hough坐标系,这样所有原图中的直线在新坐标系中汇聚在一起,可以方便的检测出原图中的直线。Canny边缘检测算法可以分为以下5个步骤:
(1)应用高斯滤波来平滑图像;
(2)找寻图像的强度梯度;
(3)应用非最大抑制技术来消除边误检;
(4)应用双阈值的方法来决定可能的边界;
(5)利用滞后技术来跟踪边界,最终得到原图的所有的边缘信息。
同时对图像进行HSV阈值分割,区分不同标线的颜色信息,将原始RGB图像和转化到HSV空间后,白色,黄色和马路的对比非常明显,可以轻松设置阈值将道路上的各种标志线区分出来,至此道路上的斑马线、车道线和机动车非机动车分界线可以全部提取出来。
本发明上述的S12、S13编号仅仅是为了更好的说明整个技术方案,上述的两个操作并没有严格的先后顺序,可以按照任意顺序进行,也可以同时进行。
S14:根据S12和S13得到的结果,判断行人是否有过马路的意图,具体为:通过检测和跟踪行人,识别出行人的朝向、位置,如果行人越过了机动车非机动车的分界线并面朝马路,则认为有过马路的意图,如果有过马路的意图,则进入S15,如无过马路的意图则结束,驾驶员可直接通过;
S15:分析行人与车辆的相对位置,当所述车辆符合停车礼让行人的规定时,发出预警信号以提示车辆驾驶员停车等待行人通过。
较佳实施例中,S15之后还包括:S16:在行人过马路的过程中,始终跟踪行人的位置,一旦行人离开车辆前的安全范围,则预警信号停止,对驾驶员来说更佳方便,免去了驾驶员自己观测行人是否通过。
较佳地,所述S11和S12之间还包括:S17:对车辆行进信息、行人信息以及交通标志线信息进行畸变校正,校正后更符合实际情况,判断更准确。
结合图2,对本发明的礼让行人预警***的部分实施例进行详细描述,如图2 所示,其包括:传感器1、嵌入式平台2以及预警装置3,其中,
传感器1用于采集车辆行进信息、行人信息以及交通标志线信息;嵌入式平台2用于采用基于深度学习的行人检测算法对行人信息进行检测,完成行人位置检测及类别区分;还用于采用交通标志线检测算法对交通标志线信息进行检测,将交通标志线提取出来;还用于根据上述结果判断行人是否有过马路的意图,如果有过马路的意图,则分析行人与车辆的相对位置,当车辆符合停车礼让行人的规定时,控制预警器发出预警信号;预警器用于发出预警信号。
较佳实施例中,嵌入式平台还用于在行人过马路的过程中,始终跟踪行人的位置,一旦行人离开车辆前的安全范围,则控制预警器停止发出预警信号。
较佳实施例中,嵌入式平台中,判断行人是否有过马路的意图,具体为:通过检测和跟踪行人,识别出行人的朝向、位置,如果行人越过了机动车非机动车的分界线并面朝马路,则认为有过马路的意图。
较佳实施例中,传感器采用广角摄像机,广角相机安装在汽车前挡风玻璃上,贴合镜面避免反光。广角摄像机可以克服普通相机视野较窄的问题,对车前方较大区域内进行监控。但是广角摄像机因为其固有的原因,在二维平面成像时会形成画面的畸变,出现例如笔直的车道线会弯曲,行人会扭曲的等问题。较佳实施例中,可以采用直线模型对畸变图像进行校正,使得图像上的曲线还原成真实场景中的直线。
较佳实施例中,预警装置包括:灯光预警装置以及声音预警装置,同时进行声光警示,效果更佳。
需要说明的是,本发明提供的所述礼让行人预警方法中的步骤,可以利用所述礼让行人预警***中对应的模块、装置、单元等予以实现,本领域技术人员可以参照所述***的技术方案实现所述方法的步骤流程,即,所述***中的实施例可理解为实现所述方法的优选例,在此不予赘述。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的***及其各项装置可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
此处公开的仅为本发明的优选实施例,本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化,均应落在本发明所保护的范围内。

Claims (9)

1.一种礼让行人预警***,其特征在于,包括:传感器、嵌入式平台以及预警装置,其中,
所述传感器安装于车辆的前挡风玻璃上,用于采集车辆行进信息、行人信息以及交通标志线信息;
所述嵌入式平台用于采用基于深度学习的行人检测算法对所述行人信息进行检测,完成行人位置检测及类别区分;还用于采用交通标志线检测算法对所述交通标志线信息进行检测,将交通标志线提取出来;还用于根据上述行人检测和交通标志线检测结果判断行人是否有过马路的意图,如果有过马路的意图,则分析行人与车辆的相对位置,当所述车辆符合停车礼让行人的规定时,控制所述预警器发出预警信号;
所述预警器用于发出预警信号;
所述嵌入式平台还用于在行人过马路的过程中,始终跟踪行人的位置,一旦行人离开车辆前的安全范围,则控制所述预警器停止发出预警信号。
2.根据权利要求1所述的礼让行人预警***,其特征在于,所述传感器为广角摄像机。
3.根据权利要求1所述的礼让行人预警***,其特征在于,所述嵌入式平台,其中判断行人是否有过马路的意图是指:通过检测和跟踪行人,识别出行人的朝向、位置,如果行人越过了机动车非机动车的分界线并面朝马路,则认为有过马路的意图。
4.根据权利要求1至3任一项所述的礼让行人预警***,其特征在于,所述嵌入式平台还用于对所述车辆行进信息、行人信息以及交通标志线信息进行畸变校正。
5.一种采用权利要求1至4中任一项所述的礼让行人预警***实施的礼让行人预警方法,其特征在于,包括:
S11:采集车辆行进信息、行人信息以及交通标志线信息;
S12:采用基于深度学习的行人检测算法对所述行人信息进行检测,完成行人位置检测及类别区分;
S13:采用交通标志线检测算法对所述交通标志线信息进行检测,将交通标志线提取出来;
所述S12、S13按照任意顺序或同时进行;
S14:根据所述步骤S12和步骤S13得到的结果,判断行人是否有过马路的意图,如果有过马路的意图,则进入步骤S15;
S15:分析行人与车辆的相对位置,当所述车辆符合停车礼让行人的规定时,发出预警信号以提示车辆驾驶员停车等待行人通过。
6.根据权利要求5所述的礼让行人预警方法,其特征在于,所述S15之后还包括:
S16:在行人过马路的过程中,始终跟踪行人的位置,一旦行人离开车辆前的安全范围,则所述预警信号停止。
7.根据权利要求5所述的礼让行人预警方法,其特征在于,所述S11和S12之间还包括:
S17:对所述车辆行进信息、行人信息以及交通标志线信息进行畸变校正。
8.根据权利要求7所述的礼让行人预警方法,其特征在于,所述S17具体为:采用直线模型对所述车辆行进信息、行人信息以及交通标志线信息进行畸变校正。
9.根据权利要求5所述的礼让行人预警方法,其特征在于,所述S14判断行人是否有过马路的意图,具体为:通过检测和跟踪行人,识别出行人的朝向、位置,如果行人越过了机动车非机动车的分界线并面朝马路,则认为有过马路的意图。
CN201810363236.XA 2018-04-21 2018-04-21 一种礼让行人预警方法及预警*** Active CN108447305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810363236.XA CN108447305B (zh) 2018-04-21 2018-04-21 一种礼让行人预警方法及预警***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810363236.XA CN108447305B (zh) 2018-04-21 2018-04-21 一种礼让行人预警方法及预警***

Publications (2)

Publication Number Publication Date
CN108447305A CN108447305A (zh) 2018-08-24
CN108447305B true CN108447305B (zh) 2020-09-04

Family

ID=63201309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810363236.XA Active CN108447305B (zh) 2018-04-21 2018-04-21 一种礼让行人预警方法及预警***

Country Status (1)

Country Link
CN (1) CN108447305B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493609A (zh) * 2018-12-11 2019-03-19 杭州炬视科技有限公司 一种便携式未礼让行人自动识别抓拍的装置和方法
CN109712388B (zh) * 2019-01-24 2021-03-30 华南理工大学 一种非机动车或行人的过街意图检测***及方法
CN110321823B (zh) * 2019-06-24 2021-03-02 杭州诚道科技股份有限公司 基于深度学习的斑马线礼让行人违法二次检测方法
CN110991221B (zh) * 2019-10-16 2024-02-27 合肥湛达智能科技有限公司 一种基于深度学习的动态交通闯红灯识别方法
CN112001266B (zh) * 2020-07-30 2023-01-17 上海交通大学 一种大型无人运输车监控方法及***
CN112329684B (zh) * 2020-11-16 2024-04-30 常州大学 一种基于注视检测和交通场景识别的行人穿越马路意图识别方法
CN113316788A (zh) * 2021-04-20 2021-08-27 深圳市锐明技术股份有限公司 行人运动轨迹的预测方法、装置、电子设备和存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008024707A1 (de) * 2008-05-21 2009-11-26 Adc Automotive Distance Control Systems Gmbh Fahrerassistenzsystem zum Fußgängerschutz
CN102592450B (zh) * 2012-02-22 2013-09-25 杭州海康威视数字技术股份有限公司 机动车斑马线不礼让行人行为抓拍***及其方法
CN103158620B (zh) * 2013-03-25 2015-09-16 中国电子科技集团公司第三十八研究所 一种车辆行人检测跟踪预警***
US9443163B2 (en) * 2014-05-14 2016-09-13 Mobileye Vision Technologies Ltd. Systems and methods for curb detection and pedestrian hazard assessment
CN104008645B (zh) * 2014-06-12 2015-12-09 湖南大学 一种适用于城市道路车道线预测及预警方法
CN104361648B (zh) * 2014-10-10 2017-02-01 江苏科技大学 一种具有信号灯提示其他车辆的行车记录仪及其控制方法
CN104331708B (zh) * 2014-11-05 2017-11-10 武汉大学 一种人行横道线自动检测分析方法及***
CN104361747B (zh) * 2014-11-11 2017-02-15 杭州新迪数字工程***有限公司 机动车斑马线未礼让行人自动抓拍的识别方法
CN104575043B (zh) * 2014-11-28 2017-04-19 山东易华录信息技术有限公司 一种机动车行经人行横道时的自动提示***和方法
CN107111953A (zh) * 2015-02-13 2017-08-29 宝马股份公司 用于提示车辆驾驶状况的***和方法
CN105225474A (zh) * 2015-08-19 2016-01-06 奇瑞汽车股份有限公司 基于智能可穿戴设备的车辆行人防碰撞预警***
CN105128838B (zh) * 2015-09-11 2019-05-14 浙江吉利汽车研究院有限公司 在人行横道对汽车进行主动降速的方法及***
CN106652556A (zh) * 2015-10-28 2017-05-10 ***通信集团公司 一种人车避撞方法及装置
CN105629785A (zh) * 2015-12-30 2016-06-01 小米科技有限责任公司 智能汽车行驶控制方法及装置
CN107180220B (zh) * 2016-03-11 2023-10-31 松下电器(美国)知识产权公司 危险预测方法
CN106004883B (zh) * 2016-05-24 2018-12-11 北京小米移动软件有限公司 车辆违规提醒的方法及装置
CN105957401A (zh) * 2016-06-08 2016-09-21 上海汽车集团股份有限公司 基于车路协同的交叉路口行人防碰撞方法及其装置
CN107886034B (zh) * 2016-09-30 2020-10-20 比亚迪股份有限公司 行车提醒方法、装置及车辆
KR101967305B1 (ko) * 2016-10-14 2019-05-15 주식회사 만도 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템
CN106709449B (zh) * 2016-12-22 2020-04-21 深圳市深网视界科技有限公司 一种基于深度学习和强化学习的行人重识别方法及***
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测***
CN107945528A (zh) * 2017-12-23 2018-04-20 苏州工业园区服务外包职业学院 一种人行横道实时交通执法***

Also Published As

Publication number Publication date
CN108447305A (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
CN108447305B (zh) 一种礼让行人预警方法及预警***
CN108230731B (zh) 停车场导航***和方法
CN103105174B (zh) 一种基于ar增强现实技术的车载实景安全导航方法
CN105825696B (zh) 基于信号灯信息提示的驾驶辅助***
Wu et al. Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement
Cualain et al. Automotive standards-grade lane departure warning system
JP6129167B2 (ja) カメラを用いた走行レーン認識の方法
CN106871915A (zh) 在机动车中用于自动驾驶的方法和装置
CN105620489A (zh) 驾驶辅助***及车辆实时预警提醒方法
CN107316486A (zh) 基于双摄像头的无人驾驶汽车视觉识别***
KR102277018B1 (ko) 차량 주행 보조 장치 및 차량 주행 보조 방법
DE102016215115A1 (de) Vorrichtung und Verfahren zum Detektieren von Verkehrsteilnehmern in einem Umfeld eines Ego-Fahrzeugs
CN112141114B (zh) 窄道通行辅助***及方法
CN111754814A (zh) 一种辅助驾驶方法、装置及***
CN107609472A (zh) 一种基于车载双摄像头的无人驾驶汽车机器视觉***
US20210070288A1 (en) Driving assistance device
CN109712388B (zh) 一种非机动车或行人的过街意图检测***及方法
CN108108680A (zh) 一种基于双目视觉的后方车辆识别与测距方法
JP5355209B2 (ja) ナビゲーション装置、自車の走行車線の判定方法および判定プログラム
KR20140104516A (ko) 차선 인식 방법 및 장치
BV et al. Computer vision based advanced driver assistance system algorithms with optimization techniques-a review
KR20140087622A (ko) 촬영 영상의 휘도를 이용한 차선 추출 방법
US20230033314A1 (en) Method and processor circuit for operating an automated driving function with object classifier in a motor vehicle, as well as the motor vehicle
Rudin et al. Vision-based lane departure warning system
Chee et al. A Framework for lane departure warning system for various lane markings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Yang Ming

Inventor after: Qian Yeqiang

Inventor after: Luo Quan

Inventor after: Wang Chunxiang

Inventor after: Wang Bing

Inventor before: Yang Ming

Inventor before: Qian Yeqiang

Inventor before: Wang Chunxiang

Inventor before: Wang Bing

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant