CN108256418A - 一种基于红外成像的行人预警方法及*** - Google Patents

一种基于红外成像的行人预警方法及*** Download PDF

Info

Publication number
CN108256418A
CN108256418A CN201711251575.0A CN201711251575A CN108256418A CN 108256418 A CN108256418 A CN 108256418A CN 201711251575 A CN201711251575 A CN 201711251575A CN 108256418 A CN108256418 A CN 108256418A
Authority
CN
China
Prior art keywords
pedestrian
target
early warning
pedestrian target
pressure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711251575.0A
Other languages
English (en)
Other versions
CN108256418B (zh
Inventor
潘想
邱佳杰
黄立
胡艳山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuanyuan Idrive Technology Shenzhen Co ltd
Original Assignee
Xuanyuan Drive Technology (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuanyuan Drive Technology (shenzhen) Co Ltd filed Critical Xuanyuan Drive Technology (shenzhen) Co Ltd
Priority to CN201711251575.0A priority Critical patent/CN108256418B/zh
Publication of CN108256418A publication Critical patent/CN108256418A/zh
Application granted granted Critical
Publication of CN108256418B publication Critical patent/CN108256418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于红外光谱成像与人工侧线技术的行人目标提示与碰撞预警***,通过红外组件采集视野场景的动态红外影像,利用Adaboost算法筛选出每一时帧的红外图像中的行人目标,使预警更有针对性,并进一步利用横穿算法和逼近算法从行人目标中筛选出危险目标,辅以人工侧线单元感知危险目标的距离与速度,计算出车辆与危险目标的碰撞时间,当碰撞时间小于指定阈值时,给出碰撞预警提示。本发明尤其适用于商业区、交通路口等人群聚集区,解决了行人特征变动较大,难以检测和预警的问题。

Description

一种基于红外成像的行人预警方法及***
技术领域
本发明属于安全驾驶领域,更具体地,涉及一种基于红外成像的安全预警***。
背景技术
目前,在安全驾驶,可见光成像技术与计算机视觉技术已经比较成熟,但是由于可见光成像的特点,导致在夜间、雨天、雾霾等恶劣驾驶环境下的成像效果较差,而这些恶劣驾驶环境往往又是危险驾驶环境,因此有必要研发针对夜间等恶劣气候环境的驾驶辅助***。红外热成像能够在夜间及雾天等环境下提供一个较好的驾驶环境,但是红外热成像存在着无法判断前方行人目标的距离,不能提供准确的报警提示。
随着电子技术的发展,基于图像处理的行人目标检测***逐渐取代了传统的红外或雷达等方式,基于图像处理的行人目标检测技术具备更高的可靠性、方便性和低成本越来越受到关注,而现有的Adaboost行人目标检测器未考虑视频图像中行人目标存在近大远小的尺度变化,导致检测误差较大,不能对动态的行人目标作出准确预警。目前,国内外通过给水下机器人装载人工侧线***进行了一系列研究,但还没有人工侧线***应用于陆地或航空领域的报道。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于红外光谱成像与处理技术的行人目标提示与碰撞预警***,可实现恶劣天气的准确行人预警。本***利用Adaboost算法筛选出红外图像中的行人目标,进一步根据目标逼近算法检测出逼近的行人目标,给出行人目标逼近提示,当检测到有行人目标向驾驶方向一侧横穿时,根据行人目标横穿算法判断行人目标状态,并针对不同的危险程度给出不同的横穿预警。
同时,为解决现有技术中红外测距不准确的问题,本发明辅助以人工侧线控制器对前方行人目标进行检测,通过压强变化感知前方行人目标位置和速度,当与前方行人目标的碰撞时间小于指定阈值时,给出提示碰撞报警提示。人工侧线技术是受鱼类侧线***启发而研制成的一种可以感知周围环境信息的***。鱼类依靠其自身所具备的侧线***感知流体特征,能够获知流体的流动方向和水流强度,进而完成捕食、学习、集群等行为。侧线***以分布在鱼类身体不同部位的神经丘为基础,在鱼类游动过程中,其身体与水流位置产生变化时感知流体运动。本发明首次将人工侧线技术应用于非水下领域,通过机械波信号进行对障碍物的距离于速度进行测试,比通常驾驶预警***采用的电磁波谱信号更加稳定。
本***与传统的辅助驾驶***相比,由于将红外热成像技术与Adboost算法结合,能对恶劣天气下的行人目标作出更准确的检测,有着更好地提示与预警效果。本***与电磁波谱信号***相比,辅助安装了接受机械波信号的人工侧线单元,提高了***的稳定性,使驾驶员作出有效的反应,避免恶劣天气下安全事故的发生。
为实现上述目的,按照本发明的一个方面,提供了一种基于红外热成像和人工侧线技术的行人预警方法,运用了红外热成像的方法对驾驶环境的障碍物图像进行采集,利用Adaboost级联分类器检测算法对行人目标进行检测,利用行人目标逼近以及横穿预警算法对行人目标进行逼近判断和横穿判断,并针对不同的行人目标状态做出相应的预警,利用人工侧线技术计算行人目标的相对速度与距离,从而进一步计算出碰撞时间,实现了在夜间等恶劣气候环境对驾驶环境的行人目标的检测与预警。
所述基于红外成像的行人预警方法包括以下步骤:
S1:获取视野场景的动态红外影像,并根据所述动态红外影像获得行人目标及其时帧动态,所述时帧动态为行人目标在所述动态红外影像不同帧中的位置变化及面积变化;
S2:根据行人目标及其时帧动态获得危险目标;
S3:获取受危险目标影响的气流信息,所述气流信息包括前方的一条直线上的多个有效压强,根据所述气流信息获得危险目标的速度和距离,根据危险目标的速度和距离获得碰撞时间,并根据所述碰撞时间获得碰撞预警信号。
优选地,所述步骤S1包括:
S11:获取包含行人目标的红外图片作为正样本集;
S12:获取不含行人目标的红外图片作为负样本集;
S13:根据正负样本集,训练得到具有行人目标特征识别的Adaboost级联分类器;
S14:用所述Adaboost级联分类器检测红外组件获得的红外影像,获得行人目标及其在每一帧红外图像上的变化。
优选地,所述获得行人目标的方法具体为:
S141:将红外影像中当前时帧的红外图像等面积划分成至少2个子图像块;
S142:通过Adaboost级联分类器对所述子图像块进行检测,剔除不含行人目标特征的子图像块,保留包含行人目标特征的子图像块;
S143:将保留的每个子图像块进一步等面积划分成至少2个子图像块,通过Adaboost级联分类器对最终划分得到的子图像块进行检测,剔除不含行人目标特征的子图像块,保留包含行人目标特征的子图像块;
S144:判断划分的次数是否超过预设的循环次数,是则停止划分,融合最终保留的子图像块获得行人目标,否则返回S143。
优选地,所述步骤S2中根据行人目标及其时帧动态获得危险目标的方法包括:所述主控制***检测在15~20帧的时间里所述行人目标的放大次数,若放大次数超过三次,则判断该行人目标为危险目标,否则排除该行人目标,所述放大为行人目标所占图像的面积变大。
优选地,所述步骤S2中根据行人目标及其时帧动态获得危险目标的方法包括:
S21:当Δt等于第一阈值时,若|Δxt|大于第二阈值则判断该行人目标为横穿目标,若|Δyt|大于第三阈值且|kt|>|kt-1|,则判断该行人目标为逼近横穿目标,获得第一危险预警信号;否则进入S122,所述Δt为t帧的时间变化,Δxt为t帧内行人目标左右方向的位移,Δyt为t帧内行人目标前后方向的位移,所述kt为t帧内行人目标的位移斜率,kt-1为(t-1)帧内行人目标的位移斜率,kt=Δyt/Δxt,kt-1=Δyt-1/Δxt-1,所述Δxt-1为(t-1)帧内行人目标左右方向的位移,Δyt-1为(t-1)帧内行人目标前后方向的位移;所述第一阈值为1~6,第二阈值为1~3,第三阈值为1~3;
S22:当Δt等于第一阈值时,若横穿目标Δxt大于第四阈值,则判断该横穿目标为右横穿目标,获得第二危险预警信号;若横穿目标Δxt为负数且|Δxt|大于第四阈值,则判断行人目标为左横穿目标,获得第三危险预警信号;否则排除该行人目标,所述第四阈值为2~6。
在所述步骤S3之前还包括:离线预实验,控制行人的距离不变,设置多组行人的速度,获取前方一条直线上不同位置的有效压强,根据行人的速度及其前后对应的位置的有效压强获得第一关系模型;
控制行人的速度不变,设置多组行人的距离获取一条直线上不同位置的有效压强的差值,根据行人的距离与有效压强的差值获得第二关系模型;
所述步骤S3具体为:行车过程中,将前方一条直线上不同位置的有效压强的差值代入第二关系模型获得危险目标的距离,将与危险目标前后对应的直线上的位置的有效压强代入第一关系模型获得危险目标的速度,所述危险目标对应的所述直线上的位置可由红外图像得到。
所述有效压强的获取方法包括:获取前方一条直线上不同位置的原始压强,根据自然风速与伯努利方程获得自然风产生的压强,作为基准风压,从所述原始压强中减去基准风压,获得有效压强。根据伯努利方程,流体的停滞压强等于静态压强和动态压强之和:
P0=Pfs+1/2ρv2
其中P0为停滞压强,Pfs为静态压强,1/2ρv2为动态压强,ρ和v分别代表流体密度和流体速度。由于在大气压环境中Pfs=0,ρ和v分别代表空气密度和空气流动相对于前端的速度,因此可以得出自然风速对压强的影响。所述风速为相对自然风速,所述自然风速的获取方法为利用风杯测速仪、热敏式风速仪或皮托管式风速仪或压力传感器中的一种或几种测得自然风速。
按照本发明的另一个方面,提供了一种基于红外热成像和人工侧线技术的行人预警***,包括人工侧线单元、红外组件、主控制***、预警装置,所述人工侧线单元的输出端连接主控制***的第一输入端,所述红外组件的输出端连接主控制***的第二输入端,所述主控制***的输出端连接预警装置的输入端,
所述红外组件用于获取视野场景的动态红外影像,所述主控制***用于根据视野场景的动态红外影像获得危险目标,所述人工侧线单元用于根据动态红外影像中一条直线上不同位置的压力信息获得危险目标的速度与距离,所述主控制***进一步根据所述危险目标的速度与距离获得碰撞预警信号。
所述人工侧线单元包括压力传感器阵列、采集板、集成电路总线、STM32控制器,所述压力传感器阵列的输出端通过集成电路总线连接所述采集板的输入端,所述采集板的输出端连接所述STM32控制器的输入端,所述STM32控制器的输出端作为所述人工侧线单元的输出端,
所述压力传感器阵列用于根据不同压力传感器的压力信息获得一条直线上不同位置的空气流体的流动方向和流动强度,所述采集板用于根据一条直线上不同位置的空气流体的流动方向和流动强度获得位于一条直线上的多个有效压强,所述STM32控制器用于根据一条直线上不同位置对应的有效压强获得行人的速度、距离,所述行人为前方行人。
所述压力传感器阵列沿前方的气流压力迹线设置,包括安装于中网处的三个以上压力传感器。
所述预警装置包括车载屏、灯带预警装置、蜂鸣器预警装置中的一种或并联的几种。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
1、本发明与传统的红外辅助驾驶技术相比,通过从红外动态影像中提取危险目标,针对性更强,减少驾驶员的反应时间,通过前方的气流信息获得危险目标的距离与速度,计算碰撞时间,并进行相应的预警,帮助驾驶员判断并作出更加有效的反应,加强行驶安全。
2、针对行人目标运动状态的复杂性,本发明还增设了逼近算法和横穿算法,比起现有技术中单纯的Adboost算法更加充分考虑现实中目标的状态及碰撞概率,给出可靠的经验参数,以根据行人目标提取危险目标,并获得相应预警,进一步优化信息,减少驾驶员的判断时间。
3、本发明首次将人工侧线技术应用于驾驶辅助***中,通常红外热成像在应用中只能判断行人目标在图像中的方位,存在无法获取行人目标的速度和距离,只能通过后续图像处理计算得出一个估算值,无法实现精准的判断的问题,因此引进人工侧线单元与红外热成像单元相结合的方式以实现更精准的报警,本***与电磁波谱信号***相比,辅助安装了接受机械波信号的人工侧线单元,机械波比电磁波***更加稳定性。
4、本发明通过在前方压力迹线处安装人工侧线单元,测得前方一条直线上不同位置对应的有效压强,通过离线实验探究得出有效压强及其差值与行人的距离及速度的关系,从而构建关系模型,有利于在行驶过程中根据一条直线上不同位置的有效压强快速得到行人的距离与速度,进一步计算出碰撞时间,给安全行驶提供了一种新途径。
5、Adaboost级联分类器采用子图像块循环检测法快速提取行人目标,比传统的逐一检测法更快。
6、本发明人工侧线单元通过STM32控制器实现了高速运算和信息传递的功能,适用于驾驶预警***,减少反应时间。
7、人工侧线单元通过集成电路总线进行通信,该通信方法适用于多***同步裁决,能减小不同传感器的信息传输时间差,使检测结果更加可靠。
8、压力传感器采用CPS131传感器,比一般传感器更加灵敏,保证获取气流信息的可靠性,其支持IIC通信功能,能保证数据的快速读写,适用于驾驶预警***,减少反应时间。
附图说明
图1是本发明的***结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供了一种基于红外光谱成像与处理技术的行人目标提示与碰撞预警***,可实现恶劣天气的准确行人预警。本***利用Adaboost算法筛选出红外图像中的行人目标,进一步根据目标逼近算法检测出逼近的行人目标,给出行人目标逼近提示,当检测到有行人目标向驾驶方向一侧横穿时,根据行人目标横穿算法判断行人目标状态,并针对不同的危险程度给出不同的横穿预警。
所述Adaboost算法筛选出红外图像中的行人目标包括以下步骤:
(1)训练过程
收集正样本集以及负样本集,所述正样本集为包含行人目标的图片集,所述负样本集为不包含行人目标的图片集;对样本集中每个样本分别提取特征描述子,并将这些特征描述子作为训练数据,按最小错误率的方法进行训练分类,获得若干弱分类器,根据AdaBoost算法组合弱分类器获得强分类器,再由多个强分类器获得级联分类器,所述级联分类器能有效识别行人目标特征的特征描述子,所述特征描述子包括Haar-like矩形特征、EOH特征、HOG特征中的一种或几种的组合。
(2)检测过程
从红外图像中提出待检测子图像块;计算子图像块中相应的特征描述子;利用级联分类器对所述特征描述子进行筛选,得到包含行人目标特征的子图像块;将包含行人目标特征的子图像块合并融合,获得行人目标。
在基于Adboost算法的横穿算法和逼近算法中,第一种逼近算法为:检测在时间变化为第一阈值时所述行人目标的放大次数,若放大次数超过三次,则判断该行人目标为危险目标,否则排除该行人目标,所述放大为行人目标所占图像的面积变大,其中第一阈值为15~20帧,充分考虑现实中目标的状态及碰撞概率,在车速较快时可减小第一阈值,车速较慢时增大第一阈值,若第一阈值过大可能导致预警不及时,若过小可能导致预警不准确。
第二种逼近算法及其后续的横穿算法为:当Δt等于第一阈值时,若|Δxt|大于第二阈值则判断该行人目标为横穿目标,若|Δyt|大于第三阈值且|kt|>|kt-1|,则判断该行人目标为逼近横穿目标,获得第一危险预警信号;否则进入S122,所述Δt为t帧的时间变化,Δxt为t帧内行人目标左右方向的位移,Δyt为t帧内行人目标前后方向的位移,所述kt为t帧内行人目标的位移斜率,kt-1为(t-1)帧内行人目标的位移斜率,kt=Δyt/Δxt,kt-1=Δyt-1/Δxt-1,所述Δxt-1为(t-1)帧内行人目标左右方向的位移,Δyt-1为(t-1)帧内行人目标前后方向的位移;
当Δt等于第一阈值时,若横穿目标Δxt大于第四阈值,则判断该横穿目标为右横穿目标,获得第二危险预警信号;若横穿目标Δxt为负数且|Δxt|大于第四阈值,则判断行人目标为左横穿目标,获得第三危险预警信号;否则排除该行人目标。
其中第一阈值为1~6,第二阈值为1~3,第三阈值为1~3,第四阈值为2~6,在车速较快时可减小第一阈值,车速较慢时增大第一阈值,若第一阈值过大可能导致预警不及时,若过小可能导致预警信息过多,不精确,第二至四阈值越大,预警越严格可靠,预警次数越少,有利于减少不必要的预警信号,适用于路况熟悉的区域或经验丰富的驾驶员,仅在紧急情况下启动预警,第二至四阈值越大安全性越强,但同时预警次数增多,适用于安全性要求较高的区域或驾驶新手,该阈值范围充分考虑现实中目标的状态及碰撞概率,用户可根据自身需要进行调节。
具体实施例1
按照本发明的一个实施例,提供了一种基于红外热成像和人工侧线技术的行人预警***,如图1所示,运用了红外组件对车辆周围环境的红外影像进行采集,主控制***利用Adaboost级联分类器检测算法对红外影像进行检测,得到行人目标,利用行人逼近以及横穿预警算法对行人进行逼近判断和横穿判断,得到危险行人目标,并针对不同的危险行人目标做出相应的预警,利用人工侧线单元的压力传感器阵列收集车前方的气流信息,所述气流信息包括前方一条直线上不同位置对应的有效压强,直线为动态红外影像中的一条直线,所述压力传感器阵列至少包括第一压力传感器、第二压力传感器、第三压力传感器,由采集板汇总不同压力传感器收集的压强信息,得到前方的一条直线上的多个有效压强,STM32控制器根据与动态红外影像中一条直线上不同位置对应的有效压强获得危险行人目标的相对速度与距离,由主控制***根据危险行人目标的相对速度与距离,从而进一步计算出碰撞时间,实现了车辆在夜间等恶劣气候环境对行人的检测与预警。
所述行人预警***包括人工侧线单元、红外组件、主控制***、预警装置,所述人工侧线单元的输出端连接主控制***的第一输入端,所述人工侧线单元的输出端连接主控制***的第二输入端,所述主控制***的输出端连接预警装置的输入端,
所述人工侧线单元用于根据一条直线上不同位置的压力信息获得行人信息,所述红外组件用于获取视野场景的动态红外影像,所述主控制***用于根据视野场景的动态红外影像获得危险行人目标,根据所述危险行人目标和行人信息获得碰撞预警信号,所述预警装置用于根据预警信号进行预警。
所述人工侧线单元包括压力传感器阵列、采集板、集成电路总线、STM32控制器,所述压力传感器阵列的输出端通过模拟集成电路总线与采集板的输入端连接,所述采集板的输出端连接所述STM32控制器的输入端,所述STM32控制器的输出端作为所述人工侧线单元的输出端,
所述压力传感器阵列用于根据不同传感器的压力信息获得前方一条直线上多个不同位置的压力信息,所述压力信息包括空气流体的流动方向和流动强度,所述采集板用于汇总所述压力信息,获得一条直线上不同位置对应的有效压强,所述STM32控制器用于根据一条直线上不同位置对应的有效压强获得行人信息,所述行人信息包括行人的速度、距离,所述行人为车前方行人,所述速度为车前方行人与车的相对速度,本发明人工侧线单元通过STM32控制器实现了高速运算和信息传递的功能,适用于车载预警***,减少反应时间,通过集成电路总线进行通信,该通信方法适用于多***同步裁决,能减小不同传感器的信息传输时间差,使检测结果更加可靠,压力传感器采用CPS131传感器,比一般传感器更加灵敏,保证获取气流信息的可靠性,其支持IIC通信功能,能保证数据的快速读写,适用于车载预警***,减少反应时间。
所述压力传感器阵列沿车辆气流压力迹线设置,至少包括安装于汽车中网处的三个以上压力传感器。
所述预警装置包括车载屏、灯带预警装置、蜂鸣器预警装置中的一种或并联的几种。
所述红外组件获取视野场景的动态红外影像的方法:利用多个红外摄像头采集车辆周围场景图像,并对图像进行预处理,获得视野场景的动态红外影像。
预处理方法:采集车辆周围的红外图像,根据数据格式的需要,将获取的图像转换成单通道灰度图像,并对图像进行直方图均衡化操作,减少光照和背景的影响,并对图像的尺寸进行适当调整,基于采集的实时图像中行人可能发生碰撞的位置信息估计,对部分不可能出现行人以及行人不处于危险区域的图像不计入检测,只在较小范围内检测行人,减少图像处理面积,从而减少数据处理量,提高算法实用性。提供了一种基于红外热成像和人工侧线技术的行人预警方法,运用了红外热成像的方法对车辆周围的障碍物图像进行采集,利用Adaboost级联分类器检测算法对行人进行检测,利用行人逼近以及横穿预警算法对行人进行逼近判断和横穿判断,并针对不同的行人状态做出相应的预警,利用人工侧线技术计算行人的相对速度与距离,从而进一步计算出碰撞时间,对车辆实现了在夜间等恶劣气候环境对行人的检测与预警。
所述基于红外成像的行人预警***的工作方法,包括以下步骤:
S1:获取视野场景的动态红外影像,并根据所述动态红外影像获得行人目标及其时帧动态,所述时帧动态为行人目标在所述动态红外影像不同帧中的位置变化及面积变化;
S2:根据行人目标及其时帧动态获得危险行人目标;
S3:获取受危险目标影响的气流信息,所述气流信息包括位于一条直线上的多个有效压强,根据所述气流信息获得危险目标的速度和距离,根据危险目标的速度和距离获得碰撞时间,并根据所述碰撞时间获得碰撞预警信号。
所述步骤S1包括:
S11:获取包含行人目标的红外图片作为正样本集;
S12:获取不含行人目标的红外图片作为负样本集;
S13:根据正负样本集,训练得到具有行人特征识别的Adaboost级联分类器;
S14:Adaboost级联分类器根据红外组件获得的红外影像,获得行人目标及其在每一帧红外图像上的变化。
S14中获得行人目标的方法具体为:
S141:将红外影像中当前时帧的红外图像等面积划分成至少2个子图像块;
S142:通过Adaboost级联分类器对所述子图像块进行检测,剔除不含行人目标特征的子图像块,保留包含行人目标特征的子图像块;
S143:将保留的每个子图像块进一步等面积划分成至少2个子图像块,通过Adaboost级联分类器对最终划分得到的子图像块进行检测,剔除不含行人目标特征的子图像块,保留包含行人目标特征的子图像块;
S144:判断划分的次数是否超过预设的循环次数,是则停止划分,融合最终保留的子图像块获得行人目标,否则返回S143。
所述步骤S2包括:所述主控制***检测在20帧的时间里所述行人目标的放大次数,若放大次数超过三次,则判断该行人目标为危险行人目标,否则排除该行人目标,所述放大为行人目标所占图像的面积变大。
所述步骤S3前还包括预实验:控制行人的距离不变,设置多组行人的速度获取所述行人前后对应的位置的有效压强,根据行人的速度及所述有效压强获得第一关系模型;
控制行人的速度不变,设置多组行人的距离获取所述一条直线上不同位置的有效压强的差值,根据行人的距离及有效压强的差值获得第二关系模型;
步骤S3中获取有效压强的方法为:
S31:获取前方一条直线上不同位置的原始压强以及基准风压,所述基准风压为自然风产生的压强;
S32:从所述原始压强中减去基准风压,获得有效压强。
步骤S3中根据所述气流信息获得危险行人目标的速度和距离的方法为:
S33:根据危险行人目标前后对应的位置的有效压强以及第一模型获得危险行人目标的速度,根据一条直线上不同位置的有效压强的差值以及第二模型获得危险行人目标的距离,所述危险行人目标的速为危险行人目标与车的相对速度。
具体实施例2
一种基于红外成像的行人预警***的工作方法,包括以下步骤:
S1:获取视野场景的动态红外影像,并根据所述动态红外影像获得行人目标及其时帧动态,所述时帧动态为行人目标在所述动态红外影像不同帧中的位置变化及面积变化;
S2:根据行人目标及其时帧动态获得危险行人目标;
S3:获取受危险目标影响的气流信息,所述气流信息包括前方的一条直线上的多个有效压强,根据所述气流信息获得危险目标的速度和距离,根据危险目标的速度和距离获得碰撞时间,并根据所述碰撞时间获得碰撞预警信号。
所述步骤S1包括:
S11:获取包含行人目标的红外图片作为正样本集;
S12:获取不含行人目标的障碍物红外图片作为负样本集;
S13:根据正负样本集,训练得到具有行人特征识别的Adaboost级联分类器;
S14:用Adaboost级联分类器根据红外组件获得的红外影像,获得行人目标及其在每一帧红外图像上的变化。
S14中获得行人目标的方法具体为:
S141:将红外影像中当前时帧的红外图像等面积划分成至少2个子图像块;
S142:通过Adaboost级联分类器对所述子图像块进行检测,剔除不含行人目标特征的子图像块,保留包含行人目标特征的子图像块;
S143:将保留的每个子图像块进一步等面积划分成至少2个子图像块,通过Adaboost级联分类器对最终划分得到的子图像块进行检测,剔除不含行人目标特征的子图像块,保留包含行人目标特征的子图像块;
S144:判断划分的次数是否超过预设的循环次数,是则停止划分,融合最终保留的子图像块获得行人目标,否则返回S143。
所述步骤S2包括如下步骤:
S21:以所述红外图像的左上角为原点,像素为单位,朝右为x轴正方向,朝下为y正方向建立坐标系,在Δt=3帧时,若|Δxt|>1则判断该目标为横穿行人目标,若|Δyt|>1且|kt|>|kt-1|,则判断该目标为逼近横穿行人目标,获得第一危险预警信号;否则进入S22,所述Δt为t帧的时间变化,Δxt为t帧内行人目标的横坐标变化,Δyt为t帧内行人目标的纵坐标变化,所述kt为t帧内行人目标的速度斜率,kt-1为(t-1)帧内行人目标的速度斜率,kt=Δyt/Δxt,kt-1=Δyt-1/Δxt-1
S22:判断横穿行人目标在Δt=1帧的时间里的轨迹,若Δxt>3,则判断该横穿行人目标为右横穿行人目标,获得第二危险预警信号;若Δxt<-3,则判断行人目标为左横穿行人目标,获得第三危险预警信号;否则排除该行人目标。
所述步骤S3前还包括预实验:控制行人的距离不变,设置多组行人的速度获取所述行人前后对应的位置的有效压强,根据行人的速度及所述有效压强获得第一关系模型;
控制行人的速度不变,设置多组行人的距离获取所述一条直线上不同位置的有效压强的差值,根据行人的距离及有效压强的差值获得第二关系模型;
步骤S3中获取有效压强的方法为:
S31:获取前方一条直线上不同位置的原始压强以及基准风压,所述基准风压为自然风产生的压强;
S32:从所述原始压强中减去基准风压,获得有效压强。
步骤S3中根据所述气流信息获得危险行人目标的速度和距离的方法为:
S33:根据危险行人目标前后对应的位置的有效压强以及第一关系模型获得危险行人目标的速度,根据一条直线上不同位置的有效压强的差值以及第二关系模型获得危险行人目标的距离,所述危险行人目标的速度为危险行人目标与车的相对速度。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于红外成像的行人预警方法,其特征在于,包括:
S1:获取视野场景的动态红外影像,并根据所述动态红外影像获得危险目标;
S2:获取受危险目标影响的气流信息,所述气流信息包括前方一条直线上的多个有效压强,根据所述气流信息获得危险目标的速度和距离,根据危险目标的速度和距离获得碰撞时间,并根据所述碰撞时间获得碰撞预警信号。
2.如权利要求1所述的基于红外成像的行人预警方法,其特征在于,所述有效压强由原始压强减去基准风压而获得。
3.如权利要求2所述的基于红外成像的行人预警方法,其特征在于,根据动态红外影像获得危险目标的方法为:
S11:根据所述动态红外影像获得行人目标及其时帧动态;
S12:根据行人目标及其时帧动态获得危险目标。
4.如权利要求3所述的基于红外成像的行人预警方法,其特征在于,所述步骤S12中根据行人目标及其时帧动态获得危险目标的方法为:检测在Δt等于第一阈值时所述行人目标累积的放大次数,若放大次数超过第二阈值,则判断该行人目标为危险目标,获得第一危险预警信号,否则排除该行人目标,所述Δt为t帧的时间变化,t>1,所述放大为行人目标的面积变大。
5.如权利要求3所述的基于红外成像的行人预警方法,其特征在于,所述步骤S12中根据行人目标及其时帧动态获得危险目标的方法包括:
S121:当Δt等于第一阈值时,若|Δxt|大于第二阈值则判断该行人目标为横穿目标,若|Δyt|大于第三阈值且|kt|>|kt-1|,则判断该行人目标为逼近横穿目标,获得第一危险预警信号;否则进入S122,所述Δt为t帧的时间变化,t>1,Δxt为t帧内行人目标左右方向的位移,Δyt为t帧内行人目标前后方向的位移,所述kt为t帧内行人目标的位移斜率,kt-1为(t-1)帧内行人目标的位移斜率,kt=Δyt/Δxt,kt-1=Δyt-1/Δxt-1,所述Δxt-1为(t-1)帧内行人目标左右方向的位移,Δyt-1为(t-1)帧内行人目标前后方向的位移;
S122:当Δt等于第一阈值时,若横穿目标Δxt大于第四阈值,则判断该横穿目标为右横穿目标,获得第二危险预警信号;若横穿目标Δxt为负数且|Δxt|大于第四阈值,则判断行人目标为左横穿目标,获得第三危险预警信号;否则排除该行人目标。
6.如权利要求4或5所述的基于红外成像的行人预警方法,其特征在于,在步骤S11前包括:用Adaboost算法获得具有行人目标特征识别功能的Adaboost级联分类器;在步骤S11中所述根据动态红外影像获得行人目标的方法为:用所述Adaboost级联分类器从所述动态红外影像中提取出行人目标。
7.如权利要求6所述的一种基于红外成像的行人预警方法,其特征在于,所述提取出行人目标的方法具体为:
S111:将红外影像中当前时帧的红外图像等面积划分成至少2个子图像块;
S112:用所述Adaboost级联分类器对所述子图像块进行检测,剔除不含行人目标特征的子图像块,保留包含行人目标特征的子图像块;
S113:将保留的每个子图像块进一步等面积划分成至少2个子图像块,用Adaboost级联分类器对最终划分得到的子图像块进行检测,剔除不含行人目标特征的子图像块,保留包含行人目标特征的子图像块;
S114:判断划分的次数是否超过预设的循环次数,是则停止划分,融合最终保留的子图像块获得行人目标,否则返回S113。
8.一种基于红外成像的行人预警***,其特征在于,包括人工侧线单元、红外组件、主控制***、预警装置,所述人工侧线单元的输出端连接主控制***的第一输入端,所述红外组件的输出端连接主控制***的第二输入端,所述主控制***的输出端连接预警装置的输入端,
所述红外组件用于获取视野场景的动态红外影像,所述主控制***用于根据视野场景的动态红外影像获得危险目标,所述人工侧线单元用于根据前方一条直线上的多个有效压强获得危险目标的速度与距离,所述主控制***进一步根据所述危险目标的速度与距离获得碰撞预警信号。
9.一种用于权利要求8所述的预警***的人工侧线单元,其特征在于,包括压力传感器阵列、集成电路总线、STM32控制器,所述压力传感器阵列的输出端通过集成电路总线连接所述采集板的输入端,所述采集板的输出端连接所述STM32控制器的输入端,所述STM32控制器的输出端作为所述人工侧线单元的输出端,
所述压力传感器阵列用于根据不同传感器的压力信息获得前方一条直线上的多个有效压强,所述STM32控制器用于根据所述前方一条直线上的多个有效压强获得行人的速度、距离。
10.如权利要求9所述的人工侧线单元,其特征在于,所述压力传感器阵列沿前方气流压力迹线设置,包括三个以上压力传感器。
CN201711251575.0A 2017-12-01 2017-12-01 一种基于红外成像的行人预警方法及*** Active CN108256418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711251575.0A CN108256418B (zh) 2017-12-01 2017-12-01 一种基于红外成像的行人预警方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711251575.0A CN108256418B (zh) 2017-12-01 2017-12-01 一种基于红外成像的行人预警方法及***

Publications (2)

Publication Number Publication Date
CN108256418A true CN108256418A (zh) 2018-07-06
CN108256418B CN108256418B (zh) 2022-01-21

Family

ID=62722370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711251575.0A Active CN108256418B (zh) 2017-12-01 2017-12-01 一种基于红外成像的行人预警方法及***

Country Status (1)

Country Link
CN (1) CN108256418B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145980A (zh) * 2018-08-16 2019-01-04 大连民族大学 用于道路行人分类的磁力概率算法及***
CN111368883A (zh) * 2020-02-21 2020-07-03 浙江大华技术股份有限公司 基于单目摄像头的避障方法、计算装置及存储装置
CN112632686A (zh) * 2020-12-30 2021-04-09 天津大学 海上沉桩施工过程碰撞的预警方法

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060244632A1 (en) * 2005-05-02 2006-11-02 Mr. James Corcoran Automatic Vehicle Collison Avoidance and Warning System
CN101497342A (zh) * 2009-01-13 2009-08-05 杭州创联电子技术有限公司 自轮运转特种设备运行安全的***综合监管方法及其***
CN101826265A (zh) * 2010-04-29 2010-09-08 大连海事大学 一种绿色驾驶行为训练装置
CN102381481A (zh) * 2011-08-01 2012-03-21 四川省科学城久利科技实业有限责任公司 一种无人机机载激光雷达***
CN102627093A (zh) * 2011-02-04 2012-08-08 丰田自动车株式会社 车辆侧面安全气囊装置
CN102673545A (zh) * 2011-03-16 2012-09-19 富士重工业株式会社 车辆用驾驶辅助装置
CN103761832A (zh) * 2014-01-22 2014-04-30 安徽科赫信息技术有限公司 一种可穿戴人体碰撞预警防护装置及其预警防护方法
CN203832189U (zh) * 2013-01-08 2014-09-17 福特全球技术公司 利用主动悬架的自适应碰撞高度调节***
US20150066283A1 (en) * 2013-09-04 2015-03-05 Amazon Technologies, Inc. System and method for transporting personnel within an active workspace
CN105291974A (zh) * 2015-11-11 2016-02-03 深圳市精能奥天导航技术有限公司 一种预防后车碰撞的主动警示***和方法
CN105333988A (zh) * 2015-11-25 2016-02-17 中国海洋大学 一种人工侧线压力检测方法
CN205209685U (zh) * 2015-11-25 2016-05-04 中国海洋大学 一种人工侧线压力检测装置
CN205428125U (zh) * 2016-03-15 2016-08-03 姚冰 公交车安全监测***
CN106156725A (zh) * 2016-06-16 2016-11-23 江苏大学 一种基于车辆前方的行人及骑车人的识别预警***的工作方法
CN106203268A (zh) * 2016-06-28 2016-12-07 成都之达科技有限公司 基于红外识别的车辆状态监控方法
CN206003179U (zh) * 2016-08-31 2017-03-08 王文礼 一种多功能车辆事故预警器
CN106683489A (zh) * 2017-03-01 2017-05-17 青岛海澄知识产权事务有限公司 一种避免二次交通事故预警装置
CN106989758A (zh) * 2017-05-24 2017-07-28 北京大学 基于人工侧线***的邻近水下机器人近距离感知方法
CN107145105A (zh) * 2017-05-24 2017-09-08 北京大学 一种基于压强传感器阵列的人工侧线***
CN107195201A (zh) * 2017-07-18 2017-09-22 青岛厚科信息工程有限公司 高速公路上防止连环撞车预警***
CN107364459A (zh) * 2017-06-28 2017-11-21 北京康拓红外技术股份有限公司 一种铁路车辆列检机器人智能作业***和方法
CN107368095A (zh) * 2017-08-29 2017-11-21 中国人民解放军国防科技大学 一种小型固定翼无人机空中防撞***及防撞方法

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060244632A1 (en) * 2005-05-02 2006-11-02 Mr. James Corcoran Automatic Vehicle Collison Avoidance and Warning System
CN101497342A (zh) * 2009-01-13 2009-08-05 杭州创联电子技术有限公司 自轮运转特种设备运行安全的***综合监管方法及其***
CN101826265A (zh) * 2010-04-29 2010-09-08 大连海事大学 一种绿色驾驶行为训练装置
CN102627093A (zh) * 2011-02-04 2012-08-08 丰田自动车株式会社 车辆侧面安全气囊装置
CN102673545A (zh) * 2011-03-16 2012-09-19 富士重工业株式会社 车辆用驾驶辅助装置
CN102381481A (zh) * 2011-08-01 2012-03-21 四川省科学城久利科技实业有限责任公司 一种无人机机载激光雷达***
CN203832189U (zh) * 2013-01-08 2014-09-17 福特全球技术公司 利用主动悬架的自适应碰撞高度调节***
US20150066283A1 (en) * 2013-09-04 2015-03-05 Amazon Technologies, Inc. System and method for transporting personnel within an active workspace
CN103761832A (zh) * 2014-01-22 2014-04-30 安徽科赫信息技术有限公司 一种可穿戴人体碰撞预警防护装置及其预警防护方法
CN105291974A (zh) * 2015-11-11 2016-02-03 深圳市精能奥天导航技术有限公司 一种预防后车碰撞的主动警示***和方法
CN105333988A (zh) * 2015-11-25 2016-02-17 中国海洋大学 一种人工侧线压力检测方法
CN205209685U (zh) * 2015-11-25 2016-05-04 中国海洋大学 一种人工侧线压力检测装置
CN205428125U (zh) * 2016-03-15 2016-08-03 姚冰 公交车安全监测***
CN106156725A (zh) * 2016-06-16 2016-11-23 江苏大学 一种基于车辆前方的行人及骑车人的识别预警***的工作方法
CN106203268A (zh) * 2016-06-28 2016-12-07 成都之达科技有限公司 基于红外识别的车辆状态监控方法
CN206003179U (zh) * 2016-08-31 2017-03-08 王文礼 一种多功能车辆事故预警器
CN106683489A (zh) * 2017-03-01 2017-05-17 青岛海澄知识产权事务有限公司 一种避免二次交通事故预警装置
CN106989758A (zh) * 2017-05-24 2017-07-28 北京大学 基于人工侧线***的邻近水下机器人近距离感知方法
CN107145105A (zh) * 2017-05-24 2017-09-08 北京大学 一种基于压强传感器阵列的人工侧线***
CN107364459A (zh) * 2017-06-28 2017-11-21 北京康拓红外技术股份有限公司 一种铁路车辆列检机器人智能作业***和方法
CN107195201A (zh) * 2017-07-18 2017-09-22 青岛厚科信息工程有限公司 高速公路上防止连环撞车预警***
CN107368095A (zh) * 2017-08-29 2017-11-21 中国人民解放军国防科技大学 一种小型固定翼无人机空中防撞***及防撞方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENG, P等: "The effect of sensor errors on the performance of collision warning systems", 《INTELLIGENT TRANSPORTATION SYSTEMS IEEE》 *
刘竞阳: "基于红外测距传感器的移动机器人路径规划***设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145980A (zh) * 2018-08-16 2019-01-04 大连民族大学 用于道路行人分类的磁力概率算法及***
CN109145980B (zh) * 2018-08-16 2020-09-22 大连民族大学 用于道路行人分类的磁力概率算法及***
CN111368883A (zh) * 2020-02-21 2020-07-03 浙江大华技术股份有限公司 基于单目摄像头的避障方法、计算装置及存储装置
CN111368883B (zh) * 2020-02-21 2024-01-19 浙江大华技术股份有限公司 基于单目摄像头的避障方法、计算装置及存储装置
CN112632686A (zh) * 2020-12-30 2021-04-09 天津大学 海上沉桩施工过程碰撞的预警方法
CN112632686B (zh) * 2020-12-30 2022-07-22 天津大学 海上沉桩施工过程碰撞的预警方法

Also Published As

Publication number Publication date
CN108256418B (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
CN107031623B (zh) 一种基于车载盲区相机的道路预警方法
CN110992683B (zh) 一种基于动态图像感知的交叉口盲区预警方法及***
CN105512623B (zh) 基于多传感器雾天行车视觉增强与能见度预警***及方法
CN107284355B (zh) 一种安全车门开启处理方法及***
CN105922990B (zh) 一种基于云端机器学习的车辆环境感知和控制方法
CN102765365B (zh) 基于机器视觉的行人检测方法及行人防撞预警***
CN105844222B (zh) 基于视觉的前方车辆碰撞预警***及方法
US10699567B2 (en) Method of controlling a traffic surveillance system
CN108596058A (zh) 基于计算机视觉的行车障碍物测距方法
KR101891460B1 (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
CN106240458A (zh) 一种基于车载双目相机的车辆前方碰撞预警方法
CN104573646A (zh) 基于激光雷达和双目相机的车前行人检测方法及***
CN106485233A (zh) 可行驶区域检测方法、装置和电子设备
CN106537180A (zh) 用于用针对行人的主动制动的摄影机输入缓解雷达传感器限制的方法
CN110065494A (zh) 一种基于车轮检测的车辆防碰撞方法
CN105930787A (zh) 车辆开门预警方法
WO2005036371A2 (en) Moving object detection using low illumination depth capable computer vision
CN109696676B (zh) 一种有效障碍物目标确定方法、装置和车辆
CN107274678B (zh) 一种基于Kinect的夜间车流量统计及车型识别方法
CN204309672U (zh) 一种基于图像识别的防后车追尾预警装置
CN108256418A (zh) 一种基于红外成像的行人预警方法及***
CN112101316B (zh) 一种目标检测方法及***
CN108108680A (zh) 一种基于双目视觉的后方车辆识别与测距方法
CN109389060A (zh) 一种基于视觉的车周碰撞预警方法
CN113706901B (zh) 高速公路隧道入口段事故智慧防控与预警***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Building 4, No. 8 Deyi Road, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430205

Patentee after: Xuanyuan Idrive Technology (SHENZHEN) Co.,Ltd.

Country or region after: China

Address before: 518000 floor 12, building 1, yongxinhui, No. 4078, Dongbin Road, Nanshan street, Nanshan District, Shenzhen, Guangdong

Patentee before: XUANYUAN IDRIVE TECHNOLOGY (SHENZHEN) CO.,LTD.

Country or region before: China