CN108694363A - 对车辆周围的行人进行检测的方法和装置 - Google Patents

对车辆周围的行人进行检测的方法和装置 Download PDF

Info

Publication number
CN108694363A
CN108694363A CN201710234918.6A CN201710234918A CN108694363A CN 108694363 A CN108694363 A CN 108694363A CN 201710234918 A CN201710234918 A CN 201710234918A CN 108694363 A CN108694363 A CN 108694363A
Authority
CN
China
Prior art keywords
bicyclist
frame
parameter
pedestrian
detection block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710234918.6A
Other languages
English (en)
Inventor
戴依若
张杨
照井孝
照井孝一
志磨健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to CN201710234918.6A priority Critical patent/CN108694363A/zh
Priority to JP2019512544A priority patent/JP6756908B2/ja
Priority to PCT/JP2018/015194 priority patent/WO2018190362A1/ja
Publication of CN108694363A publication Critical patent/CN108694363A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种对车辆周围的行人进行检测的装置和方法，该装置包括：获取单元，从车辆中的拍摄装置获取车辆周围的图像信息，并检测车辆的当前车速；初始候选框参数计算单元，根据图像信息，计算得到车辆周围的行人的初始候选框参数，初始候选框参数包括朝向，朝向是行人相对于拍摄装置的角度；调整单元，根据朝向，对初始候选框参数进行调整，得到调整后的候选框参数；分类单元，根据调整后的候选框参数，将多个行人分类为骑行者和步行者，并得到骑行者的骑行者检测框参数；危险系数设定单元，根据骑行者检测框参数、骑行者各自的状态信息、朝向的变化频率，为每个骑行者设定危险系数。

Description

对车辆周围的行人进行检测的方法和装置
技术领域
本发明涉及对车辆周围的行人进行检测的方法和装置。
背景技术
汽车的发展给人类带来了极大便利，但同时引发的交通事故也是长期困扰人们的难题。除了汽车的驾驶员本身的违规行为及不良习惯所造成的事故外，在中国大部分道路上，行人交通违规行为也非常严重。特别是大街小巷中的骑行者(包括摩托车、助力车、电动车、自行车、三轮车等非机动车辆)占用机动车道、不遵守红绿灯规定、肆意横穿马路、逆向行驶等违规行为屡见不鲜。虽然我国《道路交通安全法》第五十八条规定“残疾人机动轮椅车、电动自行车在非机动车道内行驶时，最高时速不得超过十五公里。”然而现实情况是，电动自行车的实际时速多在40-50公里左右，远远超过了法律所规定的最高时速。2016年中国非机动车保有量约为3.9亿辆，其中电动自行车约为2.2亿辆。如此大基数，非机动车对公路交通所产生的危险隐患不容忽视。
与此同时，由于传感器以及控制技术的飞速发展，以预防事故危险的汽车主动安全技术受到越来越多的重视。世界各地汽车就安全相关的防碰撞标准化也正在加速制定中，预计欧洲新车安全评鉴协会(EuroNCAP)在2018年之后将把避免与自行车相撞的功能列入汽车评估对象。大陆集团使用雷达和高精度全球定位***传感器，实现了汽车与自行车同步移动，以此监测自行车，实现自动刹车；沃尔沃联合瑞典体育用品公司以及爱立信公司，合作开发了驾驶员和骑行者之间的双向通讯的***，可以预防车辆撞上行人；捷豹路虎目前也正在研发自行车防撞警示技术。
针对骑行者防撞警示技术，基于传感器的骑行者检测和跟踪算法起着至关重要的作用。下述专利，《基于视觉的行人及骑行者检测方法》(《Vision based Pedestrian andCyclist Detection Method》，美国专利申请号US9,087,263B2，公开日2015年7月21日，台湾中山科学研究院申请)以车载摄像机为传感器，公开了一种骑行者检测算法，该算法先分别检测出人和自行车的部分，并按照两者的空间位置关系来判断是否是骑行者。但是该专利需要对自行车圆形车轮进行检测，对于自行车车轮无法看见的场景无效，以致无法判断该行人是否是骑行者。
与此同时，车载传感器工作环境和条件十分苛刻，因为快速行驶的车辆避撞时间极短，这就要求防撞车载***具有实时性强、处理速度快的特点。在实际路况中，行驶着多辆非机动车、机动车，还有众多行人和静止路障物体，因此也不可避免地会出现对多个骑行者进行检测的问题。但是，多个骑行者的检测中运算复杂，且计算量大的算法往往难以满足实时性需求。因此，现有技术中难以实时地检测多个骑行者。
发明内容
本发明提供一种对车辆周围的行人进行检测的装置，所述装置包括：
获取单元，从所述车辆中的拍摄装置获取所述车辆周围的图像信息，并检测所述车辆的当前车速；
初始候选框参数计算单元，根据所述图像信息，计算得到所述车辆周围的多个行人各自在每个时刻的初始候选框参数，所述初始候选框参数包括朝向，其中，所述朝向是行人相对于所述拍摄装置的角度；
调整单元，根据所述朝向，对所述初始候选框参数进行调整，得到所述每个时刻的调整后的候选框参数；
分类单元，根据所述调整后的候选框参数，将所述多个行人分类为一个或多个骑行者和一个或多个步行者，并得到所述一个或多个骑行者各自在每个时刻的骑行者检测框参数；
危险系数设定单元，根据所述骑行者检测框参数、所述一个或多个骑行者各自的状态信息、所述朝向的变化频率，为所述一个或多个骑行者中的每个骑行者设定危险系数。
所述初始候选框参数还包括框重心坐标、框宽度w、框高度h，
其中，所述调整后的候选框参数包括所述框重心坐标、调整后的框宽度w’、所述框高度h、以及所述朝向α，其中
其中，所述分类单元将所述一个或多个骑行者各自在所述每个时刻的所述调整后的候选框参数，作为所述骑行者检测框参数。
如此，可以通过调整后的候选框参数，将行人中的骑行者分类出来。
所述分类单元将所述一个或多个步行者各自的初始候选框参数作为所述一个或多个步行者各自在所述每个时刻的步行者检测框参数，
其中，所述危险系数设定单元根据所述步行者检测框参数、所述一个或多个步行者各自的状态信息、所述朝向的变化频率，为所述一个或多个步行者中的每个步行者设定危险系数。
对于所述一个或多个骑行者中的每个骑行者，所述危险系数设定单元根据前一时刻的骑行者检测框参数中的框重心坐标和当前时刻的骑行者检测框参数中的框重心坐标，得到所述每个骑行者相对于所述车辆的相对速度和相对运动方向。
所述危险系数设定单元对所述每个骑行者，判断是否是新骑行者，如果是，则所述危险系数设定为1，否则根据当前时刻的所述骑行者检测框参数中的所述框重心坐标和所述朝向、所述相对速度、所述相对运动方向、所述状态信息、所述朝向的变化频率，设定所述危险系数。
所述状态信息是正常状态或异常状态，当所述危险系数设定单元根据所述骑行者检测框参数中的所述框高度判定所述骑行者是儿童、或从所述图像信息中判定所述骑行者与其他骑行者之间的距离小于预定安全距离、或从所述图像信息中判定所述骑行者受到外界物体的干扰时，确定所述状态信息为异常状态。
本发明还提供一种对车辆周围的行人进行检测的方法，该方法包括：
a)从所述车辆中的拍摄装置获取所述车辆周围的图像信息，并检测所述车辆的当前车速；
b)根据所述图像信息，计算得到所述车辆周围的多个行人各自在每个时刻的初始候选框参数，所述初始候选框参数包括朝向，其中，所述朝向是行人相对于所述拍摄装置的角度；
c)根据所述朝向，对所述初始候选框参数进行调整，得到所述每个时刻的调整后的候选框参数；
d)根据所述调整后的候选框参数，将所述多个行人分类为一个或多个骑行者和一个或多个步行者，并得到所述一个或多个骑行者各自在每个时刻的骑行者检测框参数；
e)根据所述骑行者检测框参数、所述一个或多个骑行者各自的状态信息、所述朝向的变化频率，为所述一个或多个骑行者中的每个骑行者设定危险系数。
通过本发明的上述装置和方法，可以快速将行人中的多个骑行者和多个步行者进行区分，以便实时地检测多个骑行者。
附图说明
图1是根据本发明的实施例的对车辆周围的行人进行检测的装置的结构图；
图2是根据本发明的实施例的对车辆周围的行人进行检测的方法的流程图；
图3(a)是根据本发明的实施例的多个行人中的一个行人在时刻t1的初始候选框的示意图；
图3(b)是图3(a)所示的一个行人的调整后的候选框的示意图；
图4(a)是根据本发明的实施例的多个行人中的另一个行人在时刻t1的初始候选框的示意图；
图4(b)是图4(a)所示的另一个行人的调整后的候选框的示意图；
图5是显示朝向的定义的示意图。
具体实施方式
下面结合附图，对本发明的实施例进行详细说明。
图1是根据本发明的实施例的对车辆周围的行人进行检测的装置10的结构图，该装置10包括获取单元11、初始候选框参数计算单元12、调整单元13、分类单元14、危险系数设定单元15。
图2是根据本发明的实施例的对车辆周围的行人进行检测的方法的流程图。如图2所示，在步骤S21，获取单元11从车辆中的拍摄装置获取车辆周围的图像信息，并检测车辆的当前车速。该拍摄装置(图未视)是安装在车辆的适当位置(可以布置在车辆前挡风玻璃的上端、车尾后端、车身两侧)的摄像头***，可以是一部或多部摄像头***，采集并存储来自车体前方、后方、两边侧面的图像信息。摄像头***通常由光学***与摄像头组成，光学***可以具有变倍功能、自动调焦功能等，摄像头可以采用彩色CCD(电荷耦合元件)摄像机。
在步骤S22，初始候选框参数计算单元12根据上述图像信息，计算得到车辆周围的多个行人各自在每个时刻的初始候选框参数，初始候选框参数包括朝向α，其中，朝向α是行人相对于拍摄装置的角度，即，行人的身体躯干相对于拍摄装置的角度。
图5是显示朝向α的定义的示意图。当行人相对于拍摄装置的朝向为正右时，α为0；当行人相对于拍摄装置的朝向为正前时，α为π/2；当行人相对于拍摄装置的朝向为正左时，α为π或-π；当行人相对于拍摄装置的朝向为正后时，α为-π/2。其他朝向按其实际大小输出，并归一到[-π，π]。同样也可按照图5，将划分为某一区域的朝向α划分为一类的同一个角度。如图5所示，当行人相对于拍摄装置的朝向为前右时，归类为I类，α为π/4；当行人相对于拍摄装置的朝向为前时，归类为II类，α为π/2；当行人相对于拍摄装置的朝向为前左时，归类为III类，α为π*3/4；当行人相对于拍摄装置的朝向为左时，归类为IV类，α为π或-π；当行人相对于拍摄装置的朝向为后左时，归类为V类，α为-π*3/4；当行人相对于拍摄装置的朝向为后时，归类为VI类，α为-π/2；当行人相对于拍摄装置的朝向为后右时，归类为VII类，α为-π/4；当行人相对于拍摄装置的朝向为右时，归类为VIII类，α为0。
初始候选框参数还包括框重心坐标、框宽度w、框高度h。图3(a)是根据本发明的实施例的多个行人中的一个行人在时刻t1的初始候选框F的示意图，该初始候选框F的初始候选框参数包括框重心坐标(xt1，yt1，zt1)、框宽度wt1、框高度ht1、以及朝向αt1(图未视)。这里，框重心坐标被设定为车辆的世界坐标系，例如，坐标原点是车辆的车头中间正下方的位置。
这里，例如，可通过特征提取方法(稠密特征：DPM可变形部件模型、ACF总信道特征、HOG方向梯度直方图、稠密边缘等；稀疏特征：尺寸、形状、稀疏边缘、身体部件、步态、纹理、灰度/边缘对称等)、轮廓模板匹配等方法，先计算出含有框重心坐标、框宽度、框高度的初始候选框，特征提取方法例如为机器学习中的深度学习算法。然后，利用深度学习算法或普通机器学习算法，分析出行人的朝向。例如，可以采用专门的朝向检测网络或基于不同朝向梯度直方图的不同模型将输入的行人的初始候选框分为不同朝向。该方法类型称为级联模型。
另外，例如，可以用同一深度学习网络或同一普通机器学习，即单一模型算法，一起计算得到框重心坐标、框宽度、框高度和朝向。其中，在深度学习网络中，将行人朝向作为深度学习网络最后全连接层中的回归损失函数中的一部分进行训练和检测。
可以看出，在步骤S22，初始候选框参数计算单元12通过上述计算，可以从图像信息中识别出所有的行人。本发明中，行人包括骑行者和/或步行者。
在步骤S23，调整单元13根据朝向，对初始候选框参数进行调整，得到每个时刻的调整后的候选框参数。
图3(b)是图3(a)所示的一个行人的调整后的候选框的示意图。如图3(b)所示，调整单元13对该行人在时刻t1的初始候选框F的初始候选框参数进行调整，得到该行人在时刻t1的调整后的候选框F’。例如，调整后的候选框F’的候选框参数包括框重心坐标(xt1，yt1，zt1)、框宽度wt1’、框高度ht1、以及朝向αt1(图未视)。其中，也就是说，调整单元13根据框高度ht1、以及朝向αt1来改变初始候选框F的框宽度wt1，得到调整后的候选框F’的框宽度wt1’，同时其他参数不变。
如此，可以获得多个行人中的每个行人在t1时刻的调整后的候选框的候选框参数。
当行人相对于摄像装置的朝向为前或后时，不改变其初始候选框的大小，即，调整后的候选框参数与初始候选框参数相同。当行人相对于摄像装置的朝向为左或右时，保持初始候选框的框高度不变，将框宽度调整为与框高度相等。当行人相对于摄像装置的朝向为后左或后右或前左或前右时，保持初始候选框的框高度不变，将框宽度调整为框高度的一半。另外，该变化(调整)的前提是在保证框重心坐标不变的情况下。此外，一旦框宽度发生变化，调整后的候选框的四个顶点坐标也会相应变化，如图3(b)所示。
在步骤S24，分类单元14根据调整后的候选框参数，将多个行人分类为一个或多个骑行者和一个或多个步行者，并得到一个或多个骑行者各自在每个时刻的骑行者检测框参数。这里，分类单元14利用例如深度学习分类算法，对每个行人的调整后的候选框参数进行计算，并根据计算结果进行分类。具体的计算和分类方式和现有的相同，这里不再详述。
图4(a)是根据本发明的实施例的多个行人中的另一个行人的在时刻t1的初始候选框G的示意图，图4(b)是对于图4(a)所示的另一个行人的调整后的候选框G’的示意图。在步骤S24，分类单元14例如将图3(b)中的一个行人分类为骑行者(以下称为“骑行者A”)，将图4(b)中的另一个行人分类为步行者(以下将图4(a)和图4(b)中的另一个行人称为“步行者B”)。
分类单元14将一个或多个骑行者各自在每个时刻的调整后的候选框参数，作为骑行者检测框参数。本例中，例如，分类单元14将图3(b)所示的t1时刻的调整后的候选框F’的候选框参数作为骑行者A的骑行者检测框参数。即，该骑行者检测框参数包括框重心坐标(xt1，yt1，zt1)、框宽度wt1’、框高度ht1、以及朝向αt1(图未视)。
进一步，分类单元14将一个或多个步行者各自的初始候选框参数作为一个或多个步行者各自在每个时刻的步行者检测框参数。本例中，例如，分类单元14将图4(a)所示的t1时刻的初始候选框G的初始候选框参数作为该步行者的步行者检测框参数。
这里，如图4(a)和图4(b)所示，对于步行者B，步行者检测框参数与初始候选框参数相同，即步行者检测框的框宽度小于调整后的候选框的框宽度，如此，可以缩小对于步行者进行检测的范围。
接下来，在步骤S25中，危险系数设定单元15根据骑行者检测框参数、一个或多个骑行者各自的状态信息、朝向的变化频率，为一个或多个骑行者中的每个骑行者设定危险系数。
这里，对于一个或多个骑行者中的每个骑行者，危险系数设定单元15根据前一时刻的骑行者检测框参数中的框重心坐标和当前时刻的骑行者检测框参数中的框重心坐标，得到每个骑行者相对于车辆的相对速度和相对运动方向。
例如，以图3(b)中的骑行者为例，前一时刻例如是t1，当前时刻例如是t2。对于骑行者A，在t1的骑行者检测框参数中的框重心坐标例如为(xt1，yt1，zt1)，在t2的骑行者检测框参数中的框重心坐标例如为(xt2，yt2，zt2)，从(xt2，yt2，zt2)与(xt1，yt1，zt1)的变化量得到骑行者A相对于车辆的相对速度v和相对运动方向r。按照同样的方式，可以获得其他骑行者各自的相对速度和相对运动方向。
危险系数设定单元15对每个骑行者，判断是否是新骑行者，如果是，则危险系数设定为1，否则根据当前时刻的骑行者检测框参数中的框重心坐标和朝向、相对速度、相对运动方向、状态信息、朝向的变化频率，设定危险系数。
例如，以图3(b)中的骑行者A为例，危险系数设定单元15首先判断是否是新骑行者。具体的，对于该骑行者A，判断在前一时刻t1是否有骑行者检测框参数，如果没有，则判断其为新骑行者，即，在当前时刻t2中新出现的骑行者，那么将其危险系数W设定为1，并对下一个骑行者进行判断。如果有，则判断其不是新骑行者，并将其危险系数W初始化为0，然后根据当前时刻t2的骑行者检测框参数中的框重心坐标和朝向、相对速度、相对运动方向、状态信息、朝向的变化频率，设定危险系数。
本例中，例如判断出骑行者A不是新骑行者，那么将其危险系数W初始化为0，并根据如下条件1到条件5来为骑行者A设定危险系数。下面详细说明条件1到条件5。
条件1：判断当前时刻t2的骑行者检测框参数中的框重心坐标是否小于报警安全距离dw，该报警安全距离dw通过以下数学式1计算得到。
其中，v是上述骑行者A的相对速度，tf为车辆所需的刹车时间，td为车辆的驾驶员的反应时间，μ为车辆所在的道路的摩擦系数，g为重力加速度，vh是步骤S21中获取单元检测到的车辆的当前车速。
这里，可以根据拍摄的图像信息确定道路的摩擦系数μ的值，例如如以下数学式2所示。
如上所述，坐标原点是车辆的车头中间正下方的位置，那么框重心坐标与坐标原点的距离就是骑行者与车辆的车头中间位置的距离。骑行者A在当前时刻t2的骑行者检测框参数中的框重心坐标是(xt2，yt2，zt2)，得到骑行者A与车头中间位置的距离D。将该距离D与如上计算的报警安全距离dw进行比较，判断距离D是否小于报警安全距离dw。
条件2：从骑行者A的相对运动方向判断骑行者A是否正在接近车辆。这里，例如根据上述计算得到的相对运动方向r，可以判断骑行者A是否正在接近车辆。
条件3：骑行者A的状态信息是否是异常状态。
状态信息是正常状态或异常状态，当危险系数设定单元15根据骑行者检测框参数中的框高度判定骑行者是儿童、或从图像信息中判定骑行者与其他骑行者之间的距离小于预定安全距离、或从图像信息中判定骑行者受到外界物体的干扰时，确定状态信息为异常状态。
例如，骑行者A在当前时刻t2的骑行者检测框参数中的框高度为htt2，从该框高度为ht2可以判定骑行者A是否是儿童，如果是，则判断为异常状态。
例如，以当前时刻t2为例，骑行者A与其他骑行者，例如骑行者C之间的距离为骑行者A的框重心坐标与骑行者C的框重心坐标之间的距离DAC。预定安全距离ds例如根据以下数学式3获得。
其中，k是骑行者A与骑行者C之间的相对速度，t′f是骑行者刹车所需的时间，td’为骑行者的反应时间，μ为骑行者A所在的道路的摩擦系数(例如，由上述数学式2获得)，g为重力加速度。这里，例如可以从骑行者A的框重心坐标和骑行者C的框重心坐标之间的变化量得到k。
然后将距离DAC与预定安全距离ds进行比较，判断距离DA是否小于预定安全距离ds。如果是，则判断为异常状态，否则为正常状态。
另外，从图像信息中判定骑行者A是否受到外界物体的干扰，例如，以骑行者A的朝向α为起点的预定角度的范围内是否有不明物体出现。如果是，则判断为异常状态，否则为正常状态。
当上述三个判断结果都为否时，则判断该骑行者是正常状态。
条件4：根据骑行者A在当前时刻t2的朝向α判断骑行者A是否能看到车辆。
这里，例如，如果骑行者的朝向α是后、后左、后右、左、右中的任意一个时，即，朝向α属于图5所示的VI类、V类、VII类、IV类、VIII类中的任意一个时，判断骑行者无法看到车辆，否则判断能够看到车辆。
条件5：朝向的变化频率是否大于预定阈值。
这里，例如，对于骑行者A，取出当前时刻t2之前的连续10个时刻的10个朝向α，计算出这些朝向的变化次数，即，朝向的变化频率。该预定阈值例如是基于来自大数量的骑行者的统计数据得到的。然后，判断朝向的变化频率是否大于预定阈值。
下面以骑行者A为例，详细说明根据条件1到条件5来设置骑行者A的危险系数。
首先，如果条件1或条件2的判断结果为是，即，骑行者A在当前时刻t2的框重心坐标小于报警安全距离或骑行者A正在接近车辆，那么在初始化的危险系数0的基础上加1，即W＝0+1＝1；反之，如果条件1和条件2的判断结果都为否，那么危险系数不变，仍为初始化的危险系数，即W＝0。本例中，例如条件1的判断结果为是，那么W＝1。
其次，如果条件3的判断结果为是，即，当前状态是异常状态，那么在经过条件1和条件2判断得到的危险系数的基础上加1，否则维持经过条件1和条件2判断得到的危险系数。本例中，例如条件3的判断结果为是，那么W＝1+1＝2。
最后，如果条件4或条件5的判断结果为是，即，判断骑行者能够看见车辆或者朝向的变化频率大于预定阈值，那么对经过条件3判断得到的危险系数继续加1，反之，如果条件4和条件5的判断结果都为否，那么经过条件3判断得到的危险系数不变。例如条件4和5的判断结果都为否，那么对经过条件3判断得到的危险系数不变，即，W＝2。
如此，可以得到每个骑行者在每个时刻的危险系数，并根据危险系数对每个骑行者进行相应的跟踪，以便在必要时对车辆发出警报。
另外，危险系数设定单元15还根据步行者检测框参数、一个或多个步行者各自的状态信息、朝向的变化频率，为一个或多个步行者中的每个步行者设定危险系数。例如，可以按照上述对骑行者设定危险系数的方式对步行者B设定危险系数。
通过本发明的上述装置和方法，可以快速将行人中的多个骑行者和多个步行者进行区分，以便实时地检测多个骑行者。
虽然经过对本发明结合具体实施例进行描述，对于本领域的技术技术人员而言，根据上文的叙述后作出的许多替代、修改与变化将是显而易见。因此，当这样的替代、修改和变化落入附后的权利要求的精神和范围之内时，应该被包括在本发明中。

Claims (12)

1.一种对车辆周围的行人进行检测的装置，其特征在于，所述装置包括：
获取单元，从所述车辆中的拍摄装置获取所述车辆周围的图像信息，并检测所述车辆的当前车速；
初始候选框参数计算单元，根据所述图像信息，计算得到所述车辆周围的多个行人各自在每个时刻的初始候选框参数，所述初始候选框参数包括朝向，其中，所述朝向是行人相对于所述拍摄装置的角度；
调整单元，根据所述朝向，对所述初始候选框参数进行调整，得到所述每个时刻的调整后的候选框参数；
分类单元，根据所述调整后的候选框参数，将所述多个行人分类为一个或多个骑行者和一个或多个步行者，并得到所述一个或多个骑行者各自在每个时刻的骑行者检测框参数；
危险系数设定单元，根据所述骑行者检测框参数、所述一个或多个骑行者各自的状态信息、所述朝向的变化频率，为所述一个或多个骑行者中的每个骑行者设定危险系数。
2.如权利要求1所述的装置，其特征在于，所述初始候选框参数还包括框重心坐标、框宽度w、框高度h，
其中，所述调整后的候选框参数包括所述框重心坐标、调整后的框宽度w’、所述框高度h、以及所述朝向α，其中
其中，所述分类单元将所述一个或多个骑行者各自在所述每个时刻的所述调整后的候选框参数，作为所述骑行者检测框参数。
3.如权利要求1所述的装置，其特征在于，所述分类单元将所述一个或多个步行者各自的初始候选框参数作为所述一个或多个步行者各自在所述每个时刻的步行者检测框参数，
其中，所述危险系数设定单元根据所述步行者检测框参数、所述一个或多个步行者各自的状态信息、所述朝向的变化频率，为所述一个或多个步行者中的每个步行者设定危险系数。
4.如权利要求2所述的装置，其特征在于，对于所述一个或多个骑行者中的每个骑行者，所述危险系数设定单元根据前一时刻的骑行者检测框参数中的框重心坐标和当前时刻的骑行者检测框参数中的框重心坐标，得到所述每个骑行者相对于所述车辆的相对速度和相对运动方向。
5.如权利要求4所述的装置，其特征在于，所述危险系数设定单元对所述每个骑行者，判断是否是新骑行者，如果是，则所述危险系数设定为1，否则根据当前时刻的所述骑行者检测框参数中的所述框重心坐标和所述朝向、所述相对速度、所述相对运动方向、所述状态信息、所述朝向的变化频率，设定所述危险系数。
6.如权利要求5所述的装置，其特征在于，所述状态信息是正常状态或异常状态，当所述危险系数设定单元根据所述骑行者检测框参数中的所述框高度判定所述骑行者是儿童、或从所述图像信息中判定所述骑行者与其他骑行者之间的距离小于预定安全距离、或从所述图像信息中判定所述骑行者受到外界物体的干扰时，确定所述状态信息为异常状态。
7.一种对车辆周围的行人进行检测的方法，其特征在于，所述方法包括：
a)从所述车辆中的拍摄装置获取所述车辆周围的图像信息，并检测所述车辆的当前车速；
b)根据所述图像信息，计算得到所述车辆周围的多个行人各自在每个时刻的初始候选框参数，所述初始候选框参数包括朝向，其中，所述朝向是行人相对于所述拍摄装置的角度；
c)根据所述朝向，对所述初始候选框参数进行调整，得到所述每个时刻的调整后的候选框参数；
d)根据所述调整后的候选框参数，将所述多个行人分类为一个或多个骑行者和一个或多个步行者，并得到所述一个或多个骑行者各自在每个时刻的骑行者检测框参数；
e)根据所述骑行者检测框参数、所述一个或多个骑行者各自的状态信息、所述朝向的变化频率，为所述一个或多个骑行者中的每个骑行者设定危险系数。
8.如权利要求7所述的方法，其特征在于，所述初始候选框参数还包括框重心坐标、框宽度w、框高度h，
其中，在步骤c)中，所述调整后的候选框参数包括所述框重心坐标、调整后的框宽度w’、所述框高度h、以及所述朝向α，其中
其中，在步骤d)中，将所述一个或多个骑行者各自在所述每个时刻的所述调整后的候选框参数，作为所述骑行者检测框参数。
9.如权利要求7所述的方法，其特征在于，在步骤d)中，将所述一个或多个步行者各自的初始候选框参数作为所述一个或多个步行者各自在所述每个时刻的步行者检测框参数，
并且，在步骤e)中，根据所述步行者检测框参数、所述一个或多个步行者各自的状态信息、所述朝向的变化频率，为所述一个或多个步行者中的每个步行者设定危险系数。
10.如权利要求8所述的方法，其特征在于，对于所述一个或多个骑行者中的每个骑行者，根据前一时刻的骑行者检测框参数中的框重心坐标和当前时刻的骑行者检测框参数中的框重心坐标，得到所述每个骑行者相对于所述车辆的相对速度和相对运动方向。
11.如权利要求10所述的方法，其特征在于，在步骤e)中，对所述每个骑行者，判断是否是新骑行者，如果是，则所述危险系数设定为1，否则根据当前时刻的所述骑行者检测框参数中的所述框重心坐标和所述朝向、所述相对速度、所述相对运动方向、所述状态信息、所述朝向的变化频率，设定所述危险系数。
12.如权利要求11所述的方法，其特征在于，所述状态信息是正常状态或异常状态，当根据所述骑行者检测框参数中的所述框高度判定所述骑行者是儿童、或从所述图像信息中判定所述骑行者与其他骑行者之间的距离小于预定安全距离、或从所述图像信息中判定所述骑行者受到外界物体的干扰时，确定所述状态信息为异常状态。
CN201710234918.6A 2017-04-12 2017-04-12 对车辆周围的行人进行检测的方法和装置 Pending CN108694363A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710234918.6A CN108694363A (zh) 2017-04-12 2017-04-12 对车辆周围的行人进行检测的方法和装置
JP2019512544A JP6756908B2 (ja) 2017-04-12 2018-04-11 車両周囲の歩行者を検出する方法及び装置
PCT/JP2018/015194 WO2018190362A1 (ja) 2017-04-12 2018-04-11 車両周囲の歩行者を検出する方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710234918.6A CN108694363A (zh) 2017-04-12 2017-04-12 对车辆周围的行人进行检测的方法和装置

Publications (1)

Publication Number Publication Date
CN108694363A true CN108694363A (zh) 2018-10-23

Family

ID=63792644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710234918.6A Pending CN108694363A (zh) 2017-04-12 2017-04-12 对车辆周围的行人进行检测的方法和装置

Country Status (3)

Country Link
JP (1) JP6756908B2 (zh)
CN (1) CN108694363A (zh)
WO (1) WO2018190362A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409309A (zh) * 2018-11-05 2019-03-01 电子科技大学 一种基于人体检测的智能报警***和方法
CN111433082A (zh) * 2018-11-09 2020-07-17 北京嘀嘀无限科技发展有限公司 用于检测车内冲突的***和方法
CN111429754A (zh) * 2020-03-13 2020-07-17 南京航空航天大学 一种行人过街工况下的车辆避撞轨迹风险评估方法
CN115527074A (zh) * 2022-11-29 2022-12-27 深圳依时货拉拉科技有限公司 一种车辆检测框的生成方法、生成装置及计算机设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111856493A (zh) * 2019-04-25 2020-10-30 北醒（北京）光子科技有限公司 一种基于激光雷达的摄像头触发装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053925A (ja) * 2007-08-27 2009-03-12 Toyota Motor Corp 行動予測装置
CN105216792A (zh) * 2014-06-12 2016-01-06 株式会社日立制作所 对周围环境中的障碍物目标进行识别跟踪的方法和设备
WO2017056382A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3136288A1 (en) * 2015-08-28 2017-03-01 Autoliv Development AB Vision system and method for a motor vehicle
CN107924465B (zh) * 2016-03-18 2021-09-10 Jvc 建伍株式会社 物体识别装置、物体识别方法以及存储介质
JP6512164B2 (ja) * 2016-04-22 2019-05-15 株式会社デンソー 物体検出装置、物体検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053925A (ja) * 2007-08-27 2009-03-12 Toyota Motor Corp 行動予測装置
CN105216792A (zh) * 2014-06-12 2016-01-06 株式会社日立制作所 对周围环境中的障碍物目标进行识别跟踪的方法和设备
WO2017056382A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱西产等: "基于角点检测估算车辆间即碰时间", 《汽车安全与节能学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409309A (zh) * 2018-11-05 2019-03-01 电子科技大学 一种基于人体检测的智能报警***和方法
CN111433082A (zh) * 2018-11-09 2020-07-17 北京嘀嘀无限科技发展有限公司 用于检测车内冲突的***和方法
US11615545B2 (en) 2018-11-09 2023-03-28 Bejing Didi Infinity Technology And Development Co., Ltd. System and method for detecting in-vehicle conflicts
CN111429754A (zh) * 2020-03-13 2020-07-17 南京航空航天大学 一种行人过街工况下的车辆避撞轨迹风险评估方法
CN115527074A (zh) * 2022-11-29 2022-12-27 深圳依时货拉拉科技有限公司 一种车辆检测框的生成方法、生成装置及计算机设备
CN115527074B (zh) * 2022-11-29 2023-03-07 深圳依时货拉拉科技有限公司 一种车辆检测框的生成方法、生成装置及计算机设备

Also Published As

Publication number Publication date
WO2018190362A1 (ja) 2018-10-18
JPWO2018190362A1 (ja) 2020-01-16
JP6756908B2 (ja) 2020-09-16

Similar Documents

Publication Publication Date Title
CN108694363A (zh) 对车辆周围的行人进行检测的方法和装置
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN105922990B (zh) 一种基于云端机器学习的车辆环境感知和控制方法
CN110356325B (zh) 一种城市交通客运车辆盲区预警***
CN202071799U (zh) 智能化汽车安全警示装置
LU101647B1 (en) Road pedestrian classification method and top-view pedestrian risk quantitative method in two-dimensional world coordinate system
Smaldone et al. The cyber-physical bike: A step towards safer green transportation
JP2015046162A (ja) 道路使用弱者保護システム
CN108638999A (zh) 一种基于360度环视输入的防碰撞预警***及方法
KR101613667B1 (ko) ３차원 카메라를 이용한 차종 분류장치
CN110378202A (zh) 一种基于鱼眼镜头的全方位行人碰撞预警方法
CN110321877A (zh) 一种三目后视镜和三目视觉安全驾驶方法和***
CN111027430A (zh) 一种面向无人车智能评估的交通场景复杂度计算方法
Wang et al. Advanced driver‐assistance system (ADAS) for intelligent transportation based on the recognition of traffic cones
TWM626569U (zh) 車禍嚴重度預測裝置
Chang et al. A blind spot detection warning system based on Gabor filtering and optical flow for E-mirror applications
CN102314603B (zh) 智能化汽车安全警示装置
Savino et al. Obstacle detection test in real-word traffic contexts for the purposes of motorcycle autonomous emergency braking (MAEB)
Salahat et al. Speed estimation from smart phone in-motion camera for the next generation of self-driven intelligent vehicles
Zhang et al. Principles of intelligent automobiles
Lai et al. Sensor fusion of camera and MMW radar based on machine learning for vehicles
Marchal et al. SAVE-U: An innovative sensor platform for Vulnerable Road User protection
Wang et al. The neolix open dataset for autonomous driving
Khorramshahi et al. Over-height vehicle detection in low headroom roads using digital video processing
Teng Prevention Detection for Cyclists based on Faster R-CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Ibaraki

Applicant after: Hitachi astemo Co.,Ltd.

Address before: Ibaraki

Applicant before: HITACHI AUTOMOTIVE SYSTEMS, Ltd.

CB02 Change of applicant information
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181023

WD01 Invention patent application deemed withdrawn after publication