JPWO2018190362A1 - 車両周囲の歩行者を検出する方法及び装置 - Google Patents
車両周囲の歩行者を検出する方法及び装置 Download PDFInfo
- Publication number
- JPWO2018190362A1 JPWO2018190362A1 JP2019512544A JP2019512544A JPWO2018190362A1 JP WO2018190362 A1 JPWO2018190362 A1 JP WO2018190362A1 JP 2019512544 A JP2019512544 A JP 2019512544A JP 2019512544 A JP2019512544 A JP 2019512544A JP WO2018190362 A1 JPWO2018190362 A1 JP WO2018190362A1
- Authority
- JP
- Japan
- Prior art keywords
- rider
- frame
- vehicle
- pedestrians
- pedestrian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 230000005484 gravity Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000282372 Panthera onca Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
前記分類ユニットは、前記1人又は複数のライダーのそれぞれの前記各時点での前記調整後の候補フレームパラメータを前記ライダー検出フレームパラメータとする。
前記危険係数設定ユニットは、前記歩行者検出フレームパラメータ、前記1人又は複数の歩行者のそれぞれの状態情報、前記向きの変化頻度に基づき、前記1人又は複数の歩行者のうちそれぞれの歩行者に危険係数を設定する。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
このようにして、複数の歩行者のうち、それぞれの歩行者のt1時点での調整後の候補フレームの候補フレームパラメータを取得できる。
ここで、1人又は複数のライダーのうち、ライダーごとに、危険係数設定ユニット15は、前の時点でのライダー検出フレームパラメータのフレーム重心座標と現時点でのライダー検出フレームパラメータのフレーム重心座標に基づき、各ライダーの車両に対する相対速度と相対移動方向を取得する。
状態情報は正常状態又は異常状態であり、危険係数設定ユニット15はライダー検出フレームパラメータのフレーム高さに基づいて、ライダーが子供であると判定し、又は、画像情報からライダーとほかのライダーとの距離が所定安全距離より小さいと判定し、又は、画像情報からライダーが外部物体による干渉を受けていると判定した場合、状態情報を異常状態として決定する。
ここで、たとえば、ライダーの向きαが真後向き、左後向き、右後向き、真左向き、真右向きのいずれかであり、すなわち、向きαが図5に示されるクラスVI、クラスV、クラスVII、クラスIV、クラスVIIIのいずれかに属する場合、ライダーに車両が見えないと判定し、それ以外の場合、車両が見えると判定する。
Claims (12)
- 車両周囲の歩行者を検出する装置であって、
車両の撮影装置から前記車両周囲の画像情報を取得して、前記車両の現在車速を検出する取得ユニットと、
前記画像情報に基づき、前記車両周囲の複数の歩行者のそれぞれの各時点での、歩行者の前記撮影装置に対する角度である向きを含む初期候補フレームパラメータを算出する初期候補フレームパラメータ算出ユニットと、
前記向きに基づき、前記初期候補フレームパラメータを調整して、前記各時点での調整後の候補フレームパラメータを取得する調整ユニットと、
前記調整後の候補フレームパラメータに基づき、前記複数の歩行者を1人又は複数のライダーと1人又は複数の歩行者に分類し、前記1人又は複数のライダーのそれぞれの各時点でのライダー検出フレームパラメータを取得する分類ユニットと、
前記ライダー検出フレームパラメータ、前記1人又は複数のライダーのそれぞれの状態情報、及び前記向きの変化頻度に基づき、前記1人又は複数のライダーのうちそれぞれのライダーに危険係数を設定する危険係数設定ユニットと、を備えることを特徴とする車両周囲の歩行者を検出する装置。 - 前記分類ユニットは、前記1人又は複数の歩行者のそれぞれの初期候補フレームパラメータを前記1人又は複数の歩行者のそれぞれの前記各時点での歩行者検出フレームパラメータとし、
前記危険係数設定ユニットは、前記歩行者検出フレームパラメータ、前記1人又は複数の歩行者のそれぞれの状態情報、及び前記向きの変化頻度に基づき、前記1人又は複数の歩行者のうちそれぞれの歩行者に危険係数を設定することを特徴とする請求項1に記載の車両周囲の歩行者を検出する装置。 - 前記1人又は複数のライダーのうちそれぞれのライダーに対して、前記危険係数設定ユニットは、前の時点でのライダー検出フレームパラメータのフレーム重心座標と現時点でのライダー検出フレームパラメータのフレーム重心座標に基づき、前記各ライダーの前記車両に対する相対速度と相対移動方向を取得することを特徴とする請求項2に記載の車両周囲の歩行者を検出する装置。
- 前記危険係数設定ユニットは、前記ライダーごとに新ライダーであるか否かを判定し、新ライダーである場合、前記危険係数を1に設定し、新ライダーではない場合、現時点での前記ライダー検出フレームパラメータの前記フレーム重心座標と前記向き、前記相対速度、前記相対移動方向、前記状態情報、前記向きの変化頻度に基づき、前記危険係数を設定することを特徴とする請求項4に記載の車両周囲の歩行者を検出する装置。
- 前記状態情報は正常状態又は異常状態であり、
前記危険係数設定ユニットは、前記ライダー検出フレームパラメータの前記フレーム高さに基づいて、前記ライダーが子供であると判定し、又は、前記画像情報から前記ライダーとほかのライダーとの距離が所定安全距離より小さいと判定し、又は、前記画像情報から前記ライダーが外部物体による干渉を受けていると判定した場合、前記状態情報を異常状態として決定することを特徴とする請求項5に記載の車両周囲の歩行者を検出する装置。 - 車両周囲の歩行者を検出する方法であって、
車両の撮影装置から前記車両周囲の画像情報を取得して、前記車両の現在車速を検出する第1のステップと、
前記画像情報に基づき、前記車両周囲の複数の歩行者のそれぞれの各時点での、歩行者の前記撮影装置に対する角度である向きを含む初期候補フレームパラメータを算出する第2のステップと、
前記向きに基づき、前記初期候補フレームパラメータを調整して、前記各時点での調整後の候補フレームパラメータを取得する第3のステップと、
前記調整後の候補フレームパラメータに基づき、前記複数の歩行者を1人又は複数のライダーと1人又は複数の歩行者に分類し、前記1人又は複数のライダーのそれぞれの各時点でのライダー検出フレームパラメータを取得する第4のステップと、
前記ライダー検出フレームパラメータ、前記1人又は複数のライダーのそれぞれの状態情報、前記向きの変化頻度に基づき、前記1人又は複数のライダーのうちそれぞれのライダーに危険係数を設定する第5のステップと、を含むことを特徴とする車両周囲の歩行者を検出する方法。 - 前記第4のステップにおいて、前記1人又は複数の歩行者のそれぞれの初期候補フレームパラメータを前記1人又は複数の歩行者のそれぞれの前記各時点での歩行者検出フレームパラメータとし、
前記第5のステップにおいて、前記歩行者検出フレームパラメータ、前記1人又は複数の歩行者のそれぞれの状態情報、及び前記向きの変化頻度に基づき、前記1人又は複数の歩行者のうちそれぞれの歩行者に危険係数を設定することを特徴とする請求項7に記載の車両周囲の歩行者を検出する方法。 - 前記1人又は複数のライダーのうちそれぞれのライダーに対して、前の時点でのライダー検出フレームパラメータのフレーム重心座標と現時点でのライダー検出フレームパラメータのフレーム重心座標に基づき、前記各ライダーの前記車両に対する相対速度と相対移動方向を取得することを特徴とする請求項8に記載の車両周囲の歩行者を検出する方法。
- 前記第5のステップにおいて、前記ライダーごとに新ライダーであるか否かを判定し、新ライダーである場合、前記危険係数を1に設定し、新ライダーではない場合、現時点での前記ライダー検出フレームパラメータの前記フレーム重心座標と前記向き、前記相対速度、前記相対移動方向、前記状態情報、前記向きの変化頻度に基づき、前記危険係数を設定することを特徴とする請求項10に記載の車両周囲の歩行者を検出する方法。
- 前記状態情報は正常状態又は異常状態であり、
前記ライダー検出フレームパラメータの前記フレーム高さに基づき、前記ライダーが子供であると判定し、又は、前記画像情報から前記ライダーとほかのライダーとの距離が所定安全距離より小さいと判定し、又は、前記画像情報から前記ライダーが外部物体による干渉を受けていると判定した場合、前記状態情報を異常状態として決定することを特徴とする請求項11に記載の車両周囲の歩行者を検出する方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710234918.6A CN108694363A (zh) | 2017-04-12 | 2017-04-12 | 对车辆周围的行人进行检测的方法和装置 |
CN201710234918.6 | 2017-04-12 | ||
PCT/JP2018/015194 WO2018190362A1 (ja) | 2017-04-12 | 2018-04-11 | 車両周囲の歩行者を検出する方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018190362A1 true JPWO2018190362A1 (ja) | 2020-01-16 |
JP6756908B2 JP6756908B2 (ja) | 2020-09-16 |
Family
ID=63792644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019512544A Active JP6756908B2 (ja) | 2017-04-12 | 2018-04-11 | 車両周囲の歩行者を検出する方法及び装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6756908B2 (ja) |
CN (1) | CN108694363A (ja) |
WO (1) | WO2018190362A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109409309A (zh) * | 2018-11-05 | 2019-03-01 | 电子科技大学 | 一种基于人体检测的智能报警***和方法 |
BR112021004557B1 (pt) | 2018-11-09 | 2023-09-26 | Beijing DIDI Infinity Technology and Development Co., Ltd | Sistema e método para detecção de conflitos em veículo |
CN111856493A (zh) * | 2019-04-25 | 2020-10-30 | 北醒(北京)光子科技有限公司 | 一种基于激光雷达的摄像头触发装置及方法 |
CN111429754A (zh) * | 2020-03-13 | 2020-07-17 | 南京航空航天大学 | 一种行人过街工况下的车辆避撞轨迹风险评估方法 |
CN115527074B (zh) * | 2022-11-29 | 2023-03-07 | 深圳依时货拉拉科技有限公司 | 一种车辆检测框的生成方法、生成装置及计算机设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009053925A (ja) * | 2007-08-27 | 2009-03-12 | Toyota Motor Corp | 行動予測装置 |
WO2017036919A1 (en) * | 2015-08-28 | 2017-03-09 | Autoliv Development Ab | Vision system and method for a motor vehicle |
WO2017056382A1 (ja) * | 2015-09-29 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2017158983A1 (ja) * | 2016-03-18 | 2017-09-21 | 株式会社Jvcケンウッド | 物体認識装置、物体認識方法及び物体認識プログラム |
JP2017194432A (ja) * | 2016-04-22 | 2017-10-26 | 株式会社デンソー | 物体検出装置、物体検出方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105216792A (zh) * | 2014-06-12 | 2016-01-06 | 株式会社日立制作所 | 对周围环境中的障碍物目标进行识别跟踪的方法和设备 |
-
2017
- 2017-04-12 CN CN201710234918.6A patent/CN108694363A/zh active Pending
-
2018
- 2018-04-11 JP JP2019512544A patent/JP6756908B2/ja active Active
- 2018-04-11 WO PCT/JP2018/015194 patent/WO2018190362A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009053925A (ja) * | 2007-08-27 | 2009-03-12 | Toyota Motor Corp | 行動予測装置 |
WO2017036919A1 (en) * | 2015-08-28 | 2017-03-09 | Autoliv Development Ab | Vision system and method for a motor vehicle |
WO2017056382A1 (ja) * | 2015-09-29 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2017158983A1 (ja) * | 2016-03-18 | 2017-09-21 | 株式会社Jvcケンウッド | 物体認識装置、物体認識方法及び物体認識プログラム |
JP2017194432A (ja) * | 2016-04-22 | 2017-10-26 | 株式会社デンソー | 物体検出装置、物体検出方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2018190362A1 (ja) | 2018-10-18 |
JP6756908B2 (ja) | 2020-09-16 |
CN108694363A (zh) | 2018-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3416134B1 (en) | Surrounding environment recognition device for moving body | |
JP6756908B2 (ja) | 車両周囲の歩行者を検出する方法及び装置 | |
JP7025912B2 (ja) | 車載環境認識装置 | |
US9975550B2 (en) | Movement trajectory predicting device and movement trajectory predicting method | |
EP2352136B1 (en) | System for monitoring the area around a vehicle | |
US10442438B2 (en) | Method and apparatus for detecting and assessing road reflections | |
US8184862B2 (en) | Vehicle periphery monitoring apparatus | |
CN111033510A (zh) | 用于运行驾驶员辅助***的方法和装置以及驾驶员辅助***和机动车 | |
CN113044059A (zh) | 用于车辆的安全*** | |
EP2270765B1 (en) | Vehicle periphery monitoring device | |
JP2016001463A (ja) | 処理装置、処理システム、処理プログラム及び処理方法 | |
US8284253B2 (en) | Vehicle periphery monitoring apparatus | |
JP2015165381A (ja) | 画像処理装置、機器制御システム、および画像処理プログラム | |
JP4521642B2 (ja) | 車両周辺監視装置、車両、車両周辺監視プログラム | |
JP2004145660A (ja) | 障害物検出装置 | |
JP7488376B2 (ja) | マイクロモビリティユーザーのリスクを判断するための外観と動きに基づくモデル | |
JP7119317B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム | |
JP5593217B2 (ja) | 車両用外界認識装置およびそれを用いた車両システム | |
CN109308442B (zh) | 车外环境识别装置 | |
Rammohan et al. | Automotive Collision Avoidance System: A Review | |
KR20150092505A (ko) | 차간 거리 경고 방법 및 전방 충돌 감지 장치 | |
Khandelwal et al. | Automatic braking system for two wheeler with object detection and depth perception | |
JP2018088237A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム | |
JP2016224649A (ja) | 対象物検出装置、対象物検出方法、及び、対象物検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200827 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6756908 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |