JP2010204805A - 周辺監視装置および該方法 - Google Patents
周辺監視装置および該方法 Download PDFInfo
- Publication number
- JP2010204805A JP2010204805A JP2009047846A JP2009047846A JP2010204805A JP 2010204805 A JP2010204805 A JP 2010204805A JP 2009047846 A JP2009047846 A JP 2009047846A JP 2009047846 A JP2009047846 A JP 2009047846A JP 2010204805 A JP2010204805 A JP 2010204805A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- optical flow
- image
- dimensional optical
- candidate area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】本発明の周辺監視装置1は、移動体周囲の時系列画像を取得する撮影カメラ2と、前記時系列画像に基づいて所定の点に対する2次元オプティカルフローを求める2次元オプティカルフロー算出部21と、この2次元オプティカルフローに基づいて、前記移動体と衝突する可能性のある画像内の点または領域を候補領域として抽出する候補領域抽出部22と、この候補領域に対し、前記移動体と前記候補領域に写し出されている物体までの距離を取得する距離情報取得部23と、この候補領域に対し、距離情報取得部23で取得した距離に基づいて、移動体と候補領域に写し出されている物体とが衝突するか否かを判定する衝突有無判定部24とを備える。
【選択図】図2
Description
(ステップS11;2次元オプティカルフローの算出処理)
2次元OF部21は、撮影カメラ2によって取得された時間的に異なる少なくとも2つの時系列画像データI(t)、I(t+△t)に基づいて、例えば、勾配法(gradient-based method)によって2次元オプティカルフローOFxy(t+△t)を算出する。
I(x、y、t)=I(x+△x、y+△y、t+△t) ・・・(1)
この式1の右辺をテイラー展開(Taylor展開)し、高次の項を無視し、両辺を△tで割って△t→0とすることによって、式1から、拘束方程式と呼ばれる次の式2が求まる。
(▽I)Tu+It=0 ・・・(2)
ここで、▽I=(dI/dx、dI/dy)Tであり、It=dI/dtである。
E=Σ((▽I)Tu+It) ・・・(3)
ここで、Σは、局所領域内の点について和を求める。
△Pi(△x、△y)=Pi(x(t+△t)−x(t)、y(t+△t)−y(t)) ・・・(4)
ここで、iは、対応点探索を行う個数を示し、例えば、仕様等に基づき適宜に設定される。例えば、画像の全画素に対して対応点探索が行われてもよいし、数画素ごとの画素に対して対応点探索が行われてもよい。また、画素Pi(x(t)、y(t))およびこの対応点Pi(x(t+△t)、y(t+△t))は、それらの差分を求める前に、例えば公知の手法によって、撮影カメラ2の光学系における収差を補正する収差補正処理が施されてもよい。
(ステップS12;衝突有無判定候補領域の抽出処理)
図6は、所定の基準面における2次元オプティカルフローを説明するための図である。図6(A)は、2次元オプティカルフローを示し、図6(B)は、前記基準面上の点Aおよび点Bについて、進行方向zにおける時刻tの位置を示し、図6(C)は、前記基準面上の点Aおよび点Bについて、進行方向zにおける時刻t+△tの位置を示す。図7は、所定の基準面上に存在する物体における2次元オプティカルフローを説明するための図である。図7(A)は、2次元オプティカルフローを示し、図7(B)は、前記物体上の点A’および点B’について、進行方向zにおける時刻tの位置を示し、図7(C)は、前記物体上の点A’および点B’について、進行方向zにおける時刻t+△tの位置を示す。図8は、領域分割を行って候補領域の抽出を実行する場合における領域分割の仕方を説明するための図である。図8(A)は、等面積で分割する場合における各領域を示し、図8(B)は、不等面積で分割する場合における各領域を示す。
h/D=tan(tan−1(y/α)+φ ・・・(9)
OFy(t+△t)=α(h/(D−v△t)−h/D) ・・・(10)
OFx(t+△t)=(xt/yt+αφ)OFy(t+△t) ・・・(11)
ここで、vは、移動体の速度であり、△tは、2つの画像間の撮影時間間隔であり、yは、撮影カメラ2からZ方向に離れた路面上の点Aを表す画像上の点の垂直成分であり、xは、撮影カメラ2からZ方向に離れた路面上の点Aを表す画像上の点の水平成分であり、αは、画素ピッチをpとし画素数をNとすると、α=f/p=N/(2θ)である。
(ステップS13;距離情報の取得処理)
距離情報取得部23は、撮影カメラ2(すなわち、撮影カメラ2を搭載した移動体)から候補領域DAob(t+△t)に撮像されている物体までの距離を、例えば、画像と外部の距離計測器とによって測定する。
(ステップS14;3次元オプティカルフローの算出処理)
衝突有無判定部24は、候補領域抽出部22によって抽出された衝突有無判定候補領域DAob(t+△t)に対し、2次元OF算出部21によって算出された2次元オプティカルフローOFxy(t+△t)および距離情報取得部23によって取得された距離情報D(t)、D(t+△t)に基づいて、3次元オプティカルフローOFxyz(t+△t)を算出する。
(ステップS15;衝突有無の判定処理)
衝突有無判定部24は、候補領域抽出部22によって抽出された候補領域DAob(t+△t)に対し、この算出した3次元オプティカルフローOFxyz(t+△t)に基づいて衝突の可能性があるか否かを判定する。
1 周辺監視装置
2 撮影カメラ
12 CPU
15 表示部
21 2次元オプティカルフロー算出部
22 候補領域抽出部
23 距離情報取得部
24 衝突有無判定部
25 判定結果出力部
Claims (21)
- 移動体における周囲の画像を時系列に時系列画像として取得する画像取得部と、
前記時系列画像における所定の第1時刻に取得された第1画像、および、前記時系列画像における前記所定の第1時刻と異なる第2時刻に取得された第2画像に基づいて、前記第1画像における所定の点に対する2次元オプティカルフローを求める2次元オプティカルフロー算出部と、
前記2次元オプティカルフロー算出部で求められた2次元オプティカルフローに基づいて、前記移動体と衝突する可能性のある前記第1画像内の点または領域を候補領域として抽出する候補領域抽出部と、
前記候補領域抽出部で抽出された候補領域に対し、前記移動体と前記候補領域に写し出されている物体までの距離を取得する距離情報取得部と、
前記候補領域抽出部で抽出された候補領域に対し、前記距離情報取得部で取得した距離に基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する衝突有無判定部とを備えること
を特徴とする周辺監視装置。 - 前記候補領域抽出部は、第1画像内の所定の領域に対し、予め設定された所定値と現在の2次元オプティカルフローとの差を求め、この求めた差が所定の第1閾値以上である場合に、前記第1画像内の前記所定の領域を候補領域として抽出すること
を特徴とする請求項1に記載の周辺監視装置。 - 前記候補領域抽出部における前記予め設定された所定値は、過去の2次元オプティカルフローであること
を特徴とする請求項2に記載の周辺監視装置。 - 前記候補領域抽出部における前記予め設定された所定値は、前記時系列画像のいずれか1つの画像に写し出された道路面の2次元オプティカルフローであること
を特徴とする請求項2に記載の周辺監視装置。 - 前記道路面の2次元オプティカルフローは、前記画像取得部の設置条件を用いて求められたものであること
を特徴とする請求項4に記載の周辺監視装置。 - 前記候補領域抽出部は、前記第1画像の画素ごとに前記候補領域の抽出を行うこと
を特徴とする請求項1ないし請求項5のいずれか1項に記載の周辺監視装置。 - 前記候補領域抽出部は、前記第1画像を複数の領域に分割領域として分割した場合における前記分割領域ごとに前記候補領域の抽出を行うこと
を特徴とする請求項1ないし請求項5のいずれか1項に記載の周辺監視装置。 - 前記候補領域抽出部は、実空間において前記移動体の速度ベクトルと異なる速度ベクトルを持つ物体を写している領域を前記候補領域として抽出すること
を特徴とする請求項1に記載の周辺監視装置。 - 前記画像取得部は、ステレオカメラであり、
前記距離情報取得部は、前記画像所得部によって取得された1組のステレオ画像に基づいて、前記候補領域抽出部で抽出された候補領域における前記1組のステレオ画像間の対応点を対応点探索処理によって抽出することで、前記移動体と前記候補領域に写し出されている物体までの距離を取得すること
を特徴とする請求項1ないし請求項8のいずれか1項に記載の周辺監視装置。 - 前記衝突有無判定部は、
前記候補領域抽出部で抽出された候補領域に対し、前記2次元オプティカルフロー算出部で算出された2次元オプティカルフローおよび前記距離情報取得部で取得した距離に基づいて、3次元オプティカルフローを求める3次元オプティカルフロー算出部と、
前記候補領域抽出部で抽出された候補領域に対し、前記3次元オプティカルフロー算出部で求められた3次元オプティカルフローに基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する判定部とを備えること
を特徴とする請求項1ないし請求項9のいずれか1項に記載の周辺監視装置。 - 前記衝突有無判定部の前記判定部は、前記移動体を含む立体を仮想した場合に、前記3次元オプティカルフロー算出部で求められた3次元オプティカルフローを含む線分と前記立体の境界面とが交差するか否かを判定することによって、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定すること
を特徴とする請求項10に記載の周辺監視装置。 - 前記衝突有無判定部の前記判定部は、前記候補領域抽出部で抽出された候補領域に対し、前記移動体の進行方向と前記3次元オプティカルフロー算出部で求められた3次元オプティカルフローとの成す角および前記距離情報取得部で取得した距離に基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定すること
を特徴とする請求項10に記載の周辺監視装置。 - 前記衝突有無判定部の前記判定部は、前記候補領域抽出部で抽出された候補領域に対し、前記距離情報取得部で取得した距離と予め設定された所定の第2閾値とを比較することによって、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する場合に、前記移動体の速度に応じて前記所定の第2閾値を変更すること
を特徴とする請求項10ないし請求項12のいずれか1項に記載の周辺監視装置。 - 前記衝突有無判定部の前記判定部は、前記候補領域抽出部で抽出された候補領域に対し、前記距離情報取得部で取得した距離と予め設定された所定の第2閾値とを比較することによって、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する場合に、前記移動体の制動距離に応じて前記所定の第2閾値を変更すること
を特徴とする請求項10ないし請求項13のいずれか1項に記載の周辺監視装置。 - 前記衝突有無判定部の判定結果を出力する判定結果出力部をさらに備えること
を特徴とする請求項1ないし請求項14のいずれか1項に記載の周辺監視装置。 - 音を出力する音出力部をさらに備え、
前記判定結果出力部は、前記衝突有無判定部によって前記移動体と前記候補領域に写し出されている物体とが衝突すると判定された場合に、前記音出力部から警告音を出力すること
を特徴とする請求項15に記載の周辺監視装置。 - 表示を行う表示部をさらに備え、
前記判定結果出力部は、前記衝突有無判定部によって前記移動体と前記候補領域に写し出されている物体とが衝突すると判定された場合に、前記表示部から警告表示を出力すること
を特徴とする請求項15に記載の周辺監視装置。 - 前記警告表示は、前記移動体と前記候補領域に写し出されている物体との距離を表す距離表示を含むこと
を特徴とする請求項17に記載の周辺監視装置。 - 前記警告表示は、前記移動体と前記候補領域に写し出されている物体とが衝突するまでの衝突時間を表す衝突時間表示を含むこと
を特徴とする請求項17または請求項18に記載の周辺監視装置。 - 前記警告表示は、前記候補領域に写し出されている物体の大きさを表す大きさ表示を含むこと
を特徴とする請求項17ないし請求項19のいずれか1項に記載の周辺監視装置。 - 移動体における周囲の画像を時系列に時系列画像として取得する画像取得工程と、
前記時系列画像における所定の第1時刻に取得された第1画像、および、前記時系列画像における前記所定の第1時刻と異なる第2時刻に取得された第2画像に基づいて、前記第1画像における所定の点に対する2次元オプティカルフローを求める2次元オプティカルフロー算出工程と、
前記2次元オプティカルフロー算出工程で求められた2次元オプティカルフローに基づいて、前記移動体と衝突する可能性のある前記第1画像内の点または領域を候補領域として抽出する候補領域抽出工程と、
前記候補領域抽出工程で抽出された候補領域に対し、前記移動体と前記候補領域に写し出されている物体までの距離を取得する距離情報取得工程と、
前記候補領域抽出工程で抽出された候補領域に対し、前記距離情報取得工程で取得した距離に基づいて、前記移動体と前記候補領域に写し出されている物体とが衝突するか否かを判定する衝突有無判定工程とを備えること
を特徴とする周辺監視方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009047846A JP2010204805A (ja) | 2009-03-02 | 2009-03-02 | 周辺監視装置および該方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009047846A JP2010204805A (ja) | 2009-03-02 | 2009-03-02 | 周辺監視装置および該方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010204805A true JP2010204805A (ja) | 2010-09-16 |
Family
ID=42966246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009047846A Pending JP2010204805A (ja) | 2009-03-02 | 2009-03-02 | 周辺監視装置および該方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010204805A (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010286926A (ja) * | 2009-06-09 | 2010-12-24 | Konica Minolta Holdings Inc | 周辺監視装置 |
KR101344056B1 (ko) | 2013-09-25 | 2014-01-16 | 주식회사 피엘케이 테크놀로지 | 차량의 출발 정지 지원 장치 및 그 방법 |
KR101397732B1 (ko) * | 2011-04-20 | 2014-05-20 | 도요타 지도샤(주) | 차량용 주변 경계 장치 |
JPWO2014033955A1 (ja) * | 2012-09-03 | 2016-08-08 | トヨタ自動車株式会社 | 速度算出装置及び速度算出方法並びに衝突判定装置 |
JP2017068700A (ja) * | 2015-09-30 | 2017-04-06 | 株式会社デンソーアイティーラボラトリ | 物体検出装置、物体検出方法、及びプログラム |
US9734416B2 (en) | 2015-03-23 | 2017-08-15 | Fujitsu Limited | Object detection method, information processing device, and storage medium |
JP2017157031A (ja) * | 2016-03-02 | 2017-09-07 | 矢崎総業株式会社 | 運転支援装置 |
CN109716255A (zh) * | 2016-09-18 | 2019-05-03 | 深圳市大疆创新科技有限公司 | 用于操作可移动物体以规避障碍物的方法和*** |
JP2019518358A (ja) * | 2016-04-06 | 2019-06-27 | フェイスブック,インク. | 画像間の光学フローの効率的な決定 |
JP2020034995A (ja) * | 2018-08-27 | 2020-03-05 | 株式会社デンソー | 画像認識装置 |
JP2020032953A (ja) * | 2018-08-31 | 2020-03-05 | 日本道路株式会社 | 産業用車両の衝突防止システム |
JP2021528732A (ja) * | 2019-05-29 | 2021-10-21 | 北京市商▲湯▼科技▲開▼▲發▼有限公司Beijing Sensetime Technology Development Co.,Ltd. | 運動物体検出およびスマート運転制御方法、装置、媒体、並びに機器 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07262375A (ja) * | 1994-03-25 | 1995-10-13 | Toshiba Corp | 移動体検出装置 |
JPH10222665A (ja) * | 1997-01-31 | 1998-08-21 | Fujitsu Ten Ltd | 画像認識装置 |
JP2000036098A (ja) * | 1998-07-17 | 2000-02-02 | Hitachi Ltd | 車間距離警報装置 |
JP2004056763A (ja) * | 2002-05-09 | 2004-02-19 | Matsushita Electric Ind Co Ltd | 監視装置、監視方法および監視用プログラム |
JP2004355082A (ja) * | 2003-05-27 | 2004-12-16 | Nec Corp | オプティカルフロー検出システム、検出方法および検出プログラム |
JP2005209019A (ja) * | 2004-01-23 | 2005-08-04 | Toshiba Corp | 障害物検出装置、方法及びプログラム |
JP2006218935A (ja) * | 2005-02-09 | 2006-08-24 | Advics:Kk | 車両用走行支援装置 |
JP2007140852A (ja) * | 2005-11-17 | 2007-06-07 | Aisin Seiki Co Ltd | 障害物位置検出装置及び障害物位置検出方法 |
JP2008282106A (ja) * | 2007-05-08 | 2008-11-20 | Fujitsu Ltd | 障害物検出方法および障害物検出装置 |
-
2009
- 2009-03-02 JP JP2009047846A patent/JP2010204805A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07262375A (ja) * | 1994-03-25 | 1995-10-13 | Toshiba Corp | 移動体検出装置 |
JPH10222665A (ja) * | 1997-01-31 | 1998-08-21 | Fujitsu Ten Ltd | 画像認識装置 |
JP2000036098A (ja) * | 1998-07-17 | 2000-02-02 | Hitachi Ltd | 車間距離警報装置 |
JP2004056763A (ja) * | 2002-05-09 | 2004-02-19 | Matsushita Electric Ind Co Ltd | 監視装置、監視方法および監視用プログラム |
JP2004355082A (ja) * | 2003-05-27 | 2004-12-16 | Nec Corp | オプティカルフロー検出システム、検出方法および検出プログラム |
JP2005209019A (ja) * | 2004-01-23 | 2005-08-04 | Toshiba Corp | 障害物検出装置、方法及びプログラム |
JP2006218935A (ja) * | 2005-02-09 | 2006-08-24 | Advics:Kk | 車両用走行支援装置 |
JP2007140852A (ja) * | 2005-11-17 | 2007-06-07 | Aisin Seiki Co Ltd | 障害物位置検出装置及び障害物位置検出方法 |
JP2008282106A (ja) * | 2007-05-08 | 2008-11-20 | Fujitsu Ltd | 障害物検出方法および障害物検出装置 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010286926A (ja) * | 2009-06-09 | 2010-12-24 | Konica Minolta Holdings Inc | 周辺監視装置 |
US10150407B2 (en) | 2011-04-20 | 2018-12-11 | Toyota Jidosha Kabushiki Kaisha | Vehicle periphery alert device |
KR101397732B1 (ko) * | 2011-04-20 | 2014-05-20 | 도요타 지도샤(주) | 차량용 주변 경계 장치 |
JPWO2014033955A1 (ja) * | 2012-09-03 | 2016-08-08 | トヨタ自動車株式会社 | 速度算出装置及び速度算出方法並びに衝突判定装置 |
KR101344056B1 (ko) | 2013-09-25 | 2014-01-16 | 주식회사 피엘케이 테크놀로지 | 차량의 출발 정지 지원 장치 및 그 방법 |
US9734416B2 (en) | 2015-03-23 | 2017-08-15 | Fujitsu Limited | Object detection method, information processing device, and storage medium |
JP2017068700A (ja) * | 2015-09-30 | 2017-04-06 | 株式会社デンソーアイティーラボラトリ | 物体検出装置、物体検出方法、及びプログラム |
JP2017157031A (ja) * | 2016-03-02 | 2017-09-07 | 矢崎総業株式会社 | 運転支援装置 |
JP2019518358A (ja) * | 2016-04-06 | 2019-06-27 | フェイスブック,インク. | 画像間の光学フローの効率的な決定 |
CN109716255A (zh) * | 2016-09-18 | 2019-05-03 | 深圳市大疆创新科技有限公司 | 用于操作可移动物体以规避障碍物的方法和*** |
JP2020034995A (ja) * | 2018-08-27 | 2020-03-05 | 株式会社デンソー | 画像認識装置 |
JP7067370B2 (ja) | 2018-08-27 | 2022-05-16 | 株式会社デンソー | 画像認識装置 |
JP2020032953A (ja) * | 2018-08-31 | 2020-03-05 | 日本道路株式会社 | 産業用車両の衝突防止システム |
JP2021528732A (ja) * | 2019-05-29 | 2021-10-21 | 北京市商▲湯▼科技▲開▼▲發▼有限公司Beijing Sensetime Technology Development Co.,Ltd. | 運動物体検出およびスマート運転制御方法、装置、媒体、並びに機器 |
JP7091485B2 (ja) | 2019-05-29 | 2022-06-27 | 北京市商▲湯▼科技▲開▼▲發▼有限公司 | 運動物体検出およびスマート運転制御方法、装置、媒体、並びに機器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010204805A (ja) | 周辺監視装置および該方法 | |
EP3229041B1 (en) | Object detection using radar and vision defined image detection zone | |
US9864927B2 (en) | Method of detecting structural parts of a scene | |
US6956469B2 (en) | Method and apparatus for pedestrian detection | |
EP2531980B1 (en) | Depth camera compatibility | |
JP4553072B1 (ja) | 画像統合装置および画像統合方法 | |
US7672514B2 (en) | Method and apparatus for differentiating pedestrians, vehicles, and other objects | |
JP5353455B2 (ja) | 周辺監視装置 | |
US20050232463A1 (en) | Method and apparatus for detecting a presence prior to collision | |
EP3159126A1 (en) | Device and method for recognizing location of mobile robot by means of edge-based readjustment | |
JP2013232091A (ja) | 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム | |
CN105654031B (zh) | 用于物体检测的***和方法 | |
EP3324359B1 (en) | Image processing device and image processing method | |
JP2006252473A (ja) | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
JPWO2009099022A1 (ja) | 周辺監視装置及び周辺監視方法 | |
US9934585B2 (en) | Apparatus and method for registering images | |
JP2011134207A (ja) | 運転記録装置および地図作成システム | |
JP2010079582A (ja) | 物体を検出する装置、方法及びプログラム | |
KR101427032B1 (ko) | 차량의 보행자 인식 장치 및 방법, 이를 이용한 차량의 보행자 충돌 경고 및 예방 장치 및 방법 | |
JP6620443B2 (ja) | 監視プログラム、監視装置、及び監視方法 | |
Petrovai et al. | A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices | |
JP2017199278A (ja) | 検出装置、検出方法、およびプログラム | |
KR101491305B1 (ko) | 장애물 검출 장치 및 방법 | |
JP2009086882A (ja) | 物体検出装置 | |
Zabulis et al. | 3D Head Pose Estimation from Multiple Distant Views. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130305 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130806 |