JP2013084242A - 映像に基づく車両用警報システム - Google Patents

映像に基づく車両用警報システム Download PDF

Info

Publication number
JP2013084242A
JP2013084242A JP2012166801A JP2012166801A JP2013084242A JP 2013084242 A JP2013084242 A JP 2013084242A JP 2012166801 A JP2012166801 A JP 2012166801A JP 2012166801 A JP2012166801 A JP 2012166801A JP 2013084242 A JP2013084242 A JP 2013084242A
Authority
JP
Japan
Prior art keywords
motion
vehicle
alarm
camera
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012166801A
Other languages
English (en)
Inventor
Digmaler Jork
ヨルク・ディグメーラー
Julian Eggert
ジュリアン・エガート
Jansen Herbert
ヘルベルト・ジャンセン
Fuchs Oliver
オリバー・フックス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Research Institute Europe GmbH
Original Assignee
Honda Research Institute Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Research Institute Europe GmbH filed Critical Honda Research Institute Europe GmbH
Publication of JP2013084242A publication Critical patent/JP2013084242A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

【課題】
任意の車両に搭載可能な警報システムにおいて、移動物体を効率的に検出する。
【解決手段】
本システムは、車両の周囲を連続的に撮影する少なくとも一つのカメラを有している。これにより、移動物体を監視する。また、カメラ画像におけるピクセルモーションに基づいて、任意の移動物体の運動を計算するようプログラムされたコンピュータユニットを備える。さらに、危険な移動物体が検出されたときに警報信号を発するための警報ユニットを備える。この判断を行うために、少なくとも一つの移動物体についての前記計算した運動と、予め定められた運動パターンとの関連性の調査又は比較を行う。
【選択図】図1

Description

本発明は、自動車、トラック、オートバイ/スクータなどの車両に用いる警報システム及び警報方法に関する。この警報システムは、移動物体の検出に用いられる。したがって、この警報システムは、車両の周辺を撮影するカメラと、カメラ画像から移動物体を検出するコンピュータ・ユニットとを用いる。本発明は、特に、オートバイの後方を監視して、運転者に危険を及ぼす可能性のある物体の接近を検出するものである。
最近、カメラの代わりに移動物体を検知するレーダシステム備えた、同様の機能を持つ試作品が作製された(非特許文献1参照)。しかしながら、この研究プロジェクトから得られた一つの結論は、将来の実用用途では、レーダシステムよりも小さくて安価な他のセンサを用いることが望ましいということであった。
移動物体、特に、他車両など接近してくる物体に関して警報を発することのできる他の従来技術としては、これまで自動車に搭載されるものがあるだけであり、オートバイに搭載されるものはなかった。また、従来のシステムは、盲点となる部分の検出(盲点検出、blind spot detection)を主たる目的として設計されている(非特許文献2及び3)。
しかしながら盲点検出は、主に車両側部を検知するものであるため、限られた状況でのみ意味を持つ。このため、検知可能な運動パターンの自由度が制限される。特に、後方から接近する物体を検出するための、後方視界の全体画像を取得することはできない。
このような盲点検出システムの性能をさらに改善するため、いくつかの用途では、物体認識などの、外観に基づく方法が付加的に用いられている(非特許文献4)。
上述のシステムは特に自動車用として設計されているため、例えばオートバイがカーブを走行する際に発生するような、車両の傾斜に対応することはできない。
‘Koehlen et al., Erster Radarbasierter Spurwechselassistent fuer motorisierte Zweiraeder, FAS 2011 - 7th workshop on driver assistance systems, TU Braunschweig S. Mota et al., Motion driven segmentation scheme for car overtaking sequences, Proceedings of 10th International Conference on Vision in Vehicles VIV’2003 M. A. Sotelo et al., Blind spot detection using vision for automotive applications, Journal of Zhejiang University - Science A 9(10):1369-1372 J. Wang et al, Overtaking Vehicle Detection Using Dynamic and Quasi-Static Background Modeling, Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) Wikipedia, Epipolar Geometry, http://en.wikipedia.org/wiki/Epipolar_geometry Wikipedia, Homography http://en.wikipedia.org/wiki/Homography J. Klappstein et al., Moving Object Segmentation using Optical Flow and Depth Information, PSIVT 2009 J. Prankl et al., Incremental Model Selection for Detection and Tracking of Planar Surfaces, BMVC 2010 J. Eggert et al., Layered Motion Segmentation with a Competitive Recurrent Network, ICANN 2010
本発明に係る警報検知システムは、従来技術における現状を改善するためのものである。特に、本発明に係る警報システムは、共通画像(common vision)に基づく盲点検出よりも大きな自由度に対応できるよう設計されている。特に、本警報システムは、車両の傾斜をも扱うことができるように構成されている。したがって、本警報システムは、特にオートバイの用途に適している。車両が傾斜すると、カメラ画像はカメラ軸周りで回転することとなる。
本発明に係るシステムは、運動情報(より詳細には、映像ストリームにおけるオプティカルフロー)を用いて移動物体、特に接近物体を検出することにより、上記の問題を解決する。移動物体の検出は、本発明では2段階の処理により行われる。まず、画像シーケンスにおける個々のピクセルの動きを計算した後、測定された運動情報を、対応する領域に分割する。
ビデオ画像からの運動情報の抽出と処理は、例えばステレオカメラやレーダセンサにより測定することのできる奥行き情報を用いた処理とは全く異なる。奥行きを測定するセンサでは、その測定範囲はある距離だけ隔たった位置で終端する。しかしながら、運動評価では、検出できるか否かはその移動物体(例えば、接近物体)の速度に依存するので、固定的な距離範囲というものはない。換言すれば、接近物体についての測定可能な運動が大きければ、より早期にその物体を検知することができる。
ビデオ画像における運動パターンのモデリングは、従来技術の文献に詳細に述べられている(例えば、非特許文献5又は6参照)。現在の問題は、そのような運動パターンのパラメータを実世界の条件の下でフィッティングさせることである。これを行うため、信頼性のない運動情報と信頼性のある運動情報とを分離する、ロバストな回帰フレームワークが必要となる。
この分離は、通常、それぞれの運動パターンを一つずつ抽出する作業を繰り返すことにより行われる(非特許文献7又は8)。複数のタイプの運動を並行に検出する手法は、あまり用いられていない(非特許文献9)。
本発明は、これらの手法の一つに限定されるものではなく、上述した用途の範囲で発生するフィッティング後の運動パターンの特性によって制限される。
本発明に係る警報システムの主たる目的は、車両の運転者に他の物体、特に路上を走行する他車両などの他の運動物体に関する警報を与えることである。特に、つぎのような他車両が検出される。
・(自車両が走行するレーンに隣接するレーン上で)追い抜きを準備している車両
・自車両が走行するレーンと同じレーン上で接近して来る車両
・自車両のドライバが交差点などで停止しているとき又はスタンドを立てているときに、後方から接近して来る車両
本発明は、移動物体を検出する車両用の警報システムであって、自車両の周囲を連続的に撮影する少なくとも一つのカメラと、カメラ画像内のピクセルの動き(ピクセルモーション、pixel motion)に基づいて、移動物体の運動を計算するコンピュータユニットと、少なくとも一つの移動物体についての前記計算した運動が予め定められた運動パターンに従うものである場合に警報信号を発する警報ユニットと、を有する。
上記警報信号は、以下の少なくとも一つに対して与えられる。
−触感的(例えば、振動するハンドルやシート)、音響的、又は視覚的通知手段
−ブレーキ、アクセル、ハンドルなど、車両の状態に影響を与える当該車両のアクチュエータ、及び/又は、
−エアバッグ、ABS、あるいは、鞍乗り型車両(saddle-ridden vehicle)の補助車輪
望ましくは、警報ユニットにより発せられる警報信号は、光学的又は音響的な警報信号のような、通知信号として理解されるべきである。代替的に、あるいは追加として、コンピュータユニット又は警報ユニットは、ハンドル、アクセル、ブレーキなどの、車両のエフェクタを動作させるものとしてもよい。また、他の安全システムの作動、例えば、シートべクトの締め付け、エアバッグの起動や解放を、自動で行うものとすることもできる。すなわち、この警報システムは、改良型のドライバ支援システムに組み込むことも可能である。
レーダに比較すると、カメラは受動的な装置である。したがって、カメラは、自車両又は他車両の他の能動的センサと干渉する危険性はない。より重要なことは、カメラは、自車両のドライバに、2つのバックミラー画像よりも理解しやすい、直接的な後方画像を提供することができるということである。カメラを搭載することにより、尾灯、荷台、サイドバッグなどの、自車両の他の機能が損なわれてはならない。さらに、カメラ画像は、特に自車両がオートバイである場合には、当該自車両の尾灯により悪影響を受けることがあってはならない。
望ましくは、コンピュータユニットは、カメラ画像の連続するフレーム間でのピクセルモーションを計算し、計算したピクセルモーションを、静止した背景物体の動きと移動物体の動きとに分割する動領域抽出(motion segmentation)を行い、移動物体の動きについての動領域抽出の結果と予め定めた運動パターンとを比較して、警報信号を発するか否かを決定するよう構成される。このようにして、移動物体を、迅速、効果的、かつ確実に判定する。
望ましくは、コンピュータユニットは、カメラ画像におけるピクセルモーションから少なくとも一つのカメラの回転、縮尺変化、及び/又は、並進を検出して、動領域抽出の際に、検出した回転、縮尺変化、及び/又は並進を補正するよう構成される。ピクセルモーションから判定される回転に加えて、加速度センサなどの適切なセンサを用いて、車両の傾きや傾斜の量を検出してもよい。本発明の警報システムは、したがって、車両の傾斜も扱うことができる。このため、本警報システムは、オートバイにもうまく適用することができる。
望ましくは、コンピュータユニットは、カメラ画像においてエピポーラ線上を集束点(FOC、Focus of Concentration)に向かって移動する背景物体の、当該カメラに対する動きを、ピクセルの縮小運動(contracting motion)に基づいて検出し、FOCに向かっては移動しない移動物体の動きを、ピクセルの拡大運動(expanding motion)に基づいて検出するよう構成される。
後方に面したカメラ(背面カメラ、rear-facing camera)では、車両が前方へ移動する間は、2つの連続するカメラ画像におけるピクセルの縮小運動が発生する。換言すれば、すべてのピクセルは、いわゆる集束点(FOC)に向かって移動する。FOCと、移動するピクセルの位置を示す2つの点とを通る線をエピポーラ線ともいう。これらの事象は、実世界における静止要素に対応するピクセルについてのみ成り立つ。移動物体などの他の要素は、FOCに向かっては移動しない。したがって、静止物体の動きと移動物体の動きとを分離することが可能となる。
望ましくは、コンピュータユニットは、動領域抽出の際に得られる縮小運動及び拡大運動に従わないピクセルの運動情報を破棄するよう構成される。これにより、システムの信頼度を向上し、不要な処理を避けることができる。
望ましくは、警報ユニットは、車両のダッシュボード又はサイドミラーに設けられた少なくとも一つの警報灯とする。サイドミラーに警報灯を配した場合には、運転者は警報灯が点灯した理由をも即座に特定することができるので、理想的である。警報ユニットは、一方または両方のサイドミラーに設けることができ、望ましくは、危険な動きをする移動物体が特定できる側にのみ配置する。警報灯は、室内に主要なバックミラーがあるときは、当該室内バックミラーにも配置することができる。
望ましくは、警報ユニットは、車両のダッシュボード上において警報表示が重畳される、カメラのライブ映像の表示装置とする。ダッシュボードは、運転者に見られる頻度が高いく、警報表示の配置場所として良好である。自動車のように室内バックミラーを持たないオートバイにおいては特に、ライブ映像を用いることで運転者は後方視界全体を把握することができるため便利である。
望ましくは、警報ユニットは、ライブ映像表示上で移動物体の位置を強調表示するよう構成される。強調表示を行うことで、さらにユーザの注意を引くことができる。
望ましくは、警報ユニットは、車両後方にいる移動物体に向かって警報を発することができるように配置される。例えば、本警報システムが(例えば交通渋滞のために)自車両の前方でブレーキをかけた車両を検出したときに、接近車両に対し警報が発することができる。この場合には、従来の車両用警告灯により警報信号を発するものとすることができる。
望ましくは、警報ユニット又はコンピュータユニットは、警報信号が発せられたときに車両のエフェクタを動作させることができる。その利点は、上述したとおりである。
望ましくは、カメラは、車両の走行方向に対し後方に向かって配置される。
望ましくは、カメラは、車両の後方に向かって配置され、かつ、汚れや水に対して保護されている。すなわち、保護部材や防水ケースを用いることができる。これによりカメラの寿命が延びる。
本発明は、さらに、移動物体を検出して警報を発する方法に関するものであって、当該方法は、車両の周囲を連続的に撮影するステップと、カメラ画像におけるピクセルモーションに基づいて移動物体の運動を計算するステップと、少なくとも一つの移動物体についての前記計算した運動が予め定めた運動パターンに従うものである場合に警報信号を発するステップと、を有する。
望ましくは、上記警報を発する方法は、さらに、カメラ画像の連続するフレーム間でのピクセルモーションを計算するステップと、計算したピクセルモーションを、静止した背景物体の動きと移動物体の動きとに分割する動領域抽出を行うステップと、移動物体の動きについての動領域抽出の結果と予め定めた運動パターンとを比較して、警報信号を発するか否かを決定するステップと、を有する。
本方法は、自動車、トラック、オートバイなどの、任意の車両で用いることができる。本方法は、上述の警報システムについて述べた利点と同じ利点を有している。
以下では、添付図面に関して本発明を詳細に説明する。
本警報システムの構成を示す図である。 オートバイに搭載された後方視界用カメラを示す図である。 サイドミラーに設けられた警報灯を示す図である。 警報画像が重畳された後方ビデオ画像を示す図である。 自車両の運動により発生する背景運動と、接近して来る物体の運動の、一例を示す図である。 移動する車両、特に接近して来る車両を検出するための処理ステップを示す図である。
図1は、本発明に係る警報システムの主要部分を示す図である。本警報システムは、イメージセンサを備えたカメラ1を有している。カメラ1のイメージセンサは、従来用いられているCMOSやCCDを用いることができるが、これらに限定されるものではない。カメラ1は、背面カメラすなわち後方視界カメラであることが望ましい。したがって、本カメラは、車両の(内部又は外部の)後部に配置されることが望ましい。一例として、図2に、オートバイの後部に配された背面カメラ1を示す。カメラ1は、尾灯、荷台、サイドバッグ等の他の機能に影響を与えないように配置する必要がある。また、カメラ画像がオートバイの尾灯により悪影響を受けないようにする必要がある。ただし、本カメラは、汚れや水に対して保護されている必要がある。この保護は、カメラ1に泥、ほこり、あるいは水が入らないようにするためのケースや保護部材を用いて行うことができる。
カメラ1は、コンピュータユニット2にビデオ画像を出力する。コンピュータユニット2は、ビデオ画像に対し、運動計算(motion estimation)、動領域抽出(motion segmentation)、及び後処理(post-processing)という少なくとも3つの機能を実行するように構成されている。より詳細な説明については、後述する。コンピュータユニット2は、従来のプロセッサあるいはマイクロプロセッサとすることができる。コンピュータユニット2は、他の車両用電気システムと共に一体に組み込むことができる。
本警報システムは、さらに、警報ユニット3を備える。警報ユニット3は、コンピュータユニット2からの信号、すなわち、警報信号を発するか否かについての指示を受信する。コンピュータユニット2は、警報ユニット3を制御する。警報ユニット3は、例えば、車両のダッシュボードの一部を構成する、背面カメラのビデオ画像の表示装置とすることができる。図1に示す破線は、カメラ1のビデオ画像信号がコンピュータユニット2だけでなく、カメラ画像のライブ映像を表示するためのダッシュボードのスクリーン(警報ユニット3)にも供給されることを示している。これに代えて、警報ユニット3を、ダッシュボードや一つ又は複数のサイドミラーに設けられた単純な警報灯とすることもできる。
図3aは、車両のサイドミラー32を示している。警報ユニット3は、警報灯31として当該ミラーに組み込まれている。警報灯31は、例えば、一つ又は複数のLEDで構成することができる。警報灯31を点灯又は点滅させることにより、ドライバに対し危険な移動物体、例えば、背後から急速に接近する物体や追い越しをしようとする車両の存在を警告することができる。警報ユニット3は、付加的に、あるいはオプションとして、音響信号を発するものとすることができる。警報ユニット3は、各サイドミラー及び/又は主バックミラーに組み込まれた警報灯31とすることができる。この場合、コンピュータユニット2は、複数ある警報灯31の一つを選択して警報信号を発するように警報ユニット3を制御するものとすることができる。例えば、自車両が走行するレーンの左側のレーンで他車両が追い越そうとしている場合、左サイドミラー32に配された警報灯31を動作させる。一方、他の車両が、自車両が走行するレーンの右側のレーンで追い越そうとしている場合には、右サイドミラー32の配された警報灯31を動作させる。また、例えば、車両が背後から接近して来るときは、主バックミラーに配された警報灯31を動作させる。これらにより運転者は危険を直感的に把握し、これに応じた反応をすることができる。
図3bは、他の例を示しており、警報ユニット3はカメラ画像のライブ映像表示34の表示装置である。本ライブ映像表示は、例えば、タコメータや回転計、その他の情報を表示することができる車両のダッシュボード画面32上に表示するものとすることができる。コンピュータユニット2が警報発出に必要な条件が満たされたことを検知すると、警報表示34が、ライブ映像表示上に重畳表示される。図3bでは、警報表示は、ライブ映像表示34の外周フレームとして表示されている。この外周フレームは、点灯又は点滅するものとすることができる。ただし、ダッシュボード画面上に表示される他の視覚的な警報表示35を用いることもできる。この場合も、視覚的信号に加えて音響警報信号を用いることができる。
コンピュータユニット2は、警報条件が成立した場合に、車両のエフェクタやアクチュエータを動作させるものとすることができる。エフェクタは、例えば、操舵ハンドル、アクセル、ブレーキ等とすることができる。警報条件が成立したときに、コンピュータユニット2を介して、車両の他の安全システムを制御することもできる。たとえば、接近して来る物体が検知されたときに、シートベルトの締め付けや、エアバッグの解放を初期化するものとすることができる。
上述したように、コンピュータユニット2は、カメラ1が出力するビデオ画像信号に対し、運動計算と、動領域抽出と、後処理を実行する。移動物体についての運動計算は、カメラ画像におけるピクセルモーションに基づいている。
図4は、背面カメラ1の場合を示している。特に、この例では、車両は前方に向かって移動している。前方へ移動する車両上にあるカメラ1の相対的な運動は、2つの連続するビデオ画像でのピクセルの縮小運動を生じさせる。換言すれば、実世界の静止物体に対応する全てのピクセルは、いわゆる集束点(FOC)に向かって移動する。FOCと移動ピクセルの位置を示す2つ点とを通る線は、エピポーラ線とも称される。例えば移動物体などの他の要素や物体は、FOCに向かう運動を生じさせない。接近して来る物体は、例えばピクセルの拡大運動を生じさせる。この効果は、物体が並行に移動している場合や車両と同じ方向に移動している場合に、最も顕著となる。
上述した効果によって生ずる、ビデオ画像における他の種類の運動の発生も、動領域抽出において扱うことができる。上述した運動パターンは、測定されたピクセルモーション情報に基づいて分離することができる。カメラが車両後方に向いている特殊な場合においては、背景運動はピクセルの縮小運動を生じさせるのに対し、接近して来る物体は、ピクセルの拡大運動を生じさせる。
移動物体、接近物体、又は追い越し物体を検出するための処理ステップは、4つの主要なステップに分けることができる。図5には、背面カメラにより車両後方から接近して来る物体を捉える場合についての、上記4つの主要なステップが左から右に向かって示されている。
第1に、カメラ1により2つの連続するビデオ画像が取得され、コンピュータユニット2により、それらの画像間のピクセルモーションが計算される。
第2に、運動計算の手法が使用される。この運動計算には、従来技術に関して上述した既知の運動計算手法を用いることができる。運動計算は、ビデオ画像信号の2つの連続するフレーム間でのピクセルモーションに関する計算結果を出力する。
第3に、得られたピクセルモーションは、上述の仮定の下に、背景運動(すなわち、静止物体の相対運動)と接近物体の運動に分離される。すなわち、縮小運動と拡大運動を用いて物体を識別する。このステップを、動領域抽出という。動領域抽出に用いるモデルには、カメラ1の回転、縮尺変化、及び並進が含まれる。このため、本システムは、車両の傾斜も扱うことができる。上述した運動パターン(縮小又は拡大)のいずれにも該当しない運動情報はすべて、(例えば測定誤りによる)信頼度の低い運動情報とされる。
最後に、コンピュータユニット2は、後処理を実行する。後処理では、コンピュータユニット2が、その前に実行した動領域抽出に基づいて決定を行う。コンピュータユニット2は、予め定めた運動パターン(例えば、接近して来る他車両、追い越そうとしている他車両、ブレーキをかけている他車両など)を記憶したメモリを備えるものとすることができる。コンピュータユニット2は、動領域抽出ステップで得られた移動物体についての運動パターンを、上記予め定められた運動パターンと比較する。次に、コンピュータユニット2は、上記予め定められた運動パターンのいずれかと一致するか否かを決定する。コンピュータユニット2は、上記予め定められたパターンが一致するか、又は、予め定めた閾値未満の誤差内で一致すると判断すると、警報ユニット3へ、警報信号を出力させるためのコマンドを出力する。
要約すると、本発明に係る警報システムは、任意の種類の車両に用いられて、移動物体を効果的に検出することができる。本システムは、車両の周囲を連続的に撮影するための少なくとも一つのカメラを用いる。これにより、移動物体を監視することもできる。コンピュータユニットは、カメラ画像におけるピクセルモーションに基づいて移動物体の運動を計算するようにプログラムされている。危険な移動物体が検出されたときは、警報ユニットを用いて警報信号を出力する。その決定を行うため、少なくとも一つの移動物体についての前記計算した運動と予め定められた運動パターンとの関連性の調査又は比較を行う。

Claims (16)

  1. 移動物体を検出する、車両用の警報システムであって、
    前記車両の周囲を、望ましくは連続的に撮影する少なくとも一つのカメラ(1)と、
    前記カメラの画像内のピクセルモーションに基づいて、移動物体の運動を計算するコンピュータユニット(2)と、
    移動物体の少なくとも一つの前記計算した運動が、予め定められた運動パターンに従うものである場合に、警報信号を発する警報ユニット(3)と、
    を有する、
    システム。
  2. 請求項1に記載された警報システムにおいて、
    前記コンピュータユニット(2)は、
    前記カメラの画像の連続するフレーム間での前記ピクセルモーションを計算し、
    前記計算したピクセルモーションを、静止した背景物体の運動と移動物体の運動とに分離する動領域抽出を実行し、
    移動物体についての動領域抽出の結果を予め定められた運動パターンと比較して、警報を発すべきか否かを決定するよう構成されている、
    システム。
  3. 請求項2に記載された警報システムにおいて、
    前記コンピュータユニット(2)は、
    カメラ画像におけるピクセルモーションから、少なくとも一つのカメラ(1)の回転、縮尺変化、及び/又は、並進を検出し、
    前記動領域抽出の際に、検出された前記カメラの回転、縮尺変化、及び/又は、並進を補正するよう構成されている、
    システム。
  4. 請求項2又は3に記載された警報システムにおいて、
    前記コンピュータユニット(2)は、
    前記カメラ画像において集束点(FOC)に向かって延びたエピポーラ線上を移動するピクセルの縮小運動に基づいて、前記カメラ(1)に対する背景物体の運動を検出し、
    前記集束点に向かっては移動しないピクセルの拡大運動に基づいて、移動物体の運動を検出するよう構成されている、
    システム。
  5. 請求項2に記載された警報システムにおいて、
    コンピュータユニット(2)は、前記動領域抽出において取得された前記縮小運動及び拡大運動のいずれにも従わないピクセルの運動情報を破棄するよう構成されている、
    システム。
  6. 請求項1に記載された警報システムにおいて、
    前記警報ユニット(3)は、前記車両のダッシュボード(33)又はサイドミラーに設けられた少なくとも一つの警報灯(31)である、
    システム。
  7. 請求項1に記載された警報システムにおいて、
    前記警報ユニット(3)は、前記車両のダッシュボード上で警報表示が重畳表示される、前記カメラ(1)のライブ映像の表示装置である、
    システム。
  8. 請求項7に記載された警報システムにおいて、
    警報ユニット(3)は、前記ライブ映像の表示装置(34)上の前記移動物体の位置を強調表示するよう構成されている、
    システム。
  9. 請求項1に記載された警報システムにおいて、
    前記警報ユニット(3)は、前記車両の後方にある移動物体の方向に警報信号を発することができるように配置されている、
    システム。
  10. 請求項1に記載された警報システムにおいて、
    前記カメラ(1)は、前記車両の走行方向に対し後方に向かって配されている、
    システム。
  11. 請求項10に記載された警報システムにおいて、
    前記カメラ(1)は、前記車両の後方に配され、汚れ及び水に対して防御されている、
    システム。
  12. 請求項1に記載された警報システムにおいて、
    前記警報信号は、
    振動ハンドルや振動シートなどの触感による通知手段、若しくは、音響的又は視覚的な通知手段、
    ブレーキ、アクセル、ハンドルなどの、前記車両の状態に影響を与える前記車両のアクチュエータ、及び/又は
    エアバッグ、ABS、又は、鞍乗り型車両(saddle-ridden vehicle)の補助車輪、などの安全装置
    の少なくとも一つに対して出力される、
    システム。
  13. 請求項1ないし12に記載された警報システムを備える車両、特に、オートバイ又はスクータのような鞍乗り型車両(saddle-ridden vehicle)。
  14. 移動物体を検出して警報を発する方法であって、
    車両の周囲を連続的に撮影するステップと、
    カメラ画像におけるピクセルモーションに基づいて移動物体の運動を計算するステップと、
    少なくとも一つの移動物体についての前記計算した運動が予め定められた運動パターンに従うものであるときに警報信号を発するステップと、
    を有する、
    方法
  15. 請求項14に記載された方法において、さらに、
    前記画像の連続するフレーム間での前記ピクセルモーションを計算するステップと、
    前記計算したピクセルモーションを静止した背景物体の運動と移動物体の運動とに分離する動領域抽出を実行するステップと、
    前記移動物体の運動についての前記動領域抽出の結果と、予め定められた運動パターンとを比較して、警報信号を発するか否かの判断を行うステップと、
    を有する、
    方法
  16. 車両のコンピュータ装置において実行されたときに請求項14又は15に記載の方法を実行する、コンピュータ・ソフトウェア・プログラム。
JP2012166801A 2011-10-06 2012-07-27 映像に基づく車両用警報システム Pending JP2013084242A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11184090.6A EP2578464B1 (en) 2011-10-06 2011-10-06 Video-based warning system for a vehicle
EP11184090.6 2011-10-06

Publications (1)

Publication Number Publication Date
JP2013084242A true JP2013084242A (ja) 2013-05-09

Family

ID=44763953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012166801A Pending JP2013084242A (ja) 2011-10-06 2012-07-27 映像に基づく車両用警報システム

Country Status (3)

Country Link
US (1) US8933797B2 (ja)
EP (1) EP2578464B1 (ja)
JP (1) JP2013084242A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015174208A1 (ja) * 2014-05-12 2015-11-19 ボッシュ株式会社 画像認識装置及びその制御方法
JP2017102928A (ja) * 2015-12-03 2017-06-08 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 二輪車における傾斜検出
JP2018112892A (ja) * 2017-01-11 2018-07-19 スズキ株式会社 運転支援装置
JP2021526681A (ja) * 2018-06-13 2021-10-07 ライド ビジョン リミテッド ライダー支援システム及び方法
JPWO2021260477A1 (ja) * 2020-06-26 2021-12-30
KR20220071634A (ko) * 2020-11-24 2022-05-31 주식회사 카비 차량 방향지시등 인식 시스템 및 방법

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101326943B1 (ko) * 2012-06-29 2013-11-11 엘지이노텍 주식회사 추월차량 경고 시스템 및 추월차량 경고 방법
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
US20140354684A1 (en) * 2013-05-28 2014-12-04 Honda Motor Co., Ltd. Symbology system and augmented reality heads up display (hud) for communicating safety information
JP5842110B2 (ja) * 2013-10-10 2016-01-13 パナソニックIpマネジメント株式会社 表示制御装置、表示制御プログラム、および記録媒体
US10318823B2 (en) 2013-10-14 2019-06-11 Mobileye Vision Technologies Ltd. Forward-facing multi-imaging system for navigating a vehicle
CN109884618B (zh) * 2014-02-20 2023-05-26 御眼视觉技术有限公司 车辆的导航***、包括导航***的车辆和导航车辆的方法
US9153133B1 (en) * 2014-07-18 2015-10-06 John D. Baker Motorcycle blind spot detector
US10000154B2 (en) 2014-08-07 2018-06-19 Ford Global Technologies, Llc Vehicle camera system having live video indication
US9392358B2 (en) 2014-10-28 2016-07-12 Robert Bosch Gmbh Waveguide for shaping sound waves
JP6775285B2 (ja) * 2015-09-24 2020-10-28 アルパイン株式会社 後側方車両検知警報装置
US10019805B1 (en) 2015-09-29 2018-07-10 Waymo Llc Detecting vehicle movement through wheel movement
KR102153607B1 (ko) 2016-01-22 2020-09-08 삼성전자주식회사 영상에서의 전경 검출 장치 및 방법
US10311314B2 (en) 2016-11-23 2019-06-04 Ford Global Technologies, Llc Detection of lane-splitting motorcycles
WO2018119744A1 (zh) * 2016-12-28 2018-07-05 深圳前海达闼云端智能科技有限公司 一种虚警障碍物检测方法及装置
US10723334B2 (en) 2017-03-28 2020-07-28 Polaris Industries Inc. Anti-lock brake system for all-terrain vehicle
CN107133912A (zh) * 2017-04-01 2017-09-05 纵目科技(上海)股份有限公司 全景泊车图像畸变校正方法及装置
US10509974B2 (en) 2017-04-21 2019-12-17 Ford Global Technologies, Llc Stain and trash detection systems and methods
US10789470B2 (en) 2017-07-12 2020-09-29 Electronics And Telecommunications Research Institute System and method for detecting dynamic object
US10417882B2 (en) 2017-10-24 2019-09-17 The Chamberlain Group, Inc. Direction sensitive motion detector camera
MX2020005177A (es) 2017-11-22 2020-08-20 Polaris Inc Sistema antibloqueo de frenado conmutable para vehiculo utilitario.
CN108022250B (zh) * 2017-12-19 2021-04-06 北京奇虎科技有限公司 基于自适应阈值分割的自动驾驶处理方法及装置
AU2019235551B2 (en) 2018-03-12 2022-02-03 Jayant RATTI On-demand artificial intelligence and roadway stewardship system
US11206375B2 (en) 2018-03-28 2021-12-21 Gal Zuckerman Analyzing past events by utilizing imagery data captured by a plurality of on-road vehicles
TWM566158U (zh) * 2018-04-18 2018-09-01 林聖岳 Blind spot detection device
US11618422B2 (en) 2018-11-14 2023-04-04 Polaris Industries Inc. Operating modes using a braking system for an all terrain vehicle
US11254294B2 (en) 2018-05-02 2022-02-22 Polaris Industries Inc. Operating modes using a braking system for an all terrain vehicle
US11138418B2 (en) 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
US10843693B2 (en) 2018-10-18 2020-11-24 Robert Bosch Gmbh System and method for rear collision avoidance
EP3672222A1 (en) * 2018-12-17 2020-06-24 Daniele Daviddi Wide angle forward view for a vehicle using cameras mounted on or in the vehicle's side mirrors
CN113954835B (zh) * 2020-07-15 2023-05-30 广州汽车集团股份有限公司 一种车辆在路口处的行驶控制方法、***及计算机可读存储介质
JP2022077041A (ja) * 2020-11-11 2022-05-23 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 画像データ生成装置、リーン車両、及び画像データの生成方法
CN113409587B (zh) * 2021-06-16 2022-11-22 北京字跳网络技术有限公司 异常车辆的检测方法、装置、设备及存储介质
CN117877265A (zh) * 2024-01-24 2024-04-12 特微乐行(广州)技术有限公司 基于视频ai分析的高速公路监控预警与处置管控***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06314340A (ja) * 1993-04-30 1994-11-08 Mitsubishi Electric Corp 車両周辺監視装置
JP2002314989A (ja) * 2001-04-10 2002-10-25 Yazaki Corp 車両用周辺監視装置
JP2008172441A (ja) * 2007-01-10 2008-07-24 Omron Corp 検出装置および方法、並びに、プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4316960B2 (ja) * 2003-08-22 2009-08-19 株式会社半導体エネルギー研究所 装置
US7366325B2 (en) * 2003-10-09 2008-04-29 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision
US7633383B2 (en) * 2006-08-16 2009-12-15 International Business Machines Corporation Systems and arrangements for providing situational awareness to an operator of a vehicle
EP3594853A3 (en) * 2007-05-03 2020-04-08 Sony Deutschland GmbH Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
US8017898B2 (en) * 2007-08-17 2011-09-13 Magna Electronics Inc. Vehicular imaging system in an automatic headlamp control system
US7772991B2 (en) * 2008-01-09 2010-08-10 Ford Global Technologies, Llc Accident avoidance during vehicle backup
CN101574962A (zh) * 2008-05-06 2009-11-11 鸿富锦精密工业(深圳)有限公司 车辆安全***
JP4377439B1 (ja) * 2008-06-12 2009-12-02 本田技研工業株式会社 車両周辺監視装置
DE102009038906A1 (de) * 2009-08-26 2011-03-03 Daimler Ag Verfahren und Vorrichtung zur Früherkennung einer Kollision eines Fahrzeuges
US8611598B2 (en) * 2011-07-26 2013-12-17 Harman International (China) Holdings Co., Ltd. Vehicle obstacle detection system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06314340A (ja) * 1993-04-30 1994-11-08 Mitsubishi Electric Corp 車両周辺監視装置
JP2002314989A (ja) * 2001-04-10 2002-10-25 Yazaki Corp 車両用周辺監視装置
JP2008172441A (ja) * 2007-01-10 2008-07-24 Omron Corp 検出装置および方法、並びに、プログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2015174208A1 (ja) * 2014-05-12 2017-04-20 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 画像認識装置及びその制御方法
US10430670B2 (en) 2014-05-12 2019-10-01 Robert Bosch Gmbh Image-recognition device and method for controlling same
WO2015174208A1 (ja) * 2014-05-12 2015-11-19 ボッシュ株式会社 画像認識装置及びその制御方法
JP7179440B2 (ja) 2015-12-03 2022-11-29 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 二輪車における傾斜検出
JP2017102928A (ja) * 2015-12-03 2017-06-08 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 二輪車における傾斜検出
JP2018112892A (ja) * 2017-01-11 2018-07-19 スズキ株式会社 運転支援装置
JP2021526681A (ja) * 2018-06-13 2021-10-07 ライド ビジョン リミテッド ライダー支援システム及び方法
CN113998034A (zh) * 2018-06-13 2022-02-01 里德视觉有限公司 骑乘者辅助***和方法
JP7397807B2 (ja) 2018-06-13 2023-12-13 ライド ビジョン リミテッド ライダー支援システム及び方法
CN113998034B (zh) * 2018-06-13 2023-08-25 里德视觉有限公司 骑乘者辅助***和方法
JPWO2021260477A1 (ja) * 2020-06-26 2021-12-30
JP7450034B2 (ja) 2020-06-26 2024-03-14 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング ライダー支援システムの制御装置、ライダー支援システム、及び、ライダー支援システムの制御方法
KR102470770B1 (ko) 2020-11-24 2022-11-25 주식회사 카비 차량 방향지시등 인식 시스템 및 방법
KR20220071634A (ko) * 2020-11-24 2022-05-31 주식회사 카비 차량 방향지시등 인식 시스템 및 방법

Also Published As

Publication number Publication date
EP2578464A1 (en) 2013-04-10
US8933797B2 (en) 2015-01-13
US20130088343A1 (en) 2013-04-11
EP2578464B1 (en) 2014-03-19

Similar Documents

Publication Publication Date Title
JP2013084242A (ja) 映像に基づく車両用警報システム
JP6185970B2 (ja) 車両の後方側面に隣接する物体を検出する方法
KR101865766B1 (ko) 대형 차량의 이동 객체 충돌 경고 장치 및 방법
JP6919567B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5414714B2 (ja) 車戴カメラ及び車載カメラシステム
JP6205640B2 (ja) 車両用警告装置
EP2701093B1 (en) Sensing system and method for detecting moving objects
JP5626147B2 (ja) 車両接近物検知装置
JP2005309797A (ja) 歩行者警報装置
WO2016157698A1 (ja) 車両検出システム、車両検出装置、車両検出方法、及び車両検出プログラム
JP6805716B2 (ja) 表示装置、表示方法、プログラム
KR20180065527A (ko) 차량 후측방 경고 장치 및 이를 이용한 경고 방법
JP4906437B2 (ja) 周辺監視システム
WO2016092925A1 (ja) 接近車両検出装置
JPWO2020115596A1 (ja) 鞍乗型車両の警告システムのための処理装置及び処理方法、鞍乗型車両の警告システム、及び、鞍乗型車両
US10977506B2 (en) Apparatus for determining visual confirmation target
JP5020606B2 (ja) 周辺監視装置
JP2012156903A (ja) 車両周辺監視装置
JP2005309660A (ja) 車両用右左折支援装置
KR102485318B1 (ko) 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법
KR101750201B1 (ko) 차량의 거동을 이용한 bsd
JP2020016950A (ja) 衝突判定装置および衝突判定方法
JP6970540B2 (ja) 車外環境認識装置および車外環境認識方法
JP2000285393A (ja) 移動体の後方監視装置および後方監視方法
JP5744698B2 (ja) 車線監視システム及び車線監視方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140318

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140617

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140711

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140826