JP2022136366A - 接近検知装置、接近検知方法、及びプログラム - Google Patents
接近検知装置、接近検知方法、及びプログラム Download PDFInfo
- Publication number
- JP2022136366A JP2022136366A JP2021035922A JP2021035922A JP2022136366A JP 2022136366 A JP2022136366 A JP 2022136366A JP 2021035922 A JP2021035922 A JP 2021035922A JP 2021035922 A JP2021035922 A JP 2021035922A JP 2022136366 A JP2022136366 A JP 2022136366A
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- approach detection
- vehicle
- optical flow
- detection area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 157
- 238000013459 approach Methods 0.000 title claims abstract description 121
- 230000003287 optical effect Effects 0.000 claims abstract description 135
- 238000012545 processing Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012806 monitoring device Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】 接近してくる移動体を精度よく検知する接近検知装置、接近検知方法、及びプログラムを提供する。
【解決手段】 接近検知装置10は、第一の移動体の後方を撮像した画像と、第一の移動体の速度とに基づいて、第一の移動体に接近する第二の移動体を検知するための接近検知領域を画像に設定する、設定部11と、接近検知領域においてオプティカルフローを算出生成する、生成部12と、オプティカルフローから、あらかじめ設定された第一の移動体から遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、接近検知領域に存在する第二の移動体が第一の移動体に接近したと判定する、判定部13と、を有する。
【選択図】図1
【解決手段】 接近検知装置10は、第一の移動体の後方を撮像した画像と、第一の移動体の速度とに基づいて、第一の移動体に接近する第二の移動体を検知するための接近検知領域を画像に設定する、設定部11と、接近検知領域においてオプティカルフローを算出生成する、生成部12と、オプティカルフローから、あらかじめ設定された第一の移動体から遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、接近検知領域に存在する第二の移動体が第一の移動体に接近したと判定する、判定部13と、を有する。
【選択図】図1
Description
本発明は、接近してくる移動体を検知する、接近検知装置、接近検知方法、及びプログラムに関する。
特許文献1には、自車両の周辺に存在する車両を検出する接近車監視装置が開示されている。特許文献1の接近車監視装置は、まず、撮像された画像の所定の位置に設定された一つ以上の領域において、画像上での速度分布を表す大きさと方向を有するオプティカルフローを生成する。次に、特許文献1の接近車監視装置は、生成したオプティカルフローのうち、設定した一定値以上の大きさを持つオプティカルフローの方向を生成する。
次に、特許文献1の接近車監視装置は、それぞれの領域の所定の位置に、更に一つ以上のフロー監視領域を設定し、その監視領域内でオプティカルフローの方向を監視する。次に、特許文献1の接近車監視装置は、接近した車両が動くと想定される方向と、同じ方向のオプティカルフローを抽出する。
その後、特許文献1の接近車監視装置は、抽出したプティカルフローの大きさ(画素数)がある閾値以上となる矩形範囲を取りだし、取りだした矩形範囲を後方に存在する車両の領域(後方接近車領域)として検出する。
しかしながら、特許文献1の接近車監視装置では、後方に存在する車両の位置を検出しているが、後方から車両が接近していることを検知していない。
一つの側面として、接近してくる移動体を精度よく検知する接近検知装置、接近検知方法、及びプログラムを提供することを目的とする。
上記目的を達成するため、一つの側面における接近検知装置は、
第一の移動体の後方を撮像した画像と、前記第一の移動体の速度とに基づいて、前記第一の移動体に接近する第二の移動体を検知するための接近検知領域を設定する、設定部と、
前記接近検知領域においてオプティカルフローを生成する、生成部と、
前記オプティカルフローから、あらかじめ設定された前記第一の移動体から遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、前記接近検知領域に存在する前記第二の移動体が前記第一の移動体に接近したと判定する、判定部と、
を有することを特徴とする。
第一の移動体の後方を撮像した画像と、前記第一の移動体の速度とに基づいて、前記第一の移動体に接近する第二の移動体を検知するための接近検知領域を設定する、設定部と、
前記接近検知領域においてオプティカルフローを生成する、生成部と、
前記オプティカルフローから、あらかじめ設定された前記第一の移動体から遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、前記接近検知領域に存在する前記第二の移動体が前記第一の移動体に接近したと判定する、判定部と、
を有することを特徴とする。
また、上記目的を達成するため、一側面における接近検知方法は、
第一の移動体の後方を撮像した画像と、前記第一の移動体の速度とに基づいて、前記第一の移動体に接近する第二の移動体を検知するための接近検知領域を設定し、設定ステップと、
前記接近検知領域においてオプティカルフローを生成し、生成ステップと、
前記オプティカルフローから、あらかじめ設定された前記第一の移動体から遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、前記接近検知領域に存在する前記第二の移動体が前記第一の移動体に接近したと判定する、判定ステップと、
を有することを特徴とする。
第一の移動体の後方を撮像した画像と、前記第一の移動体の速度とに基づいて、前記第一の移動体に接近する第二の移動体を検知するための接近検知領域を設定し、設定ステップと、
前記接近検知領域においてオプティカルフローを生成し、生成ステップと、
前記オプティカルフローから、あらかじめ設定された前記第一の移動体から遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、前記接近検知領域に存在する前記第二の移動体が前記第一の移動体に接近したと判定する、判定ステップと、
を有することを特徴とする。
さらに、上記目的を達成するため、一側面におけるプログラムは、
コンピュータに、
第一の移動体の後方を撮像した画像と、前記第一の移動体の速度とに基づいて、前記第一の移動体に接近する第二の移動体を検知するための接近検知領域を設定し、設定ステップと、
前記接近検知領域においてオプティカルフローを生成し、生成ステップと、
前記オプティカルフローから、あらかじめ設定された前記第一の移動体から遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、前記接近検知領域に存在する前記第二の移動体が前記第一の移動体に接近したと判定する、判定ステップと、
を実行させることを特徴とする。
コンピュータに、
第一の移動体の後方を撮像した画像と、前記第一の移動体の速度とに基づいて、前記第一の移動体に接近する第二の移動体を検知するための接近検知領域を設定し、設定ステップと、
前記接近検知領域においてオプティカルフローを生成し、生成ステップと、
前記オプティカルフローから、あらかじめ設定された前記第一の移動体から遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、前記接近検知領域に存在する前記第二の移動体が前記第一の移動体に接近したと判定する、判定ステップと、
を実行させることを特徴とする。
一つの側面として、接近する移動体を精度よく検知することができる。
はじめに、以降で説明する実施形態の理解を容易にするために概要を説明する。
車両A(自車両)の後方を移動する車両Bが存在する場合に、車両Bが車両Aとの間隔を適切な距離に保っていれば、車両Aと車両Bと速度は略同じであると想定される。そのような場合に、車両Aの後方を撮像した画像を用いてオプティカルフローが生成されると、車両Aから遠ざかる方向を向くオプティカルフローが多くなる。
車両A(自車両)の後方を移動する車両Bが存在する場合に、車両Bが車両Aとの間隔を適切な距離に保っていれば、車両Aと車両Bと速度は略同じであると想定される。そのような場合に、車両Aの後方を撮像した画像を用いてオプティカルフローが生成されると、車両Aから遠ざかる方向を向くオプティカルフローが多くなる。
対して、煽り運転などにより車両Aに車両Bが近接してくる場合には、車両B画像の周辺に車両Bから車両Aの方向(近づく方向)を向くオプティカルフローも生成される。
そこで、発明者は、後方の車両Bが車両Aに接近する場合におけるオプティカルフローの特性に基づいて、車両Bが車両Aに接近してくることを検知する手段を導出するに至った。その結果、車両Aに接近してくる車両Bを精度よく検知できる。
以下、図面を参照して実施形態について説明する。なお、以下で説明する図面において、同一の機能又は対応する機能を有する要素には同一の符号を付し、その繰り返しの説明は省略することもある。
(実施形態)
図1を用いて、本実施形態における接近検知装置の構成について説明する。図1は、接近検知装置の一例を示す図である。
図1を用いて、本実施形態における接近検知装置の構成について説明する。図1は、接近検知装置の一例を示す図である。
[装置構成]
接近検知装置10は、接近する移動体を精度よく検知する装置である。例えば、移動体が車両である場合、車両に搭載され接近検知装置10は、当該車両に後方から接近する他の車両を精度よく検知する。また、この検知結果は、煽り運転などの検知にも利用できる。
接近検知装置10は、接近する移動体を精度よく検知する装置である。例えば、移動体が車両である場合、車両に搭載され接近検知装置10は、当該車両に後方から接近する他の車両を精度よく検知する。また、この検知結果は、煽り運転などの検知にも利用できる。
接近検知装置10は、図1に示すように、設定部11と、生成部12と、判定部13とを有する。なお、以降の説明において、移動体を車両に置き換えて説明する。
設定部11は、車両A(第一の移動体)の後方を撮像した画像と、車両Aの速度とに基づいて、車両Aに接近する車両B(第二の移動体)を検知するために用いる接近検知領域を設定する。接近検知領域は、後方を撮像した画像に対応するワールド座標系に設定される領域である。
図2は、接近検知領域を設定する方法を説明するための図である。図2のAに示した画像20は、車両Aに搭載された撮像装置により撮像された車両Aの後方の画像である。図2のBに示した画像21は、車両22(車両B)に対応する領域の前方に接近検知領域23(破線領域)が設定された図である。なお、画像20、21には、道路の領域と、道路以外の領域が含まれている。
また、接近検知領域23の位置と形状は、車両Aの移動する速度に基づいて決定される。例えば、車両Aが低速で移動している場合には、設定部11は、接近検知領域23を車両Aに近い位置に設定する。また、車両Aが高速で移動している場合には、設定部11は、接近検知領域23を車両Aから遠い位置に設定する。
生成部12は、接近検知領域においてオプティカルフローを生成する。図3は、オプティカルフローの生成について説明するための図である。図3に示す画像30には、車両22と複数のオプティカルフロー32、33(矢印)が表されている。
判定部13は、生成されたオプティカルフローから、あらかじめ設定された車両Aから遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数を算出する。続いて、判定部13は、残存したオプティカルフローの数に基づいて、車両Bが車両Aに接近したと判定する。
具体的には、残存したオプティカルフローの数が、あらかじめ設定された判定値を超えていた場合、車両Bが車両Aに接近したと判定する。なお、判定値は、例えば、実験やシミュレーションなどにより決定する。
図3の例では、車両Aに近づいてくる向きのオプティカルフロー32の数が5個である。このような場合に、判定値として4個が設定されていれば、車両Bが車両Aに接近していると判定する。なお、図3の例では、車両Aから遠ざかる向きのオプティカルフロー33の数は2個である。
なお、判定部13は、残存したオプティカルフローの数が、あらかじめ設定された時間に変化した変化率を算出し、算出した変化率に基づいて、車両Bが車両Aに接近したと判定してもよい。
具体的には、算出した変化率があらかじめ設定された変化率判定値を超えていた場合、車両Bが車両Aに接近したと判定する。なお、変化率判定値は、例えば、実験やシミュレーションなどにより決定する。
このように、実施形態においては、まず、車両Aの速度に応じて接近検知領域のサイズと形状を変更し、変更した接近検知領域において車両Aから遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数を算出する。その後、残存したオプティカルフローの数に基づいて、車両Aの後方から車両Bが接近していることを検知する。その結果、車両Aに車両Bが接近していることを精度よく検知できる。
[システム構成]
続いて、図4を用いて、本実施形態における接近検知装置10の構成をより具体的に説明する。図4は、接近検知装置を有するシステムの一例を説明するための図である。
続いて、図4を用いて、本実施形態における接近検知装置10の構成をより具体的に説明する。図4は、接近検知装置を有するシステムの一例を説明するための図である。
システムについて説明する。
システム40は、ドライブレコーダ41と、撮像装置42と、計測装置43と、記憶装置44とを有する。
システム40は、ドライブレコーダ41と、撮像装置42と、計測装置43と、記憶装置44とを有する。
ドライブレコーダ41は、車両Aに搭載され、車両Aの内外の状況を記録する装置である。ドライブレコーダ41は、ドライブレコーダの機能に加えて、接近検知装置10を有している。接近検知装置10は、上述したように車両Aに後方から接近する車両Bを検知する機能を有している。
撮像装置42は、例えば、カメラを搭載した装置である。撮像装置42は、時系列に撮像した画像を接近検知装置10に出力する。
計測装置43は、例えば、GPS(Global Positioning System)を搭載した装置である。計測装置43は、時系列に取得した位置と日時を表す情報を含む計測結果情報を接近検知装置10に出力する。
記憶装置44は、少なくとも接近検知装置10の検知結果を記憶する装置である。図4の例では、記憶装置44はドライブレコーダ41に設けられているが、ドライブレコーダ41の外部に設けてもよい。
接近検知装置について説明する。
接近検知装置10は、例えば、CPU(Central Processing Unit)、又はFPGA(Field-Programmable Gate Array)などのプログラマブルなデバイス、又はGPU(Graphics Processing Unit)、又はそれらのうちのいずれか一つ以上を搭載した回路、モバイル端末などの情報処理装置である。
接近検知装置10は、例えば、CPU(Central Processing Unit)、又はFPGA(Field-Programmable Gate Array)などのプログラマブルなデバイス、又はGPU(Graphics Processing Unit)、又はそれらのうちのいずれか一つ以上を搭載した回路、モバイル端末などの情報処理装置である。
設定部11は、車両Aの後方を撮像した画像と、車両Aの速度に基づいて、車両Aに接近する車両Bを検知するために用いる接近検知領域を設定する。具体的には、次の(1)(2)(3)のように接近検知領域を設定する。
(1)設定部11は、まず、撮像装置42から車両Aの後方を撮像した画像と、計測装置43から計測結果情報とを取得する。次に、設定部11は、計測結果情報に基づいて車両Aの速度を算出する。
ただし、ドライブレコーダ41に、あらかじめ車両Aの速度を算出する速度算出機能がある場合には、設定部11で車両Aの速度を算出せず、速度算出機能から車両Aの速度を取得する。
次に、設定部11は、車両Aの速度を用いて、速度範囲情報と接近検知領域情報とが関連付けられた領域選択情報を参照し、車両Aの速度が含まれる速度範囲情報に対応する接近検知領域情報を選択する。その後、設定部11は、選択した接近検知領域情報に基づいて接近検知領域を設定する。
図5は、領域選択情報の一例を説明するための図である。図5の領域選択情報51には、速度範囲情報を表す…「Speed1」「Speed2」「Speed3」…と、接近検知領域情報を表す…「Area1」「Area2」「Area3」…とが関連付けられて記憶されている。
速度範囲情報は、車両Aの速度の範囲を表す情報である。接近検知領域情報は、例えば、ワールド座標系での最大検知距離、最小検知距離、検知幅を表す情報を有している。
図6は、接近検知領域を設定する方法を説明するための図である。図6の例では、画像60に台形の接近検知領域61(破線領域)を設定している。
距離L1は、上底Upと下底Unの中心を通る直線の長さである。距離L2は、画像60の辺62(画像60の下端辺)から下底Unまでの直線の長さである。
接近検知領域61を設定する場合、接近検知領域情報には、画像60に示されている画像座標系の距離L1をワールド座標系で表した最大検知距離Lw1と、画像座標系の距離L2をワールド座標系で表した最小検知距離Lw2とが含まれている。また、接近検知領域情報には、台形の上底Upの長さと下底Unの長さをワールド座標系で表した検知幅Wが含まれている。
(2)上述した距離L1に対応する最大検知距離Lw1と、距離L2に対応する最小検知距離Lw2はリアルタイムで算出してもよい。その場合、設定部11は、車両Aの速度に基づいて、速度に応じて決められている車両Aと車両Bの適切な距離Lo(実際の距離)を選択し、選択した距離Loをワールド座標系に変換して距離L1に対応する最大検知距離Lw1を算出する。距離L2に対応する最小検知距離Lw2は、距離Loに応じて変更してもよいし、固定値としてもよい。
このように距離Loに基づいて最大検知距離Lw1、最小検知距離Lw2を算出する場合、接近検知領域情報に最大検知距離Lw1、最小検知距離Lw2を含めなくてもよい。
また、接近検知領域の形状は、上述した台形に限定されるものでなく、他の形状を用いてもよい。その場合、形状を設定するために必要な情報を含めた接近検知領域情報を記憶部に記憶する。
(3)後方を撮像した画像に含まれている移動環境領域に基づいて、接近検知領域を算出してもよい。移動環境領域とは、例えば、図6に示す画像60であれば、車両が移動する領域、すなわち道路に対応する領域である。
具体的には、設定部11は、まず、画像処理により、画像に撮像されている移動環境領域を抽出する。次に、設定部11は、車両Aの速度に応じて選択した距離L1、L2と、抽出した移動環境領域の形状とに基づいて、接近検知領域の形状を算出する。
例えば、図6の画像60を用いて接近検知領域を設定する場合、距離L1の位置における道路の幅を上底Upとし、距離L2の位置における道路の幅を下底Unとし、上底Upと下底Unの端部を直線で結び、台形の接近検知領域を決定する。
生成部12は、接近検知領域においてオプティカルフローを生成する。具体的には、生成部12は、まず、あらかじめ設定された間隔(サンプリング時間)ごとに取得した画像それぞれについて、接近検知領域の特徴点を抽出する。
例えば、生成部12は、取得した画像ごとに、接近検知領域において周囲との輝度差のあるコーナーを特徴点として抽出する。ただし、特徴点の抽出方法は上述した方法に限定されるものではない。
図7は、特徴点の抽出を説明するための図である。図7に示した画像70の例では、接近検知領域(破線領域)に車両Bが存在している場合に、複数の特徴点72を抽出したことを示す図である。
次に、生成部12は、二つの画像の特徴点を用いてオプティカルフローを生成する。例えば、生成部12は、第一の時点で取得した画像の特徴点と、第一の時点より過去の第二の時点で取得した画像の特徴点とを用いてマッチング処理を実行する。マッチング処理は、二つの画像の特徴点を特徴量の類似度に基づいてマッチングする処理である。
次に、生成部12は、マッチング処理結果、すなわちマッチングした特徴点を用いて、オプティカルフローを生成する。その結果、上述した図3に示したようなオプティカルフローが生成される。
なお、夜間において、後方の車両Bのヘッドライトの光が当たる路面と当たらない路面の境界でエッジが発生した場合、発生したエッジが特徴点として抽出される。そのような場合、その特徴点が車両Bと同じ速度で移動すると、生成部12は、ノイズとなるオプティカルフローを生成する。
そこで、実際のヘッドライトの光の輝度値が、ヘッドライトの光が反射した路面の輝度値より明るいという特徴を利用して、ノイズとなるオプティカルフローを削除する。
具体的には、生成部12は、まず、接近検知領域において抽出された特徴点それぞれの輝度値が輝度閾値Bth未満であるか判定する。輝度閾値Bthは、ヘッドライトの光が反射した路面の輝度値に基づいて、実験やシミュレーションなどにより決定する。
次に、特徴点の輝度値が輝度閾値Bth未満の場合、生成部12は、その後、生成部12は、残存した特徴点を用いてオプティカルフローを生成する。
このように、輝度値が輝度閾値Bth未満の特徴点を削除するので、後方の車両Bのヘッドライトの光に起因するオプティカルフローの生成を抑止できる。
判定部13は、オプティカルフローから、あらかじめ設定された車両Aから遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数が、あらかじめ設定された期間において、あらかじめ設定された判定値を超えていた場合、車両Bが車両Aに接近していると判定する。
判定部13について図8を用いて具体的に説明する。図8は、オプティカルフローの削除を説明するための図である。
判定部13は、まず、オプティカルフローを画像座標系からワールド座標系に変換する。次に、判定部13は、ワールド座標系に変換したオプティカルフローから、ワールド座標系に設定された背景候補範囲81に含まれる、あらかじめ設定された車両Aの撮像装置42から遠ざかる向きのオプティカルフローを抽出する。
背景候補範囲81は、例えば、図8に示すようなZ軸(垂直軸)を中心に角度118°の扇形状の範囲である。ただし、背景候補範囲81は、上述した角度や形状に限定されるものではない。
次に、判定部13は、抽出したオプティカルフローそれぞれのワールド座標系におけるZ軸成分を算出する。例えば、図8に示すZ軸成分OPz[mm]を算出する。
次に、判定部13は、算出したオプティカルフローそれぞれのZ軸成分OPzが、削除判定値Lthより大きいかを判定する。削除判定値Lthは、車両Aと車両Bの相対速度S(=車両Bの速度-車両Aの速度)と車両Aの移動時間Tに基づいて算出された移動距離L(=相対速度S×移動時間T)[mm]である。
オプティカルフローのZ軸成分OPzが削除判定値Lthより大きい場合(OPz>Lth)、判定部13は、当該オプティカルフローを、背景や路面において発生したオプティカルフローとして削除する。
すなわち、(A)背景や路面において発生したオプティカルフローは、車両Aの移動速度SAに応じて、車両Aから遠ざかる方向に発生する。かつ、(B)背景や路面において発生したオプティカルフローのZ軸成分OPz[mm]は、相対速度S(<移動速度SA)と移動時間Tに応じて算出される移動距離Lより[mm]も長くなる。したがって、(A)(B)の条件に一致するオプティカルフローを削除する。
次に、判定部13は、残存したオプティカルフローの合計を算出する。図3の例では、オプティカルフロー32の数を求める。
次に、判定部13は、所定の期間(サンプリング時間より長い時間)において、残存したオプティカルフローの数が、あらかじめ設定された判定値を超えていた場合、車両Aに接近してくる車両Bが存在すると判定する。
その後、判定部13は、判定結果(車両Aに接近してくる車両が存在するか否かを表す情報)を記憶装置44に記憶する。
このように、実施形態では、車両Aの速度に応じて接近検知領域のサイズと形状を変更し、変更した接近検知領域においてオプティカルフローを生成する。そして、生成したオプティカルフローから、あらかじめ設定された車両Aから遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、車両Aに接近する車両Bが存在することを判定する。その結果、車両Aに接近してくる車両Bを精度よく検知できる。
(変形例1)
変形例1として、判定部13の機能に、更に、ノイズとなるオプティカルフローを削除する機能を設けてもよい。
変形例1として、判定部13の機能に、更に、ノイズとなるオプティカルフローを削除する機能を設けてもよい。
例えば、ヘッドライトが路面に反射した場合、後方を撮像した画像の白線に対応する白線画像にエッジが発生し、発生したエッジは特徴点として抽出される。そのような場合、その特徴点が車両Bと同じ速度で移動すると、白線画像とその周辺に、車両Aに近づく方向のオプティカルフロー(ノイズとなるオプティカルフロー)が発生する。
変形例1では、このノイズとなるオプティカルフローを削除することで、車両Aに接近する車両Bを検出する精度が向上させる。
変形例1では、まず、接近検知領域23aで抽出したオプティカルフローをワールド座標系に変換する。例えば、図9に示すようなワールド座標系の画像が得られる。図9は、変形例1を説明するための図である。
次に、判定部13は、画像処理により、オプティカルフロー群を検出する。図9の例では、オプティカルフロー群が、外接矩形91、92を用いて検出されている。
次に、判定部13は、外接矩形それぞれの横幅を算出する。次に、判定部13は、算出した外接矩形の横幅が、あらかじめ設定された判定値Wth未満であるか否かを判定する。判定値Wthは、例えば、白線の幅に基づいて、実験やシミュレーションにより決定する。
図9の例では、算出した外接矩形91の横幅Lw1と外接矩形92の横幅Lw2とが判定値Wth未満であるかを判定する。
次に、判定部13は、外接矩形の横幅が判定値Wth未満の外接矩形に関係するオプティカルフローを削除する。図9の例では、外接矩形92に関係するオプティカルフローを、ノイズとなるオプティカルフローとして削除する。
このように、変形例1では、ノイズとなるこれらのオプティカルフローを削除するので、残存するオプティカルフローの数を精度よく算出できる。そのため、後方から接近する車両Bを、更に、精度よく検出することができる。
[装置動作]
次に、本実施形態における接近検知装置の動作について図10を用いて説明する。図10は、接近検知装置の動作を説明するための図である。以下の説明においては、適宜図を参照する。また、本実施形態では、接近検知装置を動作させることによって、接近検知方法が実施される。よって、本実施形態における接近検知方法の説明は、以下の接近検知装置の動作説明に代える。
次に、本実施形態における接近検知装置の動作について図10を用いて説明する。図10は、接近検知装置の動作を説明するための図である。以下の説明においては、適宜図を参照する。また、本実施形態では、接近検知装置を動作させることによって、接近検知方法が実施される。よって、本実施形態における接近検知方法の説明は、以下の接近検知装置の動作説明に代える。
図10に示すように、設定部11は、まず、撮像装置42から車両Aの後方を撮像した画像と、計測装置43から計測結果情報とを取得する(ステップA1)。次に、設定部11は、計測結果情報に基づいて車両Aの速度を算出する(ステップA2)。
ただし、ドライブレコーダ41に、あらかじめ車両Aの速度を算出する速度算出機能がある場合には、設定部11で車両Aの速度を算出せず、速度算出機能から車両Aの速度を取得する。
次に、設定部11は、車両Aの後方を撮像した画像と、車両Aの速度に基づいて、車両Aに接近する車両Bを検知するために用いる接近検知領域を設定する(ステップA3)。具体的には、上述した(1)(2)(3)のような方法により接近検知領域を設定する。
次に、生成部12は、接近検知領域においてオプティカルフローを生成する(ステップA4)。具体的には、生成部12は、まず、あらかじめ設定された間隔(サンプリング時間)ごとに取得した画像それぞれについて、接近検知領域において特徴点を抽出する。続いて、生成部12は、二つの画像の特徴点を用いてオプティカルフローを生成する。
なお、夜間において、後方の車両Bのヘッドライトの光が当たる路面と当たらない路面の境界でエッジが発生し、発生したエッジが特徴点として抽出されるような場合、ステップA4において、生成部12は、まず、接近検知領域において抽出された特徴点それぞれの輝度値が輝度閾値Bth未満であるか判定する。
次に、ステップA4において、特徴点の輝度値が輝度閾値Bth未満の場合、生成部12は、残存した特徴点を用いてオプティカルフローを生成する。
次に、判定部13は、オプティカルフローから、あらかじめ設定された車両Aから遠ざかる向きのオプティカルフローを削除する(ステップA5)。
次に、判定部13は、残存したオプティカルフローの数を算出する(ステップA6)。図3の例では、オプティカルフロー32の数を求める。
次に、判定部13は、残存したオプティカルフローの数に基づいて、車両Bが車両Aに接近していると判定する(ステップA7)。具体的には、残存したオプティカルフローの数が、あらかじめ設定された期間において、あらかじめ設定された判定値を超えていた場合、車両Bが車両Aに接近していると判定する。
なお、ステップA7において、判定部13は、残存したオプティカルフローの数が、あらかじめ設定された時間に変化した変化率を算出し、算出した変化率に基づいて、車両Bが車両Aに接近したと判定してもよい。
具体的には、算出した変化率があらかじめ設定された変化率判定値を超えていた場合、車両Bが車両Aに接近したと判定する。なお、変化率判定値は、例えば、実験やシミュレーションなどにより決定する。
さらに、ステップA7において、判定部13は、変形例1で説明したノイズとなるオプティカルフローを削除してもよい。
次に、判定部13は、接近してくる車両を検出し、判定結果(車両Aに接近してくる車両が有るか無いかを表す情報)を記憶装置44に記憶する(ステップA8)。
[実施形態の効果]
以上のように実施形態によれば、車両Aの速度に応じて接近検知領域のサイズと形状を変更し、変更した接近検知領域においてオプティカルフローを生成する。そして、生成したオプティカルフローから、あらかじめ設定された車両Aから遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、車両Aに接近する車両Bが存在することを判定する。その結果、車両Aに接近してくる車両Bを精度よく検知できる。
以上のように実施形態によれば、車両Aの速度に応じて接近検知領域のサイズと形状を変更し、変更した接近検知領域においてオプティカルフローを生成する。そして、生成したオプティカルフローから、あらかじめ設定された車両Aから遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、車両Aに接近する車両Bが存在することを判定する。その結果、車両Aに接近してくる車両Bを精度よく検知できる。
[プログラム]
本実施形態と変形例1におけるプログラムは、コンピュータに、図10に示すステップA1からA8を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施形態における接近検知装置と接近検知方法とを実現することができる。この場合、コンピュータのプロセッサは、設定部11、生成部12、判定部13として機能し、処理を行なう。
本実施形態と変形例1におけるプログラムは、コンピュータに、図10に示すステップA1からA8を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施形態における接近検知装置と接近検知方法とを実現することができる。この場合、コンピュータのプロセッサは、設定部11、生成部12、判定部13として機能し、処理を行なう。
また、本実施形態と変形例1におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、設定部11、生成部12、判定部13のいずれかとして機能してもよい。
[物理構成]
ここで、実施形態におけるプログラムを実行することによって、接近検知装置を実現するコンピュータについて図11を用いて説明する。図11は、本発明の実施形態における接近検知装置を実現するコンピュータの一例を示すブロック図である。
ここで、実施形態におけるプログラムを実行することによって、接近検知装置を実現するコンピュータについて図11を用いて説明する。図11は、本発明の実施形態における接近検知装置を実現するコンピュータの一例を示すブロック図である。
図11に示すように、コンピュータ110は、CPU(Central Processing Unit)111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。なお、コンピュータ110は、CPU111に加えて、又はCPU111に代えて、GPU、又はFPGAを備えていてもよい。
CPU111は、記憶装置113に格納された、本実施形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであってもよい。なお、記録媒体120は、不揮発性記録媒体である。
また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置があげられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記録媒体、又はCD-ROM(Compact Disk Read Only Memory)などの光学記録媒体があげられる。
なお、本実施形態における接近検知装置10は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。さらに、接近検知装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
[付記]
以上の実施形態に関し、更に以下の付記を開示する。上述した実施形態の一部又は全部は、以下に記載する(付記1)から(付記9)により表現することができるが、以下の記載に限定されるものではない。
以上の実施形態に関し、更に以下の付記を開示する。上述した実施形態の一部又は全部は、以下に記載する(付記1)から(付記9)により表現することができるが、以下の記載に限定されるものではない。
(付記1)
第一の移動体の後方を撮像した画像と、前記第一の移動体の速度とに基づいて、前記第一の移動体に接近する第二の移動体を検知するための接近検知領域を設定する、設定部と、
前記接近検知領域においてオプティカルフローを生成する、生成部と、
前記オプティカルフローから、あらかじめ設定された前記第一の移動体から遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、前記接近検知領域に存在する前記第二の移動体が前記第一の移動体に接近したと判定する、判定部と、
を有する接近検知装置。
第一の移動体の後方を撮像した画像と、前記第一の移動体の速度とに基づいて、前記第一の移動体に接近する第二の移動体を検知するための接近検知領域を設定する、設定部と、
前記接近検知領域においてオプティカルフローを生成する、生成部と、
前記オプティカルフローから、あらかじめ設定された前記第一の移動体から遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、前記接近検知領域に存在する前記第二の移動体が前記第一の移動体に接近したと判定する、判定部と、
を有する接近検知装置。
(付記2)
付記1に記載の接近検知装置であって、
前記設定部は、前記画像に撮像されている移動環境領域の形状と、前記第一の移動体の速度により決定される前記第一の移動体からの距離とに基づいて、前記接近検知領域の形状を設定する
接近検知装置。
付記1に記載の接近検知装置であって、
前記設定部は、前記画像に撮像されている移動環境領域の形状と、前記第一の移動体の速度により決定される前記第一の移動体からの距離とに基づいて、前記接近検知領域の形状を設定する
接近検知装置。
(付記3)
付記1又は2に記載の接近検知装置であって、
前記判定部は、前記オプティカルフローのうち、前記第一の移動体に近づく向きのノイズとなるオプティカルフローを削除する
接近検知装置。
付記1又は2に記載の接近検知装置であって、
前記判定部は、前記オプティカルフローのうち、前記第一の移動体に近づく向きのノイズとなるオプティカルフローを削除する
接近検知装置。
(付記4)
第一の移動体の後方を撮像した画像と、前記第一の移動体の速度とに基づいて、前記第一の移動体に接近する第二の移動体を検知するための接近検知領域を設定する、設定ステップと、
前記接近検知領域においてオプティカルフローを生成する、生成ステップと、
前記オプティカルフローから、あらかじめ設定された前記第一の移動体から遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、前記接近検知領域に存在する前記第二の移動体が前記第一の移動体に接近したと判定する、判定ステップと、
を有する接近検知方法。
第一の移動体の後方を撮像した画像と、前記第一の移動体の速度とに基づいて、前記第一の移動体に接近する第二の移動体を検知するための接近検知領域を設定する、設定ステップと、
前記接近検知領域においてオプティカルフローを生成する、生成ステップと、
前記オプティカルフローから、あらかじめ設定された前記第一の移動体から遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、前記接近検知領域に存在する前記第二の移動体が前記第一の移動体に接近したと判定する、判定ステップと、
を有する接近検知方法。
(付記5)
付記4に記載の接近検知方法であって、
前記設定ステップは、前記画像に撮像されている移動環境領域の形状と、前記第一の移動体の速度により決定される前記第一の移動体からの距離とに基づいて、前記接近検知領域の形状を設定する
接近検知方法。
付記4に記載の接近検知方法であって、
前記設定ステップは、前記画像に撮像されている移動環境領域の形状と、前記第一の移動体の速度により決定される前記第一の移動体からの距離とに基づいて、前記接近検知領域の形状を設定する
接近検知方法。
(付記6)
付記4又は5に記載の接近検知方法であって、
前記判定ステップは、前記オプティカルフローのうち、前記第一の移動体に近づく向きのノイズとなるオプティカルフローを削除する
接近検知方法。
付記4又は5に記載の接近検知方法であって、
前記判定ステップは、前記オプティカルフローのうち、前記第一の移動体に近づく向きのノイズとなるオプティカルフローを削除する
接近検知方法。
(付記7)
コンピュータに、
第一の移動体の後方を撮像した画像と、前記第一の移動体の速度とに基づいて、前記第一の移動体に接近する第二の移動体を検知するための接近検知領域を設定する、設定ステップと、
前記接近検知領域においてオプティカルフローを生成する、生成ステップと、
前記オプティカルフローから、あらかじめ設定された前記第一の移動体から遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、前記接近検知領域に存在する前記第二の移動体が前記第一の移動体に接近したと判定する、判定ステップと、
を実行させる命令を含むプログラム。
コンピュータに、
第一の移動体の後方を撮像した画像と、前記第一の移動体の速度とに基づいて、前記第一の移動体に接近する第二の移動体を検知するための接近検知領域を設定する、設定ステップと、
前記接近検知領域においてオプティカルフローを生成する、生成ステップと、
前記オプティカルフローから、あらかじめ設定された前記第一の移動体から遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、前記接近検知領域に存在する前記第二の移動体が前記第一の移動体に接近したと判定する、判定ステップと、
を実行させる命令を含むプログラム。
(付記8)
付記7に記載のプログラムであって、
前記設定ステップは、前記画像に撮像されている移動環境領域の形状と、前記第一の移動体の速度により決定される前記第一の移動体からの距離とに基づいて、前記接近検知領域の形状を設定する
プログラム。
付記7に記載のプログラムであって、
前記設定ステップは、前記画像に撮像されている移動環境領域の形状と、前記第一の移動体の速度により決定される前記第一の移動体からの距離とに基づいて、前記接近検知領域の形状を設定する
プログラム。
(付記9)
付記7又は8に記載のプログラムであって、
前記判定ステップは、前記オプティカルフローのうち、前記第一の移動体に近づく向きのノイズとなるオプティカルフローを削除する
プログラム。
付記7又は8に記載のプログラムであって、
前記判定ステップは、前記オプティカルフローのうち、前記第一の移動体に近づく向きのノイズとなるオプティカルフローを削除する
プログラム。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
以上のように本発明によれば、後方から接近してくる移動体を精度よく検知できる。本発明は、後方から接近してくる移動体の検知が必要な分野において有用である。
10 接近検知装置
11 設定部
12 生成部
13 判定部
40 システム
41 ドライブレコーダ
42 撮像装置
43 計測装置
44 記憶装置
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
11 設定部
12 生成部
13 判定部
40 システム
41 ドライブレコーダ
42 撮像装置
43 計測装置
44 記憶装置
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
Claims (9)
- 第一の移動体の後方を撮像した画像と、前記第一の移動体の速度とに基づいて、前記第一の移動体に接近する第二の移動体を検知するための接近検知領域を設定する、設定手段と、
前記接近検知領域においてオプティカルフローを生成する、生成手段と、
前記オプティカルフローから、あらかじめ設定された前記第一の移動体から遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づき、前記接近検知領域に存在する前記第二の移動体が前記第一の移動体に接近したと判定する、判定手段と、
を有する接近検知装置。 - 請求項1に記載の接近検知装置であって、
前記設定手段は、前記画像に撮像されている移動環境領域の形状と、前記第一の移動体の速度により決定される前記第一の移動体からの距離とに基づいて、前記接近検知領域の形状を設定する
接近検知装置。 - 請求項1又は2に記載の接近検知装置であって、
前記判定手段は、前記オプティカルフローのうち、前記第一の移動体に近づく向きのノイズとなるオプティカルフローを削除する
接近検知装置。 - 第一の移動体の後方を撮像した画像と、前記第一の移動体の速度とに基づいて、前記第一の移動体に接近する第二の移動体を検知するための接近検知領域を設定し、
前記接近検知領域においてオプティカルフローを生成し、
前記オプティカルフローから、あらかじめ設定された前記第一の移動体から遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、前記接近検知領域に存在する前記第二の移動体が前記第一の移動体に接近したと判定する
接近検知方法。 - 請求項4に記載の接近検知方法であって、
前記接近検知領域の設定において、前記画像に撮像されている移動環境領域の形状と、前記第一の移動体の速度により決定する前記第一の移動体からの距離とに基づいて、前記接近検知領域の形状を設定する
接近検知方法。 - 請求項4又は5に記載の接近検知方法であって、
前記判定において、前記オプティカルフローのうち、前記第一の移動体に近づく向きのノイズとなるオプティカルフローを削除する
接近検知方法。 - コンピュータに、
第一の移動体の後方を撮像した画像と、前記第一の移動体の速度とに基づいて、前記第一の移動体に接近する第二の移動体を検知するための接近検知領域を設定させ、
前記接近検知領域においてオプティカルフローを生成させ、
前記オプティカルフローから、あらかじめ設定された前記第一の移動体から遠ざかる向きのオプティカルフローを削除し、残存したオプティカルフローの数に基づいて、前記接近検知領域に存在する前記第二の移動体が前記第一の移動体に接近したと判定させる
処理を実行させる命令を含むプログラム。 - 請求項7に記載のプログラムであって、
前記接近検知領域の設定において、前記画像に撮像されている移動環境領域の形状と、前記第一の移動体の速度により決定する前記第一の移動体からの距離とに基づいて、前記接近検知領域の形状を設定する
プログラム。 - 請求項7又は8に記載のプログラムであって、
前記判定において、前記オプティカルフローのうち、前記第一の移動体に近づく向きのノイズとなるオプティカルフローを削除する
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021035922A JP2022136366A (ja) | 2021-03-08 | 2021-03-08 | 接近検知装置、接近検知方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021035922A JP2022136366A (ja) | 2021-03-08 | 2021-03-08 | 接近検知装置、接近検知方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022136366A true JP2022136366A (ja) | 2022-09-21 |
Family
ID=83312085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021035922A Pending JP2022136366A (ja) | 2021-03-08 | 2021-03-08 | 接近検知装置、接近検知方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022136366A (ja) |
-
2021
- 2021-03-08 JP JP2021035922A patent/JP2022136366A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230014725A1 (en) | Map generation device, map generation method, and map generation ocmputer program | |
JP6702340B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP5251800B2 (ja) | 対象物追跡装置及びプログラム | |
JP6239186B2 (ja) | 表示制御装置及び表示制御方法及び表示制御プログラム | |
JP4656456B2 (ja) | 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム | |
CN106934347B (zh) | 障碍物识别方法及装置、计算机设备及可读介质 | |
US10339396B2 (en) | Vehicle accessibility determination device | |
WO2014033936A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2013140515A (ja) | 立体物検出装置及びプログラム | |
JP2006338272A (ja) | 車両挙動検出装置、および車両挙動検出方法 | |
KR102641117B1 (ko) | 영상을 증강하는 방법 및 장치 | |
JP5874831B2 (ja) | 立体物検出装置 | |
EP3584763A1 (en) | Vehicle-mounted environment recognition device | |
CN108629225B (zh) | 一种基于多幅子图与图像显著性分析的车辆检测方法 | |
EP3522073A1 (en) | Method and apparatus for detecting road surface marking | |
US10789727B2 (en) | Information processing apparatus and non-transitory recording medium storing thereon a computer program | |
JP6431299B2 (ja) | 車両周辺監視装置 | |
JP2019218022A (ja) | 線路検出装置 | |
JP2022136366A (ja) | 接近検知装置、接近検知方法、及びプログラム | |
JP5829155B2 (ja) | 歩行者検出装置及びプログラム | |
JP5062316B2 (ja) | 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム | |
CN114973208A (zh) | 车辆盲区监测预警方法及相关设备 | |
WO2017169704A1 (ja) | 環境認識装置 | |
JP2018088234A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム | |
KR20220160850A (ko) | 소실점을 추정하는 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240202 |