JP3857129B2 - 移動体検出方法及び移動体検出装置 - Google Patents
移動体検出方法及び移動体検出装置 Download PDFInfo
- Publication number
- JP3857129B2 JP3857129B2 JP2001394755A JP2001394755A JP3857129B2 JP 3857129 B2 JP3857129 B2 JP 3857129B2 JP 2001394755 A JP2001394755 A JP 2001394755A JP 2001394755 A JP2001394755 A JP 2001394755A JP 3857129 B2 JP3857129 B2 JP 3857129B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving body
- difference
- area
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、移動体の検出方法及び移動体検出装置に関する。
【0002】
【従来の技術】
交通事故の抑制等を目的として、道路上を走行する移動体(車両等)の挙動を検出する技術が求められている。
例えば、特開平10−105689号公報には、予め設定された検出領域を撮影し、背景画像(移動体(車両等)が存在しない時の道路の画像)と現在画像(現在、撮影した画像)との差分から移動体(車両等)を検出する移動体挙動検知装置が提案されている。
【0003】
【発明が解決しようとする課題】
従来の移動体の検出方法では、背景画像と現在画像との差分から背景を除去して移動体のみを抽出している。
しかし、従来の移動体の検出方法では、夜間等の光量が少ない場合、夜間の背景画像と移動体画像との色彩あるいは明るさ(輝度)の差が小さくなり、背景と移動体の区別が困難になることで、移動体を精度よく検出できない可能性がある。検出領域を照らす照明を設けることができればよいが、広範囲を照射可能な大型の照明の設置、あるいは通常の照明を広範囲に複数設置することが必要であり、希望する検出領域に照明を設けることは費用及び場所等の制約により、非常に困難である。
本発明は、このような点に鑑みて創案されたものであり、光量が少ない夜間等であっても精度良く移動体(車両等)を検出できる移動体検出方法及び移動体検出装置を提供することを目的とする。
【0004】
【課題を解決するための手段】
本発明の移動体検出方法では、背景画像を用いることなく、移動体(車両等)が発光するライト及び当該ライト等に照射された領域を検出し、間接的に移動体を判定することで、光量が少ない夜間等であっても精度良く移動体(車両等)を検出できる。また、所定輝度以上の領域のかたまり(例えば、途切れることなく隣り合う領域が連続して所定輝度以上の部分)の面積が所定値以上である部分を移動体であると判定することで、細かなノイズ成分を除去することができる。
【0005】
また、本発明の移動体検出方法では、背景画像を用いることなく、撮影画像[i]から所定輝度以上の領域を抽出して撮影2値化画像[i]を求め、求めた撮影2値化画像[i]と撮影画像[i]とに基づいて、移動体画像[i]を求める。このため、移動体(車両等)が発光するライト及び当該ライト等に照射された領域を検出し、光量が少ない夜間等であっても、容易に、精度良く移動体(車両等)を検出できる。
【0006】
上記課題を解決するための本発明の第1発明は、請求項1に記載されたとおりの移動体検出方法である。
請求項1に記載の移動体検出方法では、背景画像を用いることなく、撮影画像[i−n]と撮影画像[i]と撮影画像[i+n]を用い、移動体(車両等)が発光するライト及び当該ライト等に照射された領域を検出し、移動体を検出することで、光量が少ない夜間等であっても精度良く移動体(車両等)を検出できる。また、時間的に非常に接近した3つの撮影画像を用いることで、色彩あるいは明るさ(輝度)の変化に対してほとんど影響を受けることなく、背景を除去することができる。また、輝度の変化分が重畳して結果的に変化なしと判定された領域を含む可能性がある差分2値化画像と、所定輝度以上の領域を抽出した撮影2値化画像とに基づいて2値化画像を求めることで、2値化画像における移動体の情報量を増加させ、光量が少ない夜間等であっても、より精度良く移動体(車両等)を検出できる。
また、nは1以上の整数であり、例えば、検出した移動体(車両等)の挙動に応じて警報等を発生させる場合、警報等を発生させるために必要なサンプリング間隔(第1の所定時間間隔)を維持すると同時に、移動体の検出に最適なサンプリング間隔(n=2の場合は第1の所定時間間隔の2倍、n=3の場合は第1の所定時間間隔の3倍等)を設定することができる。
【0007】
また、本発明の第2発明は、請求項2に記載されたとおりの移動体検出方法である。
請求項2に記載の移動体検出方法では、撮影画像の領域の輝度分布に基づいて閾値を適切に変更することで、効果的にノイズ成分を除去することができ、2つの撮影画像の差分に基づく差分2値化画像を容易に且つ適切に求めることができる。
【0008】
また、本発明の第3発明は、請求項3に記載されたとおりの移動体検出方法である。
請求項3に記載の移動体検出方法では、例えば、移動体までの距離が遠い場合、あるいは移動体の速度が遅い場合等では、nの値を大きくして移動体を検出するサンプリング間隔を長くする。また、移動体までの距離が近い場合、あるいは移動体の速度が速い場合等では、nの値を小さくして、移動体を検出するサンプリング間隔を短くする。あるいは、移動体の位置と速度に応じてnの値を適切な値に設定する。このように、状況に応じて移動体の検出に最適なサンプリング間隔を設定することができる。
【0009】
また、本発明の移動体検出方法では、移動体を検出した場合は第1の所定時間間隔を短くし、移動体を検出しなかった場合は第1の所定時間間隔を長くすることで、不要な作動を抑制し、電源等の寿命を延長させることができる。
【0010】
また、本発明の移動体検出装置を用いれば、光量が少ない夜間等であっても精度良く移動体(車両等)を検出できる移動体検出装置を実現できる。
【0011】
また、本発明の移動体検出装置を用いれば、少なくとも2つの移動体画像に基づいて、検出した移動体の位置と移動方向を求め、所定地点(交差点等)に移動体(車両等)が接近している場合、警報を発生させることで、警報装置の近傍の人々に注意を促すことができる。
【0012】
また、本発明の移動体検出装置を用いれば、適切な電源を用いて、移動体検出装置を動作させることができる。また、太陽電池を用いた場合は、移動体検出装置を動作させるためのエネルギーコストを低減させることができる。
【0013】
また、本発明の車両接近警報装置を用いれば、検出した移動体の大きさに基づいて移動体が車両であるか否かを判定し、少なくとも2つの移動体画像に基づいて、判定した車両の位置と移動方向を求め、当該車両が所定地点(交差点等)に接近している場合、警報装置から警報を発生させることで、交通事故等を抑制させることが期待できる。
【0014】
また、本発明の車両接近警報装置を用いれば、適切な電源を用いて、車両接近警報装置を動作させることができる。また、太陽電池を用いた場合は、車両接近警報装置を動作させるためのエネルギーコストを低減させることができる。
【0015】
【発明の実施の形態】
以下に本発明の実施の形態を図面を用いて説明する。図1は、本発明の移動体検出方法を適用した移動体検出装置の一実施の形態の概略構成図を示している。
図1は、移動体Cが、見通しの悪い路地βから幹線道路αを横断しようとしている(直進しようとしている)例を示している。この例では、移動体Cの左側には障害物γがあり、移動体Cからの視界では、左側の幹線道路αが見えない状況にある。
通常の場合は、移動体Cの運転者は、徐行して交差点に近づき、(幹線道路αの)左右の交通状況を確認する。そして、幹線道路αを走行して交差点に向かって来る移動体(車両等)が存在しないことを確認した後に、幹線道路αを横断する。しかし、夕暮れ時等、薄暗い場合では、移動体Cの運転者が、幹線道路αを走行して交差点に向かって来る移動体Aの存在を見落とし、交通事故につながる可能性がある。
【0016】
撮影装置1は、第1の所定時間間隔で、(図1中の移動体Aを含む)検出領域の画像を撮影する。
処理装置2は、第1の所定時間間隔で、撮影された画像を記憶装置3に記憶するとともに、記憶装置3に記憶されている撮影画像をプログラムに従って処理して移動体を検出する。そして、処理装置2は、幹線道路αを走行して交差点に向かって来る移動体Aを検出すると、警報装置4に警報動作信号を送る。
警報装置4は、処理装置2から警報動作信号を受け取ると、音声あるいは光等(警報の方法は、種々の方法が可能である)で警報を発生する。移動体Cの運転者は、警報装置4から警報が発生していることにより、交差点に他の移動体(この場合は、移動体A)が進入してくることを判別することができる。これにより、安全に幹線道路αを横断することができる。
なお、撮影装置1、処理装置2、記憶装置3、警報装置4は、各々個別の装置であってもよいし、いくつかをまとめた装置(図1の例では、処理装置2と記憶装置3をまとめている)であってもよい。また、処理装置2と警報装置4は、無線回線で接続してもよいし、有線回線で接続してもよい。また、設置場所も、種々変更が可能である。
また、各装置の駆動用電源としては、交流電源を用いてもよいし、太陽電池を用いてもよいし、交流電源あるいは太陽電池の双方を具備し、必要に応じて切り替えて用いてもよい。電源には、種々の電源を用いることができる。なお、太陽電池を備える場合は、例えば、電池パネルを撮影装置1の上部等に設ける。
【0017】
◆[移動体の検出原理(光量が多い日中等(デイモード)の場合)]
次に、図2を用いて、光量が多い日中等(デイモード)の場合における移動体検出方法の検出原理を説明する。
本実施例で用いている画像は、全て、明るさ(輝度)をデジタル量(例えば、0〜255の数字で表され、「0」が最も暗く、「255」が最も明るい値)に変換した個々の画素が、整然と配列(例えば、縦方向:480画素、横方向:640画素)されて構成された、デジタル画像である。また、各図面において、各画像間を結ぶ矢印は、処理の流れを明確にするために、適宜、実線、点線、1点鎖線、2点鎖線等を用いている。
まず、撮影装置1にて、第1の所定時間間隔(例えば、1/8秒間隔)で検出領域を撮影し、処理装置2は撮影画像を記憶装置3に記憶する。図2の例では、時間[i−1]、[i]、[i+1]で、撮影画像[i−1]、撮影画像[i]、撮影画像[i+1]を得るとともに記憶装置3に記憶している。
時間[i]の時点では、処理装置2は、撮影画像[i]を得て記憶装置3に記憶し、更に、撮影画像[i−1]と撮影画像[i]との差分に基づいて2値化した差分2値化画像[i−1、i]を求め、記憶装置3に記憶する。この例では、差分2値化画像は、移動体が黒色で示され、移動体を除いた背景が白色で示されている(黒色と白色の2値で表現されている)。時間[i−1]と時間[i]が非常に近接した時間なので、天候等の変化による背景の明るさ等の変化がほとんどなく、適切に背景を除去することが可能である。
また、第1の所定時間間隔が短い場合、あるいは移動体の速度が遅い場合は、差分2値化画像において、移動体が重畳し、明るさ(輝度)の差が小さい部分は、差分を求めた場合に除去される。このため、図2において、重畳した部分の一部は除去され、背景と同様に白色になっている(以下、この状態を中抜け状態という)。なお、差分2値化画像の求め方の詳細については後述する。
【0018】
時間[i+1]の時点では、処理装置2は、撮影画像[i+1]を得て記憶装置3に記憶し、撮影画像[i]と撮影画像[i+1]との差分に基づいて2値化した差分2値化画像[i、i+1]を求め、記憶装置3に記憶する。そして、差分2値化画像[i−1、i]と差分2値化画像[i、i+1]との論理積から、マスク画像[i]を求める。ここで、マスク画像は、2値で表現されており、時間[i+1]で得られるマスク画像は、時間[i+1]に対応するマスク画像でなく、時間[i]に対応するマスク画像[i]である。なお、マスク画像の求め方の詳細については後述する。
続いて、求めたマスク画像[i]と、時間[i]に対応する撮影画像[i]とに基づいて、移動体画像[i]を得る。撮影画像[i]からマスク画像[i]の黒色部分のみを抽出したものが移動体画像[i]である。移動体画像は、撮影画像から移動体以外の背景が除去され、移動体のみが存在している。なお、移動体画像の求め方の詳細については後述する。
この例では、時間[i]に撮影した撮影画像[i]に対応する移動体画像[i]は、時間[i]でなく、時間[i+1]に抽出されるが、時間[i]と時間[i+1]の間隔が短い(本実施例では、1/8秒)ので、移動体の検出及び警報の発生等に、ほとんど影響しない。
【0019】
◆[第1の実施の形態(撮影画像の差分を用いて移動体を検出)]
第1の実施の形態では、「デイモード」の場合と同様に撮影画像の差分を用いて移動体画像を求める。ただし、「デイモード」と異なる方法で移動体画像を求めるので、以下に、その詳細を説明する。
【0020】
◆[移動体の検出原理(光量が少ない夜間等(ナイトモード)の場合)]
図3を用いて、本発明の、光量が少ない夜間等(ナイトモード)の場合における移動体検出方法の検出原理を説明する。以下、図2との相違点について説明する。
時間[i−1]の時点では、処理装置2は、撮影画像[i−1]を得て記憶装置3に記憶する。更に、撮影画像[i−1]の各領域(各画素)を所定輝度以上(例えば、輝度「220」以上)の領域と、所定輝度未満の2種類の領域に分類して2値化した(所定輝度以上の領域を黒色に、所定輝度未満の領域を白色の2値で表現した)撮影2値化画像[i−1]を求める。この場合、移動体Aのライト及び当該ライトで照射された領域と、移動体Bのライトに照射された領域と、街灯及び当該街灯近傍の領域が、所定輝度以上の領域として抽出されている。
【0021】
時間[i]の時点では、時間[i−1]の時点と同様に、撮影2値化画像[i]を求め、図2と同様に、差分2値化画像[i−1、i]を求める。差分2値化画像[i−1、i]は、図2と同様に、中抜け状態である。また、光量が少ない夜間では、背景と移動体自体の輝度の差が小さいので、移動体自体もほぼ除去される可能性が高い。しかし、ライト及び当該ライトで照射された領域(高輝度の領域)が差分として現れる。
また、図2と異なり、ライトで照射された領域は、移動体自体の領域に比較して、輝度の均一性が高い(輝度の値の差が小さい)ので、広範囲に渡って中抜け状態になる可能性が高い。そこで、差分2値化画像[i−1、i]に、撮影2値化画像[i−1]と撮影2値化画像[i]を論理和等を用いて加え、2値化画像[i−1、i]を求める。
【0022】
時間[i+1]の時点では、時間[i]の時点と同様に、撮影2値化画像[i+1]を求め、図2と同様に、差分2値化画像[i、i+1]を求め、2値化画像[i、i+1]を求める。
そして、2値化画像[i−1、i]と2値化画像[i、i+1]との論理積から、マスク画像[i]を求める。図2と同様に差分2値化画像[i−1、i]と差分2値化画像[i、i+1]との論理積を求めた場合は、中抜け状態の部分が大きいことにより、図3中の論理積画像[i]に示すように、僅かな情報しか残らず、移動体の検出に用いることが困難である。しかし、撮影2値化画像との論理和を求めて情報量を増加させることで、移動体を精度よく検出することができる程度の情報量を持つマスク画像[i]を得ることができる。
【0023】
続いて、求めたマスク画像[i]と、時間[i]に対応する撮影画像[i]とに基づいて、移動体画像[i]を得る。撮影画像[i]からマスク画像[i]の黒色部分のみを抽出したものが移動体画像[i]である。移動体画像は、撮影画像から移動体以外の背景が除去され、移動体のみが存在している。ただし、この場合は、移動体(車両等)自身でなく、移動体(車両等)が発光するライト等に照射された領域と、移動していないが所定輝度以上である街灯が検出されている(以降、これらを高輝度体と記載する)。街灯等の移動体でないノイズ成分の除去方法については後述する。
なお、光量が多い日中等(デイモード)と、光量が少ない夜間等(ナイトモード)の判定は、例えば、撮影画像の輝度分布が図11(A)に近似している場合に日中(デイモード)と判定し、撮影画像の輝度分布が図11(B)に近似している場合に夜間(ナイトモード)と判定する。この場合、近似の方法は、種々の方法が可能である。
また、以下の実施の形態は、本発明であるナイトモード(光量が少ない夜間等の場合)における移動体検出方法について説明する。
【0024】
◆[移動体の検出原理(ナイトモードにおける連続撮影及び連続処理)]
図4は、上記で説明した図3の処理を、第1の所定時間間隔で、連続的に実行していく様子を示している。なお、図4では、撮影2値化画像と差分2値化画像を省略して記載しているが、図3と同様にして2値化画像を求めている。
例えば、時間[i]の時点では、撮影画像[i]を得て記憶し、撮影画像[i−1]と撮影画像[i]との差分に基づいて2値化した差分2値化画像[i−1、i]を求めて記憶し、撮影画像[i]の所定輝度以上の領域を抽出した撮影2値化画像[i]を求めて記憶する。そして、差分2値化画像[i−1、i]に、撮影2値化画像[i−1]と撮影2値化画像[i]を論理和等を用いて加え、2値化画像[i−1、i]を求めて記憶する。そして、2値化画像[i−2、i−1]と2値化画像[i−1、i]との論理積からマスク画像[i−1]を求め、撮影画像[i−1]からマスク画像[i−1]の黒色部分を抽出して移動体画像[i−1]を得ることができる。
同様にして、時間[i+1]では移動体画像[i]を得ることができ、時間[i+2]では移動体画像[i+1]を得ることができる。
そして、第1の所定時間間隔毎の移動体画像[i−1]、移動体画像[i]、移動体画像[i−1]に基づいて、移動体(高輝度体)の移動方向及び移動速度、あるいは移動体(高輝度体)までの距離等を求めることができる。移動体(高輝度体)までの距離は、各移動体画像における移動体(高輝度体)の位置で推定することが可能である(本実施例では、移動体(高輝度体)は地上を移動するため)。なお、移動体(高輝度体)の移動方向、移動速度、位置等の求め方は後述する。
【0025】
◆[差分2値化画像の求め方]
次に、図5を用いて、2つの撮影画像の差分から差分2値化画像を求める方法について説明する。図5は、説明のために、撮影画像を8×8のブロック(X、Y)に分割している。また、この例では、各ブロック(X、Y)は、4×4の合計16個の画素が整然と配列されて構成されており、各画素には明るさ(輝度)に基づく測定値が入っている。
例えば、各画素は明るさ(輝度)を測定する。図5に示すように、撮影画像[i−1]のブロック(6、5)及びブロック(6、6)と、撮影画像[i]のブロック(6、5)及びブロック(6、6)の各画素の値は、各画素で検出された明るさ(輝度)の量である(点線で示す部分は、移動体(この場合、ライト等に照射された領域)の外形部分を参考として示している)。また、各ブロック中に色彩を変更している部分は、参考として輝度の違いを示している。
【0026】
ここで、撮影画像[i−1]と撮影画像[i]との差分を求めるには、撮影画像[i]の各画素のデジタル量から、撮影画像[i−1]の対応する画素のデジタル量を減算する。そして、求めた差分の絶対値を演算する。
例えば、撮影画像[i]のブロック(6、6)の右上の画素のデジタル量(50)から、撮影画像[i−1]のブロック(6、6)の右上のデジタル量(120)を減算する。そして、各画素毎に差分の絶対値を演算(この場合「70」)して、対応する画素の部分に、演算した値を格納する。
次に、差分の絶対値を2値化する。例えば、差分の絶対値が閾値以上(例えば、「60」以上)である画素の部分を「1」に設定し、差分の絶対値が閾値未満(例えば、「60」未満)である画素の部分を「0」に設定する。これにより、2つの撮影画像の差分から「1」と「0」の2値のみを有する差分2値化画像を得ることができる。例えば、「0」の画素の部分を白色に設定し、「1」の画素の部分を黒色に設定すると、図5に示す差分2値化画像[i−1、i]が得られる。
この方法によると、非常に短い時間間隔の2つの撮影画像の差分であるため、移動体以外の背景を精度良く除去することが可能である。
しかし、明るさ(輝度)の差が小さい画素を背景とみなして除去するため、移動体(高輝度体)の明るさ(輝度)がほぼ均一で、且つ移動体(高輝度体)の移動速度が低速、あるいは撮影の間隔(第1の所定時間間隔)が短い場合、撮影画像[i−1]と撮影画像[i]において、同一の移動体(高輝度体)が重畳した部分(図5中の「移動体重畳画素」)では、移動体(高輝度体)が存在しているにもかかわらず、背景として除去されてしまう場合がある。この対処方法については、既に説明したように、差分2値化画像と撮影2値化画像との論理和等を用いて、中抜け状態の部分を補正した2値化画像を求めることで対処できる。
【0027】
◆[マスク画像の求め方]
次に、2つの2値化画像の論理積からマスク画像を求める方法について説明する。2値化画像は、各画素が「0」あるいは「1」のいずれかである。この各画素毎に、対応する画素との論理積を求める。
例えば、「デイモード」においては、図2に示す差分2値化画像[i−1、i]と差分2値化画像[i、i+1]との論理積を求めた結果、例えば、「0」の画素の部分を白色に設定し、「1」の画素の部分を黒色に設定すると、図2に示すマスク画像[i]が得られる。
また、例えば、「ナイトモード」においては、図3に示す2値化画像[i−1、i]と2値化画像[i、i+1]との論理積を求めた結果、例えば、「0」の画素の部分を白色に設定し、「1」の画素の部分を黒色に設定すると、図3に示すマスク画像[i]が得られる。
【0028】
◆[移動体画像の求め方]
次に、撮影画像とマスク画像から移動体画像を得る方法について説明する。マスク画像は、上記に説明したように、各画素の部分が「0」あるいは「1」のいずれかである。例えば、図2あるいは図3において、マスク画像[i]の画素が「0」の部分(この場合、マスク画像[i]中の白色部分)に対応する撮影画像[i]の画素の部分を「0」にする(この場合、白色にしている)。また、マスク画像[i]の画素が「1」の部分(この場合、マスク画像[i]中の黒色部分)に対応する撮影画像[i]の画素は、そのままのデジタル量を保持させる。このように、移動体画像[i]を得ることができる。
【0029】
◆[第1の所定時間間隔の設定(1)(移動体が低速時)]
本実施の形態では、移動体が極低速の場合を想定しない。極低速の場合は、移動体(高輝度体)として検出して警報を発生させる必要がないからである。例えば、15km/h以上程度の速度で移動する移動体(高輝度体)を検出することができればよい。
第1の所定時間間隔は、検出領域の道路における車両の速度等に影響されるが、1/4秒以上が好ましい。なお、この値は、検出領域の道路毎に設定を変更してもよい。
【0030】
◆[第1の所定時間間隔の設定(2)(移動体が高速時)]
図6は、移動体(高輝度体)の移動速度が高速、あるいは撮影の間隔(第1の所定時間間隔)が長い場合であって、移動体(高輝度体)が存在する撮影画像が少ない例を示している。
例えば、図6に示すように、移動体(高輝度体)が撮影画像[i]のみに存在する場合、移動体画像[i−1]及び移動体画像[i+1]には移動体(高輝度体)が存在せず、移動体画像[i]のみに移動体が存在する。(図6の例では、移動体画像[i−1]、[i+1]には、移動していない高輝度体(街灯)が含まれているが、実際に移動している高輝度体(車両等)は含まれていない。)この場合、移動体画像[i−1]、[i]、[i+1]を用いても、移動体(高輝度体)の移動方向及び移動速度を求めることができない。よって、第1の所定時間間隔を、検出すべき移動体(高輝度体)が存在する撮影画像が多くなるように設定する。
第1の所定時間間隔は、検出領域の道路における車両の速度等に影響されるが、1/8秒以下が好ましい。なお、この値は、検出領域の道路毎に設定を変更してもよい。
【0031】
◆[低速あるいは高速の移動体を検出する時間間隔の最適化]
以上の説明より、各撮影画像の差分を用いて低速の移動体(高輝度体)を精度よく検出するためには第1の所定時間間隔を1/4秒以上に設定することが好ましく、各撮影画像毎に高速の移動体(高輝度体)を精度よく検出するためには第1の所定時間間隔を1/8秒以下に設定することが好ましい。これを解決する方法を、図7を用いて説明する。
例えば、図7に示すように、各撮影画像を1/8秒毎に撮影する。ただし、2値化画像を1回過去の撮影画像でなく、n回(nは、2以上の整数)過去の撮影画像から求める。同様に、マスク画像及び移動体画像も、n回過去の画像から求める。
図7は、「n=2」に設定した場合の例(撮影画像は1/8秒毎に撮影した例)を示している。
例えば、時間[i+1]の時点では、撮影画像[i+1]を得て記憶し、(2回過去の)撮影画像[i−1]と、(今回撮影した)撮影画像[i+1]との差分に基づいて2値化した差分2値化画像[i−1、i+1]を求めて記憶し、更に、差分2値化画像[i−1、i+1]と撮影2値化画像[i−1]と撮影2値化画像[i+1]との論理和を求め、2値化画像[i−1、i+1]を求めて記憶する。次に、求めた2値化画像[i−1、i+1]と、2回過去の2値化画像[i−3、i−1]との論理積から、マスク画像[i−1]を求める。そして、求めたマスク画像[i−1]と撮影画像[i−1]から、移動体画像[i−1]を得ることができる。つまり、この場合、1/4秒毎の撮影画像の差分に基づいて移動体画像を求めていることになる。
この場合、時間[i−1]に撮影した撮影画像[i−1]に対応する移動体画像[i−1]は、時間[i−1]でなく、時間[i+1]に抽出されるが、時間[i−1]と時間[i+1]の間隔が短い(この場合、1/4秒)ので、警報の発生等に、ほとんど影響を及ぼさない。
【0032】
また、時間[i+2]の時点では、撮影画像[i+2]を得て記憶し、(2回過去の)撮影画像[i]と、(今回撮影した)撮影画像[i+2]との差分に基づいて2値化した差分2値化画像[i、i+2]を求めて記憶し、更に、差分2値化画像[i、i+2]と撮影2値化画像[i]と撮影2値化画像[i+2]との論理和を求め、2値化画像[i、i+2]を求めて記憶する。次に、求めた2値化画像[i、i+2]と、2回過去の2値化画像[i−2、i]との論理積から、マスク画像[i]を求める。そして、求めたマスク画像[i]と撮影画像[i]から、移動体画像[i]を得ることができる。
移動体画像を求める処理を撮影毎に実行するので、時間[i+1]と時間[i+2]の時間間隔は1/8秒である。このため、移動体画像[i−1]、[i]、[i+1]は、1/8秒毎の撮影画像中に存在する移動体を示している。
【0033】
つまり、第1の所定時間間隔で撮影して撮影画像を得るとともに記憶し、時点[i]における撮影画像[i]と、撮影画像[i]に対してn回過去の撮影画像[i−n](nは、1以上の整数)と、撮影画像[i]に対してn回未来の撮影画像[i+n]とを用い、撮影画像[i−n]と撮影画像[i]との差分に基づいて2値化した差分2値化画像[i−n、i]と、撮影画像[i]と撮影画像[i+n]との差分に基づいて2値化した差分2値化画像[i、i+n]とを求め、撮影画像[i−n]、撮影画像[i]及び撮影画像[i+n]の各々に対して各領域を、所定輝度以上の領域と所定輝度未満の領域の2種類の領域に分類した撮影2値化画像[i−n]、撮影2値化画像[i]及び撮影2値化画像[i+n]を求め、求めた差分2値化画像[i−n、i]と撮影2値化画像[i−n]と撮影2値化画像[i]とに基づいた2値化画像[i−n、i]と、求めた差分2値化画像[i、i+n]と撮影2値化画像[i]と撮影2値化画像[i+n]とに基づいた2値化画像[i、i+n]とを求め、求めた2値化画像[i−n、i]と2値化画像[i、i+n]とに基づいて、時点[i]に対応するマスク画像[i]を求め、求めたマスク画像[i]と撮影画像[i]とに基づいて、時点[i]に対応する移動体画像[i]を求め、求めた移動体画像[i]の情報に基づいて、移動体を検出する。
この例では、第1の所定時間間隔が1/8秒であり、n=2であるので、1/4秒毎の差分に基づいて、1/8秒毎に移動体を抽出する。これにより、低速及び高速の移動体を精度よく検出することができる。
【0034】
◆[移動体の移動方向及び移動速度の求め方]
次に、図8を用いて、求めた移動体画像に基づいて移動体(高輝度体)の移動方向及び移動速度を求める方法について説明する。
例えば、図8に示すように、求めた移動体画像を8×8のブロック(X、Y)に分割する。また、この例では、各ブロック(X、Y)は、4×4の合計16個の画素が整然と配列されて構成されており、各画素には明るさ(輝度)に基づく測定値が入っている。このブロック間のマッチングを用いて、移動体(高輝度体)が存在する各ブロック(X[i]、Y[i])の移動先ブロック(X[i+1]、Y[i+1])を検出し、当該ブロックの移動方向と移動距離(動きベクトル)を求める。なお、移動速度は、所定時間における移動距離から求めることができる。
【0035】
図8を用いて、移動体画像[i−1]と移動体画像[i]から、動きベクトル平面[i−1、i](時間[i−1]から時間[i]における、移動体(高輝度体)の動きベクトル)を求める方法を説明する。
例えば、移動体画像[i−1]のブロック(6、5)内の各画素に入っているデジタル量が、図8に示す値とする。また、移動体画像[i]のブロック(7、5)内の各画素に入っているデジタル量が、図8に示す値とする。(点線で示す部分は移動体(高輝度体)の外形を参考として示し、ブロック中の色彩を変更している部分は移動体(高輝度体)の一部であることを参考として示している。)この場合、移動体画像[i−1]のブロック(6、5)と、移動体画像[i]のブロック(7、5)がマッチしたと判定し、動きベクトル平面[i−1、i]上において、ブロック(6、5)からブロック(7、5)へ向かうベクトルが得られる。同様に、各ブロックにおける「(ブロック)動きベクトル」を求め、類似方向及び類似距離の「(ブロック)動きベクトル」を平均化して、「(移動体)動きベクトル」を求める。そして、「(移動体)動きベクトル」より、移動体(高輝度体)の移動方向及び移動距離を求めることができる。また、所定時間における移動距離から、移動体(高輝度体)の移動速度を求めることができる。
なお、ブロック間のマッチングを求める方法としては、従来技術の、(1)ブロック内画素の差分階調値の絶対値の和、(2)ブロック内画素の平均階調値の差の絶対値、(3)ブロック内画素の階調値の標準偏差の差の絶対値、(4)ブロック内画素の階調値の相互相関係数、(5)ブロック内画素の階調値のフーリエ係数による一致度、等種々の方法がある。本実施の形態では、(1)ブロック内画素の差分階調値の絶対値の和を用いたが、他の方法を用いてもよい。
【0036】
◆[撮影タイミング(第1の所定時間間隔)、n値(n回過去及びn回未来の画像との差分を求める場合の「n(nは、1以上の整数)」の値)の変更]
以上の説明では、第1の所定時間間隔を「1/8秒」に固定し、nを「2」に固定した例で説明したが、状況に応じて変更することも可能である。
[第1の所定時間間隔の変更]
例えば、移動体画像を求めた際に、移動体画像中に移動体(高輝度体)が存在しなかった場合、第1の所定時間間隔を長くしてもよい(例えば、1秒)。また、移動体画像中の移動体(高輝度体)の位置に基づいた移動体(高輝度体)までの距離が大きい(移動体が遠い)場合は、第1の所定時間間隔を長くしてもよい。また、所定時間における移動距離から求めた移動体(高輝度体)の移動速度が小さい場合は、第1の所定時間間隔を長くしてもよい。また、逆の場合は、第1の所定時間間隔を短くしてもよい。これにより、移動体(高輝度体)の検出に最適なサンプリング間隔を設定することができる。なお、第1の所定時間間隔を変更した場合は、第1の所定時間間隔の変更に伴い、移動速度の演算も変更する。
【0037】
[n値の変更]
また、例えば、移動体画像を求めた際に、移動体画像中の移動体(高輝度体)の位置に基づいた移動体(高輝度体)までの距離が大きい(移動体が遠い)場合は、n値を大きくしてもよい(例えば、n=8)。あるいは、所定時間における移動距離から求めた移動体(高輝度体)の移動速度が小さい場合は、n値を大きくしてもよい。また、逆の場合は、n値を小さくしてもよい。あるいは、移動体(高輝度体)の位置と速度に応じてnの値を適切に設定するようにしてもよい。これにより、移動体(高輝度体)の検出に最適なサンプリング間隔を設定することができる。なお、n値を変更した場合は、n値の変更に伴い、移動速度の演算も変更する。
【0038】
◆[移動していない高輝度体(固定高輝度体)の除去]
次に、図9を用いて、街灯等、移動していないが移動体(高輝度体)として検出されてしまう物体(本説明では、固定高輝度体と記載する)の除去方法について説明する。なお、図9は、固定高輝度体の除去方法を判り易く説明するために、n値を「1」に設定している。
本発明では、所定地点(例えば、図1に示す交差点)に接近する車両等の移動体(高輝度体)を検出し、警報を発生させるので、固定高輝度体は移動体として検出すべきでない。しかし、第1の所定時間間隔で撮影される各撮影画像中で「所定以上の輝度」があるため、移動体画像中に移動体(高輝度体)として抽出される。
例えば、図9に示すように、撮影画像中に固定高輝度体(この例では、街灯)が存在する場合、各撮影画像にて「所定以上の輝度」がある。このため、固定高輝度体は、各2値化画像中、各マスク画像中及び各移動体画像中にも存在する。固定高輝度体が移動体画像中に存在する場合、図8に示す「(ブロック)動きベクトル」により、固定高輝度体が存在するブロックの移動方向と移動距離が検出されることになる。(実際には固定高輝度体は移動していないので、「(ブロック)動きベクトル」なし、と検出されるが、処理装置2の処理負荷が増加するので好ましくない。)
そこで、「(ブロック)動きベクトル」を求める前に、「(ブロック)動きベクトル」を求めるべきブロックか、求めるべきでないブロックか、を区別する。
【0039】
図9を用いて、「(ブロック)動きベクトル」を求めるべきブロックか、求めるべきでないブロックか、を区別する方法について説明する。
図9は、図8と同様に、求めた移動体画像を8×8のブロック(X、Y)に分割する。そして、ブロックに分割された移動体画像から、加算マップを求める。加算マップでは、例えば、移動体(高輝度体)が存在するブロックには「+2」が割り付けられ、移動体(高輝度体)が存在しないブロックには「−1」が割り付けられる。なお、加算マップ中で色彩を施した部分は、移動体(高輝度体)が存在する領域を参考として示している。
例えば、移動体画像[i]から求めた加算マップ[i]では、ブロック(1、2)、(2、1)〜(2、2)、(2、4)〜(2、5)、(3、3)〜(3、6)、(4、3)〜(4、4)、(5、4)〜(5、6)、(6、4)〜(6、6)、(7、4)〜(7、6)に移動体(高輝度体)が存在するので、当該ブロックに「+2(第1の所定値)」を割り付け、その他のブロック(移動体が存在しないブロック)には「−1(第2の所定値)」を割り付ける。そして、累積マップに、各ブロック毎の累積値(判定値)を記憶する。
なお、累積マップ中で色彩を施した部分は、固定高輝度体と判定された領域を参考として示している。
【0040】
ここで、「(ブロック)動きベクトル」を求めるべきブロックか、求めるべきでないブロックか、を区別する2つの方法について説明する。
[第1の方法]
第1の方法は、移動体画像を分割した各ブロックにおいて、各ブロック毎に移動体(高輝度体)が存在している継続時間を求める方法である。第1の方法では、加算マップと累積マップを省略してもよい。ただし、各ブロック毎に、移動体(高輝度体)が存在した継続時間を記憶するための継続時間マップ(図示せず)を必要とする。継続時間が第2の所定時間以上となったブロックを、移動体(高輝度体)の判定から除外する。
図9の例では、ブロック(1、2)とブロック(2、1)とブロック(2、2)の各ブロックに連続して移動体(高輝度体)が存在している。この各ブロックにおいて、第2の所定時間(例えば、5秒)以上、連続して移動体(高輝度体)が存在した場合、ブロック(1、2)とブロック(2、1)とブロック(2、2)を、「(ブロック)動きベクトル」を求めるべきでないブロックと判定する。当該ブロック以外のブロックで、移動体(高輝度体)が存在するブロックが、「(ブロック)動きベクトル」を求めるべきブロックである。
なお、第1の方法では、移動体(高輝度体)が存在しなくなった場合に、移動体(高輝度体)の判定除外から復帰(移動体の判定に戻す)する。
【0041】
[第2の方法]
第2の方法は、移動体画像を分割した各ブロックにおいて、移動体(高輝度体)が存在した場合に第1の所定値を加算し、移動体が存在しない場合に第2の所定値を減算し、その累積値(判定値)を求める方法である。累積値(判定値)が第3の所定値以上となった場合に、当該ブロックを移動体の判定から除外する。
図9の例では、累積マップに各ブロックの累積値(判定値)が記憶されている。例えば、累積マップ[i−1]の各ブロックの累積値(判定値)に、加算マップ[i]の各ブロックの加算値(「+2」あるいは「−1」)を加算すると、累積マップ[i]が得られる。この累積マップにおいて、累積値(判定値)が第3の所定値(例えば、50)以上となったブロックを、移動体の判定から除外する。また、移動体の判定除外からの復帰(移動体の判定に戻す)は、図9中の「ブロック毎グラフ」に示すように、ヒステリシスを設ける(この例では、50以上で判定から除外(固定高輝度体と判定)し、30以下で判定に戻すことを示している)ことが好ましい。
【0042】
また、累積マップ中の累積値(判定値)は、適切な上下限値(例えば、上限値:100、下限値:0)を設定することが好ましい。(図9は、下限:0を設定した例である。)
第2の方法を用いて、第1の所定値、第2の所定値、第3の所定値を適切に設定することで、点滅している固定高輝度体、及び振動している(風等で揺れている)固定高輝度体も移動体の判定から適切に除外することができる。
移動体の判定から除外されたブロックは、「(ブロック)動きベクトル」を求めるべきでないブロックと判定される。また、当該ブロック以外のブロックで、移動体が存在するブロックが、「(ブロック)動きベクトル」を求めるべきブロックである。
なお、第1の方法及び第2の方法ともに、第1〜第3の所定値を、状況に応じて変更することも可能である。例えば、固定高輝度体が存在する領域が多い場合(夕方あるいは雨天時等、乱反射が多い場合)は、第1の所定値を小さくしたり、第3の所定値を大きくして、固定高輝度体の判定領域を少なくするようにすることもできる。
【0043】
◆[その他のノイズ成分の除去]
次に、図10を用いて、その他のノイズ成分(所定輝度以上の領域の境界近傍または夕方、雨天時における乱反射等)の除去方法について説明する。
図10は、夕方から徐々に暗くなり(時間[i−2])、夜間(時間[i−1]及び[i])を経て、徐々に明るくなり(時間[i+1])、朝を迎えた(時間[i+2])様子を示している。よって、図10においては、時間[i−2]の時点では「デイモード」であり、時間[i−1]及び時間[i]の時点では「ナイトモード」であり、時間[i+1]及び時間[i+2]の時点では「デイモード」である。「デーモード」と「ナイトモード」の切替わりの判定方法は、例えば、撮影画像の輝度分布が図11(A)に近似している場合に日中(デイモード)と判定し、撮影画像の輝度分布が図11(B)に近似している場合に夜間(ナイトモード)と判定する。
【0044】
なお、図10は、その他のノイズ成分の除去方法を判り易く説明するために、n値を「1」に設定している。上記の固定高輝度体の除去と同様、その他のノイズ成分も移動体(高輝度体)として検出すべきでない。しかし、第1の所定時間間隔で撮影される各撮影画像中で「所定値以上の輝度」があるため、移動体画像中に移動体(高輝度体)として抽出される。
例えば、図10に示すように、撮影画像中にその他のノイズ成分(所定輝度以上の領域の境界近傍または夕方、雨天時における乱反射等)が存在する場合、その他のノイズ成分は、撮影2値化画像(図示せず)、差分2値化画像(一部を図示せず)、2値化画像、マスク画像及び移動体画像にも存在する。
【0045】
例えば、時間[i−1]の時点は、「デイモード」から「ナイトモード」に切替わったところである。
この時点では、時間[i−2]が「デイモード」であるため、図2に示すように、撮影2値化画像[i−2]及び2値化画像[i−3、i−2]が存在しない。よって、2値化画像[i−2、i−1]は、例えば、差分2値化画像[i−2、i−1]と撮影2値化画像[i−1]との論理和から求め、マスク画像[i−2]は、例えば、差分2値化画像[i−3、i−2]と2値化画像[i−2、i−1]との論理積から求める。
また、差分2値化画像[i−2、i−1]を求める場合、2値に判定する閾値は、「デイモード」と「ナイトモード」で切替える。例えば、当該閾値を、「デイモード」では輝度「30」程度に設定し、「ナイトモード」では輝度「60」程度に増加させる。「ナイトモード」の方が、明暗の差が大きいため、閾値を上げないと差分2値化画像にノイズが多く発生するためである。
【0046】
図10に示す例では、時間[i]、時間[i+1]、時間[i+2]の時点において、移動体画像等にノイズが混在している様子を示している。
その他のノイズ成分が移動体画像中に存在する場合、図8に示す「(ブロック)動きベクトル」により、その他のノイズ成分が存在するブロックの移動方向と移動距離が検出されることになる。
そこで、移動体画像を求める前に、その他のノイズ成分を除去する。
【0047】
ここで、移動体画像を求める前に、その他のノイズ成分を除去する2つの方法について説明する。
[第1の方法]
第1の方法は、移動体画像中において、孤立した微小な移動体(高輝度体)をノイズとみなす方法である。
既に説明したように、本実施例で用いている画像は、全て、明るさ(輝度)を測定する個々の画素が整然と配列されて構成された、デジタル画像である。また、移動体画像[i]は、マスク画像[i]の画素が「0」の部分(この場合、マスク画像[i]中の白色部分)に対応する撮影画像[i]の画素の部分を「0」にして(この場合、白色にして)、移動体画像[i]を得ることができる。
これより、移動体画像中において、孤立した移動体(高輝度体)であることの判定は、画素が「0」の部分で囲まれていることを判定すればよい。また、微小な移動体(高輝度体)であることの判定は、孤立した移動体(高輝度体)を構成する画素の数を計数し、所定の数(例えば、6)以下であることを判定すればよい。
上記の方法により、移動体画像中から、孤立した微小な移動体(その他のノイズ成分)を除去することができる。
【0048】
[第2の方法]
第2の方法は、差分2値化画像を得る処理において、差分の絶対値から「1」あるいは「0」の2値に判定するための閾値を適切に変更し、差分2値化画像からその他のノイズ成分を除去する方法である。
閾値を、差分2値化画像中の差分の絶対値が閾値以上である領域(画素)の合計面積(「1」の画素の数等)と、2値化画像の全面積(構成する全画素の数等)との比に応じて変更する。
なお、差分2値化画像中の差分の絶対値が閾値以上である領域(画素)の合計面積と、閾値未満である領域(画素)の合計面積との比に応じて閾値を変更してもよい。差分2値化画像中の差分の絶対値が閾値以上である領域(画素)の面積に基づいて閾値を変更する方法は、種々の方法が可能である。
【0049】
例えば、図10において、時間[i−1]における差分2値化画像[i−2、i−1]では、閾値が「60」である。この例では、差分2値化画像[i−2、i−1]にノイズ成分が残ったため、2値化画像[i−2、i−1]にノイズ成分が残っている。例えば、全面積に対して、差分2値化画像中の差分の絶対値が閾値以上である領域(画素)の合計面積の割合が第1の所定割合以上になった場合、閾値を「70」に増加させ、次回の差分2値化画像を得る処理で用いる。
また、逆に、例えば、全面積に対して、差分2値化画像中の差分の絶対値が閾値以上である領域(画素)の合計面積の割合が第2の所定割合未満(第1の所定割合>第2の所定割合)になった場合、閾値を「60」に減少させ、次回の差分2値化画像を得る処理で用いる。
このように、高輝度領域の量に応じて閾値を変更することで、ノイズ量を低減させることが可能である。
【0050】
◆[第2の実施の形態(差分を用いず、輝度情報のみから移動体を検出)]
次に、図12を用いて、「ナイトモード」における、第2の実施の形態について説明する。
第2の実施の形態では、検出領域を第1の所定時間間隔で撮影し、撮影画像を得るとともに記憶する。また、撮影画像は複数の領域で構成されており、各領域は当該領域毎の輝度データを有し、撮影画像における所定輝度以上の領域のかたまり(例えば、途切れることなく隣り合う領域が連続して所定輝度以上の部分)の面積が所定値以上である部分を移動体であると検出する。
例えば、時間[i]の時点では、処理装置2は、撮影画像[i]を得て記憶装置3に記憶し、撮影画像[i]において所定輝度以上(例えば、輝度「220」以上)の領域を「1(黒色)」に設定し、所定輝度未満の領域を「0(白色)」に設定した撮影2値化画像[i]を求める。そして、撮影画像[i]から、撮影2値化画像[i]の「1(黒色)」部分のみを抽出した移動体画像[i]を求める。そして、孤立した部分で且つ所定面積以上(例えば、画素数「100」以上)の領域(かたまりの部分)を移動体と判定する。なお、ノイズ成分、固定高輝度体の除去、「動きベクトル」等の処理方法は、同様であるので省略する。このように、第2の実施の形態では、第1の実施の形態と比較して、より容易に移動体画像を得ることができる。
【0051】
なお、この場合は、時間[i]に撮影した撮影画像[i]に対応する移動体画像[i]は、時間[i]の時点に抽出される。
また、「デイモード」から「ナイトモード」への切替わり時、及び「ナイトモード」から「デイモード」への切替わり時は、差分2値化画像の有無、移動体画像中の移動体(移動体自体の場合と、高輝度体の場合)が異なるので、例えば、切替わり時のみは、動きベクトルの検出等を実行しない。
【0052】
◆[車両接近警報装置への適用]
以上の移動体検出方法により、「ナイトモード」において、求めた移動体(高輝度体)が、所定の大きさ(面積)以上である場合、当該移動体(高輝度体)を車両であると認識する。そして、少なくとも2つの移動体画像に基づいて、認識した車両の「(移動体)動きベクトル」を求め、「(移動体)動きベクトル」の方向、速度、位置に基づいて、警報装置から警報を発生させる。
例えば、図8中の動きベクトル平面[i−1、i]において、「(移動体)動きベクトル」が、所定地点(例えば、交差点であり、この場合は、動きベクトル平面[i−1、i]の下端)の方向に向かっている(接近している)場合、警報を発生する。あるいは、所定地点(この場合は、動きベクトル平面[i−1、i]の下端)の方向に向かっている(接近している)「(移動体)動きベクトル」の大きさが、所定の大きさより大きい場合(速度が大きい場合)、警報を発生する。あるいは、所定地点(この場合は、動きベクトル平面[i−1、i]の下端)の方向に向かっている(接近している)「(移動体)動きベクトル」の位置が、所定の位置に到達した場合(例えば、ブロック(5、1)〜ブロック(8、8)のいずれかの位置に到達した場合)、警報を発生する。
【0053】
本発明の移動体検出方法及び移動体検出装置は、本実施の形態で説明した処理あるいは構成に限定されず、本発明の要旨を変更しない範囲で種々の変更、追加、削除が可能である。例えば、移動体検出装置の構成は、図1に限定されず、種々の構成が可能である。
本発明は、道路上を走行する移動体(車両)の検出に限定されず、種々の移動体の検出に適用することが可能である。
本実施の形態では、輝度情報を用いて説明したが、色彩情報を用いることも可能である。(類似した色彩情報のかたまりを移動体と判別することも可能である。)
また、本実施の形態で説明した「デイモード」と「ナイトモード」の切替え判定方法及び切替え時の処理方法は、本実施の形態の説明に限定されず、種々の方法が可能である。
本実施の形態の説明に用いた数値は一例であり、この数値に限定されるものではない。
本実施の形態で示した各画像、グラフ等は一例であり、これらの画像、グラフ等に限定されるものではない。
また、以上(≧)、以下(≦)、より大きい(>)、未満(<)等は、等号を含んでも含まなくてもよい。
【0054】
【発明の効果】
以上説明したように、請求項1〜3に記載の移動体検出方法あるいは本発明の移動体検出装置あるいは本発明の車両接近警報装置を用いれば、光量が少ない夜間等であっても精度良く移動体(車両等)を検出できる。
【図面の簡単な説明】
【図1】 本発明の移動体検出装置の一実施の形態の概略構成図である。
【図2】 光量が多い日中等(デイモード)の場合における移動体検出方法の検出原理を説明する図である。
【図3】 本発明の、光量が少ない夜間等(ナイトモード)の場合における、移動体検出方法の検出原理を説明する図である。
【図4】 図3の処理を、第1の所定時間間隔で、連続的に実行していく様子を示す図である。
【図5】 2つの撮影画像の差分から差分2値化画像を求める方法について説明する図である。
【図6】 移動体が存在する撮影画像が少ない例を示す図である。
【図7】 低速の移動体を精度よく検出するとともに、高速の移動体をも精度よく検出する方法を説明する図である。
【図8】 求めた移動体画像に基づいて移動体の移動方向及び移動速度を求める方法について説明する図である。
【図9】 移動していないが移動体(高輝度体)として検出されてしまう物体(固定高輝度体)の除去方法について説明する図である。
【図10】 その他のノイズ成分の除去方法について説明する図である。
【図11】 輝度分布の例を示す図である。
【図12】 本発明の、光量が少ない夜間等(ナイトモード)の場合における、第2の実施の形態を説明する図である。
【符号の説明】
1 撮影装置
2 処理装置
3 記憶装置
4 警報装置
Claims (3)
- 検出領域を第1の所定時間間隔で撮影し、撮影画像を得るとともに記憶し、
撮影画像は複数の領域で構成されており、各領域は当該領域毎の輝度データを有し、
時点[i]における撮影画像[i]と、撮影画像[i]に対してn回過去の撮影画像[i−n](nは、1以上の整数)と、撮影画像[i]に対してn回未来の撮影画像[i+n]とを用い、
撮影画像[i−n]と撮影画像[i]における前記領域毎の輝度データの差分の絶対値が閾値以上の領域と閾値未満の領域の2種類の領域に分類して2値化した差分2値化画像[i−n、i]と、撮影画像[i]と撮影画像[i+n]における前記領域毎の輝度データの差分の絶対値が閾値以上の領域と閾値未満の領域の2種類の領域に分類して2値化した差分2値化画像[i、i+n]を求め、
撮影画像[i−n]、撮影画像[i]及び撮影画像[i+n]の各々に対して各領域を、所定輝度以上の領域と所定輝度未満の領域の2種類の領域に分類した撮影2値化画像[i−n]、撮影2値化画像[i]及び撮影2値化画像[i+n]を求め、
求めた差分2値化画像[i−n、i]と撮影2値化画像[i−n]と撮影2値化画像[i]との論理和にて求めた2値化画像[i−n、i]と、求めた差分2値化画像[i、i+n]と撮影2値化画像[i]と撮影2値化画像[i+n]との論理和にて求めた2値化画像[i、i+n]とを求め、
求めた2値化画像[i−n、i]と2値化画像[i、i+n]との論理積にて、時点[i]に対応するマスク画像[i]を求め、求めたマスク画像[i]における2値の一方の値の領域部分に対応する領域の輝度データのみを撮影画像[i]から保持することで、時点[i]に対応する移動体画像[i]を求め、求めた移動体画像[i]において輝度データが保持されている領域から、移動体を検出する、
移動体検出方法。 - 請求項1に記載の移動体検出方法であって、
前記差分2値化画像を求める際の各領域の差分の絶対値が閾値以上である領域の面積と、当該差分2値化画像の全領域の面積との比に応じて前記閾値を変更する、
あるいは前記差分2値化画像を求める際の各領域の差分の絶対値が閾値以上である領域の面積と、各領域の差分の絶対値が閾値未満である領域の面積との比に応じて前記閾値を変更する、
移動体検出方法。 - 請求項1または2に記載の移動体検出方法であって、
少なくとも2つの移動体画像に基づいて移動体の位置を求め、
検出した移動体の位置が遠い場合はnの値を大きくする、
移動体検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001394755A JP3857129B2 (ja) | 2001-12-26 | 2001-12-26 | 移動体検出方法及び移動体検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001394755A JP3857129B2 (ja) | 2001-12-26 | 2001-12-26 | 移動体検出方法及び移動体検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003196786A JP2003196786A (ja) | 2003-07-11 |
JP3857129B2 true JP3857129B2 (ja) | 2006-12-13 |
Family
ID=27601384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001394755A Expired - Fee Related JP3857129B2 (ja) | 2001-12-26 | 2001-12-26 | 移動体検出方法及び移動体検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3857129B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4214926B2 (ja) * | 2004-03-04 | 2009-01-28 | 株式会社ニコン | 電子スチルカメラ |
JP2006333133A (ja) | 2005-05-26 | 2006-12-07 | Sony Corp | 撮像装置、撮像方法、プログラム、プログラム記録媒体並びに撮像システム |
JP4678649B2 (ja) * | 2005-10-31 | 2011-04-27 | 富士通株式会社 | 画像処理装置 |
JP5098949B2 (ja) * | 2008-10-21 | 2012-12-12 | 株式会社ニコン | 電子カメラおよび画像処理プログラム |
JP2010122936A (ja) * | 2008-11-20 | 2010-06-03 | Seiko Epson Corp | センシング回路、表示装置および電子機器 |
JP2011028371A (ja) * | 2009-07-22 | 2011-02-10 | Fujitsu Ltd | 移動体検知装置および移動体検知方法 |
JP5016073B2 (ja) | 2010-02-12 | 2012-09-05 | 株式会社デンソー | 白線認識装置 |
JP6448171B2 (ja) * | 2013-02-25 | 2019-01-09 | 東日本高速道路株式会社 | 車両事故予測(危険走行車両検出)装置 |
JP6413319B2 (ja) * | 2014-04-22 | 2018-10-31 | サクサ株式会社 | 車両検出装置、およびシステム、ならびにプログラム |
JP6543050B2 (ja) * | 2015-03-06 | 2019-07-10 | 株式会社デンソーテン | 障害物検出装置および障害物検出方法 |
JP7093253B2 (ja) * | 2018-07-06 | 2022-06-29 | 株式会社ユニバーサルエンターテインメント | 遊技機及び遊技用装置 |
JP7078474B2 (ja) * | 2018-07-06 | 2022-05-31 | 株式会社ユニバーサルエンターテインメント | 遊技機及び遊技用装置 |
JP7093248B2 (ja) * | 2018-07-06 | 2022-06-29 | 株式会社ユニバーサルエンターテインメント | 遊技機及び遊技用装置 |
CN110688907B (zh) * | 2019-09-04 | 2024-01-23 | 火丁智能照明(广东)有限公司 | 基于夜间道路光源识别物体的方法及装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3100471B2 (ja) * | 1992-07-28 | 2000-10-16 | 日本信号株式会社 | 危険交通事象検出方法 |
JPH06276524A (ja) * | 1993-03-19 | 1994-09-30 | Toyota Motor Corp | 対向車両認識装置 |
JPH08185521A (ja) * | 1994-12-28 | 1996-07-16 | Clarion Co Ltd | 移動体カウント装置 |
JPH08263770A (ja) * | 1995-03-23 | 1996-10-11 | Yuichi Goto | 通行警報装置 |
JPH11284997A (ja) * | 1998-03-31 | 1999-10-15 | Oki Electric Ind Co Ltd | 移動体検知装置 |
JP2001143197A (ja) * | 1999-11-10 | 2001-05-25 | Nippon Telegr & Teleph Corp <Ntt> | 路側装置、出合い頭衝突防止装置、出合い頭衝突防止方法および記録媒体 |
JP2001167282A (ja) * | 1999-12-10 | 2001-06-22 | Toshiba Corp | 移動物体抽出装置及びその方法 |
-
2001
- 2001-12-26 JP JP2001394755A patent/JP3857129B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003196786A (ja) | 2003-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3857129B2 (ja) | 移動体検出方法及び移動体検出装置 | |
EP1962226B1 (en) | Image recognition device for vehicle and vehicle head lamp controller and method of controlling head lamps | |
US20060215882A1 (en) | Image processing apparatus and method, recording medium, and program | |
JP4253271B2 (ja) | 画像処理システム及び車両制御システム | |
CN104050620B (zh) | 对象检测设备 | |
CN101469985A (zh) | 交叉路口车辆排队长度的单帧图像检测装置及其工作方法 | |
US20190196494A1 (en) | Autonomous driving system and autonomous driving method | |
KR20120096011A (ko) | 차량용 헤드라이트 어셈블리의 제어 방법 및 그 헤드라이트 어셈블리 | |
CN101872546A (zh) | 一种基于视频的过境车辆快速检测方法 | |
JP2012226513A (ja) | 検知装置、及び検知方法 | |
CN106915295B (zh) | 车辆大灯状态的控制方法及装置 | |
JP4807354B2 (ja) | 車両検出装置、車両検出システム及び車両検出方法 | |
JP2014153167A (ja) | 物体認識装置、物体認識方法及び物体認識プログラム | |
US9519834B2 (en) | Night parking detection | |
JP2010512271A (ja) | カメラによる車両電灯の識別 | |
JP2010088045A (ja) | ナイトビューシステム、夜間歩行者表示方法 | |
CN104008518B (zh) | 对象检测设备 | |
JP5353531B2 (ja) | 車両灯火認識装置及びプログラム | |
JP2005318408A (ja) | 車両周囲監視装置および方法 | |
US11518465B2 (en) | Motorcycle providing visual light warning to detected vehicles to notify detected vehicles of presence of motorcycle | |
JP2004086417A (ja) | 横断歩道等における歩行者検出方法及び同装置 | |
Sasaki et al. | Development of ranging method for inter-vehicle distance using visible light communication and image processing | |
CN201203419Y (zh) | 城市交叉路口车辆排队长度的单帧图像检测装置 | |
JP5892079B2 (ja) | 物体検出装置 | |
CN102779272B (zh) | 一种车辆检测模式的切换方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041001 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060815 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060913 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090922 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130922 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140922 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |