JP4005409B2 - 背景像推定方法及び背景像推定装置 - Google Patents
背景像推定方法及び背景像推定装置 Download PDFInfo
- Publication number
- JP4005409B2 JP4005409B2 JP2002132593A JP2002132593A JP4005409B2 JP 4005409 B2 JP4005409 B2 JP 4005409B2 JP 2002132593 A JP2002132593 A JP 2002132593A JP 2002132593 A JP2002132593 A JP 2002132593A JP 4005409 B2 JP4005409 B2 JP 4005409B2
- Authority
- JP
- Japan
- Prior art keywords
- background image
- region
- small
- determination
- pixel density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、背景像推定方法及び背景像推定装置に係り、より詳しくは、物体を監視する監視領域内の背景像を推定する背景像推定方法及び背景像推定装置に関する。
【0002】
【従来の技術】
従来から、路上における車両の渋滞状況や移動車両の数等を把握するために、様々な提案がなされている。こうした提案の一つとして、ビデオカメラによる路上の撮像結果から、個々の車両を認識し、個々の車両の移動及び停止状況を検出することにより、路上における車両の渋滞状況や移動車両の数等を把握しようとする技術がある。
【0003】
この技術においては、車両がない路面の像である背景像を予め求める。かかる背景像を求めるためには、多数回の撮像を行い、路上であると推測される画像領域の画素濃度値の時間統計において、最も頻繁に登場する画素濃度値を背景濃度値であると推定していた。
【0004】
こうして予め求めておいた背景像と監視時におけるビデオカメラによる路上の撮像結果との差分から、車両の移動及び停止状況を検出することにより、路上における車両の渋滞状況や移動車両の数等を把握していた。
【0005】
【発明が解決しようとする課題】
上述した従来の背景像を求める技術では、精度良く背景像を推定するためには、多数回の撮像を行うことが必要となるので、背景像を求めるまでに多くの時間を要していた。また、非常に多数の画素濃度値を取り扱うことが必要となるので、背景像を求めるために大規模な資源が必要となっていた。
【0006】
また、従来の背景像を求める技術では、背景が静的に決まる環境であれば、実用的な背景像を求めることができるが、背景の状態の変化が大きい戸外では、有効な背景像を決められないので、実用的ではない。すなわち、背景像を求めるために多くの時間を要する従来の背景像を求める技術では、各車両の移動を精度良く特定するために必要な撮像フレームごとの適切な背景像の推定をすることはできなかった。
【0007】
また、従来の背景像を求める技術では、路上に長時間停車している車両があった場合には、その車両像が背景像と誤認される可能性があった。
【0008】
本発明は、かかる事情のもとでなされたものであり、迅速かつ精度良く、物体を監視する監視領域内の背景像を推定することができる背景像推定方法及び背景像推定装置を提供することを目的とする。
【0009】
本発明の背景像推定方法は、物体を監視する監視領域を含む領域の定期的な撮像によって得られる画像における前記監視領域内の背景像を推定する背景像推定方法であって、前記撮像を行うたびに、前記撮像によって得られた画像から前記監視領域を抽出する監視領域抽出工程と;前記監視領域抽出工程において抽出された監視領域を複数の小領域に分割し、前記複数の小領域ごとに、新たな内部画素濃度分布が前記監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する判定工程と;前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域ごとに、少なくともその新たな内部画素濃度分布に基づいて新たな現在背景像を推定するとともに、前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域ごとに、その新たな内部画素濃度分布のみに基づいて新たな現在背景像を推定する肯定領域背景像推定工程と;前記判定工程において否定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域ごとに、今回の撮像前において推定されていた現在背景像を新たな現在背景像として推定する第1否定領域背景像推定工程と;前記判定工程において否定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域ごとに、前記肯定領域背景像推定工程及び前記第1否定領域背景像推定工程のいずれかにおいて新たな現在背景像が推定された小領域のうちで最も距離が近い小領域の新たな現在推定背景像と同一のものであると推定する第2否定領域背景像推定工程と;を実行する背景像推定方法である。
【0010】
この背景像推定方法では、物体を監視する監視領域を含む領域を定期的に撮像するごとに、すなわち撮像フレームごとに、監視領域抽出工程において、撮像によって得られた画像から監視領域が抽出される。かかる監視領域の抽出は、予め知られている監視領域周辺の画像特徴(例えば、特有の画像パターンの存在)を認識することにより行われる。
【0011】
引き続き、判定工程において、抽出された監視領域を複数の小領域に分割した後、複数の小領域ごとに、新たな内部画素濃度分布が監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かが判定される。ここで、基準画素濃度分布は、理論又は経験則に基づいて予め求められる。
【0012】
次に、肯定領域背景像推定工程において、判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域ごとに、少なくともその新たな内部画素濃度分布に基づいて新たな現在背景像が推定される。また、肯定領域背景像推定工程において、判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域ごとに、その新たな内部画素濃度分布のみに基づいて新たな現在背景像が推定される。
【0013】
また、第1否定領域背景像推定工程において、判定工程において否定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域ごとに、現在背景像が新たな現在背景像として推定される。
【0014】
そして、第2否定領域背景像推定工程において、判定工程において否定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域ごとに、上述した肯定領域背景像推定工程及び第1否定領域背景像推定工程のいずれかにおいて新たな現在背景像が推定された小領域のうちで最も距離が近い小領域のあらたな現在推定背景像と同一のものが背景像として推定される。
【0015】
こうして各撮像フレームごとに、各小領域の背景像として確実度が高い推定を行うことができる順に各小領域の背景像を推定するとともに、撮像フレームが更新されるたびに、各小領域の背景像として新たなより確実度が高い背景像が求められたときには、そのより確実度が高い背景像が各小領域の新たな背景像として推定される。この結果、確実度が高い背景像の推定がされた小領域が、撮像をするたびに増えていくととともに、確実度が高い背景像の推定がされたとはいえない小領域については、確実度が高い背景像の推定がされた小領域の背景像に基づいて合理的な推定がされる。また、環境条件の変化に伴う背景像の変化にも確実に追従して、監視領域の背景像が推定される。
【0016】
したがって、本発明の背景像推定方法によれば、監視対象となる物体の移動の有無にかかわらず、迅速かつ精度良く、物体を監視する監視領域内の背景像を推定することができる。
【0017】
本発明の背景像推定方法では、前記複数の小領域のそれぞれを、少なくとも1方向において、前記物体よりも大きな領域とすることが好ましい。
【0018】
また、本発明の背景像推定方法では、前記複数の小領域のそれぞれを線状領域とすることができる。ここで、「線状領域」とは幅が1〜数画素という非常に狭い幅の領域をいう。
【0019】
また、本発明の背景像推定方法では、前記複数の小領域のそれぞれを矩形状領域とすることができる。
【0020】
また、本発明の背景像推定方法では、前記判定工程が、前記複数の領域のそれぞれについて、内部画素濃度値の分散及び変化幅を算出する特徴算出工程と;前記分散値が許容分散値以下であるともに、前記変化幅が許容変化幅以下であるときに、前記期待される基準画素濃度分布から許容誤差範囲にあると判定する判定演算工程と;を含むこととすることができる。
【0021】
ここで、前記肯定領域背景像推定工程における、前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域の新たな現在背景像の推定を、その小領域内の画素濃度値の代表値が一様に配列されてできる画像を前記新たな現在背景像として推定することとすることができる。
【0022】
また、本発明の背景像推定方法では、前記肯定領域背景像推定工程における、前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域の新たな背景像の推定を、前記新たな内部画素濃度分布及び今回の撮像前において推定されていた現在背景像に基づいて行うこととすることができる。
【0023】
また、本発明の背景像推定方法では、前記物体を車両とすることができる。
【0024】
また、本発明の背景像推定方法では、前記物体を動物とすることができる。ここで、「動物」には人間が含まれるものとする。
【0025】
本発明の背景像推定装置は、物体を監視する監視領域内の背景像を推定する背景像推定装置であって、前記監視領域を含む領域を定期的に撮像する撮像手段と;前記撮像装置による撮像によって得られた画像から前記監視領域を抽出する監視領域抽出手段と;前記監視領域抽出手段によって抽出された監視領域を複数の小領域に分割し、前記複数の小領域ごとに、新たな内部画素濃度分布が前記監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する判定手段と;前記判定手段により肯定的な判定がされた小領域のうち、前回までに前記判定手段によって既に肯定的な判定がされたことがある小領域ごとに、少なくともその新たな内部画素濃度分布に基づいて新たな現在背景像を推定するとともに、前記判定手段によって肯定的な判定がされた小領域のうち、前回までに前記判定手段によって未だ肯定的な判定がされたことがない小領域ごとに、その新たな内部画素濃度分布のみに基づいて新たな現在背景像を推定する肯定領域背景像推定手段と;前記判定手段により否定的な判定がされた小領域のうち、前回までに前記判定手段によって既に肯定的な判定がされたことがある小領域ごとに、今回の撮像前において推定されていた現在背景像を新たな現在背景像として推定する第1否定領域背景像推定手段と;前記判定手段によって否定的な判定がされた小領域のうち、前回までに判定手段によって未だ肯定的な判定がされたことがない小領域ごとに、前記肯定領域背景像推定手段及び前記第1否定領域背景像推定手段のいずれかによって新たな現在背景像が推定された小領域のうちで最も距離が近い小領域のあらたな現在推定背景像と同一のものであると推定する第2否定領域背景像推定手段と;を備える背景像推定装置である。
【0026】
この背景像推定装置では、撮像手段が物体を監視する監視領域を含む領域を定期的に撮像するごとに、すなわち撮像フレームごとに、監視領域抽出手段が、撮像によって得られた画像から監視領域を抽出する。引き続き、判定手段が、抽出された監視領域を複数の小領域に分割した後、複数の小領域ごとに、新たな内部画素濃度分布が監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する。
【0027】
次に、肯定領域背景像推定手段が、判定手段により肯定的な判定がされた小領域のうち、前回までに判定手段によって既に肯定的な判定がされたことがある小領域ごとに、少なくともその新たな内部画素濃度分布に基づいて新たな現在背景像を推定する。また、肯定領域背景像推定手段は、判定手段により肯定的な判定がされた小領域のうち、前回までに判定手段により未だ肯定的な判定がされたことがない小領域ごとに、その新たな内部画素濃度分布のみに基づいて新たな現在背景像を推定する。また、第1否定領域背景像推定手段が、判定手段により否定的な判定がされた小領域のうち、前回までに判定手段によって既に肯定的な判定がされたことがある小領域ごとに、今回の撮像前において推定されていた現在背景像を新たな現在背景像として推定する。
【0028】
引き続き、第2否定領域背景像推定手段が、判定手段により否定的な判定がされた小領域のうち、前回までに判定手段によって未だ肯定的な判定がされたことがない小領域ごとに、上述した肯定領域背景像推定手段及び第1否定領域背景像推定手段のいずれかにより新たな現在背景像が推定された小領域のうちで最も距離が近い小領域の新たな現在推定背景像と同一のものを背景像として推定する。
【0029】
すなわち、本発明の背景象推定装置は、上述した本発明の背景像推定方法を使用して監視領域内の背景像を推定することができる。したがって、本発明の背景像推定装置によれば、監視対象となる物体の移動の有無にかかわらず、迅速かつ精度良く、物体を監視する監視領域内の背景像を推定することができる。
【0030】
【発明の実施の形態】
以下、本発明の一実施形態を、図1〜図5を参照して説明する。図1には、一実施形態に係る背景像推定装置を含む待ち行列検出装置100の構成が、ブロック図にて示されている。この待ち行列検出装置100は、車道の特定の車線における車両の待ち行列の発生状況、すなわち、車両の渋滞の発生状況を検出する装置である。
【0031】
図1に示されるように、この待ち行列検出装置100は、路上を撮像する撮像手段としてのビデオカメラ10と、ビデオカメラ10による撮像結果を処理して、車両の待ち行列の発生状況を検出する処理装置20と、待ち行列の発生状況を表示する表示装置としての画面表示装置43及び音声表示装置45とを備えている。また、待ち行列検出装置100は、オペレータによる処理装置20への指示入力用に、キーボードやマウス等の入力装置41を更に備えている。なお、画面表示装置43は、入力装置41からの入力情報を確認のために表示や、待ち行列検出装置100の動作状況を表示するためにも使用される。
【0032】
前記ビデオカメラ10は、図2(A)に概念的に示されるように、車道Rの上方に設置され、斜め上方から車道Rの監視対象の車線RL(図2(B)参照)における車両OBJ1,OBJ2,OBJ3の進行方向を見込む視野で、車道R上を観察するようになっている。この結果、ビデオカメラ10の視野内には、図2(B)に示されるような斜視像で、車道R上の車両OBJ1,OBJ2,OBJ3及びそれらの周辺の様子が捉えられるようになっている。また、渋滞時においても少なくとも手前側では、車間における車道面が観察できるような角度で車道Rを見込むように、ビデオカメラ10の視野が設定されるようになっているものとする。
【0033】
なお、以下の説明においては、車道Rの車線RLにおける車両OBJ1,OBJ2,OBJ3の進行方向をY方向とし、また、車道Rの幅方向をX方向と記すものとする。ここで、画像上(すなわち、図2(B)におけるモニタ座標系(XM,YM)においては、車線RLにおける車両OBJ1,OBJ2,OBJ3の進行方向がX方向位置によって異なることになるが、車線RLにおける車両OBJ1,OBJ2,OBJ3の進行方向を総括的にY方向と記すものとする。
【0034】
また、車道Rは、片側一車線であり、車線の分離が白線WL1〜WL5によって表示されているものとする。また、車道Rと歩道とは段差があり、その段差の壁面により車道Rと歩道との識別が可能であるものとする。
【0035】
図1に戻り、前記処理装置20は、(a)待ち行列検出装置100全体を統括制御する制御装置29と、(b)ビデオカメラ10による撮像結果データを収集する撮像データ収集装置21と、(c)収集された撮像データに基づいて、背景を推定する背景像推定演算装置22と、(d)待ち行列の発生状況を検出する待ち行列算出装置23とを備えている。なお、ビデオカメラ10、撮像データ収集装置21及び背景像推定演算装置22から背景像推定装置が構成されている。なお、図1においては、データの流れが実線矢印で示され、制御の流れが点線矢印で示されている。
【0036】
前記背景像推定演算装置22は、図3に示されるように、(i)撮像された画像から監視領域JGA(図2(B)参照)を抽出する監視領域抽出装置51と、(ii)監視領域抽出装置51によって抽出された監視領域JGAを複数の小領域に分割し、前記複数の小領域ごとに、新たな撮像によって得られた内部画素濃度分布が監視領域JGAの背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する判定装置52と、(iii)判定装置52により肯定的な判定がされた小領域ごとに新たな現在背景像を推定する肯定領域背景像推定装置53と、(iv)判定装置52により否定的な判定がされた小領域のうち、今回の撮像までに判定装置52により既に肯定的な判定がされたことがある小領域ごとに新たな背景像を推定する第1否定領域背景像推定装置54と、(v)判定装置52により否定的な判定がされた小領域のうち、今回の撮像までに判定装置52により既に肯定的な判定がされたことがある小領域ごとに新たな背景像を推定する第2否定領域背景像推定装置55と、(vi)記憶装置30とを備えている。
【0037】
ここで、記憶装置30は、撮像データ格納領域31、監視領域データ格納領域32、判定結果データ格納領域33、及び推定背景像データ格納領域34を有している。
【0038】
なお、図3においては、データの流れが実線矢印で示されている。
【0039】
本実施形態では、背景像演算装置22を上記のように、各種の装置を組み合わせて構成したが、処理装置20を計算機システムとして構成し、背景像演算装置22を構成する各装置の機能を処理装置20に内蔵されたプログラムによって実現することも可能である。このように処理装置20を計算機システムとして構成した場合には、待ち行列算出装置23の機能も処理装置20に内蔵されたプログラムによって実現することが可能である。
【0040】
以下、本実施形態の待ち行列検出装置100による待ち行列検出動作を、主に背景像推定の動作に着目しつつ、図4及び図5のフローチャートに沿って説明する。
【0041】
まず、図4のステップ111において、撮像データ収集装置21が、ビデオカメラ10から送られてきた撮像データを一画面分だけ収集する。そして、撮像データ収集装置21は、収集した撮像データを撮像データ格納領域31に格納する。
【0042】
次に、ステップ112において、監視領域抽出装置22が、撮像データ格納領域31から撮像データを読み出して、監視領域JGA(図2(B)参照)を抽出する。かかる監視領域JGAの抽出にあたって、監視領域抽出装置22は、まず、読み出した撮像データから、上述した白線WL1〜WL5及び車道Rと歩道との境界壁面を認識し、監視領域である車線RLの領域を特定する。そして、特定された車線RLの領域中から、車線RLの中央部付近の監視領域JGAを抽出する。なお、監視領域としては、Y位置(車両の進行方向位置)としては車両が存在する場合であっても、そのY位置におけるX方向(車線RLの幅方向)には、車両が存在せず、路面が現れている部分がある程度(例えば、監視領域のX方向幅の1/3以下)は存在するような領域を選択する。
【0043】
こうして、本来は動かない白線や境界壁面を基準として監視領域JGAを抽出することにより、ビデオカメラの揺れ等による撮像画像中における監視領域JGAの抽出の不安定さが解消される。監視領域抽出装置22は、抽出された監視領域JGAの今回の撮像画像における位置情報とともに、抽出された監視領域JGA内の画像データを今回の監視領域データとして監視領域データ格納領域32に格納する。
【0044】
次いで、ステップ113において、判定装置52が、監視領域データ格納領域32から今回の監視領域位置情報及び監視領域データを読み出して、監視領域JGAを複数の小領域に分割する。本実施形態では、判定装置52は、監視領域JGAを、X方向幅として監視領域JGAのX方向幅を有し、Y方向幅として1画素幅を有する複数の線状の小領域に分割している。
【0045】
引き続き、判定装置52は、分割した各小領域ごとに、今回の撮像画像における内部画素濃度値分布が、監視領域JGAの背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する。本実施形態では、かかる判定のために、判定装置52は、まず、分割した各小領域ごとに、今回の撮像画像における内部画素濃度値のメジアン値、濃度変化幅、及び分散値を算出する。引き続き、判定装置52は、路面の画像は各小領域においてほぼ一様な画素濃度値であり、その画素濃度値は車両部分の画素濃度値とは異なることが期待できることを鑑みて、算出された濃度変化幅が許容変化幅以下であり、かつ、算出された分散値が許容分散値以下であるか否かを判定する。
【0046】
判定装置52は、こうした各小領域についての判定結果、すなわち、各小領域が肯定的な判定がされた領域(以下、「肯定領域」という)であるか、否定的な判定がなされた領域(以下、「否定領域」という)であるかの情報を、各小領域の監視領域JGA内の位置情報及び各小領域の内部画素濃度値のメジアン値とともに判定結果データ格納領域33に格納する。
【0047】
次に、サブルーチン114において、上述した小領域ごとに背景像が推定される。このサブルーチン114では、図5に示されるように、ステップ121において、肯定領域背景像推定装置53が、肯定領域における背景像を推定する。
【0048】
かかる肯定領域における背景像の推定に際し、肯定領域背景像推定装置53は、まず、判定結果データ格納領域33から肯定領域それぞれの監視領域JGA内の位置情報及び内部画素濃度値のメジアン値を読み出した後、肯定領域の位置に対応する小領域についての現在背景像を推定背景像データ格納領域34から読み出す。なお、推定背景像データ格納領域34には、待ち行列検出の動作を開始する前において、撮像結果の画素濃度値として発生しえない値の画素濃度値が現在推定像における画素濃度値の初期値として書き込まれているものとする。
【0049】
引き続き、肯定領域背景像推定装置53は、肯定領域それぞれについて、推定背景像データ格納領域34から読み出された現在背景像の画素濃度値の初期値ではないか否かを判定することにより、以前に判定装置52により肯定的な判定がなされたことがある小領域(以下、「第1種肯定領域」という)か、以前に判定装置52により肯定的な判定がなされたことがない小領域(以下、「第2種肯定領域」という)か、を判断する。そして、肯定領域背景像推定装置53は、第1種肯定領域については、現在背景像の画素濃度値と、今回の撮像画像における当該第1種肯定領域の画素濃度値のメジアン値との平均値を、当該第1種肯定領域における新たな現在背景像の画素濃度値として算出する。また、肯定領域背景像推定装置53は、第2種肯定領域については、今回の撮像画像における当該第2種肯定領域の画素濃度値のメジアン値を、当該第2種肯定領域における新たな現在背景像の画素濃度値として算出する。なお、第1回の撮像においては、肯定領域の全ては、第2種肯定領域であると判断される。
【0050】
次いで、肯定領域背景像推定装置53は、肯定領域のそれぞれの背景像が、上述のようにして求められた新たな背景像の画素濃度値の一様な画像であると推定する。そして、肯定領域背景像推定装置53は、肯定領域の新たな背景像の画素濃度値を、推定背景像データ格納領域34に格納する。
【0051】
次に、ステップ122において、第1否定領域背景像推定装置54が、否定領域のうち、以前に判定装置52により肯定的な判定がなされたことがある小領域(以下、「第1種否定領域」という)における背景像を推定する。
【0052】
かかる第1種否定領域における背景像の推定に際し、第1否定領域背景像推定装置54は、まず、判定結果データ格納領域33から否定領域それぞれの監視領域JGA内の位置情報を読み出す。引き続き、第1否定領域背景像推定装置54は、否定領域それぞれについて、その否定領域における現在背景像の画素濃度値の初期値ではないものを抽出することにより、第1種否定領域を抽出する。そして、第1否定領域背景像推定装置54は、抽出された第1種否定領域について、現在背景像の画素濃度値を、当該第1種否定領域における新たな現在背景像の画素濃度値として推定する。
【0053】
次いで、第1否定領域背景像推定装置54は、第1種否定領域のそれぞれの背景像は、上述のようにして求められた新たな現在背景像の画素濃度値の一様な画像であると推定する。なお、第1種否定領域における新たな現在背景像の画素濃度値は、現在背景像濃度と同一なので、第1否定領域背景像推定装置54は、第1種否定領域について新たな現在背景像の画素濃度値の推定背景像データ格納領域34への格納は行わないこととしている。ここで、第1否定領域背景像推定装置54が第1種否定領域について新たな現在背景像の画素濃度値の推定背景像データ格納領域34への格納は行ってもよいことは、勿論である。
【0054】
次に、ステップ123において、第2否定領域背景像推定装置55が、否定領域のうち、以前に判定装置52により肯定的な判定がなされたことがない小領域(以下、「第2種否定領域」という)における背景像を推定する。
【0055】
かかる第2種否定領域における背景像の推定に際し、第2否定領域背景像推定装置55は、まず、判定結果データ格納領域33から否定領域それぞれの監視領域JGA内の位置情報を読み出す。引き続き、第2否定領域背景像推定装置55は、否定領域それぞれについて、その否定領域における現在背景像の画素濃度値の初期値であるものを抽出することにより、第2種否定領域を抽出する。そして、第2否定領域背景像推定装置55は、抽出された第2種否定領域それぞれについて、既に新たな背景像の画素濃度値が推定された肯定領域及び第1種否定領域のうち、最も距離が近い小領域における新たな背景像の画素濃度値を、新たな背景像の画素濃度値として求める。なお、第1回の撮像においては、否定領域の全ては、第2種否定領域であると判断される。
【0056】
次いで、第2否定領域背景像推定装置55は、第2種否定領域のそれぞれの背景像は、上述のようにして求められた新たな現在背景像の画素濃度値の一様な画像であると推定する。そして、第2否定領域背景像推定装置55は、第2種否定領域それぞれの新たな現在背景像の画素濃度値の推定背景像データ格納領域34へ格納する。
【0057】
こうして、全ての小領域について新たな背景像の推定が終了すると、サブルーチン114の処理が終了する。そして、処理が図4のステップ115へ移行する。
【0058】
次に、ステップ115において、待ち行列算出装置23が、待ち行列の発生状況を検出する。かかる待ち行列の発生状況の検出に際し、待ち行列算出装置23は、まず、監視領域データ格納領域32から今回の撮像によって得られた監視領域JGAの撮像結果データを読み出すとともに、推定背景像データ格納領域34から監視領域JGAにおける新たな背景像データを読み出す。引き続き、待ち行列算出装置23は、監視領域JGAにおける撮像結果画像と新たな推定背景像との差分画像を算出する。
【0059】
次に、待ち行列算出装置23は、算出された差分画像に基づいて、監視領域JGAにおける今回の撮像時点における車両の位置情報を特定する。引き続き、待ち行列算出装置23は、今回の撮像時点における車両の位置情報と、前回の撮像を含め前回までの複数回の撮像に応じて求められた各撮像時点における車両の位置情報とに基づいて、車両の待ち行列の発生状況を検出する。
【0060】
次いで、ステップ116において、待ち行列算出装置23が、前に待ち行列の発生状況を表示した時から待ち行列の発生状況に変化があったか否かを判定する。肯定的な判定がなされた場合には、処理はステップ117へ移行する。一方、否定的な判定がなされた場合には、処理はステップ118へ移行する。以下、ステップ116において肯定的な判定がなされたものとして、説明を行う。
【0061】
ステップ117においては、待ち行列算出装置23が、待ち行列情報に基づいて、待ち行列の発生状況を視覚した表示を画面表示装置43に表示指示するとともに、待ち行列の発生状況の変換を音声表示装置45に表示指示する。これにより、待ち行列の発生状況及びその変化状況が、視覚及び聴覚を通じてオペレータに提供される。こうして、表示動作が終了すると、処理はステップ118へ移行する。
【0062】
ステップ118においては、制御装置29が、入力装置41から待ち行列検出動作の終了が指示されたか否かを判定する。ここで、否定的な判定がなされた場合には、処理はステップ111へ移行し、上記と同様にして、待ち行列の検出が続行される。一方、ステップ118において、肯定的な判定がなされると、待ち行列の検出動作が終了する。こうして、入力装置41から待ち行列検出動作の終了が指示されるまで、待ち行列の検出がなされる。
【0063】
以上説明したように、本実施形態の背景像推定装置によれば、各回のビデオカメラ10による撮像結果に基づいて、監視領域抽出装置51が、撮像結果における監視領域である車線領域RLを抽出した後、抽出された車線領域RLにおいて、監視領域JGAを抽出する。引き続き、判定装置52が、抽出された監視領域JGAを複数の小領域に分割した後、複数の小領域ごとに、新たな内部画素濃度分布が監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する。
【0064】
そして、肯定領域背景像推定装置53が、第1種肯定領域ごとに、新たな内部画素濃度分布と現在推定背景像とに基づいて新たな現在背景像を推定する。また、肯定領域背景像推定装置53が、第2種肯定領域ごとに、新たな内部画素濃度分布に基づいて新たな現在背景像を推定する。また、第1否定領域背景像推定装置54が、第1種否定領域ごとに、現在背景像を新たな現在背景像として推定する。また、第2否定領域背景像推定装置55が、第2種否定領域ごとに、第1種肯定領域、第2種肯定領域及び第1種否定領域のうちで最も距離が近い小領域のあらたな現在推定背景像と同一のものを背景像として推定する。
【0065】
したがって、監視領域JGA内の背景像を、車両の移動の有無にかかわらず迅速かつ精度良く推定することができる。
【0066】
また、背景像推定装置22が、撮像の都度、背景画像の濃度値、すなわち、路面の撮像結果の濃度値を求めるので、環境条件の変化が大きな戸外における待ち行列の検出を精度良く行うことができる。
【0067】
なお、上記の本実施形態では、各小領域の背景像画素濃度値の推定に各小領域における複数画素の濃度値のメジアン値を使用したが、当該複数画素の濃度値の平均値を使用してもよい。
【0068】
また、上記の本実施形態では、第1種肯定領域における新たな背景像濃度値を、新たな撮像結果のみから推定される背景像濃度値と、それまでに推定された背景像濃度値との平均値を算出することにより求めたが、新たな撮像結果のみから推定される背景像濃度値と、それまでに推定された背景像濃度値との重み付け平均値を算出することにより求めることもできる。さらに、新たな撮像結果のみから推定される背景像濃度値を新たな背景像濃度値とすることもできる。
【0069】
また、上記の本実施形態では、監視領域JGAを分割する小領域を線状領域としたが、矩形状領域やその他の形状の領域とすることもできる。
【0070】
また、本実施形態では、監視対象を路上の車両としたが、待ち行列の発生があり得るものであれば、他の物や人であっても、本発明を適用することができる。また、戸外であるか否かを問わず、本発明を適用することができる。
【0071】
【発明の効果】
以上詳細に説明にしたように、本発明の背景像推定方法及び背景像推定装置によれば、迅速かつ精度良く、物体を監視する監視領域内の背景像を推定することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る背景像推定装置を備える待ち行列検出装置の概略的な構成を示すブロック図である。
【図2】図2(A)は、図1のビデオカメラの配置を説明するための図であり、図2(B)は、図1のビデオカメラによる撮像結果を説明するための図である。
【図3】図1の背景像算出装置の構成を示すブロック図である。
【図4】図1の待ち行列検出装置による待ち行列の検出処理を説明するためのフローチャートである。
【図5】図4の背景像推定サブルーチンにおける処理を説明するためのフローチャートである。
【符号の説明】
10…ビデオカメラ(撮像手段)、22…背景像推定装置、51…監視領域抽出装置(監視領域抽出手段)、52…判定装置(判定手段)、53…肯定領域背景像推定装置(肯定領域背景像推定手段)、54…第1否定領域背景像推定装置(第1否定領域背景像推定手段)、55…第2否定領域背景像推定装置(第2否定領域背景像推定手段)。
Claims (10)
- 物体を監視する監視領域を含む領域の定期的な撮像によって得られる画像における前記監視領域内の背景像を推定する背景像推定方法であって、前記撮像を行うたびに、
前記撮像によって得られた画像から前記監視領域を抽出する監視領域抽出工程と;
前記監視領域抽出工程において抽出された監視領域を複数の小領域に分割し、前記複数の小領域ごとに、新たな内部画素濃度分布が前記監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する判定工程と;
前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域ごとに、少なくともその新たな内部画素濃度分布に基づいて新たな現在背景像を推定するとともに、前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域ごとに、その新たな内部画素濃度分布のみに基づいて新たな現在背景像を推定する肯定領域背景像推定工程と;
前記判定工程において否定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域ごとに、今回の撮像前において推定されていた現在背景像を新たな現在背景像として推定する第1否定領域背景像推定工程と;
前記判定工程において否定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域ごとに、前記肯定領域背景像推定工程及び前記第1否定領域背景像推定工程のいずれかにおいて新たな現在背景像が推定された小領域のうちで最も距離が近い小領域の新たな現在推定背景像と同一のものを新たな背景像と推定する第2否定領域背景像推定工程と;を実行する背景像推定方法。 - 前記複数の小領域のそれぞれは少なくとも1方向において、前記物体よりも大きな領域である、ことを特徴とする請求項1に記載の背景像推定方法。
- 前記複数の小領域のそれぞれは線状領域である、ことを特徴とする請求項1又は2に記載の背景像推定方法。
- 前記複数の小領域のそれぞれは矩形状領域である、ことを特徴とする請求項1又は2に記載の背景像推定方法。
- 前記判定工程は、
前記複数の領域のそれぞれについて、内部画素濃度値の分散及び変化幅を算出する特徴算出工程と;
前記分散値が許容分散値以下であるともに、前記変化幅が許容変化幅以下であるときに、前記期待される基準画素濃度分布から許容誤差範囲にあると判定する判定演算工程と;を含むことを特徴とする請求項1〜4のいずれか一項に記載の背景像推定方法。 - 前記肯定領域背景像推定工程における、前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域の新たな現在背景像の推定では、その小領域内の画素濃度値の代表値が一様に配列されてできる画像を前記新たな現在背景像として推定する、ことを特徴とする請求項5に記載の背景像推定方法。
- 前記肯定領域背景像推定工程における、前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域の新たな背景像の推定は、前記新たな内部画素濃度分布及び今回の撮像前において推定されていた現在背景像に基づいて行われる、ことを特徴とする請求項1〜6に記載の背景像推定方法。
- 前記物体は車両である、ことを特徴とする請求項1〜7のいずれか一項に記載の背景像推定方法。
- 前記物体は動物である、ことを特徴とする請求項1〜7のいずれか一項に記載の背景像推定方法。
- 物体を監視する監視領域内の背景像を推定する背景像推定装置であって、
前記監視領域を含む領域を定期的に撮像する撮像手段と;
前記撮像装置による撮像によって得られた画像から前記監視領域を抽出する監視領域抽出手段と;
前記監視領域抽出手段によって抽出された監視領域を複数の小領域に分割し、前記複数の小領域ごとに、新たな内部画素濃度分布が前記監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する判定手段と;
前記判定手段により肯定的な判定がされた小領域のうち、前回までに前記判定手段によって既に肯定的な判定がされたことがある小領域ごとに、少なくともその新たな内部画素濃度分布に基づいて新たな現在背景像を推定するとともに、前記判定手段によって否定的な判定がされた小領域のうち、前回までに前記判定手段によって未だ肯定的な判定がされたことがない小領域ごとに、その新たな内部画素濃度分布のみに基づいて新たな現在背景像を推定する肯定領域背景像推定手段と;
前記判定手段により否定的な判定がされた小領域のうち、前回までに前記判定手段によって既に肯定的な判定がされたことがある小領域ごとに、今回の撮像前において推定されていた現在背景像を新たな現在背景像として推定する第1否定領域背景像推定手段と;
前記判定手段において肯定的な判定がされた小領域のうち、前回までに判定手段によって未だ肯定的な判定がされたことがない小領域ごとに、前記肯定領域背景像推定手段及び前記第1否定領域背景像推定手段のいずれかによって新たな現在背景像が推定された小領域のうちで最も距離が近い小領域の新たな現在推定背景像と同一のものであると推定する第2否定領域背景像推定手段と;を備える背景像推定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002132593A JP4005409B2 (ja) | 2002-05-08 | 2002-05-08 | 背景像推定方法及び背景像推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002132593A JP4005409B2 (ja) | 2002-05-08 | 2002-05-08 | 背景像推定方法及び背景像推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003324727A JP2003324727A (ja) | 2003-11-14 |
JP4005409B2 true JP4005409B2 (ja) | 2007-11-07 |
Family
ID=29544566
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002132593A Expired - Fee Related JP4005409B2 (ja) | 2002-05-08 | 2002-05-08 | 背景像推定方法及び背景像推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4005409B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4233272B2 (ja) * | 2002-05-23 | 2009-03-04 | 株式会社エイブイプランニングセンター | 物体計数方法及び物体計数装置 |
JP4968936B2 (ja) * | 2007-10-02 | 2012-07-04 | キヤノン株式会社 | 制御装置、制御方法及びプログラム |
JP5175765B2 (ja) * | 2009-02-20 | 2013-04-03 | 株式会社東芝 | 画像処理装置及び交通監視装置 |
KR102085034B1 (ko) * | 2013-06-10 | 2020-03-05 | 에스케이 텔레콤주식회사 | 영상의 전경과 배경을 분리하여 전경영상을 검출하는 방법 및 장치 |
-
2002
- 2002-05-08 JP JP2002132593A patent/JP4005409B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003324727A (ja) | 2003-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8902053B2 (en) | Method and system for lane departure warning | |
US9185402B2 (en) | Traffic camera calibration update utilizing scene analysis | |
KR100879623B1 (ko) | Ptz 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법 | |
US20180151063A1 (en) | Real-time detection system for parked vehicles | |
JP5075672B2 (ja) | 対象物検出装置及び方法 | |
JP4363295B2 (ja) | ステレオ画像による平面推定方法 | |
US8879786B2 (en) | Method for detecting and/or tracking objects in motion in a scene under surveillance that has interfering factors; apparatus; and computer program | |
CN105631418A (zh) | 一种人数统计的方法和装置 | |
JP2006268097A (ja) | 車載物体検出装置、および物体検出方法 | |
KR20160062880A (ko) | 카메라 및 레이더를 이용한 교통정보 관리시스템 | |
JP2013065304A (ja) | 高速障害物検出 | |
GB2526658A (en) | An efficient method of offline training a special-type parked vehicle detector for video-based on-street parking occupancy detection systems | |
JP4848312B2 (ja) | 身長推定装置および身長推定方法 | |
CN104966304A (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
JP2009064175A (ja) | 物体検出装置および物体検出方法 | |
KR102295183B1 (ko) | Cctv 프로젝션 모델을 이용한 cctv 영상의 객체 추적 방법 | |
JP7125843B2 (ja) | 障害検知システム | |
WO2021199584A1 (en) | Detecting debris in a vehicle path | |
JP4005409B2 (ja) | 背景像推定方法及び背景像推定装置 | |
KR100994722B1 (ko) | 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법 | |
JP4321410B2 (ja) | 物体検出装置、および方法 | |
JP4697761B2 (ja) | 待ち行列検出方法及び待ち行列検出装置 | |
Bravo et al. | Outdoor vacant parking space detector for improving mobility in smart cities | |
CN110020572B (zh) | 基于视频图像的人数统计方法、装置、设备及存储介质 | |
JP4888290B2 (ja) | 侵入者検知装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050418 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070417 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070727 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070823 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |