JP6261266B2 - 移動体検知装置 - Google Patents

Description

本発明の実施形態は、至近距離に存在する移動体の移動軌跡を正確に推定する移動体検知装置に関する。

従来から、セキュリティー用途や、車載安全用途、自動販売機など、カメラを用いた様々な人物監視装置が提案されている。

システムが監視対象の動きに応じた、様々な処理を行うためには、正確な移動軌跡が必須である。

セキュリティー用途に多い、監視対象とカメラが十分に離れているシーンにおいては、視野角が狭く歪みが小さい画像を使用可能であるため正確な移動軌跡の推定が可能である。

車載用途や自動販売機用途のように、監視対象がカメラから至近距離に位置するシーンにおいては、視野を確保するために魚眼レンズが必要となり、投影面ずれなどの歪みが大きくなるため、正確な移動軌跡の推定が困難であった。

特開２０１３−１４５４６８号公報

本発明が解決しようとする課題は、至近距離に存在する移動体の移動軌跡を正確に推定することのできる移動体検知装置を提供することである。

実施形態の移動体検知装置は、至近距離に存在する移動体を撮像する入力画像取得部と、前記入力画像取得部で取得した画像情報を演算処理して円筒二値画像及び俯瞰二値画像を生成し、背景相関により前記移動体の領域を抽出し、前記円筒二値画像に基づいて前記移動体の接近方向を推定し、前記接近方向と前記俯瞰二値画像に基づいて前記移動体の移動軌跡の推定を行う画像情報処理部を備える移動体検知装置であって、前記画像情報処理部は、前記入力画像取得部で取得した画像情報から円筒画像を生成し、前記円筒二値画像を生成する円筒二値画像生成部と、前記入力画像取得部で取得した画像情報から俯瞰画像を生成し、前記俯瞰二値画像を生成する俯瞰画像生成部と、前記円筒二値画像から、前記接近方向を検出する接近方向検出部と、前記接近方向と前記俯瞰二値画像から移動軌跡を推定する移動軌跡検出部とを備え、前記円筒二値画像及び前記俯瞰二値画像の生成は、前記円筒画像と前記俯瞰画像に対して、エッジ画像を用いた背景相関による背景との差異画像の生成処理、ノイズ成分を加味した大津の二値化による移動体領域のみの抽出処理を各々独立に行う。

本発明の実施形態に係る移動体検知装置の構成例を示す図である。 画像情報処理部の構成例を示す図である。 円筒画像および俯瞰画像の生成を説明する図である。 背景差分の生成処理の流れを示すフローチャートである。 接近方向の推定処理の流れを示すフローチャートである。 移動軌跡の推定処理の流れを示すフローチャートである。 ２段階による二値化処理を説明する図である。 各処理画像の一例を示す図である。

以下、本発明の一実施の形態について、図面を参照して説明する。尚、各図において同一箇所については同一の符号を付すとともに、重複した説明は省略する。

図１は、本発明の実施形態に係る移動体検知装置の構成例を示す図である。図１に示すように、移動体検知装置１００は、主として、入力画像取得部１０と、画像情報処理部２０から構成されている。入力画像取得部１０は、至近距離に存在する検知対象となる人物を撮像するもので、例えば、広角カメラが好適で、さらに、超広角カメラである魚眼カメラが好適である。

画像情報処理部２０は、入力画像取得部１０で取得した画像情報を演算処理し、人物の移動軌跡を推定する。画像情報処理部２０は、例えば、ＣＰＵで構成することができる。

図２は、画像情報処理部２０の構成例を示す図である。図２に示すように、画像情報処理部２０は、主として、円筒画像生成部２１、俯瞰画像生成部２２、接近方向検出部２３、移動軌跡検出部２４から構成することができる。円筒画像生成部２１は、入力画像取得部１０で取得した画像情報から円筒二値画像を生成する。円筒二値画像生成の詳細は後述する。俯瞰画像生成部２２は、入力画像取得部１０で取得した画像情報から俯瞰二値画像を生成する。俯瞰二値画像生成の詳細は後述する。接近方向検出部２３は、円筒二値画像から、接近方向を検出する。移動軌跡検出部２４は、接近方向と俯瞰二値画像から移動軌跡を推定する。

以上のように構成された移動体検知装置１００について詳述する。

本実施形態においては、入力画像を、円筒画像と俯瞰画像に変換しそれぞれの画像面で、背景相関により至近距離に存在する移動体の領域を抽出し、円筒二値画像から移動体の接近方向を推定し、接近方向と俯瞰二値画像から移動軌跡の推定を行うものである。

＜円筒画像の生成＞
円筒画像は、入力画像取得部１０（例えば、魚眼カメラ）で仮想円筒面上にあるものを撮像して得られた画像情報を仮想平面上に展開したものである。図３（ａ）は、円筒画像の生成を説明する図である。円筒画像の生成は、例えば、特開２０１０−２１７９８４等に詳しいのでここでは、詳述しない。図８（ｂ）は、図８（ａ）の入力画像から座標変換によって生成した円筒画像の一例である。なお、生成する円筒画像サイズは、カメラの画角、センサ解像度などから決定する必要があるが、本実施例では１２８×１６８として話を進める。

＜俯瞰画像の生成＞
俯瞰画像は、トップビューとも称されるもので、本実施形態においては、ある空間位置に配置した仮想カメラから真下を撮像して得られた画像である。具体的には、入力画像取得部１０（例えば、魚眼カメラ）で撮像して得られた画像情報を視点変換（ここでは、トップビュー変換）して得られたものである。図３（ｂ）は、俯瞰画像の生成を説明する図である。俯瞰画像の生成は、例えば、特開２０１２−１４１９７２等に詳しいのでここでは、詳述しない。図８（ｃ）は、図８（ａ）の入力画像から座標変換によって生成した俯瞰画像の一例である。なお、生成する俯瞰画像サイズは、カメラの画角、センサ解像度などから決定する必要があるが、本実施例では１８０×１２０として話を進める。

＜移動体の領域の抽出＞
本実施形態では、（１）変換後の画像から周辺輝度差画像（エッジ画像）を生成、（２）現フレームと、背景画像から背景相関画像を生成、（３）２段階の大津の二値化により移動体のみの抽出処理、を円筒画像と俯瞰画像、各々独立に行い二値画像を生成する。

背景差分とは、得られた観測画像と事前に取得しておいた背景画像を比較し、観測画像から背景画像を引くことによって前景を切り出す作業であり、背景画像には存在しない物体を抽出する処理である。背景画像に存在しない物体が占める領域を前景領域、それ以外を背景領域と称する。図８（ｄ）は、円筒背景画像の一例であり、図８（ｅ）は、俯瞰背景画像の一例である。

本実施形態では、静止背景画像に対して、至近距離に存在する人物を、動きのある物体として把握する。

図４は、背景差分の生成処理の流れを示すフローチャートである。

まず、現フレームでの、座標変換画像Iにおける、周辺領域Nとの輝度差を各画素毎に次式（１）により計算する（ステップＳ４０１）。

輝度差画像＝座標変換画像I−周辺領域Nでの平均輝度・・・（１）
図８（ｆ）は、図８（ｂ）の座標変換画像から生成した、現フレームの円筒画像の一例である。図８（ｇ）は、図８（ｃ）の座標変換画像から生成した、現フレームの俯瞰画像の一例である。図８（ｆ）、（ｇ）から分かる通り、周辺との輝度差はシーンのテクスチャ成分のみを強調したものであり、カメラの自動露出調整などによる全体輝度の変動（オフセット成分）による誤検出や、足元の影による位置精度の劣化を抑制することが可能である。ここで、座標変換画像は、予め準備してある所定の変換テーブルで、入力画像取得部１０で取得した全画面に亘る画像情報を座標変換したものである。また、周辺領域Nは5x5画素程度が好適である。

次に、初回フレームか否かを判定する（ステップＳ４０２）。

初回フレームであれば（ステップＳ４０２でＹｅｓ）、現フレームの周辺輝度差画像を背景画像に設定（ステップＳ４０３）した後、ステップＳ４０５に移行する。

一方、初回フレームでなければ（ステップＳ４０２でＮｏ）、次式（２）のように、重みαによって背景画像の更新を行う（ステップＳ４０４）。

背景画像＝α×１フレーム前の背景画像＋（１−α）×現フレーム輝度差画像・・・（２）
係る処理によって、動的に背景画像を学習する。ここで、αが小さい程、現フレーム画像の影響が大きくなり、フレーム間で発生するノイズに対する耐性が強くなる反面、前景としての移動体の感度が悪くなる（差分が小さくなる）。一方、αが大きい程、より差分が出やすくなる反面、カメラ前を通過した人物の情報が残りやすくなり、誤検出要因となる。ここで、αは０．５〜０．０３が好適である。

次に、輝度差画像と背景画像の相関値(SSD：Sum of Squared Difference）を近傍領域Sで次式（３）によって計算する（ステップＳ４０５）。

相関画像＝1/S ×Σ｜輝度差画像−背景画像｜^２・・・（３）
係る処理によって、スパイクノイズの押さえ込みを行う。ここで、Sは、注目点を中心とした矩形領域であり、7x7画素程度が好適である。図８（ｈ）は、円筒相関画像の一例である。図８（ｉ）は、俯瞰相関画像の一例である。明るい程、背景画像との差異が大きいことを意味する。

続いて、画像全体で相関値のヒストグラムHist1を計算する（ステップＳ４０６）。人物が存在しない場合、本ヒストグラムに対して大津の二値化を実施すると、背景ノイズを抽出する不当に低い閾値が設定される可能性がある。

次に、ヒストグラムHist1の各ビンにノイズとして、1を加算し、Hist2を計算する（ステップＳ４０７）。値は「1」に限定するものではなく、背景ノイズの表われ方によってはより大きな値が有効である。係る処理によって、人物が画面上からいなくなることにより不当に低く設定された閾値を改善することが可能となる。

続いて、Hist1, Hist 2から大津の二値化による閾値T1,T2をそれぞれ計算する（ステップＳ４０８）。濃淡画像を二値化する閾値を自動的に求める方法として、大津の方法と呼ばれる判別分析による方法が周知である。大津の二値化方法は、濃淡画像の輝度値ヒストグラムが画像の対象物（本実施形態では、人物）と背景（相関画像ではノイズ成分）のそれぞれに対応した二つの山を作ると仮定し、画像の対象物と背景の集まり（クラス）の分離度が一番高くなる閾値を計算するものである。各輝度値を閾値としたときの各クラス内の分散とクラス間の分散を計算し、クラス内での分散とクラス間の分散の比が最小となる輝度値を閾値とする。

次に、T1とT2の比率ηを計算する（ステップＳ４０９）。

続いて、比率ηが閾値Tr以上であるか否かを判定する（ステップＳ４１０）。

比率ηが閾値Tr以上でなければ（ステップＳ４１０でＮｏ）、二値化用閾値Ｔ＝Ｔ１に設定し（ステップＳ４１１）、比率ηが閾値Tr以上であれば（ステップＳ４１０でＹｅｓ）、二値化用閾値Ｔ＝Ｔ２に設定する（ステップＳ４１２）。大津の二値化方法は、ヒストグラムの双峰性が無い画像には向いていないが、係る処理によって、自動的に低い閾値が生成される大津の二値化方法による弊害を除去する。

図７は、２段階による二値化処理を説明する図である。図７（ａ）は、二値化用閾値としてＴ１を使用する場合を示している。図７（ａ）に示すように、ノイズ成分が印加した場合であっても、Ｔ１とＴ２のどちらを使用しても、二値化効果が似通っている。一方、図７（ｂ）は、二値化用閾値としてＴ２を使用する場合を示している。Ｔ１がノイズに反応していると判断でき、Ｔ１とＴ２では二値化効果が大きく異なっている。

次に、二値化用閾値Ｔにて相関値を二値化し（ステップＳ４１３）、背景差分の生成処理を終了する。図８（ｊ）は、円筒二値画像の一例である。図８（ｋ）は、俯瞰二値画像の一例である。

＜接近方向の推定＞
本実施形態では、（１）円筒二値画像をｙ方向に射影し、重心座標を計算、（２）重心座標から人物の接近方向の算出、により円筒二値画像から移動体の接近方向を推定する。

図５は、接近方向の推定処理の流れを示すフローチャートである。

まず、円筒二値画像を入力する（ステップＳ５０１）。

次に、画像x座標毎に、二値画像のヒストグラムPを計算する（ステップＳ５０２）。

次に、ヒストグラムP(x)の最大座標xmaxを計算し、その最大値Pmaxを保存する（ステップＳ５０３）。

次いで、ヒストグラムの最大値Pmaxが閾値以上か否かを判定する（ステップＳ５０４）。係る処理は、y方向に射影した最大ヒストグラムが画像高さの所定割合以下である場合は移動物体なしと判断することにより、誤検出を抑制するためのものである。閾値は、画像高さに所定係数（例えば、０．２）を掛けたものに設定するのが好適である。

ヒストグラムの最大値Pmaxが閾値以上であれば（ステップＳ５０４でＹｅｓ）、最大座標xmaxの近傍で次式（４）のように重心xgを計算する（ステップＳ５０５）。図８（ｌ）は、重心位置を示す画像の一例である。

ｘｇ＝Σ｛ｘ×Ｐ（ｘ）｝／ ΣＰ（ｘ）・・・（４）
次に、重心xgと変換係数A[deg/pix]を掛けることにより、移動体（人物）の接近方向θを計算し（ステップＳ５０６）、接近方向の推定処理を終了する。ここで、変換係数Aは、使用カメラの水平画角[deg]と生成した円筒画像の横幅[pix]の関係から算出されるものである。

一方、ヒストグラムの最大値Pmaxが閾値以上でなければ（ステップＳ５０４でＮｏ）、移動物体（人物）無しと判断し（ステップＳ５０７）、接近方向の推定処理を終了する。

＜移動軌跡の検出＞
本実施形態では、（１）円筒画像上で計算した接近方向を用いて、俯瞰二値画像を回転し、常に移動体が正面になるように補正、（２）補正した俯瞰二値画像のラベリングを行い、足元候補領域を算出、（３）足元候補領域の面積による加重平均から足元までの距離を推定、（４）接近方向と足元距離からフレーム毎の足元位置の算出、により接近方向と俯瞰二値画像から移動軌跡の推定を行う。

図６は、移動軌跡の推定処理の流れを示すフローチャートである。

まず、円筒画像上に移動物体があるか否かを判定する（ステップＳ６０１）。

移動物体があれば（ステップＳ６０１でＹｅｓ）、接近方向θが正面になるように俯瞰二値画像を回転させる（ステップＳ６０２）。目の前に移動体（人物）を向かせる処理である。

次いで、回転後二値画像上で中心線を黒（０）に設定し、移動体を中心線の左右に分割する（ステップＳ６０３）。

次に、回転した俯瞰二値画像のラベリングを行い、領域ごとの面積s、下端座標yを計算する（ステップＳ６０４）。ラベリングは、二値化画像処理された画像において、白の部分（または黒の部分）が連続した画素に同じ番号（ラベル）を割り振り、複数の領域をグループとして分類する処理である。ここでは、それぞれの領域の面積情報を取得して足元候補領域を求めている。図８（ｍ）は、回転及びラベリング処理後の画像の一例である。

次に、閾値以上の面積を持つ領域を、足元候補位置に設定する（ステップＳ６０５）。係る処理は、ノイズを除去し、移動体（人物）がカメラ設置場所の足元にいない場合を判定するものである。ここでの閾値は、除去せんとするノイズの大きさによって設定するが５０程度が好適である。

次に、足元候補数が1以上か否かを判定する（ステップＳ６０６）。

足元候補数が1以上であれば（ステップＳ６０６でＹｅｓ）、足元候補位置の、それぞれの面積をsi、下端座標をyiとして、面積加重平均により俯瞰画像上での足元距離Ｌを計算する（ステップＳ６０７）。足元距離Ｌは、次式（５）で求められる。

Ｌ＝Σ｛ｓｉ×ｙｉ｝／Σｓｉ・・・（５）
次に、俯瞰画像上での足元距離Ｌと変換係数a[m/pixel]から実世界上での距離zを計算する（ステップＳ６０８）。距離zは、次式（６）で求められる。

ｚ＝ａ×Ｌ・・・（６）
ここで、変換係数aは、生成した俯瞰画像1ピクセルが実平面の何メートルに該当するかを予め算出しておく。

続いて、接近方向θと、距離zから、仮の足元位置xtmp、ytmpを次式（７）で計算する（ステップＳ６０９）。

ｘtemp＝ｚ×ｃｏｓθ、ｙtemp＝ｚ×sinθ ・・・（７）
次に、1フレーム前の足元位置 (Ｘprev、Ｙprev)と、仮の足元位置（xtmp、ytmp）から、重みβを用いて現フレームの足元位置（Ｘ、Ｙ）を次式（８）、（９）によって更新する（ステップＳ６１０）。ここで、重みβは、現フレーム算出する足元位置の精度を考量して定める係数である。βを小さくするノイズに耐性がある半面、時間遅れが発生し、βを大きくするノイズに敏感になる半面、最新の情報が得られる。０．３程度が好適である。

Ｘ＝β×ｘtemp＋（１−β）×Ｘprev ・・・（８）
Ｙ＝β×ｙtemp＋（１−β）×Ｙprev ・・・（９）
次に、Ｘ、Ｙを現在座標として、軌跡リストに追加し（ステップＳ６１１）、移動軌跡の推定処理を終了する。

一方、ステップＳ６０１でＮｏ（円筒画像上に移動物体が無い）の場合及びステップＳ６０６でＮｏ（足元候補数が無い）の場合には、軌跡リストに座標無しの情報を追加し（ステップＳ６１２）、移動軌跡の推定処理を終了する。

本実施形態によれば、至近距離に存在する移動体、例えば人物の正確な移動軌跡を推定することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００・・・移動体検知装置
１０・・・入力画像取得部
２０・・・画像情報処理部
２１・・・円筒画像生成部
２２・・・俯瞰画像生成部
２３・・・接近方向検出部
２４・・・移動軌跡検出部

Claims (3)

1. 至近距離に存在する移動体を撮像する入力画像取得部と、
   前記入力画像取得部で取得した画像情報を演算処理して円筒二値画像及び俯瞰二値画像を生成し、背景相関により前記移動体の領域を抽出し、前記円筒二値画像に基づいて前記移動体の接近方向を推定し、前記接近方向と前記俯瞰二値画像に基づいて前記移動体の移動軌跡の推定を行う画像情報処理部を備える移動体検知装置であって、
   前記画像情報処理部は、
   前記入力画像取得部で取得した画像情報から円筒画像を生成し、前記円筒二値画像を生成する円筒二値画像生成部と、
   前記入力画像取得部で取得した画像情報から俯瞰画像を生成し、前記俯瞰二値画像を生成する俯瞰画像生成部と、
   前記円筒二値画像から、前記接近方向を検出する接近方向検出部と、
   前記接近方向と前記俯瞰二値画像から移動軌跡を推定する移動軌跡検出部とを備え、
   前記円筒二値画像及び前記俯瞰二値画像の生成は、前記円筒画像と前記俯瞰画像に対して、エッジ画像を用いた背景相関による背景との差異画像の生成処理、ノイズ成分を加味した大津の二値化による移動体領域のみの抽出処理を各々独立に行う移動体検知装置。
2. 前記移動体の接近方向の推定は、前記円筒二値画像をｙ方向に射影して、重心座標を算出し、算出した前記重心座標から前記移動体の接近方向を算出して行う請求項１記載の移動体検知装置。
3. 前記移動軌跡の推定は、前記接近方向を用いて、常に前記移動体が所定の向きを向くように前記俯瞰二値画像を回転させて補正し、前記補正後の俯瞰二値画像のラベリングを行って足元候補領域を算出し、この足元候補領域の面積による加重平均から足元までの足元距離を推定し、前記接近方向と前記足元距離からフレーム毎の足元位置の算出により移動軌跡の推定を行う請求項１記載の移動体検知装置。