JP3831112B2 - 移動物体計測装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は移動物体計測装置に関し、特に、通路などの人の行き来がある場所において人数を計測する装置に関する。
【０００２】
【従来の技術】
例えば駅の階段や改札口などの人が流通する通路において、各種の目的から人数計測が行われる。その際、手作業で人数を計数するのは極めて煩雑である。このため、画像処理により人数を計測する移動物体計測装置が提案されている。搬送される製品、車両、動物などの数を自動計測する場合にも移動物体計測装置が利用される。
【０００３】
特開平８−１２３９３５号公報には、従来の移動物体計測装置が開示されている。この装置においては、カメラにより観測エリアの画像が取得される。その画像領域内には一次元の計数ラインが設定される。その計数ラインは移動物体の通過を監視するための観測ラインとして機能するものである。ここで、計数ライン上の背景を表す一次元画像と計数ライン上の移動物体像を含む一次元画像との差分を演算することにより移動物体像が順次抽出されている。そして、各時刻の移動物体像を時間軸方向に揃えて構成される二次元の物体像に対して、例えば、その総面積を基準値で除算することによって人数が計数されている。更に、この従来装置においては、上記計数ラインの上側及び下側に方向判定用の計数ラインが設定されている。そして、それらの計数ライン上における移動物体の通過位置及びその通過時間に基づいて移動物体の移動方向及び速度が判別されている。
【０００４】
なお、特開平５−２６６１９６号公報にも、画像処理に基づく人数計測装置が開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記特開平８−１２３９３５号公報で提案された装置においては、混雑度が高いような場合、上記の上側及び下側の計数ラインを別人が同時に又は近時刻で通過する可能性があり、その場合には移動方向や移動速度の判別が困難又は不正確になるという問題が指摘される。また、混雑度が低い場合においても、計数ライン上で人が立ち止まったり、ある者を別の者が追い越したりすると上記同様の問題が生じるものと思われる。なお、この従来文献には、移動速度を考慮した人数計測処理、混雑度に応じた計測手法の切り換えなどについては何ら開示されていない。
【０００６】
本発明は上記従来の課題に鑑みなされたものであり、その目的は、各移動物体の動きの推移を考慮して精度良く移動物体数の計測を行うことにある。
【０００７】
本発明の他の目的は、混雑度を考慮して適切な手法により移動物体数の計測を行うことにある。
【０００８】
本発明の他の目的は、特に移動速度を考慮して移動物体数の計測を行うことにある。
【０００９】
【課題を解決するための手段】
（１）上記目的を達成するために、本発明は、Ｘ軸に沿って設定されたＸ軸ウインドウを通過する移動物体を表すＸ軸二値化像を逐次取得し、各時刻のＸ軸二値化像を時間軸方向に揃えて二次元のＸ−Ｔ画像を形成する第１の画像形成手段と、前記Ｘ軸ウインドウの各位置を横切って整列設定された複数のＹ軸ウインドウのそれぞれについて移動物体の移動位置を表すＹ軸二値化像を逐次取得し、前記Ｙ軸ウインドウごとに各時刻のＹ軸二値化像を時間軸方向に揃えて二次元のＹ−Ｔ画像を形成する第２の画像形成手段と、前記各Ｙ−Ｔ画像における移動物体ごとの移動軌跡の傾き方向から前記Ｘ軸ウインドウの各位置を横切る移動物体のＹ軸移動方向を解析する移動解析手段と、前記移動解析手段の解析結果を利用して、前記Ｘ−Ｔ画像に基づいて前記Ｙ軸移動方向ごとに移動物体数を計数する計数手段と、を含むことを特徴とする。
【００１０】
上記構成によれば、Ｘ軸ウインドウ上における移動物体の存在（又は変位）を表すＸ軸二値化像が取得され、そのＸ軸二値化像を時系列順で揃えることにより二次元のＸ−Ｔ画像が形成される。そのＸ−Ｔ画像の一方軸はＸ軸ウインドウの長手方向（Ｘ軸）に相当し他方軸は時間軸（Ｔ軸）に相当する。
【００１１】
その一方、Ｘ軸ウインドウを横切るように複数のＹ軸ウインドウが設定され、各Ｙ軸ウインドウ上における移動物体の位置（又は変位）を表すＹ軸二値化像が取得され、そのＹ軸二値化像を時系列順で揃えることにより二次元のＹ−Ｔ画像が形成される。そのＹ−Ｔ画像の一方軸はＹ軸ウインドウの長手軸（Ｙ軸）に相当し他方軸は時間軸（Ｔ軸）に相当する。
【００１２】
ちなみに、Ｘ−Ｔ画像と各Ｙ−Ｔ画像の両者の時間軸は一致していることが望ましく、所定タイミング（一定周期又は移動が途絶えたタイミング）で両画像が形成されるように制御するのが望ましい。なお、上記のＸ軸は主移動方向に直交しているのが望ましく、上記のＹ軸は主移動方向に並行であることが望ましい。
【００１３】
上記のようにＹ軸ウインドウ単位でＹ−Ｔ画像が得られると、各Ｙ−Ｔ画像上において移動物体の動きが認識され、その動きを利用して移動方向の情報が取得される。Ｘ軸ウインドウ上の各位置において、各移動物体の移動方向が異なりかつそれが時間的に変化する場合でも、上記のＹ−Ｔ画像によれば、各移動物体の運動に着目して移動方向などを忠実に判別可能である。上記の移動方向（Ｙ軸移動方向）はＹ軸の正方向又は逆方向である。
【００１４】
上述のように移動解析が行われると、その解析結果がＸ−Ｔ画像上における物体数の計数において利用される。その計数手法としては各種の手法を適用できる。なお、各移動物体ごとに移動速度が取得される場合、その代表値（例えば平均値）を利用して計数処理を行ってもよく、あるいは個々の移動物体の移動速度を考慮して計数処理を行ってもよい。
【００１５】
本発明に係る装置は、望ましくは、駅の階段などの人が二方向（正逆方向）に流通する場所での人数計測に用いられる。すなわち、本発明によれば、混雑度が変動したり密集状態が形成されるような場所において、人数計数を高速にかつ高精度に行うことができる。
【００１６】
（２）本発明において、望ましくは、前記Ｘ軸ウインドウ及び前記複数のＹ軸ウインドウを包含する観測エリアを撮像する撮像手段と、前記撮像手段にて取得された各画像に対し隣接フレーム間で差分演算を実行して差分画像を求める差分演算手段と、前記差分画像を基礎として前記Ｘ軸二値化像及び前記Ｙ軸二値化像を作成する二値化像作成手段と、を含む。
【００１７】
上記構成によれば、撮像手段で撮像された画像を基礎としてＸ軸二値化像及びＹ軸二値化像が取り出され、単一の撮像手段を用いて各二値化像を取得できる利点がある。ここで、撮像手段は、観測エリアの上方（望ましくはＸ軸ウインドウの中央上方）に設けるのが望ましく、そのように設定を行えば、移動物体の高さ（例えば身長）のばらつきや移動物体間の重なりによる測定誤差を極力低減できる。
【００１８】
例えばカメラなどを利用して撮像を行う場合、カメラ直下からの各撮像位置の距離に依存して移動物体の像の見え方が異なるので、その場合にはその距離に応じた重み付けあるいは画像補正を行うのが望ましい。
【００１９】
もちろん、Ｘ軸ウインドウ及び各Ｙ軸ウインドウ用の専用の撮像手段を個別的に設けてもよい。そのような撮像手段として、ＣＣＤ素子などを利用することができる。また、撮像された画像を記録装置に記録しておき、その再生画像を処理することにより移動物体数の計数を行ってもよい。
【００２０】
差分画像は、変位があった部分だけ像として表した画像であり、移動物体の移動変位分のみを画像化でき、背景や静止物体（移動物体自体の静止を含む）の影響を排除できる。なお、差分画像に対しては、移動物体の変位を背景（ノイズ）から分離抽出するために例えば二値化処理などを施すのが望ましい。
【００２１】
（３）本発明において、望ましくは、前記二値化像作成手段は、前記差分画像から前記Ｘ軸ウインドウに相当するＸ軸ウインドウ画像を切り出し、そのＸ軸ウインドウ画像をＸ軸に射影しかつ二値化処理することによって前記Ｘ軸二値化像を作成する手段と、前記差分画像から前記各Ｙ軸ウインドウに相当するＹ軸ウインドウ画像を切り出し、そのＹ軸ウインドウ画像をＹ軸に射影しかつ二値化処理することによって前記Ｙ軸二値化像を作成する手段と、を含む。
【００２２】
二値化像の本質は、移動物体（又はその変位）の抽出・明確化にあり、それゆえ照明や撮像の工夫などにより、移動物体のみを弁別できる画像として各ウインドウ画像が取得されるのであれば、それらのウインドウ画像は実質的に上記二値化像に該当するものと考えられ、それをそのまま画像形成に利用してもよい。一般に、ノイズや局所的な明るさの相違などを排除して、移動物体を的確に抽出するために、各ウインドウ画像に射影処理及び二値化処理を施して二値化像を作成するのが望ましい。各二値化像は一次元像（ライン像）あるいは一定の幅をもった帯状の像として構成されるのが望ましい。
【００２３】
（４）本発明において、望ましくは、前記移動解析手段は、前記Ｙ−Ｔ画像において移動物体ごとの移動軌跡を認識する移動軌跡認識手段と、前記移動軌跡の傾き方向から当該移動物体の移動方向を判別する方向判別手段と、を含む。
【００２４】
Ｙ−Ｔ画像においては、各Ｙ軸ウインドウで観測された移動物体の経時的な位置変化が移動軌跡として表され、その起動軌跡の傾き方向から移動方向が判別される。この場合、移動速度の変化により移動軌跡が直線とならないような場合には移動軌跡を近似する直線の傾き方向から移動方向を判別すればよい。
【００２５】
上記処理によれば、各Ｙ軸ウインドウにおいてそれを通過する移動物体ごとに移動方向が求められる。例えば、Ｙ−Ｔ画像の時間軸範囲内において、特定のＹ軸ウインドウ内における移動物体の流通方向が逆転するような場合においても、上記処理によればその逆転も把握可能である。
【００２６】
（５）本発明において、望ましくは、前記計数手段は、前記判別された移動方向に従って前記Ｘ−Ｔ画像に含まれる物体像を移動方向ごとに区分けする区分け手段と、前記区分け後のＸ−Ｔ画像に基づいて移動方向ごとに移動物体数の計数を行う方向別計数手段と、を含む。
【００２７】
上述のように、各移動物体の移動方向が判別されるので、Ｘ−Ｔ画像上において各移動物体の移動方向を区別しながら移動物体数の計測を行える。
【００２８】
（６）本発明において、望ましくは、前記移動解析手段は、前記Ｙ−Ｔ画像において移動物体ごとの移動軌跡を認識する移動軌跡認識手段と、前記移動軌跡の傾きの大きさから当該移動物体の移動速度を判別する速度判別手段と、を含む。
【００２９】
上記構成によれば、Ｙ−Ｔ画像における移動軌跡の傾きは移動速度に相当しておりその傾きの大きさから移動速度が演算される。移動速度が途中で変化するような場合、変化前後の移動軌跡の傾きからそれぞれ移動速度を求めてもよいし、移動軌跡が直線近似できるような場合、速度の平均値として移動速度を求めてもよい。また、物体数計測での要請に応じて、１又は複数の代表的な移動軌跡のみについて移動速度を演算してもよい。
【００３０】
（７）本発明において、望ましくは、前記計数手段は、前記判別された移動速度に基づいて単位面積を可変設定する手段と、前記Ｘ−Ｔ画像における物体像の総面積を前記単位面積で除した結果に基づいて移動物体数を計数する除算計数手段と、を含む。
【００３１】
例えば混雑度が高いような場合、Ｘ−Ｔ画像において各物体像の個別カウントが困難になる。そこで、１移動物体当たりの基準面積で物体像の総面積を除算し移動物体数を求めるものである。その場合、基準面積は移動物体の速度（例えば平均速度）に応じて可変設定すれば、密集状態においても比較的高精度で物体数の計数を行える。
【００３２】
（８）望ましくは、前記Ｘ−Ｔ画像に基づいて混雑度を判定する混雑度判定手段を含み、前記計数手段は、前記判定された混雑度に応じた計数方式に従って、前記Ｘ−Ｔ画像に基づいてＹ軸移動方向ごとに移動物体数の計数を行う。
【００３３】
上記構成によれば、混雑度に応じて計数方式を切り換えて、状況に応じて適切な計数を行える。例えば、混雑度が低いような場合、実際の通過事実に忠実な計数方式が選択され、混雑度が高いような場合、移動物体が密集していても計数可能な計数方式が選択される。このように柔軟に計数方式を切り換えれば各計数方式の利点を十分に活かすことができる。
【００３４】
（９）本発明において、望ましくは、前記混雑度は、前記Ｘ−Ｔ画像に含まれる物体像の総面積に基づいて判定される。Ｘ−Ｔ画像には一定期間内における移動物体の通過数が反映されているため、それを基準として混雑度が判定される。
【００３５】
（１０）本発明において、望ましくは、前記計数手段は、前記混雑度判定手段が低混雑度であると判定した場合に、前記Ｘ−Ｔ画像に含まれる物体像の個数を計数することにより移動物体数を演算する個別計数手段と、前記混雑度判定手段が高混雑度であると判定した場合に、前記Ｘ−Ｔ画像に含まれる物体像の総面積を基準面積で除することにより移動物体数を演算する除算計数手段と、を含む。
【００３６】
上記構成によれば、低混雑度の場合すなわち各物体像の連結の可能性が低いような場合には個別計数方式が適用され、高混雑度の場合すなわち各物体像の連結の可能性が高いような場合には便宜的に面積を演算対象とした除算計数方式が適用される。なお、個別計数方式が適用される場合、各物体像の大きさ（面積）を移動速度に応じて評価してもよい。例えば、移動速度を考慮しても大きすぎる物体像が存在していた場合、それを物体像の連結と認識でき、その部分について除算演算方式を適用してもよい。ただし、人が大きな荷物を担いでいるような場合、それを二人と誤判定しないように他の画像処理を組み合わせて適用してもよい。
【００３７】
（１１）本発明において、望ましくは、前記個別計数手段及び前記除算計数手段は、移動方向ごとに移動物体数の計数を行う。この構成において、移動方向の判別は上述のＹ−Ｔ画像に基づいて行うのが望ましい。
【００３８】
本発明の好適な態様によれば、複雑なパラメータの設定やチューニングは不要であり、また、高価な設備を必要とせずに、混雑度が高い場合においても比較的高精度の計数を行うことができる。よって、低コストで実用性が高い移動物体計測装置を提供できる利点がある。
【００３９】
【発明の実施の形態】
以下、本発明の好適な実施の形態について図面に基づいて説明する。
【００４０】
図１には、本発明に係る移動物体計測装置の好適な実施形態が示されており、図１はその全体構成を示すブロック図である。本実施形態に係る移動物体計測装置は例えば駅の改札口や階段に設けられる人数計測装置である。もちろん、本発明は人以外の他の物体を計測する場合においても適用可能である。
【００４１】
図１において、画像入力部１０は観測エリアを撮像した画像を取り込む手段である。この実施形態において、カメラ１２で撮像された画像がＡ／Ｄ変換器１４によってデジタル信号に変換されている。このようにカメラ１２からの信号を直接的に入力してもよいが、例えばカメラ１２で撮像された画像をいったん記録装置１６に格納し、その記録装置１６から読み出された信号を取り込むようにしてもよい。
【００４２】
カメラ１２は、人が通過する観測エリアの上方真下向きで設置されるのが望ましい。このようにカメラ１２を配置すれば、上方から人の流通を観察することができるので、隠蔽や体格（身長など）のばらつきの影響を少なくすることができる。
【００４３】
図２には、カメラ１２で撮像された観測エリアの画像１００が示されている。図２において、符号１０６はカメラ真下位置を示しており、符号１０８及び符号１１０はそれぞれ通路１０２の左端１０８及び右端１１０を示している。そのような各座標は、後述するパラメータ入力部３０等によってユーザーにより登録される。図２において、Ｘ軸は主流通方向と直交しており、Ｙ軸は主流通方向と平行である。
【００４４】
カメラ１２は、できる限り高い位置に配置するのが望ましく、そのように設置すれば、できるだけ人同士の重なり合いを防止して測定誤差を少なくできる。ちなみに、本実施形態の装置は、図２に示す通路１０２を順方向及び逆方向に流通する人の数を計測することを目的としており、その流通方向に直交する方向への人の動きは検知対象とはしていない。本発明の原理を拡張適用することによって、様々な方向へ移動する人の計測を行うことも可能である。
【００４５】
撮像対象が平坦な通路ではなく、例えば階段であるような場合、カメラ１０はその階段の上方あるいは斜め上方に設置される。何れにしても、上述したように、できる限り人同士の重なり合いがないような方向から撮像を行なうのが望ましい。
【００４６】
図１に示すパラメータ入力部３０は、例えばキーボードやマウスなどで構成されるものであり、撮像条件をユーザーにより入力させるための手段である。もちろん、予め撮像条件が既知であれば、必ずしもそのようなパラメータ入力部３０を設ける必要はない。入力されるパラメータとしては、図２に示したようなカメラ真下位置１０６、通路の左端１０８及び右端１１０あるいは通路の幅といったものや、撮像に使用しているカメラ１２の画角や設置高があげられる。それらのパラメータの入力に当たっては、例えばディスプレイ上に撮像された画像を表示し、図２に示すように、各パラメータに相当する座標をマウスなどのポインティングデバイスを利用してクリックさせることによりユーザー入力させてもよい。そのようなユーザーインターフェイスを利用すれば、ユーザーの負担を軽減でき、初期パラメータ設定にかかる煩雑さを大幅に解消可能である。カメラが常設されている場合には、各測定を行なう度にそのようなパラメータの入力を行なう必要はなく、あらかじめ登録しておけばよい。臨時にカメラを設置して人数計測を行うような場合でも、上述したようにパラメータの入力は簡単であり、即座に計測を実行できるという利点がある。
【００４７】
図１に戻って、前処理部１９には、Ａ／Ｄ変換器１４から出力されるデジタル信号としての画像が入力される。フレーム間差分演算部１８はフレーム間において差分演算を実行することにより、差分画像を取得する手段である。その差分画像は人の動きすなわち変位を表した画像である。このような差分演算によれば、人の動きに着目でき、たとえば人が静止しているような場合に、それに対して重複した計測がなされてしまうことを排除できる。また、背景との分離を容易かつ確実に行えるという利点もある。
【００４８】
二値化処理部２０は、差分画像に対して二値化処理を実行する手段である。このような二値化によれば、ノイズなどを排除して、移動物体の変位のみを確実に抽出することが可能となる。その場合のしきい値は、しきい値設定部２２によって設定されている。しきい値設定部２２は、図２に示した画像１００内における局所的な明るさの違いに対応するために、画像内の各部位の明るさに応じて設定される。このため、望ましくはＡ／Ｄ変換器１４から出力される画像がしきい値設定部２２で参照される。そして、しきい値設定部２２はそのような画像に基づいて適切なしきい値の設定を行っている。この場合、後述するＸ軸ウインドウ１１２がＸ軸方向に沿って設定されることに対応して、しきい値はＸ軸上の各座標に対応して可変設定するのが望ましい。
【００４９】
上述のように二値化処理された差分画像はメモリ２４にいったん格納される。カメラ１２においては、連続的に画像１００の取り込みが行われており、メモリ２４には連続的に取得される差分画像が順次格納されることになる。もちろん、後述するＸ軸二値化像形成部３２及びＹ軸二値化像形成部４０がそれぞれ記憶部を有するような場合には、独立してメモリ２４を設ける必要はない。
【００５０】
処理期間制御部２６は、後に詳述するＸ−Ｔ画像及びＹ−Ｔ画像の形成期間すなわち処理期間を設定する手段であり、そのような処理期間は一定期間として、あるいは通路１０２上における人の流通が途絶えたタイミングとして設定される。このため、処理期間制御部２６にはタイマー２８が接続され、さらに必要に応じて差分画像が取り込まれている。処理期間制御部２６がリフレッシュ信号を出力すると、そのタイミングでメモリ２４の記憶内容がクリアされ、次の処理期間内の差分画像の格納が行われる。もちろん、メモリ２４に格納された各差分画像は後述するＸ軸二値化像形成部３２及びＹ軸二値化像形成部４０に所定のタイミングで順次送られている。
【００５１】
ちなみに、タイマ２８はたとえば１０秒の計測を行っており、すなわち人の流通が途絶えない限りにおいては、１０秒間隔で以下に説明する画像処理及び人数計測が実行される。それらの説明に先だって、Ｘ軸ウインドウ（計数用ウインドウ）及びＹ軸ウインドウ（方向／速度検出用ウインドウ）について説明する。
【００５２】
図３及び図４には、そのようなＸ軸ウインドウ１１２及びＹ軸ウインドウ１１４が概念的に示されている。それらのウインドウは観測エリア内に仮想的に設定されるものである。図３において、Ｘ軸ウインドウ１１２は、人の主流通方向（各図においてＹ軸方向）と直交する方向（各図においてＸ軸方向）に沿って設定されている。すなわち、Ｘ軸方向に伸長した長方形の領域としてＸ軸ウインドウ１１２が設定される。その幅Ｗ１は、少なくとも人数計測を行なう検知範囲と同じかそれ以上に設定される。その高さＨ１は図１に示した装置の画像処理速度やカメラ１２の高さを考慮して、通過する人が１フレーム、望ましくは複数のフレームに現れる大きさとして設定する。もちろん、例えばベルトコンベア上において一定の低速度で流れる物品の個数を検出するような場合、このＸ軸ウインドウ１１２の高さＨ１は実質的に１画素としてもよい。ただし、人数計測を行なう場合には、人の予測される最大通過速度などを考慮して上述のように高さＨ１が設定される。
【００５３】
Ｘ軸ウインドウ１１２は、図２に示したような各パラメータの入力にしたがって自動的に設定されており、Ｘ軸ウインドウ１１２の中央座標がカメラ真下位置１０６に相当している。
【００５４】
図４において、Ｘ軸ウインドウ１１２の各位置を横切るようにすなわちＹ軸方向に沿って複数のＹ軸ウインドウ１１４が自動的に設定される。Ｙ軸ウインドウ１１４は、基本的にＸ軸ウインドウ１１２に対して直交し、かつＹ軸ウインドウ１１４のＹ軸方向の中央座標がＸ軸ウインドウ１１２のＹ軸中央座標と一致するように設定される。図４に示す例では、ｎ個のＹ軸ウインドウ１１４が設定されており、各Ｙ軸ウインドウ１１４は互いに接している。ここで、Ｙ軸ウインドウ１１４の個数を多くすれば、一般にそれだけ計測精度を向上できるが、その反面処理負荷が増加するので、装置の処理能力を考慮してＹ軸ウインドウ１１４の個数を定めるのが望ましい。
【００５５】
各Ｙ軸ウインドウ１１４のＸ軸方向の幅Ｗ２はＸ軸ウインドウ１１２のＸ軸方向の長さとＹ軸ウインドウ１１４の個数ｎとから決定され、各Ｙ軸方向の高さＨ２は、予想される人の最大移動速度などに応じて適宜設定される。高さＨ２を大きくすればそれだけ後述する移動軌跡をより長時間あるいは長い距離に渡って取得できるが、その分処理負担が大きくなるので、システムの処理能力などに応じて高さＨ２を設定するのが望ましい。
【００５６】
なお、例えば階段などを撮像した画像においては、その階段の上部と下部とではカメラからの距離が異なり、移動物体（人）の画像上における現れ方が相違してくる。そこで、後述するように、そのような見え方の相違に応じた画像補正や重み付けなどを行ってもよく、あるいはＹ軸ウインドウ１１４を台形状の領域とすることによって、重み付けを行ってもよい。
【００５７】
図１に戻って、Ｘ軸二値化像形成部３２には、メモリ２４に格納された各差分画像が順次入力される。そして、Ｘ軸二値化像形成部３２は、まず、図３に示したＸ軸ウインドウ１１２に相当するＸ軸ウインドウ画像を切り出し、それをＸ軸に射影するとともに、二値化処理を行ってＸ軸二値化像１２２（図５）を形成している。
【００５８】
図５には、その処理内容が概念的に示されている。（Ａ）に示すように、観測エリア内にはパラメータ入力部３０によって入力されたパラメータを利用してＸ軸ウインドウ１１２が自動設定される。差分画像から切り出されるＸ軸ウインドウ画像内には移動物体の差分像１２０が含まれる。すなわち、この差分像１２０はフレーム間における人の変位を表す像である。（Ｂ）に示すように、Ｘ軸ウインドウ画像がＸ軸上に射影され、これによりＸ軸上の輝度値の頻度分布が作成される。その頻度分布をしきい値を利用して二値化処理することにより、図示されるようなＸ軸二値化像１２２が形成される。そのＸ軸二値化像１２２には上記の差分像１２０に対応した物体像１２４が含まれる。ちなみに、符号１２６は物体像１２４以外の背景部分を示している。
【００５９】
図１に戻って、Ｘ−Ｔ画像形成部３４は、上述のように作成されたＸ軸二値化像１２２を時系列順で時間軸方向に揃えることにより、二次元のＸ−Ｔ画像を形成する手段である。図６には、Ｘ−Ｔ画像１３０が示されている。上記のように、この画像は図５（Ｂ）に示したＸ軸二値化像１２２を時系列で連結させることにより作成されるものである。Ｘ−Ｔ画像１３０上において、物体像１２４は時間軸方向に連結し、それらによってクラスタ１３２が構成される。このクラスタ１３２は、Ｘ軸ウインドウ１１２を人が通過する期間内におけるその変位を表す物体像として位置づけられる。
【００６０】
ところで、図７に示すように、カメラ１２の真下に位置する人２００とそこから変位した位置に存在する人２０２とでは、符号２００Ａ及び符号２０２Ａに示すようにカメラ１２からの見え方が相違する。そこで、見え方の相違に対応した補正を行なうのが望ましい。図１に示したＸ−Ｔ画像形成部３４は、そのような補正を行なう機能も有しており、図８にはその補正内容が示されている。すなわち、上述のような見え方の相違はパラメータ入力部３０で設定されるパラメータ及びクラスタの存在位置に応じて把握できるので、そのような見え方の相違を解消するように各クラスタの補正が行われる。図８に示すように、Ｘ軸上の中央に位置するクラスタに対しては特別の補正は行われず、その中央からＸ軸方向に左右に変位するにしたがって、その変位度合に応じて符号１３０にＡで示すようにクラスタの面積の補正が行われる。もちろん、Ｘ−Ｔ画像１３０自体に対して図８に示したような補正を行ってもよいが、後述する人数計測に当たって見え方の相違に基づく重み付けを行えば、実質的に上記同様の補正を行なうことができる。
【００６１】
上述のように形成されたＸ−Ｔ画像は、図１において、後述する方向別分離部５２に送られると共に、混雑度判定部３６に送られている。混雑度判定部３６は、本実施形態においてＸ−Ｔ画像に基づき通路１０２上における人の混雑度を判定する手段である。たとえば、Ｘ−Ｔ画像の全体面積に対するクラスタの総面積の割合から混雑度を判定してもよい。なお、Ｘ軸ウインドウ１１２で観測される移動物体の検出継続時間などを基準として混雑度を判定してもよい。
【００６２】
計数方式選択部３８は、判定された混雑度に応じて、後述する各計数方式を選択する手段であり、混雑度に応じて計数方式を切り換えることにより、状況に応じて的確な人数計測を行うことができる。これについては後に詳述する。
【００６３】
図１に示すＹ軸二値化像形成部４０にはメモリ２４から順次差分画像が入力さている。Ｙ軸二値化像形成部４０は、差分画像からＹ軸ウインドウに相当するＹ軸ウインドウ画像を切り出し、それをＹ軸上に射影すると共に二値化処理をすることによってＹ軸二値化像１３４（図９）を形成する手段である。
【００６４】
図９には、Ｙ軸二値化像形成部４０の処理内容が概念的に示されている。（Ａ）に示すように、観測エリア内においては、Ｘ軸ウインドウ１１２を横切るように複数のＹ軸ウインドウ１１４が自動設定される。そのようなＹ軸ウインドウ１１４の設定に当たっては、上述した各種のパラメータが参照される。Ｙ軸二値化像形成部４０は、個々のＹ軸ウインドウ１１４ごとにＹ軸ウインドウ画像を切り出し、さらにそのＹ軸ウインドウ画像をＹ軸に射影することによってＹ軸上における輝度値の頻度分布を形成する。その頻度分布をしきい値により二値化処理することによって、（Ｂ）に示すようなＹ軸二値化像１３４が形成される。ここで、Ｙ軸二値化像１３４には物体像１３６が含まれ、その物体像１３６は差分画像に含まれていた差分像１２０に対応するものである。ちなみに、符号１３８は、物体像１３６以外の背景部分を示している。したがって、１つの差分画像に対して、ｎ個のＹ軸ウインドウ１１４が設定され、各Ｙ軸ウインドウ１１４ごとにＹ軸二値化像１３４が形成されることになる。
【００６５】
図１に戻って、Ｙ−Ｔ画像形成部４２は、上述のように形成された各Ｙ軸ウインドウごとのＹ軸二値化像１３４を時系列順で時間軸方向に揃えることにより二次元のＹ−Ｔ画像を形成する手段である。
【００６６】
図１０にはＹ−Ｔ画像１４０が示されている。個々のＹ軸二値化像を揃えることにより、図９（Ｂ）に示した物体像１３６が時系列順で連結し、それらによりクラスタ１４２が構成される。そのクラスタ１４２は、Ｙ軸ウインドウ内を人が一定速度で通過した場合直線状のパターンとして構成され、一方Ｙ軸ウインドウ１１４内において人の移動速度が変化するような場合、その速度変化に対応して屈曲状あるいは曲線状のパターンとして構成される。
【００６７】
何れにおいても、クラスタ１４２の傾きの方向は、人の移動方向に対応しており、また、クラスタ１４２の傾きの大きさは人の移動速度の大きさに対応しており、つまり、Ｙ−Ｔ画像１４０によれば各Ｙ軸ウインドウごとに各人の動きに着目して移動軌跡を求めることができる。
【００６８】
図１に示す移動軌跡抽出部４４は、図１０に示したＹ−Ｔ画像１４０上において例えば隣接ピクセルごとにラベルを付与することによってラベリングを行い、これにより各クラスタ１４２すなわち移動軌跡を分離抽出する手段である。そのように抽出された各クラスタは方向判別部４６及び速度判別部４８に入力されている。
【００６９】
方向判別部４６は、クラスタの傾き方向から移動物体の移動方向を判別する手段であり、速度判別部４８はクラスタの傾きの大きさから移動速度を判別する手段である。
【００７０】
図１１には、方向判別及び速度判別の概念が示されている。（Ａ）に示すように、Ｙ−Ｔ画像１４０上には通過する移動体ごとにクラスタ１４２が構成される。そのクラスタ１４２に対して例えばクラスタ要素の面積重心点を連結して近似直線１４６が求められる。そして、方向判別部４６はその近似直線１４６の傾き方向から各移動物体ごとに移動方向の判別を行っている。また、速度判別部４８は、近似直線１４６の傾きの大きさにしたがって各移動物体ごとに移動速度の判別を行っている。ここで、図１１（Ａ）に示すように、近似直線１４６の傾きが負であれば移動方向が下りと判別され、一方傾きが正であれば上りと判別される。また各近似直線１４６とＴ軸（あるいはＹ軸）とのなす角度θが演算により求められ、そのθにより上述したように移動速度が判別されている。
【００７１】
図１に示す方向別マップ作成部５０は、図１１（Ｂ）に示す方向別パターン１４８をＸ軸方向に揃えることにより、図１１（Ｃ）に示す方向別マップ１５０を作成する手段である。すなわち、方向別パターン１４８は、処理期間制御部２６によって設定された処理期間内において特定のＹ軸ウインドウを通過した各移動物体の方向を表すパターンである。例えば、駅の階段においては、電車の発着などに応じて人の流通方向が刻々と変化するが、方向別パターン１４８は特定のＹ軸ウインドウについてそのような刻々と変化する人の流れを反映したパターンである。したがって、Ｙ軸ウインドウ１１４の並び方向に沿ってすなわちＸ軸方向に沿って各Ｙ軸ウインドウについて求められた方向別パターン１４８を整列配置すれば、上記の方向別マップ１５０を取得することができる。この方向別マップ１５０は一定の処理期間内における人の流通方向の変化をＸ軸上の各部位において表した画像である。
【００７２】
図１に示す方向別分離部５２には、Ｘ−Ｔ画像形成部３４から出力されたＸ−Ｔ画像１３０と、方向別マップ作成部５０から出力された方向別マップ１５０と、が入力されている。そして、方向別分離部５２は、方向別マップ１５０に基づいてＸ−Ｔ画像１３０を方向別に分離する処理を行っている。図１２にはその処理内容が示されており、（Ａ）に示すように方向別マップ１５０とＸ−Ｔ画像１３０とが統合されると、（Ｂ）に示すように、上り画像１３０Ａと下り画像１３０Ｂとが生成される。すなわち、Ｘ−Ｔ画像１３０内に含まれる各クラスタ１３２についてそれが上り方向か下り方向かが弁別されることになる。このような方向別の処理によれば、各方向ごとに人数計測を行える利点がある。
【００７３】
図１において、上述のように分離された上り画像１３０Ａと下り画像１３０Ｂは、個別計数部５４及び除算計数部５６に送られている。それらの計数部５４，５６は、混雑度に応じて択一的に機能するものであり、その動作は計数方式選択部３８によって制御されている。本実施形態においては、低混雑度が判定された場合、計数方式選択部３８により個別計数部５４の動作が選択される。一方、高混雑度が判定された場合、計数方式選択部３８によって除算計数部５６の動作が選択されている。
【００７４】
以下に、各計数部の動作について説明する。なお、本実施形態では、低混雑度及び高混雑度という二段階の評価を行ったが、もちろん三段階あるいはそれ以上の段階に分けて混雑度を評価してもよい。そして、混雑度に応じて適切な計数方式を選択するのが望ましい。
【００７５】
個別計数部５４は、図１２（Ｂ）に示した上り画像１３０Ａ及び下り画像１３０Ｂのそれぞれについてクラスタ１３２の個数をカウントすることによって処理期間内における通過人数を計数する手段である。閑散時においては、各移動物体が独立してクラスタリングされている可能性が高いことを考慮したものである。なお、後述する除算計数に当たっては、一人当たりの基準面積でクラスタの総面積の除算をすることが行われるが、閑散時においてはその各人の移動速度がまちまちである可能性が高く、この場合、一律の基準面積を用いると計数誤差が大きくなる。その意味においても低混雑時においては個別計数を行なうのが望ましい。
【００７６】
ただし、複数人が縦あるいは横に並んで通過したような場合に計数誤差の発生が危惧される。そこで、本実施形態では、各クラスタが何人に相当するのかをその幅やその面積を基準として判定する処理が行われている。その幅の判定しきい値としてはＸ軸ウインドウ内で観測される人の幅を基準とすればよく、面積の判定しきい値としては速度判別部４８によって判別された各クラスタの移動速度からＸ軸ウインドウ内における当該移動物体の滞在時間を推定し、それに対して上記の人の幅を乗算したものとして決定することができる。
【００７７】
図１３には、個別計数部５４の動作の一例が示されている。なお、図１３に示す動作は上り画像１３０Ａ及び下り画像１３０Ｂのそれぞれに対して行われるものである。
【００７８】
Ｓ１０１では、画像内から一つずつクラスタが抽出される。Ｓ１０２では、速度判別部４８によって求められた当該クラスタの移動速度及び上述した人の幅（基準幅）に基づき基準面積が演算される。Ｓ１０３では、クラスタの幅が所定値以下か否かが判断され、Ｓ１０４ではクラスタ面積が基準面積以下か否かが判断される。幅が所定値以下でかつクラスタ面積が基準面積以下であれば、それは一人と認識することができるので、Ｓ１０５において計数が行われる。一方、Ｓ１０３又はＳ１０４の少なくとも一方においてＮＯが判定されると、Ｓ１０６において、当該クラスタが何人相当するかが判定される。例えば、クラスタの面積を基準面積で除算することによって人数が推定される。Ｓ１０７では、そのように推定された人数がカウントされることになる。Ｓ１０８では次のクラスタが存在しているか否かが判定され、次のクラスタがあればＳ１０１からの各工程が繰り返し実行される。その結果、上り画像１３０Ａ及び下り画像１３０Ｂごとに処理期間内における通過人数が算出される。
【００７９】
図１において、除算計数部５６は、上り画像１３０Ａ及び下り画像１３０Ｂにおけるクラスタ総面積を基準面積で除することによって人数を推定する手段である。ここで、その場合に用いられる基準面積は、上述同様に、移動物体の幅とＸ軸ウインドウにおける移動物体の滞在時間より決定される。ここで、各クラスタごとに滞在時間を算出してもよいが、一般に混雑しているような場合には通路上で同じ方向に一様の速度で移動物体が移動しているとみなすことができるので、各方向ごとにクラスタの平均移動速度を算出し、その平均移動速度を利用して基準面積を決定するのが望ましい。
【００８０】
図１４には、除算計数部５６の動作の一例が示されている。ちなみに、この動作は上り画像１３０Ａ及び下り画像１３０Ｂのそれぞれについて実行される。
【００８１】
Ｓ２０１では、上述したように平均移動速度が演算される。すなわち、上り画像１３０Ａ及び下り画像１３０Ｂにおいて、各クラスタについて求められた移動速度を平均化することによって平均移動速度が演算される。Ｓ２０２では、そのように求められた平均移動速度と基準幅とから基準面積が演算される。そして、Ｓ２０３では、上り画像１３０Ａまたは下り画像１３０Ｂにおけるクラスタ総面積を演算し、その総面積を基準面積で除算することによって処理期間内における通過人数が算出されている。
【００８２】
図１における出力制御部５８には、個別計数部５４における計数結果及び除算計数部５６における計数結果が入力されている。すなわち出力制御部５８には処理期間ごとに、方向別の通過人数が入力されることになる。出力制御部５８は、各処理期間における方向別の通過人数に基づいてテーブルやグラフなどを作成し、それを表示器６０に出力している。もちろん、プリントアウトされるように構成してもよい。したがって、表示器６０には、処理期間ごとの通過人数が数値やヒストグラムなどのグラフとして表示され、例えば駅の階段における各時間帯における交通量調査などを自動的に行なうことが可能である。
【００８３】
処理期間は、上述したように処理期間制御部２６によって設定されており、上述の画像処理及び人数計測の動作は処理期間を単位として実行されている。すなわち、図６に示したＸ−Ｔ画像１３０、図１０に示したＹ−Ｔ画像１４０及び図１１（Ｃ）に示した方向別マップ１５０のそれぞれのＴ軸方向のデータ範囲は互いに一致している。
【００８４】
図１に示した人数計測装置は、例えば汎用のコンピュータに対して画像入力部１０を接続することによって構成することもできる。その場合に、図１に示した各構成の機能は実質的にソフトウエアによって実現されることになる。もちろん、たとえばＸ−Ｔ画像形成処理やＹ−Ｔ画像形成処理などは並列実行可能であり、そのような並列処理が可能になるように特別のハードウエアを構成してもよい。
【００８５】
図１に示した装置は、人数計測以外においても利用できる。たとえば、ベルトコンベアを流れる物品の個数計測や高速道路を流通する車両の台数計測などにも適用可能である。計測対象の性質に応じて各種の画像処理条件あるいは計測条件を適宜設定すればよい。
【００８６】
上述した実施形態によれば、複雑なパラメータ調整を行うことが不要であるので、例えば仮設カメラなどを利用して簡便に人数計測を行えるという利点がある。また、特に各人の移動軌跡に着目しその方向及び速度を簡単な処理によって算出し、それらを利用して高精度の人数測定を実現できるという利点がある。特に、低コストで実時間処理を可能にすることができる。さらに、混雑度に応じて計数方式を切り換えることができるので、各種の状況に対応して適切な人数計測を行えるという利点がある。
【００８７】
【発明の効果】
以上説明したように、本発明によれば、各移動物体の動きの推移を考慮して精度良く移動物体数の計測を行える。また、本発明によれば混雑度を考慮して適切な移動物体数の計測を行える。
【図面の簡単な説明】
【図１】 本発明に係る人数計測装置の好適な実施形態を示すブロック図である。
【図２】 観測エリア内における座標関係を示す図である。
【図３】 Ｘ軸ウインドウ（計数用ウインドウ）を示す概念図である。
【図４】 Ｙ軸ウインドウ（方向／速度検出用ウインドウ）の概念を示す図である。
【図５】 Ｘ軸二値化像の形成原理を示す図である。
【図６】 Ｘ−Ｔ画像を示す説明図である。
【図７】 カメラ直下とそこから変位した位置における見え方の相違を説明するための図である。
【図８】 見え方の相違に応じたクラスタの補正を示す図である。
【図９】 Ｙ軸二値化像の形成原理を示す図である。
【図１０】 Ｙ−Ｔ画像を示す説明図である。
【図１１】 クラスタに基づく移動方向及び移動速度の判定と方向別マップを示す図である。
【図１２】 Ｘ−Ｔ画像と方向別マップの統合処理を示す図である。
【図１３】 個別計数処理の動作を示す図である。
【図１４】 除算計数処理の動作を示す図である。
【符号の説明】
１０ 画像入力部、１２ カメラ、１８ フレーム間差分演算部、２０ 二値化処理部、２２ しきい値設定部、２６ 処理期間制御部、３０ パラメータ入力部、３２ Ｘ軸二値化像形成部、３４ Ｘ−Ｔ画像形成部、３６ 混雑度判定部、３８ 計数方式選択部、４０ Ｙ軸二値化像形成部、４２ Ｙ−Ｔ画像形成部、４４ 移動軌跡抽出部、４６ 方向判別部、４８ 速度判別部、５０ 方向別マップ作成部、５２ 方向別分離部、５４ 個別計数部、５６ 除算計数部。

Claims (8)

1. Ｘ軸に沿って設定されたＸ軸ウインドウを通過する移動物体を表すＸ軸二値化像を逐次取得し、各時刻のＸ軸二値化像を時間軸方向に揃えて二次元のＸ−Ｔ画像を形成する第１の画像形成手段と、
   前記Ｘ軸ウインドウの各位置を横切って整列設定された複数のＹ軸ウインドウのそれぞれについて移動物体の移動位置を表すＹ軸二値化像を逐次取得し、前記Ｙ軸ウインドウごとに各時刻のＹ軸二値化像を時間軸方向に揃えて二次元のＹ−Ｔ画像を形成する第２の画像形成手段と、
   前記各Ｙ−Ｔ画像における移動物体ごとの移動軌跡の傾き方向から前記Ｘ軸ウインドウの各位置を横切る移動物体のＹ軸移動方向を解析する移動解析手段と、
   前記移動解析手段の解析結果を利用して、前記Ｘ−Ｔ画像に基づいて前記Ｙ軸移動方向ごとに移動物体数を計数する計数手段と、
   を含むことを特徴とする移動物体計測装置。
2. 請求項１記載の装置において、
   前記計数手段は、前記移動解析手段の解析結果を利用して、前記Ｘ−Ｔ画像に含まれる物体像をＹ軸移動方向ごとに区分けし、区分け後のＸ−Ｔ画像に基づいて前記Ｙ軸移動方向ごとに移動物体数を計数する、
   ことを特徴とする移動物体計測装置。
3. 請求項２記載の装置において、
   前記移動解析手段は、前記Ｘ軸ウインドウの各位置における移動物体のＹ軸移動方向の時間変化を示す方向別マップを作成し、
   前記計数手段は、前記方向別マップに基づいて前記Ｘ−Ｔ画像に含まれる物体像をＹ軸移動方向別に区分けする、
   ことを特徴とする移動物体計測装置。
4. 請求項１〜３のいずれかに記載の装置において、
   更に、前記Ｘ−Ｔ画像に基づいて混雑度を判定する混雑度判定手段を有し、
   前記計数手段は、
   前記混雑度判定手段が低混雑度であると判定した場合に、前記Ｘ−Ｔ画像に含まれるＹ軸移動方向ごとの物体像の個数を計数することにより、前記Ｙ軸移動方向ごとに移動物体数を演算し、
   前記混雑度判定手段が高混雑度であると判定した場合に、前記Ｘ−Ｔ画像に含まれるＹ軸移動方向ごとの物体像の総面積を基準面積で除することにより、前記Ｙ軸移動方向ごとに移動物体数を演算する、
   ことを特徴とする移動物体計数装置。
5. 請求項４記載の装置において、
   前記混雑度は、前記Ｘ−Ｔ画像に含まれる物体像の総面積に基づいて判定されることを特徴とする移動物体計測装置。
6. 請求項４又は５記載の装置において、
   前記移動解析手段は、更に、前記Ｙ−Ｔ画像における移動物体ごとの移動軌跡の傾きの大きさから当該移動物体の移動速度を判別し、
   前記計数手段は、前記Ｙ軸移動方向ごとに算出される平均移動速度に基づいて前記基準面積を可変設定する、
   ことを特徴とする移動物体計測装置。
7. 請求項１〜６のいずれかに記載の装置において、
   前記Ｘ軸ウインドウ及び前記複数のＹ軸ウインドウを包含する観測エリアを撮像する撮像手段と、
   前記撮像手段にて取得された各画像に対し隣接フレーム間で差分演算を実行して差分画像を求める差分演算手段と、
   前記差分画像を基礎として前記Ｘ軸二値化像及び前記Ｙ軸二値化像を作成する二値化像作成手段と、
   を含むことを特徴とする移動物体計測装置。
8. 請求項７記載の装置において、
   前記二値化像作成手段は、
   前記差分画像から前記Ｘ軸ウインドウに相当するＸ軸ウインドウ画像を切り出し、そのＸ軸ウインドウ画像をＸ軸に射影しかつ二値化処理することによって前記Ｘ軸二値化像を作成する手段と、
   前記差分画像から前記各Ｙ軸ウインドウに相当するＹ軸ウインドウ画像を切り出し、そのＹ軸ウインドウ画像をＹ軸に射影しかつ二値化処理することによって前記Ｙ軸二値化像を作成する手段と、
   を含むことを特徴とする移動物体計測装置。

Images