JPH08272926A - 人数検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 テレビカメラの映像信号を処理して人数を検
出する際、人の混雑度合や季節による服装の変化に関係
なく、また対象人物と背景となる床とのコントラストが
低い場合や照明状態等による明るさの変化がある場合の
ように、テレビカメラの設置場所や設置環境が変わる場
合でもその影響を少なくし、人数を高精度かつ高速度で
検出する。 【構成】 テレビカメラで検出対象人物を撮像する装置
において、人がいない状態の背景画像を更新する演算手
段、ディジタル画像信号の二値化画像を補正する形状補
正手段、該形状補正手段により得られた画像の画素数を
減らす画素数圧縮手段、該画素数圧縮手段により得られ
た画像に、所定のパターンを重ねて相関値を求める相関
値検出手段、とからなる特徴抽出部と、前記相関値をも
とに演算処理を加えた相関値パラメータ、前記テレビカ
メラからの画像信号の濃度レベルを表わす濃度パラメー
タ、前記テレビカメラの設置環境を特徴づける環境パラ
メータ、とをニューラルネットワークの入力とした人数
判別部とを有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、百貨店内や展示場、ビ
ル内、地下街等のある特定場所の人数を、テレビカメラ
の映像信号を処理して検出する人数検出装置に関するも
のである。

【０００２】

【従来の技術】テレビカメラの映像信号をディジタル信
号に変換し、得られたディジタル画像信号から検出対象
画像を演算処理する手法は広く使用されている。例えば
図５は、従来の人数検出装置のブロック図である。図５
において、１はテレビカメラ等で成り、検出対象人物を
撮像して画像信号を出力する画像入力部、２は画像入力
部１の画像信号を入力してノイズ成分を除去し、二値化
等の処理をして二値化画像信号を出力する前処理部、３
は前処理部２の画像信号を入力して検出対象人物画像を
抽出する対象抽出部、４は対象抽出部３の対象人物画像
と、予め入力して内部に記憶されている基準面積画像と
を比較する面積比較部、５は基準面積画像より大きい画
像を計数する計数部である。

【０００３】次に動作について説明する。画像入力部１
が百貨店内や展示場等のある特定場所を撮像して画像信
号を出力すると、前処理部２がこの画像信号を取り込ん
でマスキング等でノイズ成分を除去し、次いで二値化処
理を行って二値化画像信号を出力する。対象抽出部３は
二値化画像信号から検出対象人物画像を抽出する。面積
比較部４には予め入力された基準面積画像が記憶されて
おり、この基準面積画像と対象抽出部３の検出対象人物
画像とを比較し、基準面積画像より大きい部分の人物画
像を得る。計数部５はこれらの画像を計数して人数信号
を出力する。

【０００４】このようにして画像入力部の画像信号をデ
ィジタル処理することによって、検出対象人物の数を検
出することができる。

【０００５】

【発明が解決しようとする問題点】以上述べたような従
来の人数検出装置では、基準面積の背景画像を人がいな
いことを確認し、手動で予め入力せねばならず、カメラ
の視野内に物を置くと言ったように設置環境が変わる
と、その都度新しく基準の背景画像を入力する必要があ
った。更に単純な二値化画像信号を基に面積判定を行っ
ているので、人物が多数混雑したような場合や、また人
物と背景とのコントラストの低い場合、例えば服装や頭
髪の色が背景となる床と同系色に近い場合には、検出対
象人物の画像面積（画素数）が小さくなり、加えて季節
により服装の色や着衣の状態が変わるので面積判定だけ
では大きな誤差が生じた。その上画像入力部の設置場所
の明るさの変化等により二値化処理を行う場合のしきい
値レベルの設定が難しかった。また、天井に設けたテレ
ビカメラで検出対象人物を撮像するとき、テレビカメラ
の取付高さにより検出対象人物の画像面積が変わるので
検出精度が低下した。結局、従来の人数検出装置は、人
の混雑度合いや服装、テレビカメラの設置場所、設置環
境によって検出精度が大きく影響された。

【０００６】本発明は上記の問題点を解決するためにな
されたもので、人のいない状態の背景画像が自動的に更
新でき、人の混雑度合いや服装、床の色、照明状態等に
よる明るさの変化に対しても影響を少なくするようにし
て、テレビカメラの設置場所や設置環境に影響されずに
高精度かつ高速度で人の数を検出することのできる人数
検出装置を得ることを目的とする。

【０００７】

【問題点を解決するための手段】上記問題点を解決する
ための人数検出装置は、人がいない状態の背景画像を更
新する演算手段、ディジタル画像信号の二値化画像を補
正する形状補正手段、該形状補正手段により得られた画
像の画素数を減らす画素数圧縮手段、該画素数圧縮手段
により得られた画像に、所定のパターンを重ねて相関値
を求める相関値検出手段、とからなる特徴抽出部と、前
記相関値をもとに演算処理を加えた相関値パラメータ、
テレビカメラからの画像信号の濃度レベルを表わす濃度
パラメータ、前記テレビカメラの設置環境を特徴づける
環境パラメータ、とをニューラルネットワークの入力と
した人数判別部とで構成したものである。

【０００８】

【作用】本発明による人数検出装置は、人数検出をする
場合の基準となる背景画像の更新を自動的に行うように
しているので、床に物を置いたりするなど背景が変化し
ても人為的に設定を変える必要はない。また、人が混雑
していたり、服装が変わったり、照明状態などに起因す
る明るさの変化があったり、更にはテレビカメラの取付
高さが変わっても、ニューラルネットワークの学習機能
を利用して人数の判別処理を行っているので、検出対象
人物の数を高精度かつ高速度で検出することができる。

【０００９】

【実施例】以下、本発明の一実施例を図１〜図４に基づ
いて説明する。図１はこの発明の人数検出装置の構成を
示すブロック図である。

【００１０】１は図５と同一のテレビカメラ等でなる画
像入力部、２も図５と同一で画像入力部１の画像信号を
入力してノイズ成分を除去し、二値化等の処理をして二
値化画像信号を出力する前処理部、６は特徴抽出部であ
る。特徴抽出部６では、前処理部２の二値化画像を形状
補正し、さらに演算処理の高速化を図るため、画像の画
素数を減らす画素数圧縮を行った後の画像に、所定の大
きさの人のパターンを重ねて、重なった部分の画像面積
を計算し、この面積を重ねたパターンの中心位置にある
画素の相関値とし、これを画像全体にわたって求める相
関値検出処理を行う。７は人数判別部であり、ニューラ
ルネットワークを人数の判別論理に用いている。８は出
力部であり検出人数の表示や印字出力をする。

【００１１】図２は背景画像の更新処理の手順を示すフ
ローチャートであり、人がいない状態のとき、背景画像
を自動的に更新する。

【００１２】まず、連続で二画像を取り込む（手順
ａ）。この取り込みの時間間隔は、商用周波数が５０Ｈ
ｚと６０Ｈｚであることを考慮すると、電源周波数の違
いによる照明の照度変化を無くすには、ｎ／２０秒（ｎ
は１以上の整数）間隔で取り込む必要がある（特に蛍光
灯照明の場合）。従って例えば、０．１秒間隔で取り込
むようにする。

【００１３】次に、取り込んだ二つの画像間の差の絶対
値（これを移動差分と呼ぶ）を求め（手順ｂ）、その差
分画像を雑音を除去できるしきい値で二値化して（手順
ｃ）、画像の時間的な変化部分、この場合は人の移動し
た部分だけを切り出す。

【００１４】その後、画像の形状補正を行う（手順
ｄ）。即ち、検出画像の周辺部ではその中央部よりも人
の画像が長く写る。このため周辺部の画像を圧縮して一
人分の画像の大きさがほぼ均等になるように画像を形状
補正する。形状補正としては、画像中心からの距離が長
い画素ほど画像中心への移動量が大きくなるように定め
ればよい。形状補正された画像は、処理時間を短縮する
ため、画素数の圧縮により複数個の画素を一つにまとめ
（手順ｅ）、これをもとに相関値計算を行う（手順
ｆ）。これはまず、人の大きさに近い適当なパターン
（例えば３×３画素の正方形パターン）を用意し、この
パターンを画像上で画素単位に走査してパターンと画像
との相関値を求める。即ち、パターン内の各値（０また
は１）と、それと重なった位置にある画像の画素値（０
または１）を掛けて、その値をパターン全体にわたって
加えた値を、そのパターンの中心にある画素の相関値と
する。すると、パターンと人の画像形状がよく一致した
位置で相関値は高くなる。

【００１５】相関値のピークは人に対応するので、人が
いるかいないかの判定は、手順ｇでピーク数をカウント
することにより行う。人が０人（ピーク数は０）であれ
ば、これを繰り返し実行し、連続でｍ回とも０人となっ
た場合（手順ｈ）、人がいない状態と見なして、元の二
画像のうちの一画像を背景画像として保存する（手順
ｉ）。ここで、手順ｈを行うのは、照明条件が悪い場合
や人の動きが殆どない場合には移動差分で人の画像を検
出しにくいので、検出回数を増やすことにより、人のい
る画像を背景画像として保存することがないようにする
ためである。

【００１６】次に、人数検出の処理手順を図３のフロー
チャートをもとに説明する。

【００１７】図３において、まず人数検出したい画像を
一画面だけ取り込み（手順ｊ）、この画像と、図２の手
順ｉで保存した、人がいない状態の背景画像との間の差
の絶対値（これをを固定差分と呼ぶ）を求める（手順
ｋ）。この固定差分の特徴は、移動差分の場合と違い、
人の動きがない場合でも、背景とのコントラストがあれ
ば人の画像が得られることである。次に、この固定差分
画像を一定の濃度レベル（これを二値化レベルと呼ぶ）
をしきい値として二値化する（手順ｌ）。手順ｍでは、
図２の手順ｄで行ったのと同様な手法で画像の形状補正
を行う。更に、人数検出の演算速度を高速にするため、
画像の画素数を減らし（手順ｎ）、その減らした画像に
所定の大きさの人のパターンを重ねて相関値を求める
（手順ｐ）。この時の人のパターンは、人の画像とほぼ
同じ大きさでなるべく小さなものを使う方が、演算速度
が高速化でき精度も高くなる。

【００１８】次に、図１で示した人数判別部７への入力
となるパラメータを算出する。これら諸パラメータは、
後述するニューラルネットワークの入力層に与えられる
特徴パラメータであり、次のような三種類のパラメータ
群で構成される。

【００１９】（１）相関値パラメータ 図３の手順ｑで算出される相関値パラメータは、 （１−１）相関値が所定値以上の画素数。 （１−２）相関値が所定値以上の画素数を所定のパター
ンの画素数で除した値（これを相関値係数と呼ぶ）。 （１−３）相関値の最大ピーク値。 （１−４）相関値のピークの個数。 の四つであるが、これらの内少なくとも一つ以上をそれ
ぞれ正規化し、後述するニューラルネットワークの入力
層に与える。

【００２０】（２）濃度パラメータ 図３の手順ｒで算出される濃度パラメータは、 （２−１）手順ｌで求めた差分画像の二値化レベル。 （２−２）図２または図３の手順ｉで求めた背景画像の
濃度階調。 の二つであるが、これらの内少なくとも一つ以上をそれ
ぞれ正規化し、後述するニューラルネットワークの入力
層に与える。

【００２１】（３）環境パラメータ 図３の手順ｓで算出される環境パラメータは、 （３−１）テレビカメラの取付高さに依存する量。 即ち、テレビカメラの取付高さにより、人の画像の大き
さが変わるので、手順ｐで相関値を求める際の人のパタ
ーンの大きさも変える必要がある。テレビカメラの取付
高さに依存する量とは、人のパターンの大きさを正規化
したものと定義する。 （３−２）季節に依存する量。 即ち、人の服装は季節により色や状態が変わる。特に夏
と冬ではその差が大きいのが通常である。例えば夏は白
系統、冬は黒や紺系統が主体となるといった具合であ
る。季節に依存する量とは、主にこのような服装情報を
正規化したものと定義する。上記のパラメータの内、少
なくとも一つ以上を後述するニューラルネットワークの
入力層に与える。

【００２２】手順ｔはニューラルネットワークで、上述
した相関値パラメータ、濃度パラメータ、環境パラメー
タをニューラルネットワークの入力層に与えることで人
数判別を行う。

【００２３】図４にニューラルネットワークの構成を示
す。ここで用いたニューラルネットワークは、誤差逆伝
播法による階層型ネットワークで、入力層１０、中間層
１１、出力層１２よりなる３層構造とした。入力層１０
には図３の手順ｑ、手順ｒ、および手順ｓで求めた相関
値パラメータ、濃度パラメータ、および環境パラメータ
をそれぞれ入力し、出力層１２には判別すべき人数（０
人〜Ｎ人）を設定する。中間層１１は、誤差収束の早さ
と演算量の観点から実験的に定めればよいが、例えば入
出力層のユニット数の合計の半分のユニット数とする。
また、ユニットのしきい値関数はシグモイド関数（図示
しない）とし、学習則としてはよく知られているデルタ
ルールを用い、ユニット間の結合の重みを修正する再帰
的学習によりネットワークを構築する。

【００２４】このように本実施例のニューラルネットワ
ークによれば、入力層に与えるパラメータ数が少なくて
すむので、人物画像を直接ニューラルネットワークに入
力するよりネットワークが小規模でよく、またパターン
の回転や大きさにも依存しないという特徴がある。

【００２５】

【発明の効果】以上述べたように、本発明によれば人数
検出をする場合の基準となる背景画像の更新を自動的に
行うようにしているので、床に物を置いたりするなど背
景が変化しても人為的に設定を変える必要はない。ま
た、人が混雑していたり、季節により服装が変わった
り、照明状態などに起因する明るさの変化があったり、
更にはテレビカメラの取付高さが変わったりするという
設置場所や設置環境の変化があっても、小規模なニュー
ラルネットワーク構成で、高精度かつ高速度で人数が検
出できるという効果を有する。

【図面の簡単な説明】

【図１】本発明の実施例にかかる人数検出装置の構成を
示すブロック図である。

【図２】背景画像の更新処理を示すフローチャートであ
る。

【図３】人数検出の処理動作を説明するフローチャート
である。

【図４】ニューラルネットワークの構成図である。

【図５】従来の人数検出装置の構成を示すブロック図で
ある。

【符号の説明】

１ 画像入力部 ２ 前処理部 ３ 対象抽出部 ４ 面積比較部 ５ 計数部 ６ 特徴抽出部 ７ 人数判別部 ８ 出力部 １０ 入力層 １１ 中間層 １２ 出力層

Claims (4)

【特許請求の範囲】
1. 【請求項１】 テレビカメラの映像信号をディジタル信
   号に変換し、得られたディジタル画像信号の二値化レベ
   ルをしきい値として人物画像を演算し、人の数を検出す
   る人数検出装置において、人がいない状態の背景画像を
   更新する演算手段、前記ディジタル画像信号の二値化画
   像を補正する形状補正手段、該形状補正手段により得ら
   れた画像の画素数を減らす画素数圧縮手段、該画素数圧
   縮手段により得られた画像に、所定のパターンを重ねて
   相関値を求める相関値検出手段、とからなる特徴抽出部
   と、前記相関値をもとに演算処理を加えた相関値パラメ
   ータ、前記テレビカメラからの画像信号の濃度レベルを
   表わす濃度パラメータ、前記テレビカメラの設置環境を
   特徴づける環境パラメータ、とをニューラルネットワー
   クの入力層とした人数判別部とを備えたことを特徴とす
   る人数検出装置。
2. 【請求項２】 相関値パラメータが、相関値が所定値以
   上の画素数、もしくは相関値が所定値以上の画素数を所
   定のパターンの画素数で除した値、もしくは相関値の最
   大ピーク値、もしくは相関値のピークの個数、のうち少
   なくとも一つ以上の要素であることを特徴とする請求項
   １の人数検出装置。
3. 【請求項３】 濃度パラメータが、ディジタル画像信号
   の二値化レベル、もしくは人がいない状態の背景の濃度
   階調、のうち少なくとも一つ以上の要素であることを特
   徴とする請求項１の人数検出装置。
4. 【請求項４】 環境パラメータが、テレビカメラの取付
   高さに依存する量、もしくは季節に依存する量、のうち
   少なくとも一つ以上の要素であることを特徴とする請求
   項１の人数検出装置。