JP2005140754A - 人物検知方法、監視システム、およびコンピュータプログラム - Google Patents

Abstract

【課題】荷物を持ったり前後に並んで歩いたりしている人であっても、各人を従来よりも確実に検知できるようにする。
【解決手段】所定の区域を通過する人の頭頂部を上方より撮影できるように真上カメラ３１を設けておき、その所定の区域を通過する人の正面の撮影できるように正面カメラ３２を設けておき、真上カメラ３１によって真上画像および正面カメラ３２によって得られた正面画像に写っている同一人物を、真上画像の画像領域と正面画像の画像領域との位置関係に基づいて検知する。
【選択図】図２

Description

本発明は、施設の通路などを通過する人を検知する人物検知方法および監視システムなどに関する。

近年、施設のセキュリティの管理やマーケティングの調査のために、施設を出入りしまたは施設内を通行する人を計数するとともにこれらの人の顔付近の画像を取得することが要求されている。

通行する人を計数する方法として、通路の天井付近にカメラまたは赤外線センサを設け、鉛直下向きに撮影またはセンシングを行う方法が提案されている（特許文献１）。鉛直下向きに撮影などを行うのは、複数の人が前後または左右に並んでいても、各人が前後または左右にいる他人に隠れてしまうことがないからである。つまり、通路の正面または横からの撮影であると、複数の人が互いに重なって見える場合があるので、各人を上手く検知することができないおそれがあるからである（図Ｂおよび図Ｃ（ｂ）参照）。

しかし、鉛直下向きに撮影などを行う方法にも、次のような問題点がある。通路を通行する人の顔の撮影を行うことができない。よって、顔画像が得られないだけでなく、人の特徴が現れにくいので人と物（荷物など）との区別が付きにくくなり計数を誤ってしまうおそれがある。また、画像に表れる人の面の形状の変化が手足の動きや持ち物によって大きく変化するので、画像の中から人領域を認識することが難しい。通行量が多い場合は、背景差分を求めるために用いる背景基準画像の更新をあまり行うことができない。よって、検知精度が損なわれやすい。また、赤外線センサの場合は、天井が高かったり日光が差し込んだりすると、認識精度が低下してしまう。
特開平１１−３１６８４５号公報 特開平７−２５３４７６号公報

本発明は、上記のような問題点に鑑み、荷物を持ったり前後に並んで歩いたりしている人であっても、各人をより確実に検知できるようにすることを目的とする。

本発明に係る人物検知方法は、所定の区域を通過する人の頭頂部を上方より撮影できるように第一のカメラを設けておき、前記所定の区域を通過する人の正面の撮影できるように第二のカメラを設けておき、前記第一のカメラによって得られた第一の画像および前記第二のカメラによって得られた第二の画像に写っている同一人物を、当該第一の画像の画像領域と当該第二の画像の画像領域との位置関係に基づいて検知する、ことを特徴とする。

本発明に係る監視システムは、所定の区域を通過する人を監視する監視システムであって、前記所定の区域を通過する物体の頭頂部を上方より撮影できるように設けられた第一の撮影手段と、前記所定の区域を通過する物体の正面を撮影できるように設けられた第二の撮影手段と、前記第一の撮影手段によって得られた第一の画像に基づいて、物体が前記所定の区域を通過したことを検知する検知手段と、前記検知手段によって検知された物体が人であるか否かを、前記第二の撮影手段によって得られた第二の画像に基づいて判別する物体判別手段と、を有することを特徴とする。

好ましくは、前記検知手段は、物体が前記所定の区域を通過したことを、当該物体が前記第一の画像の中の所定の位置に写っていることをチェックすることによって検知し、前記物体判別手段は、前記検知手段によって検知された物体が人であることを、前記第一の画像の中の当該物体の画像領域に対応する、前記第二の画像の中の画像領域に、人の頭部が写っていることをチェックすることによって判別する。

または、前記第二の撮影手段によって得られた第二の画像に基づいて前記所定の区域を通過する物体のうち人であるものを検知する検知手段と、前記検知手段によって検知された人の背後にいる人を、前記第一の撮影手段によって得られた第一の画像に基づいて検索する検索手段と、前記所定の区域を通過した人数を、前記検知手段による検知結果および前記検索手段による検索結果に基づいて計数する計数手段と、を有する。

または、前記第一の撮影手段によって得られた第一の画像および前記第二の撮影手段によって得られた第二の画像の両方に写っている人物を検知することによって、前記所定の区域にいる人数を計数する計数手段を有する。

本発明によると、荷物を持ったり前後に並んで歩いたりしている人であっても、各人を従来よりも確実に検知することができる。

〔第一の実施形態〕
図１は監視システム１の全体の構成の例を示す図、図２は真上カメラ３１および正面カメラ３２の設置位置および撮影方向などの例を示す図、図３は真上画像ＵＧおよび正面画像ＳＧの例を示す図、図４は真上カメラ３１および正面カメラ３２の機能的構成の例を示す図、図５は通過検知処理の流れの例を説明するフローチャート、図６は歩行者Ｈが通行エリアを通過している間に得られた真上画像ＵＧの例を示す図、図７は通過検知処理の流れの例を説明するフローチャート、図８は歩行者Ｈが通行エリアを通過している間に得られた真上画像ＵＧの例を示す図、図９は歩行者画像ＲＵ、ＲＳの例を示す図、図１０は計数補正処理の流れの例を説明するフローチャート、図１１は図６（ｃ）の真上画像ＵＧに対応する正面画像ＳＧの例を示す図、図１２は荷物ＨＮを持って通行エリアを通過しようとする歩行者ＨＡの例を示す図、図１３は図１２の歩行者ＨＡが通行エリアを通過している間に得られた真上画像ＵＧの例を示す図、図１４は図１３（ｃ）（ｄ）の真上画像ＵＧに対応する正面画像ＳＧの例を示す図である。

図１に示すように、本発明に係る監視システム１は、ホストコンピュータ２、複数のビデオカメラ３、および通信回線４などによって構成される。ホストコンピュータ２および各ビデオカメラ３は、通信回線４を介して互いに接続されている。通信回線４として、ＬＡＮ、公衆回線、専用線、またはインターネットなどが用いられる。

この監視システム１は、スーパーマーケットまたはデパートなどの大型店舗、多数の専門店などが集まった地下街、空港または駅などのターミナルビル、博物館、またはイベント会場などのような、多数の人が利用する施設などで使用される。

ビデオカメラ３は、上記のような施設の出入口または通路など歩行者が通行する区域（以下、「通行エリア」と記載することがある。）ごとに２台ずつ割り当てられている。係る２台のビデオカメラ３は、図２（ａ）（ｂ）に示すように、通路のほぼ中央の上方（例えば、天井）に、所定の間隔を開けて設置されている。

また、２台のビデオカメラ３のうち、一方のビデオカメラ３（以下、「真上カメラ３１」と記載する。）の撮影方向は、ほぼ鉛直下向きなるように設定されている。真上カメラ３１のズームの倍率は、歩行者の頭頂部を確実に捉えられるように、その通行エリアの一方の側壁から他方の側壁までが撮影範囲に入るように設定されている。

もう一方のビデオカメラ３（以下、「正面カメラ３２」と記載する。）の撮影方向およびズームの倍率は、真上カメラ３１のほぼ真下に仮想される両側面を結ぶライン（図２（ｂ）に点線で表した直線）上に立っている人の頭部から足元までが撮影範囲に入るように設定されている。

したがって、同じ時刻に真上カメラ３１および正面カメラ３２によって図２の歩行者ＨＢ、ＨＣの撮影を行うと、それぞれ図３（ａ）および図３（ｂ）に示すような画像が得られる。以下、真上カメラ３１で撮影された画像を「真上画像ＵＧ」と記載し、正面カメラ３２で撮影された画像を「正面画像ＳＧ」と記載することがある。

真上カメラ３１は、図４に示すように、撮像部３１１、画像処理部３１２、データ記録部３１３、データ送信部３１４、制御部３１５、および通過物検知部３１７などによって構成される。正面カメラ３２は、計数処理部３２０、撮像部３２１、画像処理部３２２、データ記録部３２３、データ送信部３２４、制御部３２５、およびデータ受信部３２６などによって構成される。

制御部３１５は、ホストコンピュータ２などから送信されてくる制御信号（指令）などに従って撮像部３１１、画像処理部３１２、データ記録部３１３、データ送信部３１４、および通過物検知部３１７などの制御を行う。制御部３２５も同様に、ホストコンピュータ２の指令などに従って正面カメラ３２の各部の制御を行う。

撮像部３１１、３２１は、ＣＣＤなどのイメージセンサ、光学系、および制御用回路などからなり、通行エリアの様子を写した真上画像ＵＧおよび正面画像ＳＧ（図３参照）をそれぞれ生成する。これにより、撮影速度に応じたフレーム数（コマ数）の映像（真上画像ＵＧおよび正面画像ＳＧ）が得られる。

撮像部３１１、３２１で得られた真上画像ＵＧおよび正面画像ＳＧは、画像処理部３１２、３２２によって明度画像に変換される。そのほか、画像処理部３１２、３２２は、後に説明する背景差分処理、歩行者画像の生成処理、背景基準画像の生成処理、オプティカルフローを求める処理、および輪郭画像（エッジ画像）の生成処理などを実行する。

通過物検知部３１７は、通行エリアを通過する物体を検知する処理（以下、「通過検知処理」と記載することがある。）を行う。計数処理部３２０は、通行エリアを通過する人数を数える処理（以下、「計数処理」と記載することがある。）を行う。通過検知処理および計数処理については、後に詳しく説明する。

データ送信部３１４、３２４は、撮影、画像処理、通過検知処理、または計数処理などによって得られたデータなどをホストコンピュータ２などに送信する。データ記録部３１３、３２３は、ＲＯＭ、ＲＡＭ、またはフラッシュメモリなどからなり、これらのデータを記憶する。

真上カメラ３１の画像処理部３１２、データ送信部３１４、制御部３１５、および通過物検知部３１７、および正面カメラ３２の計数処理部３２０、画像処理部３２２、データ送信部３２４、制御部３２５、およびデータ受信部３２６は、プロセッサ（制御用回路）によって実現される。または、一部または全部の処理をコンピュータプログラムによって行うように構成してもよい。この場合は、コンピュータプログラムをＲＯＭまたはフラッシュメモリなどに格納しておき、これをＣＰＵによって実行するように構成する。撮像部３１１、３２１についても、一部の処理をコンピュータプログラムによって行うように構成してもよい。

ホストコンピュータ２は、施設の管理人室または守衛室などに設置されており、主に、真上カメラ３１および正面カメラ３２の制御のために使用される。ホストコンピュータ２として、パーソナルコンピュータまたはワークステーションなどが用いられる。

以下、施設内のある通行エリアにおける歩行者を監視する際の真上カメラ３１、正面カメラ３２の図４の各部およびホストコンピュータ２の機能および処理内容などについて説明する。

施設内の監視を行っている期間中、真上カメラ３１の撮像部３１１は、例えば図３（ａ）に示すような通行エリアの様子を示す画像（真上画像ＵＧ）を次々に取得する。これらの真上画像ＵＧのうち、歩行者が写っていない真上画像ＵＧを背景基準画像としてデータ記録部３１３に記憶させておく。背景基準画像は適宜更新する。正面カメラ３２の撮像部３２１も、監視期間中、図３（ｂ）に示すような正面画像ＳＧを次々に取得する。

通過物検知部３１７は、撮像部３１１によって得られた真上画像ＵＧに基づいて、通行エリアを通過する物体を検知する処理（通過検知処理）を、図５のフローチャートに示すような手順で行う。

例えば、監視を行っている間に、図６（ａ）〜（ｄ）に示すような真上画像ＵＧＡ〜ＵＧＤなどが得られたとする。なお、これら４つの真上画像ＵＧは左のものほど古く右のものほど新しい。また、これら４つの真上画像ＵＧ以外にも多数の真上画像ＵＧが取得されており、図６の隣り合う真上画像ＵＧ同士が必ずしも連続するフレームであるとは限らない。

まず、取得しておいた背景基準画像を用いて、各真上画像ＵＧから背景部分を除去する。つまり、背景差分処理を行う（図５の＃１０１）。

処理された各真上画像ＵＧの中から古い順に、歩行者Ｈの写っている真上画像ＵＧを検索する。歩行者Ｈが見つかった真上画像ＵＧの中から歩行者Ｈの画像領域を抽出する。さらに、その画像領域（つまり歩行者Ｈ）が計数ラインＬ１、Ｌ２のうちのいずれか一方と最初に重なったときの真上画像ＵＧを検索する（＃１０２）。その結果、図５（ｂ）の真上画像ＵＧＢが見つけられる。

なお、「計数ライン」とは、計数を行うための基準となるラインのことである。計数ラインＬ１、Ｌ２は、通行エリアの一方の側壁からもう一方の側壁の方向（画像中の縦軸方向）に、互いに平行になるよう予めまたは随時設定される。計数ラインＬ１、Ｌ２の間隔は、人の歩く速さおよび撮影速度などによって決められる。例えば、撮影速度を毎秒３０フレームに設定し、人の歩く速さを１〜２ｍ／秒であると想定した場合は、計数ラインＬ１、Ｌ２の間隔を、実際の通行エリアの床面における約２０ｃｍに相当するように設定する。なお、通行エリアのフロア（床）に約２０ｃｍの間隔で２本のラインを予め引いておき、真上画像ＵＧに写ったこれらのラインを計数ラインＬ１、Ｌ２として用いてもよい。

図５の画像ＧＡ〜ＧＤの下には、計数ラインＬ１、Ｌ２と歩行者Ｈとの重なり位置を太線で示している。後に説明する図７に示す太線も、計数ラインと歩行者Ｈとの重なり位置を示している。

その歩行者Ｈは、計数ラインＬ１を越えた後すぐに、もう一方の計数ラインＬ２と重なるはずである。また、その重なり位置は、その歩行者Ｈと計数ラインＬ１との重なり位置Ｋ１を側壁に平行に（つまり歩行者Ｈの進行方向に）真っ直ぐに移動させた位置とほぼ一致するはずである。したがって、その歩行者Ｈを追尾するかのように真上画像ＵＧＢ以降の真上画像ＵＧの検索を続けると、すぐ後の真上画像ＵＧＣにおいてその歩行者Ｈの画像領域がもう一方の計数ラインＬ２と重なり位置Ｋ２で重なることが確認できる（図５の＃１０３）。このときに、歩行者Ｈが通行エリアを通過したことを検知する（＃１０４）。

このように計数ラインＬ１、Ｌ２の両方と重なった歩行者を検索することによって、通行エリアを通過した歩行者を検知する。また、計数ラインＬ１、Ｌ２を越える順番に基づいて、その歩行者の進行方向をも検知することができる。

または、上記の背景差分法の代わりに、オプティカルフロー法を用いて図７に示すフローチャートのような手順で計数処理を行ってもよい。

例えば、監視の間に図８（ａ）〜（ｄ）に示すような真上画像ＵＧＥ〜ＵＧＨをはじめとする多数の真上画像ＵＧが得られたとする。これらの真上画像ＵＧについて古い順にオプティカルフローを求める（＃２０１）。その結果に基づいて歩行者Ｈの画像領域を抽出しながら（＃２０２）、図８（ｂ）のように歩行者Ｈが計数ラインＬ３と重なるまで歩行者Ｈを追尾する（＃２０３）。計数ラインＬ３と重なったことが確認できたらその歩行者Ｈが通行エリアを通過したことを検知する（＃２０４）。この際に、その歩行者Ｈのオプティカルフローに基づいて進行方向も検知できる。

図４に戻って、通過物検知部３１７によって歩行者が通行エリアを通過したことが検知されると、データ記録部３１３は、そのときの真上画像ＵＧ（例えば、図６（ｃ）の真上画像ＵＧＣまたは図８（ｃ）の真上画像ＵＧＧ）から歩行者の画像領域を図９（ａ）のように切り出すことによって得られる画像を、歩行者画像ＲＵとして通過時刻と対応付けて記録しておく。これと並行して、データ送信部３１４は、その真上画像ＵＧ（例えば、真上画像ＵＧＣ）を画像データ７０１として正面カメラ３２に送信する。

ところで、通過物検知部３１７が検知した物体は、必ずしも人間であるとは限らない。人間以外の物体、例えばスーツケースなどの荷物を誤って検知した可能性がある。そこで、正面カメラ３２によって、次のように歩行者の検知の誤りを補正しながら計数処理が行われる。

正面カメラ３２において、真上カメラ３１から送信された画像データ７０１はデータ受信部３２６によって受信される。そして、計数処理部３２０によって図１０のフローチャートに示すような手順で歩行者の計数処理が行われる。

まず、撮像部３２１によって得られた多数の正面画像ＳＧの中から、受信された画像データ７０１に係る真上画像ＵＧと同じ時刻の正面画像ＳＧを抽出して入力する（＃３０１）。入力された正面画像ＳＧに対して、歩行者の輪郭を抽出するための画像処理（以下、「輪郭抽出処理」と記載することがある。）を施す（＃３０２〜＃３０４）。

すなわち、その正面画像ＳＧとその前の時刻の正面画像ＳＧとの時間差分を求め、時間差分画像を生成する（＃３０２）。これと並行してまたは前後して、その正面画像ＳＧの空間差分を求め、空間差分画像を生成する（＃３０３）。生成された時間差分画像および空間差分画像の対応する画素同士の論理積を求める（＃３０４）。このようにして、歩行者の輪郭画像が得られる。

例えば、図６（ｃ）の真上画像ＵＧＣと同じ時刻の正面画像ＳＧ（図１１参照）に対して輪郭抽出処理を施し、その輪郭画像が得られたとする。

真上画像ＵＧＣに写っている歩行者Ｈの立ち位置（図６（ｃ）において斜線で示す画像領域）に対応する、正面画像ＳＧＣにおけるその歩行者Ｈの立ち位置を求める（＃３０５）。これにより、図１１に斜線で示す画像領域が求められる。このような画像領域は、真上カメラ３１および正面カメラ３２のそれぞれの撮影方向、画角、およびズームの倍率などを示す情報および両カメラの位置関係を示す情報などに基づいて導き出すことができる。

求められた立ち位置の画像領域に対して楕円形のテンプレート（以下、「楕円テンプレート」と記載する。）によるテンプレートマッチングを行う（＃３０６）。そして、その画像領域の中から楕円形の領域が見つかったか否かに応じて、次のように歩行者の検知の補正および計数処理を行う。

その画像領域の中に楕円形の画像領域が見つかった場合は、その領域を人間の頭部であるとみなす（＃３０７でＹｅｓ）。そして、通行エリアを通過した歩行者が人間であることが確認され、通過人数をカウントするためのカウンタＮＣに「１」を加算する（＃３０８）。なお、これと並行して、データ記録部３２３は、真上画像ＵＧＣからその歩行者の頭部付近の画像領域を図９（ｂ）のように切り出すことによって得られる画像を、歩行者画像ＲＳとして通過時刻と対応付けて記録しておく。

楕円形の領域が見つからなかった場合は、真上画像ＵＧＣの中の歩行者Ｈは人間ではなく荷物などの他の物体であるものとみなす（＃３０７でＮｏ）。よって、カウンタＮＣへの加算は行わない（＃３０９）。つまり、真上カメラ３１において歩行者であると判別された、誤った結果を補正する。

ステップ＃３０６で用いられる楕円形のテンプレートは、予め用意されたものである。係る楕円形のテンプレートは、次のようにして用意される。すなわち、真上カメラ３１の真下に標準的な体型をした人を立たせておき、その人を正面カメラ３２で撮影して画像を取得する。そして、その画像に写っている頭部の形状および大きさに合わせて楕円形を生成する。

なお、カウンタＮＣを進行方向に応じて１つずつ用意しておいてもよい。また、正面カメラ３２の位置から真上カメラ３１の位置の方向へ歩いている歩行者（つまり、正面カメラ３２に対して背中を向けて歩いている歩行者）の場合は、楕円テンプレートによるテンプレートマッチングの代わりに髪の毛領域の抽出を行い、その結果に応じて計数処理（＃３０７〜＃３０９）を行うようにしてもよい。

ここで、図１２に示すように歩行者ＨＡが大きなスーツケース（以下、「荷物ＨＮ」と記載する。）を手で転がしながら通行エリアを通過する場合および図２に示すように複数の歩行者ＨＢ、ＨＣが前後に並んで通行エリアを通過する場合の計数処理について説明する。

図１２に示すように歩行者ＨＡが通行エリアを歩いていると、真上カメラ３１では図１３（ａ）〜（ｅ）に示すような真上画像ＵＧが得られる。前に説明した通り、歩行者ＨＡが２本の計数ラインを越えたときに（図１３（ｃ）のときに）、歩行者ＨＡが通行エリアを通過したと判別される。正面カメラ３２では、その真上画像ＵＧの撮影時刻と同じ時刻に、図１４（ａ）に示す正面画像ＳＧが撮影される。そして、前に図１０で説明した手順の通りに処理を行うと、歩行者ＨＡが人間であることが確認され、カウンタＮＣに「１」が加算される。

歩行者ＨＡがもう少し進むと、真上カメラ３１では、図１３（ｄ）に示す真上画像ＵＧが得られる。このとき、荷物ＨＮが通行エリアを通過したと判別される。正面カメラ３２では、その真上画像ＵＧの撮影時刻と同じ時刻に、図１４（ｂ）に示す正面画像ＳＧが得られる。そして、図１０の手順で処理を行うと、荷物ＨＮの画像領域の中からは楕円形の領域は見つからない。したがって、荷物ＨＮは人間以外の物体であると判別され、カウンタＮＣには何もカウントされない。

図２に示すように歩行者ＨＢ、ＨＣが前後に並んで歩いている場合は、次のように計測処理が行われる。前を歩いている歩行者ＨＢについての計数処理は、歩行者ＨＢが１人で歩いている場合と同じなので、説明を省略する。

歩行者ＨＢの背後を歩いている歩行者ＨＣが通行エリアを通過した（２本の計数ラインを越えた）時刻に、正面カメラ３２では、図３（ｂ）に示すような正面画像ＳＧが得られる。係る正面画像ＳＧによると、歩行者ＨＣは歩行者ＨＢの姿で大部分が隠れていることが分かる。このような場合には、係る正面画像ＳＧに対して楕円テンプレートによるテンプレートマッチングを行っても（図１０の＃３０６）、歩行者ＨＢの頭部しか見つけられない。そこで、複数の歩行者が前後に並んで歩いていると真上画像ＵＧに基づいて判別される場合は、テンプレートマッチングの結果に関わらず、後方の歩行者を人間であるとみなし、カウンタＮＣに「１」を加算することとする。または、半楕円のテンプレートを用いてテンプレートマッチングを行い、半楕円の領域（つまり歩行者ＨＣの頭部の一部）が見つかった場合に、カウントを行うようにしてもよい。

図１５は通行エリアの歩行者を監視する際の監視システム１の処理の流れの例を説明するフローチャートである。次に、監視システム１における処理の流れを、フローチャートを参照して説明する。

図１５において、歩行者の監視を開始すると、真上カメラ３１は、時刻Ｔ＝Ｔ０における真上カメラ３１の初期フレーム画像を入力し（＃１１）、その画像の明度画像を作成しておく（＃１２）。図５および図６で説明した背景差分法によって計数処理を行うのであれば、背景基準画像を作成しておく（＃１３）。

監視期間中（＃１４でＮｏ）、真上カメラ３１および正面カメラ３２から通行エリアの様子を示す真上画像ＵＧおよび正面画像ＳＧが順次入力される（＃１５）。真上カメラ３１は、真上画像ＵＧに基づいて歩行者が通行エリアを通過したことを検知する（＃１６）。検知の手順は、図５で説明した背景差分法または図７で説明したオプティカルフロー法のうちのいずれかによる。

その結果、通行エリアを通過した歩行者が検知された場合は（＃１７でＹｅｓ）、正面カメラ３２は、正面画像ＳＧに基づいてその歩行者が人間であるか否かを確認し、計数の補正を行う（＃１８）。ステップ＃１８の処理の手順は、図１０で説明した通りである。

ステップ＃１４〜＃１９の処理は、監視を行っている間、繰り返し実行する（＃１４でＮｏ）。なお、計数の結果は、計数結果情報７１として、適宜、ホストコンピュータ２に送信される。また、歩行者を切り出した歩行者画像（図９参照）も、歩行者画像データ７２１、７２２としてホストコンピュータ２に送信される。

ホストコンピュータ２は、これらの計数結果情報７１および歩行者画像データ７２１、７２２をハードディスクなどの記録媒体に保存される。また、予め歩行者の顔画像などをデータベースに登録しておき、歩行者画像データ７２１、７２２に示される歩行者画像ＲＵ、ＲＳとマッチングすることによって入室の際の個人認証を行ってもよい。個人認証の機能は、真上カメラ３１または正面カメラ３２に設けてもよい。
〔第二の実施形態〕
図１６は第二の実施形態における真上カメラ３１および正面カメラ３２の機能的構成の例を示す図、図１７は歩行者検知および計数の処理の流れの例を説明するフローチャート、図１８は歩行者Ｈが通行エリアを通過している間に得られた正面画像ＳＧの例を示す図、図１９は真上カメラ３１による計数補正処理の流れの例を説明する図、図２０は図１８（ｃ）の正面画像ＳＧに対応する真上画像ＵＧの例を示す図、図２１は第二の実施形態における監視システム１の処理の流れの例を説明するフローチャートである。

第一の実施形態では、真上画像ＵＧに基づいて歩行者が通行エリアを通過したことを検知し、正面画像ＳＧに基づいてその歩行者が人間であるか否かを確認した。そして、人間であると確認されたものだけをカウンタＮＣにカウントした。つまり、真上画像ＵＧで歩行者を検知し、正面画像ＳＧで計数補正を行った。第二の実施形態では、正面画像ＳＧに基づいて歩行者を検知し、真上画像ＵＧに基づいて計数補正を行う。

第二の実施形態における監視システム１の全体的な構成は、図１に示す第一の実施形態の監視システム１の構成とほぼ同じである。ただし、図１６に示すように、真上カメラ３１および正面カメラ３２の機能的構成が第一の実施形態の場合と異なる点がある。図１６に示す各部のうち、図４と同じ符号のものは、基本的に同じ機能を有し同じ処理を実行する。以下、第一の実施形態の場合と異なる機能および処理内容などを中心に説明する。第一の実施形態の場合と同様の機能および処理内容については、説明を省略する。

正面カメラ３２の通過物検知部３２７は、図１７に示すような手順で、通行エリアを通過した歩行者の検知を行う。

歩行者Ｈが正面カメラ３２の撮影範囲に入ると、図１８に示すような順次得られる正面画像ＳＧを参照して、その歩行者Ｈを追尾する（＃４０４）。なお、これらの正面画像ＳＧには、輪郭抽出処理（＃４０１〜＃４０３）を施しておく。

歩行者Ｈが真上カメラ３１の真下（図１８の正面画像ＳＧ中の点線のライン）を通過したことが確認できると、歩行者Ｈが通行エリアを通過したと検知する。そして、その時刻の正面画像ＳＧ（図１８（ｃ）の正面画像ＳＧ）の中の歩行者Ｈの画像領域に対して楕円テンプレートによるテンプレートマッチングを行う（＃４０５）。その結果、頭部が見つかった場合は（＃４０６でＹｅｓ）、カウンタＮＣに「１」を加算する。頭部が見つからなかった場合は（＃４０６でＮｏ）、カウントは行わない。

しかし、図１８に示すように、歩行者Ｈのすぐ後ろに別の歩行者が歩いている場合は、その歩行者が検知されない。そこで、ステップ＃４０６でＹｅｓだった場合に、真上カメラ３１の計数補正部３１０（図１６参照）は、図１９のフローチャートに示すような手順で計数の補正を行う。

図２０に示すような、歩行者Ｈが通行エリアを通過したと検知された時刻の真上画像ＵＧを入力する（図１９の＃５０１）。その真上画像ＵＧを参照して、歩行者Ｈの背後を歩いている歩行者を検索する（＃５０２）。そして、求められた数をカウンタＮＣに加算することによって、正面カメラ３２で行われた計数を補正する（＃５０３）。

次に、第二の実施形態における監視システム１の処理の流れを、フローチャートを参照して説明する。図２１において、歩行者の監視を開始すると、正面カメラ３２は、時刻Ｔ＝Ｔ０における正面カメラ３２の初期フレーム画像を入力し（＃２１）、その画像の明度画像を作成する（＃２２）。

監視期間中（＃２３でＮｏ）、真上カメラ３１および正面カメラ３２から通行エリアの様子を示す真上画像ＵＧおよび正面画像ＳＧが順次入力される（＃２４）。正面カメラ３２は、正面画像ＳＧに基づいて歩行者が通行エリアを通過したことを検知する（＃２５）。検知の手順は、図１７のフローチャートで説明した通りである。

その結果、通行エリアを通過した歩行者が検知された場合は（＃２６でＹｅｓ）、真上カメラ３１は、その歩行者の背後に他の歩行者がいないかどうかを調べ、計数の補正を行う（＃２７）。係る処理は、図１９のフローチャートで説明した通りである。

ステップ＃２３〜＃２８の処理は、監視を行っている間、繰り返し実行する（＃２３でＮｏ）。
〔第三の実施形態〕
第一の実施形態および第二の実施形態では、真上画像ＵＧおよび正面画像ＳＧのうちの一方の画像に基づいて歩行者を検知し、もう一方の画像に基づいて計数の補正を行うことによって、監視を行っている期間中の歩行者を計数した。第三の実施形態では、ある特定の時刻において通行エリア内に存在する歩行者を計数する。

第三の実施形態における監視システム１の構成は、図１に示す第一の実施形態の監視システム１の構成とほぼ同じである。

ホストコンピュータ２の磁気記憶装置（ハードディスク）には、次に説明するような処理を行うためのプログラムおよびデータがインストールされている。これらのプログラムおよびデータは必要に応じてＲＡＭにロードされ、ＣＰＵによってプログラムが実行される。

ホストコンピュータ２は、真上カメラ３１および正面カメラ３２でそれぞれ得られた真上画像ＵＧおよび正面画像ＳＧを受信する。同じ時刻に撮影された真上画像ＵＧおよび正面画像ＳＧに両方に写っている歩行者を計数する。つまり、それぞれの画像に写っている同一人物のマッチングを行う。

例えば、真上画像ＵＧおよび正面画像ＳＧのそれぞれに写っている歩行者の足元の位置（画像領域）に着目する。すなわち、真上画像ＵＧに写っている歩行者の足元の位置に対応する、正面画像ＳＧにおける位置を求める（図６（ｃ）および図１１の斜線領域を参照）。これは、真上カメラ３１と正面カメラ３２との位置関係などから求めることができる。そして、求められたその正面画像ＳＧにおける位置に足元が写っている歩行者を、真上画像ＵＧに写っている歩行者と同じ人物であると判別し、計数する。

同様に、真上画像ＵＧに写っている他の歩行者についても正面画像ＳＧの中から同一人物を探索することにより、通行エリアにいる歩行者を計数することができる。

または、真上画像ＵＧおよび正面画像ＳＧに写っているそれぞれの歩行者の服の特徴（色または模様など）を表す領域、髪の毛の色または帽子の色などを表す領域などを検知し、これらの特徴をマッチングすることによって同一の歩行者を計数するようにしてもよい。

第一ないし第三の実施形態によると、荷物を持ったり前後に並んで歩いたりしている人であっても、各人をより確実に検知することができる。

第一および第二の実施形態によると、各時刻における歩行者の通行量の変化を従来よりも確実に検知することができる。第三の実施形態によると、ある時刻における所定の区域内にいる人の数を従来よりも確実に計数することができる。

通行エリアを通過した人数をカウントするカウンタＮＣは、真上カメラ３１、正面カメラ３２、ホストコンピュータ２のいずれに設けておいてもよい。

第一ないし第三の実施形態では、同時刻に撮影された真上画像ＵＧと正面画像ＳＧとを用いて計数処理などを行ったが、必ずしも厳密に同時刻のもの同士を用いる必要はない。例えば、数フレーム（撮影速度が３０分の１コマである場合は、３０分の数秒）の時間差のある真上画像ＵＧと正面画像ＳＧとを用いてもよい。

本実施形態では、図５および図６で説明したように、通行エリアに２本の計数ラインＬ１、Ｌ２を設け、歩行者Ｈが両方の計数ラインを越えたことおよびその順番に基づいて出入口方向に進む人数およびおよびその逆方向に進む人数の計数処理を行ったが、３本以上の計数ラインを用いて計数処理を行ってもよい。すなわち、互いに平行な３本以上の計数ラインのうちのいずれかの２本の計数ラインをどの順番で越えたのかに基づいて計数処理を行う。これにより、一部の画像に乱れがあった場合でも、より確実に計数処理を行うことができる。オプティカルフロー法による計数処理の場合も（図８参照）、複数の計数ラインを用いて計数処理を行ってもよい。

その他、監視システム１、ホストコンピュータ２、ビデオカメラ３の全体または各部の構成、計数の補正方法、処理内容、処理順序などは、本発明の趣旨に沿って適宜変更することができる。

本発明は、施設の通行エリアを通過する人を従来よりも確実に検知することができる。よって、例えば、セキュリティをさらに向上させることやマーケティングの調査のためなどに好適に用いられる。

監視システムの全体の構成の例を示す図である。 真上カメラおよび正面カメラの設置位置および撮影方向などの例を示す図である。 真上画像および正面画像の例を示す図である。 真上カメラおよび正面カメラの機能的構成の例を示す図である。 通過検知処理の流れの例を説明するフローチャートである。 歩行者が通行エリアを通過している間に得られた真上画像の例を示す図である。 通過検知処理の流れの例を説明するフローチャートである。 歩行者が通行エリアを通過している間に得られた真上画像の例を示す図である。 歩行者画像の例を示す図である。 計数補正処理の流れの例を説明するフローチャートである。 図６（ｃ）の真上画像に対応する正面画像の例を示す図である。 荷物を持って通行エリアを通過しようとする歩行者の例を示す図である。 図１２の歩行者が通行エリアを通過している間に得られた真上画像ＵＧの例を示す図である。 図１３（ｃ）（ｄ）の真上画像に対応する正面画像の例を示す図である。 通行エリアの歩行者を監視する際の監視システムの処理の流れの例を説明するフローチャートである。 第二の実施形態における真上カメラおよび正面カメラの機能的構成の例を示す図である。 歩行者検知および計数の処理の流れの例を説明するフローチャートである。 歩行者が通行エリアを通過している間に得られた正面画像の例を示す図である。 真上カメラによる計数補正処理の流れの例を説明する図である。 図１８（ｃ）の正面画像に対応する真上画像の例を示す図である。 第二の実施形態における監視システムの処理の流れの例を説明するフローチャートである。

符号の説明

１ 監視システム
２ ホストコンピュータ（計数手段）
３ ビデオカメラ
３１ 真上カメラ（第一のカメラ）
３２ 正面カメラ（第二のカメラ）
３１０ 計数補正部（計数手段、検索手段）
３１１ 撮像部（第一の撮影手段）
３１７ 通過物検知部（検知手段）
３２０ 計数処理部（計数手段、物体判別手段）
３２１ 撮像部（第二の撮影手段）
３２７ 通過物検知部（検知手段）
ＳＧ 正面画像（第二の画像）
ＵＧ 真上画像（第一の画像）

Claims (9)

1. 所定の区域を通過する人の頭頂部を上方より撮影できるように第一のカメラを設けておき、前記所定の区域を通過する人の正面を撮影できるように第二のカメラを設けておき、
   前記第一のカメラによって得られた第一の画像および前記第二のカメラによって得られた第二の画像に写っている同一人物を、当該第一の画像の画像領域および当該第二の画像の画像領域に基づいて検知する、
   ことを特徴とする人物検知方法。
2. 所定の区域を通過する人を監視する監視システムであって、
   前記所定の区域を通過する物体の頭頂部を上方より撮影できるように設けられた第一の撮影手段と、
   前記所定の区域を通過する物体の正面を撮影できるように設けられた第二の撮影手段と、
   前記所定の区域を人が通過したことを前記第一の撮影手段によって得られた第一の画像
   および前記第二の撮影手段によって得られた第二の画像に基づいて検知する検知手段と、
   を有することを特徴とする監視システム。
3. 所定の区域を通過する人を監視する監視システムであって、
   前記所定の区域を通過する物体の頭頂部を上方より撮影できるように設けられた第一の撮影手段と、
   前記所定の区域を通過する物体の正面を撮影できるように設けられた第二の撮影手段と、
   前記第一の撮影手段によって得られた第一の画像に基づいて、物体が前記所定の区域を通過したことを検知する検知手段と、
   前記検知手段によって検知された物体が人であるか否かを、前記第二の撮影手段によって得られた第二の画像に基づいて判別する物体判別手段と、
   を有することを特徴とする監視システム。
4. 前記検知手段は、物体が前記所定の区域を通過したことを、当該物体が前記第一の画像の中の所定の位置に写っていることをチェックすることによって検知し、
   前記物体判別手段は、前記検知手段によって検知された物体が人であることを、前記第一の画像の中の当該物体の画像領域に対応する、前記第二の画像の中の画像領域に、人の頭部が写っていることをチェックすることによって判別する、
   請求項３記載の監視システム。
5. 前記物体判別手段によって人であると判別された物体を計数することによって前記所定の区域を通過した人を計数する計数手段を有する、
   請求項３または請求項４記載の監視システム。
6. 前記物体判別手段によって人であると判別された物体が写っている前記第一の画像または前記第二の画像を記録する画像記録手段を有する、
   請求項３ないし請求項５のいずれかに記載の監視システム。
7. 所定の区域を通過する人を監視する監視システムであって、
   前記所定の区域を通過する物体の頭頂部を上方より撮影できるように設けられた第一の撮影手段と、
   前記所定の区域を通過する物体の正面を撮影できるように設けられた第二の撮影手段と、
   前記第二の撮影手段によって得られた第二の画像に基づいて前記所定の区域を通過する物体のうち人であるものを検知する検知手段と、
   前記検知手段によって検知された人の背後にいる人を、前記第一の撮影手段によって得られた第一の画像に基づいて検索する検索手段と、
   前記所定の区域を通過した人数を、前記検知手段による検知結果および前記検索手段による検索結果に基づいて計数する計数手段と、
   を有することを特徴とする監視システム。
8. 所定の区域を監視する監視システムであって、
   前記所定の区域にいる物体の頭頂部を上方より撮影できるように設けられた第一の撮影手段と、
   前記所定の区域にいる物体の正面を撮影できるように設けられた第二の撮影手段と、
   前記第一の撮影手段によって得られた第一の画像および前記第二の撮影手段によって得られた第二の画像の両方に写っている人物を検知することによって、前記所定の区域にいる人数を計数する計数手段と、
   を有することを特徴とする監視システム。
9. 所定の区域を通過する人を監視するためのコンピュータに用いられるコンピュータプログラムであって、
   前記所定の区域を通過する物体の頭頂部を上方より撮影できるように設けられた第一の撮影手段から第一の画像を取得する処理と、
   前記所定の区域を通過する物体の正面を撮影できるように設けられた第二の撮影手段から第二の画像を取得する処理と、
   前記第一の画像に基づいて、物体が前記所定の区域を通過したことを検知する処理と、
   検知された物体が人であるか否かを、前記第二の画像に基づいて判別する処理と、
   をコンピュータに実行させるためのコンピュータプログラム。
   

Images