JP2020145511A - カメラ装置、人物検出方法および人物検出システム - Google Patents

Abstract

【課題】混雑した撮像領域に映る人物を高精度に検出する。【解決手段】カメラ装置は、撮像領域を撮像する撮像部と、撮像部によって撮像された撮像領域に映る人物を、複数の検出用オブジェクトのそれぞれによって検出し、検出された検出用オブジェクトの数と所定の閾値との比較に応じて撮像領域の混雑判定を行う検出部と、を備え、検出部は、混雑判定の結果が非混雑の場合には、人物の全身からその人物を検出するための第１の検出用オブジェクトを用いてその人物を検出し、混雑判定の結果が混雑の場合には、人物の一部からその人物を検出するための第２の検出用オブジェクトを用いてその人物を検出する。【選択図】図１

Description

本開示は、カメラ装置、人物検出方法および人物検出システムに関する。

従来、撮像領域に映る人物のプライバシーを適切に保護するために、所定のタイミングで更新された背景画像に人物の滞留情報または通過情報を重畳した正確な動線分析画像を作成し、簡易な操作で動線分析画像の推移を確認できる動線分析システムおよび動線分析方法が知られている。

例えば、特許文献１は、魚眼レンズを搭載するカメラ装置によって撮像した撮像領域の撮像画像の背景画像を繰り返し作成して撮像画像に含まれる移動体の滞留位置または通過位置に関する動線情報を抽出し、撮像画像の背景画像に移動体の動線情報を重畳した動線分析画像を作成する動線分析システムおよび動線分析方法を開示している。この動線分析システムおよび動線分析方法は、タイミング変更操作に応じて第１のタイミングに作成された第１の動線分析画像に対して、第２のタイミングに作成された第２の動線分析画像に切り替えて表示させる。

特開２０１６−２０６８１０号公報

しかしながら、特許文献１の構成では人物を背景画像との差分によって検出しているため、例えば撮像領域が多くの人物で混雑している場合には、背景画像の抽出が困難となり撮像領域に映る人物を検出しきれない可能性があった。また、特許文献１の構成では魚眼レンズによって撮像領域の真上から撮像することにより、人物と人物とが頭頂部分の相違によって区別可能となるが、撮像領域の中心から離れるほど歪みが大きくなって画質の劣化が生じ、撮像領域に映る人物を検出しきれない可能性があった。また、例えばコンビニエンスストアまたは百貨店等の施設で使用される防犯用のカメラ装置においては、上述した撮像領域の真上からの撮像よりも固定の画角で斜め前方下側を撮像可能に設置されることが多いため、このような設置をされた場合、混雑時には撮像領域に映る人物と人物との分離が困難となり、人物を正確に検出しきれない可能性があった。

本開示は、上述した従来の事情に鑑みて案出され、混雑した撮像領域に映る人物を高精度に検出できるカメラ装置、人物検出方法および人物検出システムを提供することを目的とする。

本開示は、撮像領域を撮像する撮像部と、前記撮像部によって撮像された撮像領域に映る人物を、前記人物の一部または全身を対象とする複数の検出用オブジェクトのそれぞれによって検出し、検出された検出用オブジェクトの数と所定の閾値との比較に応じて前記撮像領域の混雑判定を行う検出部と、を備え、前記検出部は、前記混雑判定の結果が非混雑の場合には、前記人物の全身からその人物を検出するための第１の検出用オブジェクトを用いてその人物を検出し、前記混雑判定の結果が混雑の場合には、前記人物の一部からその人物を検出するための第２の検出用オブジェクトを用いてその人物を検出する、カメラ装置を提供する。

また、本開示は、撮像領域に映る人物を検出する人物検出方法であって、前記人物を、前記人物の一部または全身を対象とする複数の検出用オブジェクトのそれぞれによって検出し、前記撮像領域から検出した検出オブジェクトの数と、所定の閾値との比較に応じて前記撮像領域の混雑判定を行い、前記混雑判定の結果が非混雑の場合には、前記人物の全身からその人物を検出する第１の検出用オブジェクトを用いてその人物を検出し、前記混雑判定の結果が混雑の場合には、前記人物の一部からその人物を検出する第２の検出用オブジェクトを用いてその人物を検出する、人物検出方法を提供する。

また、本開示は、撮像領域を撮像するカメラ装置と、表示装置とを含む人物検出システムであって、前記カメラ装置は、前記人物を、前記人物の一部または全身を対象とする複数の検出用オブジェクトのそれぞれによって検出し、前記撮像領域から検出した検出オブジェクトの数と、所定の閾値との比較に応じて前記撮像領域の混雑判定を行い、前記混雑判定の結果が非混雑の場合には、前記人物の全身からその人物を検出する第１の検出用オブジェクトを用いてその人物を検出し、前記混雑判定の結果が混雑の場合には、前記人物の一部からその人物を検出する第２の検出用オブジェクトを用いてその人物を検出する、人物検出システムを提供する。

本開示によれば、混雑した撮像領域に映る人物を高精度に検出できる。

実施の形態１に係るカメラ装置を用いた監視システムの一例を示す説明図 実施の形態１に係るカメラ装置とＰＣとサーバ装置とのシステム構成の一例を示す図 足元座標算出データの設定例（前面）を示す説明図 足元座標算出データの設定例（背面）を示す説明図 足元座標算出データの作成手順例を示すシーケンス図 複数の追尾用のオブジェクトの候補例を示す図 足元座標算出データの一例を示す図 追尾用のオブジェクトの決定例を示すフローチャート 撮像領域に映る人物のカウント手順例を示すフローチャート 非混雑状態における人物の検出例を示す図 混雑状態における人物の検出例を示す図 実施の形態１に係るカメラ装置を用いた人数検出システムの動作手順例を示す図 カメラ装置によって撮像された撮像画像例を示す図 カウント結果データの一例を示す図

（実施の形態１の内容に至る経緯）
昨今、魚眼レンズを搭載するカメラ装置によって撮像した撮像領域の撮像画像の背景画像を繰り返し作成して撮像画像に含まれる移動体の滞留位置または通過位置に関する動線情報を抽出し、撮像画像の背景画像に移動体の動線情報を重畳した動線分析画像を作成する動線分析システムおよび動線分析方法がある。また、同様に例えばコンビニエンスストアまたは百貨店等の施設で使用される防犯用のカメラ装置は、撮像領域の真上からの撮像よりも固定の画角で斜め前方下側を撮像可能に設置されることが多い。よって、このようなカメラ装置が設置された場合、従来の魚眼レンズを搭載するカメラ装置は、混雑時には撮像領域に映る人物と人物との分離が困難となり、人物を正確に検出しきれない可能性があった。上述した特許文献１では、固定の画角で斜め前方下側を撮像可能に設置されるカメラ装置によって人物を検出する技術については想定されていない。

以下、適宜図面を参照しながら、本開示に係るカメラ装置、人物検出システムおよび人物検出方法の構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
図１は、実施の形態１に係るカメラ装置１００を用いた人物検出システム１０００の一例を示す説明図である。図１に示す人物検出システム１０００は、複数の施設Ａ，Ｂ，Ｃ，…にそれぞれに設置された人数カウントシステム５００Ａ，５００Ｂ，５００Ｃ，…と、本社ＨＯに設置されたＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）６００と、クラウドサーバ７００とを含む構成である。複数の施設Ａ，Ｂ，Ｃ，…は、例えばコンビニエンスストア、百貨店、大型複合商業施設、ドラッグストア等の施設であっても、百貨店または大型複合商業施設等の１つの施設であってもよい。また、実施の形態１に係るカメラ装置は、防犯用のカメラ装置であり、撮像領域の真上からの撮像よりも固定の画角で斜め前方下側を撮像可能に設置される。

それぞれの人数カウントシステム５００Ａ，５００Ｂ，５００Ｃ，…と、本社ＨＯに設置されたＰＣ６００と、クラウドサーバ７００とは、ネットワークＮＷ１を介して互いに通信可能に接続されている。ネットワークＮＷ１は、無線ネットワークまたは有線ネットワークである。無線ネットワークは、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、４Ｇ（第４世代移動通信システム）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ−Ａｄｖａｎｃｅｄ、５Ｇ（第５世代移動通信システム）、Ｗｉ−ｆｉ（登録商標）、またはＷｉＧｉｇ（Ｗｉｒｅｌｅｓｓ Ｇｉｇａｂｉｔ）である。有線ネットワーク は、例えばイントラネットまたはインターネットである。

図１に示す施設Ａに設置された人数カウントシステム５００Ａは、フロア１に設置された複数のカメラ装置１００，１００Ａ，１００Ｂ，１００Ｃと、レコーダ２００と、サーバ装置３００と、入力デバイス４００と、モニタ４５０とを含んで構成される。なお、フロア２は、フロア１と同様の構成であり複数のカメラ装置が設置されているが、図１ではカメラ装置の図示を省略している。また、施設Ａの各フロアで使用されるカメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…の内部構成は同じである。

レコーダ２００は、例えば半導体メモリまたはハードディスク装置を用いて構成され、施設Ａ内に設置された複数のカメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…のそれぞれによって撮像された撮像画像のデータ（以下、撮像画像データと表記）を記憶する。レコーダ２００に記憶された撮像画像データは、例えば防犯上の監視業務または業務上の管理業務等に提供される。

外部端末の一例としてのサーバ装置３００は、例えば入力デバイス４００を操作するユーザ（例えば、施設Ａで働く従業員、施設Ａを管理する管理人および本社ＨＯの従業員等）の入力操作に応じて、所定の撮像画像データおよび後述する計測結果の一例としての人数カウントのカウント結果を示すデータ（以下、カウント結果データ）をモニタ４５０に表示させる。

入力デバイス４００は、例えばマウス、キーボード、タッチパネルまたはタッチパッドによって構成されて、ユーザの入力操作に応じた信号をカメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…またはサーバ装置３００に出力する。なお、図１に示す入力デバイス４００は、図面を簡単にするためにカメラ装置１００のみ矢印（破線）が図示されているが、他のカメラ装置１００Ａ，１００Ｂ，１００Ｃ，…との間に矢印が図示されてもよい。

表示装置の一例としてのモニタ４５０は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）を用いて構成され、サーバ装置３００によって作成されたカウント結果データを表示する。なお、モニタ４５０は、サーバ装置３００とは異なる外部端末として設けられるが、サーバ装置３００の内部に含まれる構成であってもよい。

本社ＨＯに設置されるＰＣ６００は、ＰＣ６００を操作する本社ＨＯのユーザ（例えば、管理業務を行う社員あるいは役員等）の入力操作に応じて、各施設Ａ，Ｂ，Ｃ，…内に設置された人数カウントシステム５００Ａ，５００Ｂ，５００Ｃ，…において作成されたカウント結果データ、およびカメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…において撮像された撮像画像データを取得して表示する。また、ＰＣ６００は、カウント結果データを作成するために必要となる各種情報（例えば、来店者数情報、イベント日程情報、最高気温情報、最低気温情報、天気情報、売上情報等）を保持する。なお、これらの各種情報は、施設Ａ，Ｂ，Ｃ，…ごとに設けられたサーバ装置（例えば、施設Ａであればサーバ装置３００）に保持されていてもよい。なお、ＰＣ６００は、施設Ａ，Ｂ，Ｃ，…内に設置されたサーバ装置における各処理を実行してもよい。これにより、ＰＣ６００は、各施設Ａ，Ｂ，Ｃ，…のデータを集約してカウント結果データを作成することができ、本社ＨＯのＰＣ６００に対する入力操作によって選択された１つの施設の詳細データ（例えば、図１２に示すカウント結果データ等）を取得することができ、または各施設Ａ，Ｂ，Ｃ，…の特定のエリア（例えば、製菓売場、肉売場等）および施設のデータを比較した結果を表示することができる。

クラウドサーバ７００は、各施設Ａ，Ｂ，Ｃ，…内に設置された人数カウントシステム５００Ａ，５００Ｂ，５００Ｃ，…において作成されたカウント結果データ、およびカメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…において撮像された撮像画像データを記憶する。クラウドサーバ７００は、本社ＨＯのＰＣ６００を操作する本社ＨＯのユーザ（例えば、管理業務を行う社員あるいは役員等）の入力操作に応じて、所定の処理（例えば、指定された日付および指定された期間のカウント結果データの検索および抽出）を行い、処理結果を本社ＨＯに設置されたＰＣ６００に送信する。

図２は、実施の形態１に係るカメラ装置１００とＰＣ６００とサーバ装置３００とのシステム構成の一例を示す図である。カメラ装置１００と、ＰＣ６００と、サーバ装置３００とは、ネットワークＮＷ１を介して互いに通信可能に接続される。

ネットワークＮＷ１は、無線ネットワークまたは有線ネットワークである。無線ネットワークは、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、４Ｇ（第４世代移動通信システム）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ−Ａｄｖａｎｃｅｄ、５Ｇ（第５世代移動通信システム）、Ｗｉ−ｆｉ（登録商標）、またはＷｉＧｉｇ（Ｗｉｒｅｌｅｓｓ Ｇｉｇａｂｉｔ）である。有線ネットワークは、例えばイントラネットまたはインターネットである。

カメラ装置１００は、制御部１０と、撮像部１１と、メモリ１９と、受信部１１０と、送信部１２０とを含んで構成される。また、制御部１０は、検出部１２と、追尾部１３と、ライン通過判定部１４と、人数カウント部１５と、学習データ１６と、を含んで構成される。また、カメラ装置１００は、撮像対象とする撮像領域を撮像可能な位置に設置される。

制御部１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）もしくはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成される。制御部１０は、カメラ装置１００の全体的な動作を司るコントローラとして機能し、メモリ１９と協働してカメラ装置１００の各部の動作を統括するための制御処理、カメラ装置１００の各部との間のデータの入出力処理、データの演算（計算）処理およびデータの記憶処理を行う。制御部１０は、メモリ１９に記憶されたプログラムおよびデータに従って動作する。制御部１０は、動作時にメモリ１９を使用し、制御部１０が作成または取得したデータもしくは情報をメモリ１９に一時的に記憶させる。

また、制御部１０は、後述する所定のフレームレート（例えば、１０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ））で撮像される撮像画像に基づく機械学習により、最新のマスクエリアデータ、背景画像データ、および足元座標算出データ（図６参照）を作成し、これらのデータを学習データ１６の一部として設定する。

マスクエリアデータは、例えばメモリ１９に記憶され、ドアまたはガラス等の人物の鏡像が映る領域に関するデータであり、人物検出の対象外となる領域として設定される。マスクエリアデータは、人物の一部および全身の誤検出を抑制するためのデータである。マスクエリアデータは、カメラ装置１００の設置時には、最初に撮像された撮像画像に基づく初期設定データとして、ＰＣ６００またはサーバ装置３００によって設定される。また、マスクエリアデータは、カメラ装置１００の設置後には、後述する所定のフレームレートで撮像された撮像画像に基づく機械学習により、最新のマスクエリアデータとして作成される。作成された最新の背景画像データは、学習データ１６の一部として設定される。

背景画像データは、例えばメモリ１９に記憶され、撮像画像に含まれる移動体（例えば、人物の一部および全身等）を排除して作成されて、撮像領域に映る人物の一部または全身を検出するための背景画像のデータである。背景画像データは、カメラ装置１００の設置時には、最初に撮像された撮像画像に基づく初期設定データとして、ＰＣ６００またはサーバ装置３００によって設定される。また、背景画像データは、カメラ装置１００の設置後には、後述する所定のフレームレートで撮像された撮像画像に基づく機械学習により、最新の背景画像データとして作成される。作成された最新の背景画像データは、学習データ１６の一部として設定される。

足元座標算出データは、検出された人物の一部と、その人物の撮像画像中の位置とによってその人物の足元座標を算出するためのデータである。なお、後述するが、足元座標算出データは、カメラ装置１００の設置時に、カメラ装置１００の設置角度に基づく足元座標算出データをサーバ装置３００またはＰＣ６００から取得され、撮像した撮像画像と、撮像領域に映る人物とに基づいて、カメラ装置１００自身が足元座標算出データを作成して設定してもよい。なお、カメラ装置１００の設定時に作成された足元座標算出データは、初期設定データとしてメモリ１９に記憶される。また、足元座標算出データは、カメラ装置１００の設置後には、後述する所定のフレームレートで撮像された撮像画像に基づく機械学習により、最新の足元座標算出データとして作成されてもよい。なお、作成された最新の足元座標算出データは、学習データ１６の一部として設定される。

メモリ１９は、例えば制御部１０の各処理を実行する際に用いられるワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、制御部１０の動作を規定したプログラムおよびデータを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを有する。ＲＡＭには、制御部１０により作成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、制御部１０の動作（例えば、撮像部１１が撮像した撮像画像データから検出部１２が人物および人物の一部を検出する方法、および追尾部１３が検出部１２によって検出された人物の一部および全身を追尾する方法等）を規定するプログラムが書き込まれている。メモリ１９は、カメラ装置１００の設置時のカメラ装置１００の設置位置および設置角度等のデータを記憶している。

また、メモリ１９は、撮像部１１が撮像した撮像画像データ、検出部１２が検出した人物の一部および全身のデータ、および人数カウント部１５がカウントした人数のデータ等を記憶する。さらにメモリ１９は、カメラ装置１００の設置時に予め設定される各種データを記憶する。各種データは、例えばマスクエリアデータ、背景画像データ、および足元座標算出データ等である。各種データは、ＰＣ６００またはサーバ装置３００から送信されてネットワークＮＷ１を介して受信部１１０で受信される。

撮像部１１は、少なくともレンズとイメージセンサとを有して構成される。撮像部１１は、所定のフレームレート（例えば、３０ｆｐｓまたは６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ））で撮像領域を撮像する。また、イメージセンサは、例えばＣＣＤ（Ｃｈａｒｇｅｄ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。

検出部１２は、例えばＣＰＵ、ＭＰＵまたはＤＳＰを用いて構成され、撮像部１１からの電気信号を用いて所定の信号処理を行うことで、人間が認識可能なＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）またはＹＵＶ（輝度・色差）等により規定される撮像画像のデータを作成する。検出部１２は、作成した撮像画像のデータに基づいて、撮像領域に映る人物の一部および全身を、マスクエリアデータおよび背景画像データとの比較によって検出する。検出部１２は、撮像領域のうちマスクエリアデータに基づいて人物検出の対象外となる領域を除いた撮像領域に映る人物を検出する。検出部１２は、撮像領域に映る人物の一部および全身のそれぞれを検出する第１検出部１２ａ，第２検出部１２ｂ，第３検出部１２ｃ，第４検出部１２ｄを含んで構成される。

第１検出部１２ａ，第２検出部１２ｂ，第３検出部１２ｃ，第４検出部１２ｄのそれぞれは、検出した人物の一部および全身のそれぞれに対応する部分を、追尾部１３によって追尾を行うための追尾用のオブジェクトの候補として検出する。なお、追尾用のオブジェクトの候補は、検出用オブジェクトの一例である。第１検出部１２ａ，第２検出部１２ｂ，第３検出部１２ｃ，第４検出部１２ｄのそれぞれは、人物の一部を示す複数の追尾用のオブジェクトの候補のそれぞれを検出する。また、第１検出部１２ａ，第２検出部１２ｂ，第３検出部１２ｃ，第４検出部１２ｄのそれぞれは、検出した追尾用のオブジェクトの候補の大きさを示す人物検出枠ＯＢ１，ＯＢ２，ＯＢ３，ＯＢ４（図５参照）を設定する。人物検出枠ＯＢ１，ＯＢ２，ＯＢ３，ＯＢ４のそれぞれについては、図５を参照して後述する。

また、検出部１２は、第１検出部１２ａ，第２検出部１２ｂ，第３検出部１２ｃ，第４検出部１２ｄのそれぞれによって検出された複数の追尾用のオブジェクトの候補のそれぞれを検出結果として取得する。検出部１２は、取得した検出結果と所定の閾値との比較を行い、撮像領域に対する混雑判定を行う。検出部１２は、例えば検出結果に含まれる複数の人物の一部と、全身とのそれぞれの検出数を比較し、比較結果と設定された所定の閾値とに応じて撮像領域が混雑しているか否かを判定する。なお、所定の閾値は、例えば撮像中の頭部の検出数に対する全身の検出数の比であっても、人数を示す値であってもよい。検出部１２は、混雑判定の結果に基づいて、非混雑の場合には人物の全身を追尾用のオブジェクトとして設定し、混雑の場合には人物の一部を追尾用のオブジェクトとして設定して、追尾部１３に出力する。なお、第１の検出用オブジェクトとしての一例は、非混雑の場合に設定される追尾用のオブジェクトであり、第２の検出用オブジェクトとしての一例は、混雑の場合に設定される追尾用のオブジェクトである。

追尾部１３は、検出部１２から入力された追尾用のオブジェクトに基づいて、撮像領域に映る複数の人物をそれぞれ検出して追尾するための追尾用のオブジェクトのデータ１３ａを設定する。追尾部１３は、追尾によって撮像領域内を移動する人物の動線情報を、追尾用のオブジェクトと足元座標算出データとを用いてその人物の足元座標を算出して作成する。動線情報は、撮像領域に映る複数の人物のそれぞれに対して作成されて、人物がどの位置で滞留、あるいはどの位置を通過したかを示す情報である。追尾部１３は、作成した動線情報をライン通過判定部１４に出力する。追尾部１３は、入力された追尾用のオブジェクトのデータ１３ａに対する追尾を終了するまでの間記憶する。

ライン通過判定部１４は、追尾部１３から入力される人物の動線情報と、設定された所定のラインとに基づいて、その人物が所定のラインを通過したか否かを判定する。所定のラインは、撮像領域における任意の位置に対してＰＣ６００によって予め設定されており、ラインの数は複数であってもよい。ライン通過判定部１４は、動線情報に基づいて所定のラインを通過する方向を区別することができる。よって、ライン通過判定部１４は、例えば施設入口に設けられた所定のラインに対して、入店人数と退店人数とをそれぞれ区別して判定することができる。これにより、各施設Ａ，Ｂ，Ｃ，…のそれぞれの人数カウントシステム５００Ａ，５００Ｂ，５００Ｃ，…において作成されたカウント結果データには、入店人数と退店人数等の人物の動線情報によって得ることができるデータが含まれるため、本社ＨＯの従業員はカウント結果データからより多様な情報を得ることができる。またライン通過判定部１４は、人物が所定のラインを通過したと判定すると、所定のラインに対する通過方向ごとの判定結果を人数カウント部１５に出力する。

人数カウント部１５は、ライン通過判定部１４から入力された判定結果に基づいて、所定のラインを通過した人物の人数をカウントし、カウント結果を送信部１２０に出力する。

受信部１１０は、カメラ装置１００の設置時にＰＣ６００またはサーバ装置３００からマスクエリアデータ、背景画像データ、および足元座標算出データ等の人物の検出およびカウントを実施するために必要なデータを、ネットワークＮＷ１を介して受信する。また、受信部１１０は、入力デバイス４００を操作するユーザの入力操作に応じて、カメラ装置１００が撮像する撮像領域の混雑判定を行うための所定の閾値、または撮像領域に映る人物の人数をカウントするための所定のライン等の情報が変更された場合には、これらの情報を受信する。

送信部１２０は、撮像部１１によって撮像される撮像画像から随時作成される学習データ１６（マスクエリアデータ、背景画像データ、および足元座標算出データ等）、人物の滞留あるいは通過に関する動線情報、および所定のラインを通過する人物のカウント結果データを取得してサーバ装置３００に送信する。

次に、図２に示すＰＣ６００について説明する。外部端末および表示装置の一例としてのＰＣ６００は、制御部２０と、表示部２１と、入力部２２と、記憶部２８と、メモリ２９と、受信部２１０と、送信部２２０とを含んで構成される。なお、以下の説明においては説明を簡単にするためにカメラ装置１００のみを記載しているが、ＰＣ６００と通信可能に接続されている他のカメラ装置１００Ａ，１００Ｂ，１００Ｃ，…であってもよい。

制御部２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）もしくはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成される。制御部２０は、ＰＣ６００の全体的な動作を司るコントローラとして機能し、メモリ２９と協働してＰＣ６００の各部の動作を統括するための制御処理、ＰＣ６００の各部との間のデータの入出力処理、データの演算（計算）処理およびデータの記憶処理を行う。制御部２０は、メモリ２９に記憶されたプログラムおよびデータに従って動作する。制御部２０は、動作時にメモリ２９を使用し、制御部２０が作成または取得したデータもしくは情報をメモリ２９に一時的に記憶させる。

表示部２１は、カメラ装置１００によって作成されたカウントデータを表示する。また表示部２１は、カメラ装置１００によって撮像される撮像領域の混雑判定を行うための所定の閾値、または撮像領域に映る人物の人数をカウントするための所定のライン等の設定情報を表示する。

入力部２２は、カメラ装置ごとに撮像される撮像領域の混雑判定を行うための所定の閾値、または撮像領域に映る人物の人数をカウントするための所定のライン等の設定情報を表示する。また、入力部２２はユーザの入力操作に基づいて、カメラ装置１００の設置時に必要な初期設定としてのデータ（例えば、マスクエリアデータ、背景画像データ、および足元座標算出データ等）を入力する。なお、マスクエリアデータ、背景画像データ、および足元座標算出データは、ユーザによって設定されて記憶部２８に記憶されているデータであっても、カメラ装置１００の設置時に最初に撮像した撮像画像に基づいてユーザが設定したデータであってもよい。また、入力部２２は、ユーザの入力操作に応じて、既存の設定（例えば、所定の閾値、所定のライン、マスクエリアデータおよび足元座標算出データ等）の設定変更を行うことができる。

記憶部２８は、サーバ装置３００あるいはＰＣ６００によってカメラ装置ごとに設定された設定値を記憶する。また、記憶部３８は、カメラ装置１００から取得したカウントデータあるいはＰＣ６００によって加工されたカウントデータ（例えば、他のカメラ装置１００Ａ，１００Ｂ，１００Ｃ，…とカメラ装置１００とによって得られたそれぞれのカウントデータを比較したデータ等）を記憶する。記憶部２８は、ユーザによって設定されたカメラ装置の設置時に必要な初期設定としてのデータ（例えば、マスクエリアデータ、背景画像データ、および足元座標算出データ等）を、カメラ装置ごとに記憶する。

メモリ２９は、例えば制御部２０の各処理を実行する際に用いられるワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、制御部１０の動作を規定したプログラムおよびデータを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを有する。ＲＡＭには、制御部２０により作成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、制御部２０の動作（例えば、カメラ装置ごとに作成されたカウントデータのそれぞれを取得して加工する方法、およびカメラ装置ごとに所定の閾値または所定のライン等の設定を設定する方法等）を規定するプログラムが書き込まれている。メモリ２９は、カメラ装置１００の設置時に設定されるカメラ装置１００の設置位置および設置角度等のデータを記憶する。

受信部２１０は、現在のカメラ装置１００に設定されている設定情報あるいはカメラ装置１００によって作成されたカウント結果データを受信する。また、送信部２２０は、ユーザの入力操作に応じて既存の設定（例えば、所定の閾値、所定のライン、マスクエリアデータおよび足元座標算出データ等）が変更された場合にその設定情報を送信することができる。

次に、図２に示すサーバ装置３００について説明する。外部端末の一例としてのサーバ装置３００は、制御部３０と、記憶部３８と、メモリ３９と、受信部３１０と、送信部３２０とを含んで構成される。なお、以下の説明においては説明を簡単にするためにカメラ装置１００のみを記載しているが、サーバ装置３００と通信可能に接続されている他のカメラ装置１００Ａ，１００Ｂ，１００Ｃ，…であってもよい。

サーバ装置３００は、図１に示す入力デバイス４００を操作するユーザの入力操作に応じて、既存の設定（例えば、所定の閾値、所定のライン、マスクエリアデータおよび足元座標算出データ等）の設定変更を行うことができる。

制御部３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）もしくはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成される。制御部３０は、サーバ装置３００の全体的な動作を司るコントローラとして機能し、メモリ３９と協働してサーバ装置３００の各部の動作を統括するための制御処理、サーバ装置３００の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。制御部３０は、メモリ３９に記憶されたプログラムおよびデータに従って動作する。制御部３０は、動作時にメモリ３９を使用し、制御部３０が作成または取得したデータもしくは情報をメモリ３９に一時的に記憶させる。

記憶部３８は、サーバ装置３００あるいはＰＣ６００によってカメラ装置ごとに設定された設定値を記憶する。また、記憶部３８は、カメラ装置１００によって作成されたカウントデータあるいはＰＣ６００によって加工されたカウントデータを記憶する。

受信部３１０は、カメラ装置１００によって作成されたカウント結果データを受信する。受信部３１０によって受信されたカウント結果データは、記憶部３８に記憶される。また、送信部３２０は、ユーザの入力操作に応じて既存の設定（例えば、所定の閾値、所定のライン、マスクエリアデータおよび足元座標算出データ等）が変更された場合には、その設定情報を送信することができる。

次に、図３Ａおよび図３Ｂを参照して、足元座標算出データの設定例について説明する。図３Ａは、足元座標算出データの設定例（前面）を示す説明図である。図３Ｂは、足元座標算出データの設定例（背面）を示す説明図である。

図３Ａおよび図３Ｂは、カメラ装置１００は設置時に人物ＨＵ１が映る撮像画像ＳＣ１を撮像して、足元座標算出データを設定する様子を示す。足元座標算出データは、カメラ装置１００により撮像された撮像画像ＳＣ１と、撮像画像ＳＣ１に映る人物ＨＵ１とに基づいて設定される。また、足元座標算出データは、人物ＨＵ１の前面および背面のそれぞれの撮像画像ＳＣ１を用いて設定される。なお、説明を簡単にするために図３Ａおよび図３Ｂでは、人物の前面および背面のそれぞれに対して撮像画像ＳＣ１，ＳＣ２をそれぞれ１例ずつ示しているが、複数の撮像画像を用いて足元座標算出データを設定してもよい。

また、足元座標算出データの設定に使用される撮像画像は、カメラ装置１００の機械学習を行うためのデータとしても記憶される。よって、カメラ装置１００は、人物の前面および背面のそれぞれが映る撮像画像のそれぞれを使用して人物の一部または全身を検出してもよいし、いずれか一方を使用して人物の一部または全身を検出してもよい。また、カメラ装置１００は、人物の背面が映る撮像画像では検出に用いる特徴量（言い換えると、背景画像データに対する差分）が大きく異なるため、人物の背面が映る撮像画像においては、人物の頭部の検出が困難となる。このため、カメラ装置１００は、足元座標算出データの設定に使用される撮像画像に人物の前面および背面のそれぞれにおける人物の頭部が映る撮像画像を使用する場合、効率よく機械学習を行うことができ、運用時にはより高精度に人物の頭部を検出することができる。

図３Ａは、撮像画像ＳＣ１に映る人物ＨＵ１が前面を向いている状態での足元座標算出データを設定する様子を示す。撮像画像ＳＣ１上には、ラインＬ１と、人物ＨＵ１の足元座標Ｐｔ１と、人物検出枠ＯＢ１１とが表示される。カメラ装置１００は、撮像画像ＳＣ１に映る人物ＨＵ１を検出し、人物ＨＵ１の全身の検出を示す人物検出枠ＯＢ１１と、人物ＨＵ１の足元座標Ｐｔ１とを検出して設定する。ラインＬ１は、ＰＣ６００に予め設定されたラインの設定に基づいて設定される。

同様に、図３Ｂは、撮像画像ＳＣ２に映る人物ＨＵ２が背面を向いている状態での足元座標算出データを設定する様子を示す。なお、人物ＨＵ２と人物ＨＵ１は同一人物であってもよい。撮像画像ＳＣ２上には、ラインＬ２と、人物ＨＵ２の足元座標Ｐｔ２と、人物検出枠ＯＢ１２とが表示される。カメラ装置１００は、撮像画像ＳＣ２に映る人物ＨＵ２を検出し、人物ＨＵ２の全身の検出を示す人物検出枠ＯＢ１２と、人物ＨＵ２の足元座標Ｐｔ２とを検出して設定する。ラインＬ２は、ＰＣ６００に予め設定されたラインの設定に基づいて設定される。なおラインＬ２は、ラインＬ１と同一のラインである。

図４は、足元座標算出データの設定手順例を示すシーケンス図である。足元座標算出データは、カメラ装置１００と、ＰＣ６００とによって設定される。

カメラ装置１００は、撮像部１１によって撮像領域内に映る人物がそれぞれ異なる位置を通過する様子について複数の撮像画像を撮像する（Ｔ１）。

カメラ装置１００は、第１検出部１２ａによって、複数の撮像画像のそれぞれから設定用のオブジェクトとして人物の全身をそれぞれ検出する（Ｔ２）。ここでいう設定用のオブジェクトは、人物の全身が検出されたオブジェクトである。

カメラ装置１００は、検出部１２によって検出された設定用のオブジェクトのそれぞれを、検出された設定用のオブジェクトの足元座標と、設定用のオブジェクトの大きさ（言い換えると、人物の大きさ）とを関連付けて取得する（Ｔ３）。

カメラ装置１００は、取得した複数の設定用のオブジェクトの足元座標および大きさのそれぞれを関連付けた検出結果を、送信部１２０からネットワークＮＷ１を介してＰＣ６００に送信する（Ｔ４）。

ＰＣ６００は、複数の設定用のオブジェクトの足元座標および大きさのそれぞれを受信部２１０によって受信する（Ｔ５）。

ＰＣ６００は、受信した複数の設定用のオブジェクトの足元座標および大きさのそれぞれと、予めＰＣ６００に設定された人の平均的な身長データとを比較して、撮像領域の所定の座標に対応するオブジェクトの相対的な大きさを設定値として算出し、これらの設定値に基づいて足元座標算出データを作成する（Ｔ６）。

ＰＣ６００は、作成した足元座標算出データをカメラ装置１００の足元座標算出データとして記憶部２８に記憶して、送信部２２０からネットワークＮＷ１を介して、カメラ装置１００に送信する（Ｔ７）。

カメラ装置１００は、受信部１１０によって足元座標算出データを受信する（Ｔ８）。

カメラ装置１００は、受信した足元座標算出データをメモリ１９に記憶して、検出部１２が参照する足元座標算出データとして設定する（Ｔ９）。これにより、カメラ装置１００は、検出された追尾用のオブジェクトの候補が人物の一部を示すオブジェクトであっても、追尾用のオブジェクトの候補の大きさ（言い換えると、人物検出枠ＯＢ２，ＯＢ３，ＯＢ４）と、追尾用のオブジェクトの候補の位置に応じて人物の全身の大きさを推定することができ、さらには推定した大きさから人物の足元座標を推定することができる。したがって、カメラ装置１００は、作成された足元座標算出データに基づいて、撮像領域に映る人物の足元座標を推定することができる。

図５は、複数の追尾用のオブジェクトの候補例を示す図である。図５は、撮像領域に映る人物ＨＵ０を撮像した撮像画像ＤＥ０である。追尾用のオブジェクトの候補は、第１検出部１２ａ，第２検出部１２ｂ，第３検出部１２ｃ，第４検出部１２ｄのそれぞれによって検出されるオブジェクトである。追尾用のオブジェクトの候補は、検出された人物の一部および全身の大きさを示す人物検出枠ＯＢ１〜ＯＢ４のそれぞれが設定される。

検出部１２は、撮像した撮像画像に基づく深層学習を用いた機械学習、あるいは背景画像との差分によって、検出した人物ＨＵ０の一部および全身のそれぞれを検出する。第１検出部１２ａは、人物ＨＵ０の全身を検出し、全身を検出した領域（大きさ）に人物検出枠ＯＢ１を設定する。第２検出部１２ｂは、人物ＨＵ０の一部である上半身を検出し、上半身を検出した領域（大きさ）に人物検出枠ＯＢ２を設定する。第３検出部１２ｃは、人物ＨＵ０の一部である肩甲骨上を検出し、肩甲骨上を検出した領域（大きさ）に人物検出枠ＯＢ３を設定する。第４検出部１２ｄは、人物ＨＵ０の一部である頭部を検出し、頭部を検出した領域（大きさ）に人物検出枠ＯＢ４を設定する。よって、撮像領域に映る人物ＨＵ０は、第１検出部１２ａ〜第４検出部１２ｄによって人物の一部および全身のそれぞれの場所を、複数の追尾用のオブジェクトの候補として検出される。これにより、カメラ装置１００は、混雑時であっても人物ＨＵ０１に対して複数の追尾用のオブジェクトの候補を関連付けて追尾することができるため、追尾精度を向上させることができる。

なお、第１検出部１２ａ〜第４検出部１２ｄは、図２に示すように４つの検出部に限らず、カメラ装置１００の設置角度、撮像領域の大きさ、または検出対象の設定等によって増やしても減らしてもよい。また、第１検出部１２ａ〜第４検出部１２ｄが検出する人物の一部および全身はこれに限らず、例えば目および鼻等の顔の一部または動きが大きい腕および足であってもよい。これにより、カメラ装置１００は、様々な設置角度、設置環境および検出対象に合わせた追尾用のオブジェクトの候補を設定することができ、高精度な人物検出を行うことができる。

図６は、足元座標算出データの一例を示す図である。図６に示す足元座標算出データは、図４を参照して説明した足元座標算出データとは異なり、カメラ装置１００のメモリ１９に保持されたデータであり、カメラ装置１００の設置角度と、検出された人物の一部あるいは全身の検出位置とに基づいて、足元座標を推定するためのデータである。

図６に示す足元座標算出データＴＢ１は、カメラ装置１００の設置角度に対応する撮像領域に映る人物の位置と、検出された人物の大きさとを含んで構成される。カメラ装置１００は、検出された人物の一部の大きさと、人物の検出サイズＸ１，Ｘ２，Ｘ３のそれぞれとの比較により、人物の足元座標が領域Ａｒ１，Ａｒ２，Ａｒ３のいずれか１つの領域に位置するかを推定する。また、カメラ装置１００は、人物の全身が検出された場合には、人物の足元座標と、足元座標が位置する領域Ａｒ１，Ａｒ２，Ａｒ３に対応する人物の検出サイズＸ１，Ｘ２，Ｘ３とを比較することにより、より高精度な足元座標算出データＴＢ１を作成することができる。なお、領域Ａｒ１，Ａｒ２，Ａｒ３のそれぞれは、撮像領域モデルＳＣ０に示すように、撮像領域における手前を領域Ａｒ１、中央を領域Ａｒ２および奥を領域Ａｒ３と設定する。また、領域Ａｒ１，Ａｒ２，Ａｒ３のそれぞれは、図６に示すように３つの領域に限定されず、カメラ装置１００の設置角度、撮像領域の大きさおよびユーザが必要とする検出精度によって、さらに多くの領域を設定してもよい。これにより、カメラ装置１００は、ユーザによる設定を必要とせずに人物の足元座標を推定し、さらに領域を多く設定することにより、足元座標の推定精度を向上させることができる。

図７は、追尾用のオブジェクトの決定例を示すフローチャートである。図７は、撮像領域に映る複数の人物を検出部１２によって検出し、検出された複数の追尾用のオブジェクトの候補から、現時点における撮像領域に映る人物の追尾用のオブジェクトとして適したオブジェクトを設定するためのフローチャートである。

カメラ装置１００は、撮像部１１によって撮像領域を撮像する（Ｓｔ１１）。カメラ装置１００は、第１検出部１２ａ〜第４検出部１２ｄによって、撮像された撮像画像に映る複数の人物のそれぞれに対して、複数の追尾用のオブジェクトの候補をそれぞれ検出する（Ｓｔ１２）。

カメラ装置１００は、検出された複数の追尾用のオブジェクトの候補のうち、第１検出部１２ａによって検出された人物の全身を示す追尾用のオブジェクトの候補の数と第２検出部１２ｂ〜第４検出部１２ｄによって検出された人物の一部を示す追尾用のオブジェクトの候補の数とを取得する（Ｓｔ１３）。

カメラ装置１００は、取得された人物の全身を示す追尾用のオブジェクトの候補の数と、人物の一部を示す追尾用のオブジェクトの候補の数と、混雑判定に使用する所定の閾値とを比較することにより、混雑判定を行う（Ｓｔ１４）。なお、所定の閾値は、ユーザによって任意に設定され、割合を示す値であっても人数を示す値であってもよい。

ここで、混雑判定の判定方法の一例について説明する。カメラ装置１００は、例えば人物の全身を示す追尾用のオブジェクトの候補の数が２に対して、人物の一部（例えば、頭部）を示す追尾用のオブジェクトの候補の数が８である場合、撮像された複数の人物のうち、人物の全身が見えている人物は２人であり、人物の一部のみしか見えていない人物は６人であると判断する。ここで、所定の閾値が例えば５０％という割合の場合には、人物の全身の検出率が５０％以下である場合に混雑と判定し、人物の全身の検出率が５０％より大きい場合には非混雑と判定する。カメラ装置１００は、現在撮像領域に映る複数の人物の全身の検出率がおよそ３３％であることから、撮像領域は混雑していると判定する。なお、所定の閾値が人数を示す値である場合も同様にして判定することができる。また、カメラ装置１００は、混雑判定において比較する追尾用のオブジェクトの候補を、例えば全身および上半身と、肩甲骨上および頭部とがそれぞれ検出された追尾用のオブジェクトの候補の数に基づいて比較してもよい。

カメラ装置１００は、ステップＳｔ１４における混雑判定の結果、撮像領域が混雑していると判定された場合（Ｓｔ１５，ＹＥＳ）には、ユーザによって指定されたオブジェクトを追尾用のオブジェクトとして決定する（Ｓｔ１６）。指定されたオブジェクトは、ユーザによって指定された、例えば上半身、肩甲骨上および頭部等の人物の一部を示すオブジェクトのすべてであっても、複数存在するオブジェクトのうち肩甲骨上のみであってもよい。

カメラ装置１００は、ステップＳｔ１４における混雑判定の結果、撮像領域が混雑していないと判定された場合（Ｓｔ１５，ＮＯ）には、人物の全身を示すオブジェクトを追尾用のオブジェクトとして決定する（Ｓｔ１７）。

カメラ装置１００は、決定された追尾用のオブジェクトを設定する（Ｓｔ１８）。これにより、カメラ装置１００は、撮像した撮像画像に映る複数の人物を、決定された追尾用のオブジェクトに基づいて簡易に追尾することができる。なお、カメラ装置１００は、ステップＳｔ１８によって追尾用のオブジェクトが決定された後、図８に示す撮像領域に映る人物の人数のカウント手順例を示すフローチャートの処理に移行する。

図８は、撮像領域に映る人物のカウント手順例を示すフローチャートである。図８は、図７に示すフローチャートの処理によって追尾用のオブジェクトが設定された後に、追尾用のオブジェクトに基づいて人物の追尾を行うためのフローチャートである。

カメラ装置１００は、ステップＳｔ１８において設定された追尾用のオブジェクトが、人物の全身を示すオブジェクトであるか否かを判定する（Ｓｔ２１）。

カメラ装置１００は、ステップＳｔ１８において設定された追尾用のオブジェクトが人物の一部を示すオブジェクトである場合（Ｓｔ２１，ＮＯ）には、撮像画像から検出された複数の追尾用のオブジェクトの候補からステップＳｔ１８において設定された追尾用のオブジェクトのみを抽出（選択）して決定する（Ｓｔ２２）。

カメラ装置１００は、決定した追尾用のオブジェクトの検出位置と、検出された大きさとに基づいて、足元座標算出データを参照する（Ｓｔ２３）。なお、参照する足元座標算出データは、カメラ装置１００の設置時に設定された足元座標算出データであっても、カメラ装置１００が撮像した撮像画像から機械学習によって作成された新しい足元座標算出データであってもよい。

カメラ装置１００は、足元座標算出データに基づいて、追尾用のオブジェクトが示す人物の足元座標を推定する（Ｓｔ２４）。

カメラ装置１００は、ステップＳｔ１８において設定された追尾用のオブジェクトが人物の全身を示すオブジェクトである場合（Ｓｔ２１，ＹＥＳ）、あるいはステップＳｔ１８によって設定された追尾用のオブジェクトが人物の一部を示すオブジェクトであって、ステップＳｔ２４において足元座標が推定された場合には、追尾部１３によって追尾用のオブジェクトを追尾した動線情報を作成する。カメラ装置１００は、ライン通過判定部１４によって作成した動線情報に基づいて追尾用のオブジェクトが、ユーザによって設定されたラインを通過したか否かを判定し、通過した場合はその通過情報（例えば、通過した方向と時間等）を検出する（Ｓｔ２５）。

カメラ装置１００は、人数カウント部１５によって、検出された通過情報に基づいて、ラインを通過した追尾用のオブジェクトの数に対応する人数をカウントする（Ｓｔ２６）。

カメラ装置１００は、人数のカウント結果に基づいてカウント結果データを作成し、ＰＣ６００またはサーバ装置３００に送信して表示させる（Ｓｔ２７）。なお、カメラ装置１００は、カウント結果データを作成した後は、図７のステップＳｔ１１の処理に戻る。

図９Ａは、非混雑状態における人物の検出例を示す図である。図９Ｂは、混雑状態における人物の検出例を示す図である。図９Ａは、混雑判定の結果、撮像領域が非混雑であると判定された場合の人物の検出例であって、人物の全身を検出している。図９Ｂは、混雑判定の結果、撮像領域が混雑であると判定された場合の人物の検出例であって、人物の一部を検出している。なお、図９Ａは通過方向アイコンＬＵ，ＬＤが示す方向にそれぞれ０人および１人の人物が通過した様子を示しており、図９Ｂは通過方向アイコンＬＵ，ＬＤが示す方向にそれぞれ０人および５人の人物が通過した様子を示す。また、撮像画像ＳＣ３，ＳＣ４のそれぞれはＰＣ６００の表示部２１に表示される。

図９Ａにおいて、カメラ装置１００は、撮像した撮像画像ＳＣ３に映る複数の人物の全身を検出する。撮像画像ＳＣ３上には、人物検出枠ＯＢ１３，ＯＢ１４，ＯＢ１５，ＯＢ１６，ＯＢ１７，ＯＢ１８のそれぞれと、所定のラインＬ３と、通過方向アイコンＬＵ，ＬＤのそれぞれと、カウント値Ｃ１１，Ｃ２１のそれぞれとが表示される。人物検出枠ＯＢ１３〜ＯＢ１８のそれぞれは、複数の人物の全身のそれぞれに対する検出範囲を示す。通過方向アイコンＬＵは、手前から奥に向かって所定のラインＬ３を通過したことを示す。通過方向アイコンＬＤは、奥から手前に向かって所定のラインＬ３を通過したことを示す。カウント値Ｃ１１，Ｃ２１のそれぞれは、通過方向アイコンＬＵ，ＬＤのそれぞれに対応する方向に所定のラインＬ３を通過した人物の人数を示す。

図９Ｂにおいて、カメラ装置１００は、撮像した撮像画像ＳＣ４に映る複数の人物の一部を検出する。撮像画像ＳＣ４上には、人物の上半身の検出範囲を示す人物検出枠ＯＢ２１，ＯＢ２２，ＯＢ２６のそれぞれと、人物の肩甲骨上の検出範囲を示す人物検出枠ＯＢ３１，ＯＢ３２，ＯＢ３３，ＯＢ３４，ＯＢ３５，ＯＢ３６，ＯＢ３７のそれぞれと、人物の頭部の検出範囲を示す人物検出枠ＯＢ４１，ＯＢ４２，ＯＢ４３，ＯＢ４４，ＯＢ４５，ＯＢ４６，ＯＢ４７のそれぞれと、所定のラインＬ４と、通過方向アイコンＬＵ，ＬＤのそれぞれと、カウント値Ｃ１２，Ｃ２２のそれぞれとが表示される。通過方向アイコンＬＵは、手前から奥に向かって所定のラインＬ４を通過したことを示す。通過方向アイコンＬＤは、奥から手前に向かって所定のラインＬ４を通過したことを示す。カウント値Ｃ１２，Ｃ２２のそれぞれは、通過方向アイコンＬＵ，ＬＤのそれぞれに対応する方向に所定のラインＬ４を通過した人物の人数を示す。なお、図９Ｂにおいて人物の頭部の検出範囲を示す人物検出枠ＯＢ４１〜ＯＢ４７のそれぞれと、所定のラインＬ４の一部とが破線によって図示されているが、これは図面を見やすくする目的で破線に変更している。

図１０は、実施の形態１に係るカメラ装置１００を用いた人物検出システム１０００の動作手順例を示す図である。図１０は、前述した図７および図８に示すフローチャートの処理とは異なり、より適した追尾用のオブジェクトを自動で設定することができる。

カメラ装置１００は、撮像部１１によって撮像領域を撮像する（Ｓｔ３０）。カメラ装置１００は、第１検出部１２ａ〜第４検出部１２ｄによって、撮像された撮像画像に映る複数の人物のそれぞれに対して、複数の追尾用のオブジェクトをそれぞれ検出する（Ｓｔ３１）。

カメラ装置１００は、検出された複数の追尾用のオブジェクトのうち、第１検出部１２ａによって検出された人物の全身を示す追尾用のオブジェクトの数と第２検出部１２ｂ〜第４検出部１２ｄによって検出された人物の一部を示す追尾用のオブジェクトの数とを取得する（Ｓｔ３２）。

カメラ装置１００は、取得された人物の全身を示す追尾用のオブジェクトの数と、人物の一部を示す追尾用のオブジェクトの数と、混雑判定に使用する所定の閾値とを比較することにより、混雑判定を行う（Ｓｔ３３）。なお、所定の閾値は、ユーザによって任意に設定され、割合を示す値であっても人数を示す値であってもよい。

カメラ装置１００は、ステップＳｔ３２において検出された複数の追尾用のオブジェクトのうち、１人の人物から検出されたと推定される複数の追尾用のオブジェクトの候補をその１人の人物に関連付けて設定する（Ｓｔ３４）。なお、カメラ装置１００は、追尾用のオブジェクトのそれぞれに対して推定される足元座標に基づいて複数の追尾用のオブジェクトのそれぞれを関連付ける。

カメラ装置１００は、人物ごとに検出された複数の追尾用のオブジェクトのうち、最も特徴量を多く含むオブジェクトを追尾用のオブジェクトとして決定する。追尾用のオブジェクトは、より多くの特徴量またはより大きい面積で検出されるオブジェクトが好ましいが、ユーザの指定するオブジェクトであっても、ユーザによって設定されたオブジェクトの優先順位（例えば、面積の広い上半身、肩甲骨上、頭部の順）に基づいて決定されてもよい。

また、追尾用のオブジェクトは、カメラ装置１００の設置角度に基づいて決定されてもよい。例えば、追尾用のオブジェクトは、カメラ装置１００の設置角度が３０°の場合には人物の上半身の検出が容易であるため、上半身を検出するように決定される。また、追尾用のオブジェクトは、カメラ装置１００の設置角度が４５°の場合には、カメラ装置１００の設置角度が３０°の場合に比べて、人物の上半身を検出するのが難しく、また人物の頭部を検出したときの検出面積（言い換えると、人物検出枠の枠の大きさ）が大きくなるため、人物の頭部を検出するように決定されてもよい。

カメラ装置１００は、人物ごとに決定された追尾用のオブジェクトのデータを更新する（Ｓｔ３６）。なお、カメラ装置１００は、決定した追尾用のオブジェクトに含まれる特徴量が少ない等、検出精度の低下を招く可能性がある場合には、複数のオブジェクトを追尾用のオブジェクトとして決定してもよい。これにより、カメラ装置１００は、追尾用のオブジェクトのデータの更新を頻繁に行わなくてもよく、また検出精度を確保することができる。

カメラ装置１００は、決定された追尾用のオブジェクトのそれぞれに対して、設定された足元座標データを用いて足元座標を推定して、追尾部１３によって追尾用のオブジェクトを追尾した動線情報を作成する。カメラ装置１００は、ライン通過判定部１４によって作成した動線情報に基づいて追尾用のオブジェクトが、ユーザによって設定されたラインを通過したか否かを判定し、通過した場合はその通過情報（例えば、通過した方向と時間等）を検出する（Ｓｔ３７）。

カメラ装置１００は、人数カウント部１５によって、検出された通過情報に基づいて、ラインを通過した追尾用のオブジェクトの数に対応する人数をカウントする（Ｓｔ３８）。

カメラ装置１００は、人数のカウント結果に基づいてカウント結果データを作成し、ＰＣ６００またはサーバ装置３００に送信して表示させる（Ｓｔ３９）。なお、カメラ装置１００は、カウント結果データを作成した後は、ステップＳｔ３０の処理に戻る。

図１１は、カメラ装置１００によって撮像された撮像画像例を示す図である。図１１は、人物の全身のみを検出した撮像画像ＳＣ５であり、通過方向アイコンＬＵ，ＬＤが示す方向にそれぞれ４人および５人の人物が通過した様子を示す。また、撮像画像ＳＣ５はＰＣ６００の表示部２１に表示される。

図１１において、カメラ装置１００は、撮像した撮像画像ＳＣ５に映る複数の人物の全身を検出する。撮像画像ＳＣ５上には、所定のラインＬ５と、通過方向アイコンＬＵ，ＬＤのそれぞれと、カウント値Ｃ１３，Ｃ２３のそれぞれとが表示される。通過方向アイコンＬＵは、手前から奥に向かって所定のラインＬ５を通過したことを示す。通過方向アイコンＬＤは、奥から手前に向かって所定のラインＬ５を通過したことを示す。カウント値Ｃ１３，Ｃ２３のそれぞれは、通過方向アイコンＬＵ，ＬＤのそれぞれに対応する方向に所定のラインＬ５を通過した人物の人数を示す。このように、カメラ装置１００は、カメラ装置１００の設置角度およびユーザの設定に基づいて、人物の全身のみに人物検出枠を設定してもよいし、図１０で説明したように人物の一部をすべて検出してもよい。また、カメラ装置１００は、撮像画像ＳＣ５上にそれぞれの人物の動線情報を表示してもよい。

図１２は、カウント結果データの一例を示し、施設Ａのフロア別における入店人数、退店人数の時間帯別推移の一例を示す図である。カウント結果データは、サーバ装置３００またはＰＣ６００に送信されて、モニタ４５０またはＰＣ６００の表示部２１に表示される。

図１２の横軸は時間帯（例えば、１時間ごとの時間帯）を示し、図１２の縦軸はカメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…のそれぞれによって検出された、所定のラインを通過した人物の時間帯別のカウント数を示す。サーバ装置３００またはＰＣ６００は、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…のそれぞれから受信したカウント結果データを用いて、人数の時間帯別の推移をグラフ化して、モニタ４５０またはＰＣ６００の表示部２１に表示する。

図１２では、例えば開店時刻である１０：００〜閉店時刻である２１：００までの、入店人数（合計）と、入店人数（前年合計）と、退店人数（合計）と、退店人数（前年合計）と、入店人数（Ｂ２Ｆ：地下２階）と、退店人数（Ｂ２Ｆ：地下２階）と、入店人数（Ｂ１Ｆ：地下１階）と、退店人数（Ｂ１Ｆ：地下１階）と、入店人数（１Ｆ：１階）と、退店人数（１Ｆ：１階）と、入店人数（２Ｆ：２階）と、退店人数（２Ｆ：２階）とにおける１時間ごとのカウント結果の推移が示されている。

これにより、ユーザ（例えば、本社または施設の従業員）は、施設ごとの人物の動きを数値またはグラフによって可視化することができるため、マーケティングの分析業務に活用することができる。また、カメラ装置が施設内の店舗の内部を撮像する場合には、ユーザは、来店客の流れも把握することができるため、施設内の各店舗の配置等のレイアウトの検討の参考情報として活用することができる。

以上により、実施の形態１に係るカメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、撮像領域を撮像する撮像部１１と、撮像部１１によって撮像された撮像領域に映る人物を、人物の一部または全身を対象とする複数の検出用オブジェクトのそれぞれによって検出し、検出された検出用オブジェクトの数と所定の閾値との比較に応じて撮像領域の混雑判定を行う検出部１２と、を備えている。検出部１２は、混雑判定の結果が非混雑の場合には、人物の全身からその人物を検出するための第１の検出用オブジェクトを用いてその人物を検出し、混雑判定の結果が混雑の場合には、人物の一部からその人物を検出するための第２の検出用オブジェクトを用いてその人物を検出する。

これにより、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、例えばコンビニエンスストアまたは百貨店等の施設で使用される防犯用のカメラ装置であり、撮像領域の真上からの撮像よりも固定の画角で斜め前方下側を撮像可能に設置される場合であっても、混雑時には撮像領域に映る人物を人物の一部および全身のそれぞれによって検出可能なため、より高精度に人物の検出を行うことができる。

また、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、人物の動きを追尾して人物の動線情報を作成する追尾部１３を、さらに備える。追尾部１３は、混雑判定に基づいて使用される第１の検出用オブジェクトまたは第２の検出用オブジェクトを、人物を追尾するための追尾用のオブジェクトとして設定して追尾する。これにより、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、撮像領域における混雑状態に応じて追尾のための使用するオブジェクトを自動で設定して、人物の動きを追尾することができる。また、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、追尾によって人物の動線情報を得ることができるため、人物がどの方向からどの方向へ通過（移動）したのかを示す移動方向に関する情報を得ることができる。

また、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…の設置角度において撮像された撮像領域に映る人物の足元座標を算出するための足元座標算出データを取得する取得部、をさらに備える。これにより、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、混雑時に人物の一部のみが検出された場合であっても、追尾用オブジェクトが示す人物の足元座標を算出することができる。さらに、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、算出した足元座標により人物の動きを追尾することができる。なお、取得部は、ＰＣ６００から送信される足元座標算出データを受信するための受信部１１０の一例である。

また、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…の設置時の設置角度と、設置角度において撮像された撮像領域に映る人物の足元座標を算出するための足元座標算出データを設定する設定部、をさらに備える。これにより、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、混雑時に人物の一部のみが検出された場合であっても、追尾用オブジェクトが示す人物の足元座標を算出することができる。さらに、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、算出した足元座標により人物の動きを追尾することができる。なお、設定部は、足元座標算出データを記憶するメモリ１９の一例である。

また、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、足元座標算出データと、第２の検出用オブジェクトとに基づいて、人物が所定のラインを通過したか否かを判定するライン通過判定部１４、をさらに備える。これにより、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、撮像領域が混雑状態であって検出用オブジェクトが人物の一部を示すものであっても、人物が位置する足元座標を算出することができるため、所定のラインを通過したか否かをより高精度に判定することができる。

また、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、ライン通過判定部１４によって所定のラインを通過した人物の人数を計測する人数カウント部１５、をさらに備える。人数カウント部１５は、所定のラインを通過した人数に基づく計測結果を作成する。これにより、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、所定のラインを通過した人物の人数をカウントすることができる。

また、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、ライン通過判定部１４によって所定のラインを通過した人物の人数を計測する人数カウント部１５、をさらに備える。人数カウント部１５は、動線情報に基づいて人物が所定のラインを通過する通過方向ごとに人物の人数を計測した計測結果を作成する。これにより、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、所定のラインを通過した人物の人数を、通過した方向ごとにカウントすることができる。

また、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、計測結果を表示するための外部端末の一例としてのサーバ装置３００またはＰＣ６００に送信する送信部１２０、をさらに備えて、計測結果の一例としてのカウント結果データをカメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…と通信可能に接続されたサーバ装置３００またはＰＣ６００に送信する。これにより、ユーザは、施設Ａに設置されたカメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…のそれぞれの計測結果をサーバ装置３００と接続されるモニタ４５０またはＰＣ６００の表示部２１に表示させることができる。

また、所定のラインは、外部端末の一例としてのサーバ装置３００またはＰＣ６００の入力に基づいて設定される。これにより、ユーザは、所定のラインに関する設定についての入力操作を、サーバ装置３００の入力デバイス４００またはＰＣ６００の入力部２２によって入力することができるため、所定のラインを自由に設定することができる。

また、所定の閾値は、外部端末の一例としてのサーバ装置３００またはＰＣ６００の入力に基づいて設定される。これにより、ユーザは、所定の閾値に関する設定についての入力操作を、サーバ装置３００の入力デバイス４００またはＰＣ６００の入力部２２によって入力することができるため、所定の閾値を自由に設定することができる。

また、第２の検出用オブジェクトは、人物の上半身、肩甲骨上または頭部である。これにより、カメラ装置１００，１００Ａ，１００Ｂ，１００Ｃ，…は、撮像領域が混雑状態であっても、人物の一部を検出用のオブジェクトとして検出することができるため、複数の人物が分離されずに映る場合であっても、複数の人物の検出をより高精度に行うことができる。

以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

本開示は、混雑した撮像領域に映る人物を高精度に検出できるカメラ装置、人物検出方法および人物検出システムとして有用である。

１１ 撮像部
１２ 検出部
１２ａ 第１検出部
１２ｂ 第２検出部
１２ｃ 第３検出部
１２ｄ 第４検出部
１３ 追尾部
１４ ライン通過判定部
１５ 人数カウント部
１００ カメラ装置
３００ サーバ装置
４００ 入力デバイス
４５０ モニタ
５００Ａ、５００Ｂ、５００Ｃ 人数カウントシステム
６００ ＰＣ

Claims (13)

1. 撮像領域を撮像する撮像部と、
   前記撮像部によって撮像された撮像領域に映る人物を、前記人物の一部または全身を対象とする複数の検出用オブジェクトのそれぞれによって検出し、検出された検出用オブジェクトの数と所定の閾値との比較に応じて前記撮像領域の混雑判定を行う検出部と、を備え、
   前記検出部は、
   前記混雑判定の結果が非混雑の場合には、前記人物の全身からその人物を検出するための第１の検出用オブジェクトを用いてその人物を検出し、前記混雑判定の結果が混雑の場合には、前記人物の一部からその人物を検出するための第２の検出用オブジェクトを用いてその人物を検出する、
   カメラ装置。
2. 前記人物の動きを追尾して前記人物の動線情報を作成する追尾部を、さらに備え、
   前記追尾部は、前記混雑判定に基づいて使用される前記第１の検出用オブジェクトまたは前記第２の検出用オブジェクトを、前記人物を追尾するための追尾用オブジェクトとして設定して追尾する、
   請求項１に記載のカメラ装置。
3. 前記カメラ装置の設置角度において撮像された前記撮像領域に映る前記人物の足元座標を算出するための足元座標算出データを取得する取得部、をさらに備える、
   請求項２に記載のカメラ装置。
4. 前記カメラ装置の設置時の設置角度と、前記設置角度において撮像された前記撮像領域に映る前記人物の足元座標を算出するための足元座標算出データを設定する設定部、をさらに備える、
   請求項２に記載のカメラ装置。
5. 前記足元座標算出データと、前記第２の検出用オブジェクトとに基づいて、前記人物が前記所定のラインを通過したか否かを判定するライン通過判定部、をさらに備える、
   請求項４に記載のカメラ装置。
6. 前記ライン通過判定部によって前記所定のラインを通過した前記人物の人数を計測する人数カウント部、をさらに備え、
   前記人数カウント部は、前記所定のラインを通過した人数に基づく計測結果を作成する、
   請求項５に記載のカメラ装置。
7. 前記ライン通過判定部によって前記所定のラインを通過した前記人物の人数を計測する人数カウント部、をさらに備え、
   前記人数カウント部は、前記動線情報に基づいて前記人物が前記所定のラインを通過する通過方向ごとに前記人物の人数を計測した計測結果を作成する、
   請求項５に記載のカメラ装置。
8. 前記計測結果を表示するための外部端末に送信する送信部、をさらに備え、
   前記計測結果を前記カメラ装置と通信可能に接続された外部端末に送信する、
   請求項６または７に記載のカメラ装置。
9. 前記所定のラインは、前記外部端末の入力に基づいて設定される、
   請求項８に記載のカメラ装置。
10. 前記所定の閾値は、前記外部端末の入力に基づいて設定される、
    請求項８に記載のカメラ装置。
11. 前記第２の検出用オブジェクトは、前記人物の上半身、肩甲骨上または頭部である、
    請求項１〜１０のうちいずれか一項に記載のカメラ装置。
12. 撮像領域に映る人物を検出する人物検出方法であって、
    前記人物を、前記人物の一部または全身を対象とする複数の検出用オブジェクトのそれぞれによって検出し、
    前記撮像領域から検出した検出用オブジェクトの数と、所定の閾値との比較に応じて前記撮像領域の混雑判定を行い、
    前記混雑判定の結果が非混雑の場合には、前記人物の全身からその人物を検出する第１の検出用オブジェクトを用いてその人物を検出し、前記混雑判定の結果が混雑の場合には、前記人物の一部からその人物を検出する第２の検出用オブジェクトを用いてその人物を検出する、
    人物検出方法。
13. 撮像領域を撮像するカメラ装置と、表示装置とを含む人物検出システムであって、
    前記カメラ装置は、
    人物を、前記人物の一部または全身を対象とする複数の検出用オブジェクトのそれぞれによって検出し、
    前記撮像領域から検出した検出用オブジェクトの数と、所定の閾値との比較に応じて前記撮像領域の混雑判定を行い、
    前記混雑判定の結果が非混雑の場合には、前記人物の全身からその人物を検出する第１の検出用オブジェクトを用いてその人物を検出し、前記混雑判定の結果が混雑の場合には、前記人物の一部からその人物を検出する第２の検出用オブジェクトを用いてその人物を検出する、
    人物検出システム。

Images