JP5975353B2

JP5975353B2 - 人数計測装置

Info

Publication number: JP5975353B2
Application number: JP2013507188A
Authority: JP
Inventors: 宏明由雄; 純西村
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2011-03-31
Filing date: 2012-03-28
Publication date: 2016-08-23
Anticipated expiration: 2032-03-28
Also published as: CN103477355A; EP2693373A1; EP2693373A4; WO2012132437A1; CN103477355B; US20140037147A1; US9390334B2; JPWO2012132437A1

Description

本発明は、店舗や施設の画像内に設定した計測エリアを通過した人の数を計測する人数計測装置に関する。

上述した人数計測装置に類似する技術として、例えば特許文献１に記載された「画像センサによる移動体検知システム」がある。この特許文献１には、異なる時間に取り込んだ画像データから移動体の動線を抽出し、その動線が、観測画像上に設定した仮想ゲートを通過した場合に通過者として人数計測する技術が開示されている。図９にその様子を示す。同図に示すように、動線１００、１０１が仮想ゲート１１０を通過した場合に通過者として人数計測し、動線１０２、１０３が仮想ゲート１１１を通過した場合に通過者として人数計測する。

日本国特開平６−２２３１５７号公報

しかしながら、天井の真下を撮影するカメラを対象とした場合、上述した従来技術は有効であるものの、通常のカメラの設置条件（例えば、高さ２．６ｍ、入口付近撮影）で人数計測を行うと、子供や高齢者等の低身長の人物は計測ラインを横切らないことが多く、精度の良い人数計測ができない。逆に計測ラインを下げると、店内うろつき等の再登場人物を再計測してしまうことがある。図１０（ａ），（ｂ）にその例を示す。同図（ａ）に示すように、身長１６０ｃｍ位の大人３００を対象とする計測ライン２００を引くと、同図（ｂ）に示すように、子供３０１は計測ライン２００の下を通過することになり、子供３０１を計測することができない。計測ライン２００を下げることで子供３０１を計測できるようになるが、同一人物でもカメラ（図示略）から離れると、当該人物の映像は小さくなり、逆にカメラに近づくと当該人物の映像が大きくなることから、当該人物を再計測してしまうことがある。このように、通常のカメラの設置条件で人数計測を行うと、精度の良い人数計測ができないという課題がある。

本発明は、係る事情に鑑みてなされたものであり、子供や高齢者等の低身長の人物でも確実に人数計測することができる人数計測装置を提供することを目的とする。

本発明の人数計測装置は、映像を入力する映像入力部と、前記映像入力部にて入力された映像から人物を抽出する人物抽出部と、前記人物抽出部にて抽出された人物の画像内位置情報から人物動線を作成する動線作成部と、前記動線作成部にて作成された人物動線と画像内に設定された計測基準座標との位置関係から人数をカウントする人数計測部と、前記人物抽出部にて抽出された前記人物の属性を求める属性抽出部と、前記属性抽出部にて抽出された前記人物の属性に応じて前記人物に対応する人物動線の前記計測基準座標を設定する計測基準座標設定部と、を備えた。

上記構成によれば、人物の属性に応じて該人物に対応する人物動線の計測基準座標を設定するので、子供や高齢者等の低身長の人物でも確実に人数計測することができる。

上記構成において、前記属性抽出部は属性として年齢を抽出し、前記計測基準座標設定部は、年齢が第１の所定年齢より低いまたは第２の所定年齢より高いと判定された場合にはそれ以外の場合と比べて前記計測基準座標を画像内下方に設定する。

上記構成によれば、子供や高齢者等の低身長の人物でも確実に人数計測することができる。

上記構成において、前記属性抽出部は属性として性別を抽出し、前記計測基準座標設定部は、性別が女性と判定された場合には性別が男性と判定された場合と比べて前記計測基準座標を画像内下方に設定する。

上記構成によれば、女性でも確実に人数計測することができる。

上記構成において、前記属性抽出部は属性として移動速度を抽出し、前記計測基準座標設定部は、移動速度が所定速度より遅いと判定された場合にはそれ以外の場合と比べて前記計測基準座標を画像内下方に設定する。

上記構成によれば、移動速度が所定速度より遅い人物でも確実に人数計測することができる。

上記構成において、前記属性抽出部は属性として顔向きを抽出し、前記計測基準座標設定部は、顔向きが所定角度より大きいと判定された場合にはそれ以外の場合と比べて前記計測基準座標を画像内下方に設定する。

上記構成によれば、顔向きが所定角度より大きい場合でも確実に人数計測することができる。

上記構成において、前記計測基準座標設定部は、前記人物の検知頻度が所定頻度より低いと判定された場合にはそれ以外の場合と比べて前記計測基準座標を画像内下方に設定する。

上記構成によれば、人物の検知頻度が所定頻度より低いと判定された場合でも確実に人数計測することができる。

上記構成において、前記計測基準座標設定部は、混雑度が所定値より高いと判定された場合にはそれ以外の場合と比べて前記計測基準座標を画像内下方に設定する。

上記構成によれば、混雑度が所定値より高いと判定された場合でも確実に人数計測することができる。

上記構成において、前記計測基準座標設定部にて設定される前記計測基準座標の設定先が複数である。

上記構成によれば、計測基準座標の設定先を複数にすることで、大人、子供・老人に応じて計測基準座標の設定先を変更することができるので、確実に人数計測することができる。

上記構成において、前記人物の検知頻度または移動速度が異常値を取った場合は、カウント結果として「不明」である旨を出力し、前記人物の検知頻度または移動速度が異常値を取っていない場合は、通常のカウント結果を出力する。

上記構成によれば、例えば、混雑しすぎている場合、検知頻度が極端に小さい場合、移動速度が極端に速い場合、又は、移動速度が極端に遅い場合に、不明とすることで、誤った人数計測を行うことがなくなり、精度の良い人数計測が可能となる。

上記構成において、前記人数計測部は、前記計測基準座標がラインであり前記人物動線と前記ラインが交わった場合にその人物動線を人数としてカウントする。

上記構成によれば、確実に人数計測することができる。

上記構成において、前記人数計測部は、前記計測基準座標が矩形であり前記人物動線と前記矩形が交わった場合にその人物動線を人数としてカウントする。

上記構成によれば、確実に人数計測することができる。

上記構成において、前記人数計測部は、前記計測基準座標が矩形であり前記人物動線の始点が前記計測基準座標の内部に位置している場合にカウントする。

上記構成によれば、確実に人数計測することができる。

本発明によれば、人物の属性に応じて該人物に対応する人物動線の計測基準座標を設定するので、子供や高齢者等の低身長の人物でも確実に人数計測することができる。

本発明の一実施の形態に係る人数計測装置の概略構成を示すブロック図図１の人数計測装置の計測ラインの動的変更方法の一例を示す図図１の人数計測装置におけるユーザ設定の第１計測ライン、自動調整される第２計測ライン及び第３計測ラインの一例を示す図図１の人数計測装置の動作を説明するためのフローチャート図１の人数計測装置の追跡方法を説明するための図図１の人数計測装置の年齢・性別推定方法を説明するための図図１の人数計測装置において、計測エリアを矩形とした場合の一例を示す図図１の人数計測装置の応用例の概略構成を示すブロック図従来の人数計測方法を説明するための図（ａ），（ｂ）従来の人数計測方法の課題を説明するための図

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る人数計測装置の概略構成を示すブロック図である。同図において、本実施の形態の人数計測装置１は、映像入力部１０と、人物抽出部１１と、動線作成部１２と、属性抽出部１３と、計測基準座標設定部１４と、人数計測部１５とを備え、人物の属性に応じて該人物に対応する人物動線の計測基準座標を設定し、その計測基準座標を用いて人数計測を行うものである。

映像入力部１０は、カメラ（図示略）から出力される映像を入力する。人物抽出部１１は、映像入力部１０で入力された映像から、顔や人物の形状パターンもしくは背景差分・フレーム間差分情報を用いて人物の領域を抽出する。動線作成部１２は、人物抽出部１１で抽出された人物の領域を、時系列に並んだ人物領域の相関（位置、画像類似度）から人物の動線を抽出する。属性抽出部１３は、人物抽出部１１で抽出された人物の領域から人物の年齢、性別、移動速度、顔向きなどの属性情報を抽出する。属性抽出部１３は、年齢・性別などを人物抽出部１１から入力される画像から求める。また、速度を動線作成部１２から入力される動線から求める。計測基準座標設定部１４は、属性抽出部１３で取得された属性情報に応じて計測基準座標を人物毎に設定する。人数計測部１５は、計測基準座標を通過した場合に人数としてカウントする。計測基準座標は計測ラインであり、該計測ラインと人物動線とが交わった場合にその人物動線を人数としてカウントする。ここで、本実施の形態の人数計測装置１では、計測エリアを、幅が狭いラインとしているが、幅が広い矩形としても構わない。幅が広い矩形の計測エリアについては本明細書の最後の方で説明している。

図２は、計測ラインの動的変更方法の一例を示す図である。同図において、属性の種類は、“年齢”、“性別”、“速度”、“顔向き”、“人物の検知頻度”である。計測ラインの変更内容は、第１計測ライン〜第３計測ラインである。
第１計測ライン：ユーザ設定したライン
第２計測ライン：子供・高齢者向けライン（自動調整）
第３計測ライン：検知頻度の低い成人向けライン（自動調整）

図３は、ユーザが設定した第１計測ライン３０、自動調整される第２計測ライン３１及び第３計測ライン３２の一例を示す図である。

年齢と性別は、顔部品（目、鼻、口）の形状パターン分析、しわ・たるみ等のライン分析から年齢性別を推定する。年齢・性別のときの計測ラインの変更内容は、高齢者・子供と判定した場合、その人物の計測ラインを第２計測ライン３１に変更する。

速度は、単位時間あたりの移動画素を検出することで求める。速度のときの計測ラインの変更内容は、移動量（画素）が小さい場合、子供・高齢者と判定して、その人物の計測ラインを第２計測ライン３１へ変更する。

顔向きは、顔部品の形状パターン分析から向きを推定する。顔向きのときの計測ラインの変更内容は、動線内の向き（平均）又は所定位置での向きが所定値以上となる場合、子供・高齢者と判定して、計測ラインを第２計測ライン３１へ変更する。子供は身長が低いので、カメラ（図示略）から見ると下向きになる。高齢者は、腰が曲がっているので、カメラから見ると下向きになる。このように、下向きになっていることで、子供・高齢者を判別する。

人物の検知頻度は、１動線あたりの顔の検知枚数を算出することで求める。人物の検知頻度のときの計測ラインの変更内容は、検知頻度が小さい場合、計測ラインを第３計測ライン３２へ変更する。
検知頻度が小さい状況とは、以下の場合である。
・入口が混雑していて、他人の影に隠れてしまう場合
・検知し難い人物（背景との差がない人、サングラスをかける等）の場合

次に、本実施の形態の人数計測装置１の動作について説明する。
図４は、本実施の形態の人数計測装置１の動作を説明するためのフローチャートである。同図において、まず映像入力部１０が映像を入力し（ステップＳ１）、人物抽出部１１が、映像入力部１０にて入力された映像から人物の領域を抽出する。そして、動線作成部１２が、人物抽出部１１にて抽出された当該人物の動線を抽出し、当該人物の追跡を開始する（ステップＳ２）。人物追跡方法には、例えば顔枠を利用した追跡方法がある。図５は、顔枠を利用した追跡方法を説明するための図である。同図に示すように、検出した顔枠２０の単位時間あたりの移動量及び移動方向から顔枠２０を時系列に紐付けしていく。顔枠２０を時系列に紐付けすることで、動線２１が得られる。

図４に戻り、人物追跡の開始後、追跡完了するまでステップＳ１〜Ｓ３の処理を行う。ステップＳ３の判定で追跡完了と判断しなかった場合（ステップＳ３で「Ｎｏ」の場合）、ステップＳ１に戻り、追跡完了と判断した場合（ステップＳ３で「Ｙｅｓ」の場合）、移動速度と顔向きを推定する（ステップＳ４）。移動速度と顔向きを推定した後、当該推定結果から、追跡している人物が高齢者・子供でないことを確認する（ステップＳ５）。この確認において、追跡している人物が高齢者・子供である場合（ステップＳ５で「Ｎｏ」の場合）、高齢者・子供用の第２計測ライン３１に変更する（ステップＳ６）。そして、第２計測ライン３１で人数をカウントする計測判定を行う（ステップＳ７）。

一方、上記ステップＳ５の確認で、追跡している人物が高齢者・子供でない場合（ステップＳ５で「Ｙｅｓ」の場合）、年齢・性別を推定する（ステップＳ８）。年齢・性別の推定は、図６に示すようにして行われる。図６は、年齢・性別推定方法を説明するための図である。同図に示すように、まず（１）抽出した動線内の全ての顔４０に対して推定処理を実行する。次いで、（２）顔向きを用いて年齢・性別に使用可能な顔の絞り込みを行う。年齢・性別に使用可能な顔の絞り込みを行った後、（３）絞り込んだ顔（複数）４０の年齢・性別の値の平均化を行う。“○”で示す顔向きは略正面であり、“×”は略真横である。この図に示す例では、年齢：３１才、性別：男である。すなわち、（２５＋３０＋３５＋３５）／４≒３１才、男が「３」に対して、女が「１」であるので、男と判定。

図４に戻り、次いで、年齢・性別の推定結果から、高齢者（６０才以上）でも子供（１０才以下）でもないことを確認する（ステップＳ９）。この確認において、高齢者（６０才以上）又は子供（１０才以下）である場合（ステップＳ９で「Ｎｏ」の場合）、高齢者・子供用の第２計測ライン３１に変更する（ステップＳ６）。そして、第２計測ライン３１で人数をカウントする計測判定を行う（ステップＳ７）。

一方、上記ステップＳ９の確認で、高齢者（６０才以上）でも子供（１０才以下）でもない場合（ステップＳ９で「Ｙｅｓ」の場合）、検知頻度・混雑度を算出する（ステップＳ１０）。次いで、検知頻度・混雑度の算出結果から、検知頻度が低い（かつ混雑している）ことを確認する（ステップＳ１１）。この確認において、検知頻度が低くない（かつ混雑してない）場合（ステップＳ１１で「Ｎｏ」）、ユーザ設定の第１計測ライン（一番始めに決めた計測ライン）３０を採用し（ステップＳ１２）、第１計測ライン３０で人数をカウントする計測判定を行う（ステップＳ７）。

上記ステップＳ１１の確認において、検知頻度が低い（かつ混雑している）場合（ステップＳ１１で「Ｙｅｓ」）、ユーザ設定の第１計測ライン３０を下方修正し（ステップＳ１３）、修正した第３計測ライン３２で人数をカウントする計測判定を行う（ステップＳ７）。なお、検知頻度・混雑度は属性ではないが、計測ラインを調整する判断子としている。ステップＳ７の処理を行った後、本処理を終える。

このように本実施の形態の人数計測装置１によれば、映像を入力する映像入力部１０と、映像入力部１０にて入力された映像から人物を抽出する人物抽出部１１と、人物抽出部１１にて抽出された人物の画像内位置情報から人物動線を作成する動線作成部１２と、人物抽出部１１にて抽出された人物の移動速度・顔向き・年齢性別・検知頻度・混雑度の属性を求める属性抽出部１３と、属性抽出部１３にて抽出された人物の属性に応じて該人物に対応する人物動線の計測ライン（第１計測ライン３０〜第３計測ライン３２）を設定する計測基準座標設定部１４と、動線作成部１２にて作成された人物動線と画像内に設定された計測ラインとの位置関係から人数をカウントする人数計測部１５とを備え、人物の移動速度・顔向き・年齢性別・検知頻度・混雑度に応じて該人物に対応する人物動線の計測ラインを設定するので、子供や高齢者等の低身長の人物でも確実に人数計測することができる。

なお、本実施の形態の人数計測装置１では、３つの計測ライン（第１計測ライン３０〜第３計測ライン３２）を設定するようにしたが、それ以上に増やしても良い。このようにすることで、更に精度良く人数計測を行うことができる。例えば、女性と判断した場合、第１計測ライン３０より少し低い計測ラインを設定することができ、女性を確実にカウントすることができる。

また、本実施の形態の人数計測装置１において、第１計測ライン３０〜第３計測ライン３２による判定が不能として、「不明」として出力することも可能である。例えば、（１）混雑しすぎている場合、（２）検知頻度が極端に小さい場合、（３）移動速度が極端に速い場合、（４）移動速度が極端に遅い場合に「不明」を出力する。このようにすることで、誤った人数計測を行うことがなくなり、精度の良い人数計測が可能となる。

また、本実施の形態の人数計測装置１では、計測エリアを幅の狭いラインとしたが、幅の広い矩形としても良い。図７は、計測エリアを矩形とした場合の一例を示す図である。計測エリアを幅の狭いラインとした場合、身長差をカバーできないことがあるが、幅の広い矩形にすることで、第２、第３計測ラインへ自動変更したときの精度向上が見込める。また、矩形とした計測エリア６０内で追跡が開始したとき（例えば矢印６１で示す動線が検出された場合）にのみ人数のカウントを行うことで、既に入店（店舗の場合）した人物が、店内うろつき等（例えば矢印６２のような動線）により再カウントされるのを防ぐことができる。この場合人数カウントの条件は、動線の始点が矩形内にありかつ動線が矩形の外周と１回以上交わる場合にすればよい。なお、人数カウントの条件として、動線が矩形の外周と交わらない場合も許容し、動線の始点が矩形内にある場合としてもよい。この条件の場合、入口が混雑していて他人の影に隠れてしまい検知頻度が小さい状況でも人数をカウントする事が可能となる。

また、本実施の形態の人数計測装置１の図４で示した各処理をプログラムとして記述し、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記憶媒体に格納して配布することも可能である。

また、本実施の形態の人数計測装置１を図８に示すようなネットワーク５００を介した構成にすることも可能である。例えば、人物抽出部１１で抽出した人物の画角内位置情報及び全身画像（または顔画像）をネットワーク５００に送出し、動線作成部１２及び属性抽出部１３は、ネットワーク５００から送られてきた画角内位置情報及び全身画像に基づいて各部の処理を行なう。
なお、全身画像を毎フレーム送信するとネットワーク５００に負荷がかかるため、顔が所定の大きさ以上となった場合にのみ送信するなど工夫してもよい。
また、属性抽出部１３もネットワーク送信側に配置し、ネットワーク５００には、画角内位置情報及び人物属性情報（向き，年齢性別など）のテキスト情報のみを送信しネットワーク５００の負荷を軽減することも可能である。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。

本出願は、２０１１年３月３１日出願の日本特許出願（特願２０１１−０８０２９４）に基づくものであり、その内容はここに参照として取り込まれる。

本発明は、子供や高齢者等の低身長の人物でも確実に人数計測することができるといった効果を有し、店舗への入店者や施設への来場者を計数する装置又はシステムへの適用が可能である。

１人数計測装置
１０映像入力部
１１人物抽出部
１２動線作成部
１３属性抽出部
１４計測基準座標設定部
１５人数計測部
２０顔枠
２１動線
３０第１計測ライン
３１第２計測ライン
３２第３計測ライン
４０顔
６０計測エリア
３００大人
３０１子供
５００ネットワーク

Claims

映像を入力する映像入力部と、
前記映像入力部にて入力された映像から人物を抽出する人物抽出部と、
前記人物抽出部にて抽出された人物の画像内位置情報から人物動線を作成する動線作成部と、
前記動線作成部にて作成された人物動線と画像内に設定された計測基準座標との位置関係から人数をカウントする人数計測部と、
前記人物抽出部にて抽出された前記人物の属性を求める属性抽出部と、
前記属性抽出部にて抽出された前記人物の属性に応じて前記人物に対応する人物動線の前記計測基準座標を設定する計測基準座標設定部と、
を備えた人数計測装置。
前記属性抽出部は属性として年齢を抽出し、
前記計測基準座標設定部は、年齢が第１の所定年齢より低いまたは第２の所定年齢より高いと判定された場合にはそれ以外の場合と比べて前記計測基準座標を画像内下方に設定する請求項１に記載の人数計測装置。
前記属性抽出部は属性として性別を抽出し、
前記計測基準座標設定部は、性別が女性と判定された場合には性別が男性と判定された場合と比べて前記計測基準座標を画像内下方に設定する請求項１に記載の人数計測装置。
前記属性抽出部は属性として移動速度を抽出し、
前記計測基準座標設定部は、移動速度が所定速度より遅いと判定された場合にはそれ以外の場合と比べて前記計測基準座標を画像内下方に設定する請求項１に記載の人数計測装置。
前記属性抽出部は属性として顔向きを抽出し、
前記計測基準座標設定部は、顔向きが所定角度より大きいと判定された場合にはそれ以外の場合と比べて前記計測基準座標を画像内下方に設定する請求項１に記載の人数計測装置。
前記計測基準座標設定部は、前記人物の検知頻度が所定頻度より低いと判定された場合にはそれ以外の場合と比べて前記計測基準座標を画像内下方に設定する請求項１に記載の人数計測装置。
前記計測基準座標設定部は、混雑度が所定値より高いと判定された場合にはそれ以外の場合と比べて前記計測基準座標を画像内下方に設定する請求項１に記載の人数計測装置。
前記計測基準座標設定部にて設定される前記計測基準座標の設定先が複数である請求項１乃至請求項７のいずれか一項に記載の人数計測装置。
前記人物の検知頻度または移動速度が異常値を取った場合は、カウント結果として「不明」である旨を出力し、前記人物の検知頻度または移動速度が異常値を取っていない場合は、通常のカウント結果を出力する請求項１乃至請求項７のいずれか一項に記載の人数計測装置。
前記人数計測部は、前記計測基準座標がラインであり前記人物動線と前記ラインが交わった場合にその人物動線を人数としてカウントする請求項１乃至請求項９のいずれか一項に記載の人数計測装置。
前記人数計測部は、前記計測基準座標が矩形であり前記人物動線と前記矩形が交わった場合にその人物動線を人数としてカウントする請求項１乃至請求項９のいずれか一項に記載の人数計測装置。
前記人数計測部は、前記計測基準座標が矩形であり前記人物動線の始点が前記計測基準座標の内部に位置している場合にカウントする請求項１乃至請求項９のいずれか一項に記載の人数計測装置。