JP6843557B2 - システム、情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、システム、情報処理装置、情報処理方法及びプログラムに関する。

従来、入口と出口との通過人数から、室内の滞留人数を数えるシステムがあった。
例えば、特許文献１には人物の入退室方向を見て、入室人数、退室人数を算出し、その値を用いて室内に滞留する人数をカウントするシステムが開示されている。
特許文献２には入場人数と退場人数とから滞留している人数を算出し、滞留している人数が所定人数を上回った場合、滞留人数を初期値に戻し補正するシステムが開示されている。
上述した特許文献１に開示された技術を用いると、入口と出口との通過人数から、行列の人数を算出することができる。また、特許文献２に開示された技術を用いると、予め設定した所定人数を超えた場合に行列に並ぶ人数を予め設定した初期値に戻すことができる。

特開２００８−２１７２８９号公報 特許第４４３２３８２号公報

しかしながら、特許文献１に開示された技術では、出入り口以外から人が出入りした場合に、行列の正しい人数がわからなくなってしまう。また、特許文献２に開示された技術では、行列は長さが一定ではないことから、所定人数や初期値を予め決定することができず、人数をより正しく検知することができない。
本発明は、行列の人数をより正しく検知することを目的とする。

本発明は、行列に並んでいる人数を検知するシステムであって、行列の入口の通過人数と前記行列の出口の通過人数とに基づき前記行列に並んでいる人数を算出する算出手段と、前記行列の出口に対応する範囲を撮影して得られた撮影画像を取得する画像取得手段と、前記撮影画像に含まれる人物を検知する解析手段と、前記撮影画像において前記解析手段により人物が検知されていない領域のサイズが所定値以上の場合、前記撮影画像から前記解析手段により検知された人物の数を、前記行列に並んでいる人数として決定し、前記領域のサイズが前記所定値未満の場合、前記算出手段により算出された人数を、前記行列に並んでいる人数として決定する決定手段と、を有する。

本発明によれば、行列の人数をより正しく検知することができる。

情報処理システムのシステム構成の一例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。 情報処理装置のソフトウェア構成の一例を示す図である。 実施形態１の待ち人数計算の一例を示す図である。 実施形態１の情報処理の一例を示すフローチャートである。 図４の行列の様子を撮影した場合の画像の一例を示す図である。 図６の画像を解析装置で解析した場合の一例を示す図である。 実施形態２の待ち人数計算の一例を示す図である。 実施形態２の情報処理の一例を示すフローチャートである。 複数の撮影装置による撮影範囲の一例を示す図である。 実施形態３の情報処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

行列の出口と入口とで通過検知を行い、行列の人数を数えるシステムにおいて、出入り口以外から人が出入りした等によって、行列の正しい人数がわからなくなったときの行列に並ぶ人数を正しく補正、又は決定する情報処理について説明する。
図１は、情報処理システムのシステム構成の一例を示す図である。情報処理システムは、行列に並ぶ人数を計算する少なくとも１つの情報処理装置１００、複数の検知装置１１０、複数の解析装置１２０、複数の撮影装置１３０、を有している。
撮影装置１３０は、例えばネットワークカメラであり、少なくとも１つ以上あればよい。また、撮影装置１３０は、行列の出口付近を含む範囲を撮影していることが望ましい。検知装置１１０は、例えば画像により人体の通過を検知する画像解析機能を持ったカメラ等や、赤外線等による通過センサ等であり、入口と出口との位置にそれぞれ１つ以上あればよい。又は、検知装置１１０は、カメラで取得した映像の通過検知を行うためのソフトウェアでもよく、この場合は入口と出口との画像をそれぞれ処理すればよい。検知装置１１０をソフトウェアとして情報処理ステムに実装した場合、例えば、情報処理装置１００等のＨＤＤ２０４に検知装置１１０の機能に係るプログラムがインストールされる。但し、以下の実施形態では、説明の簡略化のため、検知装置１１０は、ハードウェアの装置として、情報処理装置１００とは独立して情報処理システムに実装されているものとして説明を行う。解析装置１２０は、例えば、撮影装置１３０から取得した画像を解析し、人体を検知する解析装置であり、撮影装置１３０に組み込まれていてもよいし、ネットワークを介して撮影装置１３０と接続されていてもよい。また、解析装置１２０は、複数の撮影装置１３０とネットワークを介して接続されていてもよい。解析装置１２０は、少なくとも１つ以上、情報処理システムにあればよい。
情報処理装置１００は、検知装置１１０及び解析装置１２０の何れか又は双方から取得した情報から、行列に並ぶ人数を計算する。
本実施形態の情報処理システムの主たる用途は監視業務であるため、撮影装置１３０は１台から数百台で使用される場合がある。

図２は、情報処理装置１００のハードウェア構成の一例を示す図である。
情報処理装置１００は、ハードウェア構成として、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０４、入力部２０６、通信部２０７を有している。ＣＰＵ２０１は、ＲＯＭ２０２又はＨＤＤ２０４に記憶されたプログラムを読み出して各種処理を実行する。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＲＯＭ２０２は、ブートプログラム等を記憶する。ＨＤＤ２０４は、画像データや各種プログラム、各種情報等を記憶する。入力部２０６は、情報処理装置１００に情報を入力する。通信部２０７は、情報処理装置１００を、有線、又は無線を介して他の装置に接続する。ＣＰＵ２０１がＲＯＭ２０２又はＨＤＤ２０４に記憶されたプログラムを読み出して処理を実行することにより、後述する図３のソフトウェア構成及び後述する図５、図９、図１１のフローチャートの情報処理装置１００による処理が実現される。
検知装置１１０、解析装置１２０、撮影装置１３０も少なくともハードウェア構成として、ＣＰＵ、メモリ、通信部等を有する。各装置のメモリに記憶されているプログラムに基づき各装置のＣＰＵが処理を実行することにより、各装置の機能が実現される。

図３は、情報処理装置１００のソフトウェア構成の一例を示す図である。
情報処理装置１００は、ソフトウェア構成として、通過検知結果取得部３０１、通過人数記憶部３０２、行列人数計算部３０４、解析結果取得部３０３、行列人数記憶部３０５と、行列人数管理部３０６、通過人数管理部３０７、制御部３０８を有している。
通過検知結果取得部３０１は、検知装置１１０が送信した情報を、通信部２０７を介して受け取る。通過検知結果取得部３０１は、出口又は入口に通過検知が発生するごとに通過人数を取得し、通過人数記憶部３０２に取得情報を送信する。通過人数記憶部３０２は、通過検知結果取得部３０１から受け取った、行列の入口及び出口の通過人数と、その通過時刻との情報をＨＤＤ２０４等に記憶する。通過検知結果取得部３０１の処理は、時刻取得の処理の一例である。解析結果取得部３０３は、撮影装置１３０で取得した画像を解析装置１２０で解析した結果である、人物検知結果を取得する。行列人数計算部３０４は、通過人数記憶部３０２によってＨＤＤ２０４等に記憶されている、行列の入口及び出口の通過人数の情報と、行列人数記憶部３０５によってＨＤＤ２０４等に記憶されている行列の人数初期値と、から行列の人数を計算する。行列の人数初期値は、システム開始時点で設定し、行列人数記憶部３０５によってＨＤＤ２０４等に記憶されている。システム開始後は、行列の人数初期値は、行列人数管理部３０６によって更新される。
行列の人数は次のように算出される。
行列の人数＝入口の通過人数−出口の通過人数＋行列の人数初期値 （式）

行列人数計算部３０４は、通過人数記憶部３０２を介してＨＤＤ２０４等に記憶されている通過人数が更新されるたびに上記の式を用いて行列の人数を再計算する。行列人数記憶部３０５は、行列の人数の情報と、行列の人数初期値と、をＨＤＤ２０４等に記憶する。行列人数記憶部３０５によってＨＤＤ２０４等に記憶された行列の人数の値は、行列人数管理部３０６によって更新される。行列人数管理部３０６は、行列の人数を正しく補正する処理を行う。行列人数管理部３０６は、解析結果取得部３０３によって得られた人物検知結果から人物が検知されている領域と検知されていない領域とを判別し、その結果に応じて行列人数記憶部３０５によってＨＤＤ２０４等に記憶されている行列の人数初期値を更新する。また、行列人数管理部３０６は、同時に通過人数記憶部３０２によってＨＤＤ２０４等に記憶されている通過人数を０に更新する。
制御部３０８は、情報処理装置１００のソフトウェア構成の各部を制御する。

＜実施形態１＞
図４は、行列の入口を通過せずに行列に並んだ人が１人いる場合の待ち人数計算の一例を示す図である。この場合、入口の通過人数と出口の通過人数との差分は３となり、行列の人数計算値は３人となる。しかし、実際には４人並んでおり、正しい人数がわからなくなっている。
以下、図５を参照して、実施形態１による、図４のように行列の正しい人数がわからなくなった状態から、行列の人数を正しい人数に補正する情報処理について説明する。
Ｓ４０１において、解析装置１２０は、撮影装置１３０より図６に示すような行列の画像を取得する。図６は、図４の行列の様子を撮影した場合の画像の一例を示す図である。Ｓ４０１は、行列の撮影画像を取得する画像取得の処理の一例である。
Ｓ４０２において、解析装置１２０は、Ｓ４０１で取得した画像で解析し、人物を検知する。図７は、図６の画像を解析装置１２０で解析した場合の一例を示す図である。図７に示すように、解析装置１２０は、画像中の人物を検知し、人物が検知された領域と人物が検知されていない領域とを取得する。
Ｓ４０３において、解析装置１２０は、Ｓ４０３で取得した人物が検知された領域より検知した人物の人数を数える。解析装置１２０は、Ｓ４０２で取得した領域の情報と、Ｓ４０３で数えた検知人数と、を解析結果として情報処理装置１００に送信する。解析装置１２０は、Ｓ４０２、Ｓ４０３の処理の結果をまとめて解析結果として情報処理装置１００に送ってもよいし、同一の画像の解析結果として別々に情報処理装置１００に送ってもよい。以下では説明の解析装置１２０は、まとめて解析結果を送信するものとして説明を行う。情報処理装置１００の解析結果取得部３０３は、解析装置１２０より送信された解析結果を取得する。

Ｓ４０４において、制御部３０８は、解析結果取得部３０３が取得した解析結果に基づき、人物が検知されていない領域が設定領域以上か否かを判定する。制御部３０８は、人物が検知されていない領域が設定領域以上であると判定すると（Ｓ４０４においてＹｅｓ）、Ｓ４０５に進む。一方、制御部３０８は、人物が検知されていない領域が設定領域以上でないと判定すると（Ｓ４０４においてＮｏ）、図５に示すフローチャートの処理を終了する。
解析結果の人物が検知されていない領域が設定領域以上だったときは、撮影画像中で検知された人数が、行列の人数と特定できる。
したがって、Ｓ４０５において、行列人数計算部３０４は、解析結果に含まれる検知人数を行列に並んでいる人数（行列の人数初期値）とする。行列人数管理部３０６は、行列人数記憶部３０５によってＨＤＤ２０４等に記憶されている行列の人数初期値を、行列人数計算部３０４によって求められた行列の人数初期値で更新する。
Ｓ４０６において、通過人数管理部３０７は、通過人数記憶部３０２を介してＨＤＤ２０４に記憶されている入口の通過人数と出口の通過人数とを０にする。
情報処理システムは、図５のフローチャートの処理が終了した後、一定時間後に再度、Ｓ４０１からの処理を開始する。処理間隔は任意の値でよく、行列の出口や入口の通過が発生したとき等でもよい。Ｓ４０５の処理、又は、Ｓ４０５及びＳ４０６の処理は、決定の処理の一例である。

＜実施形態２＞
図８は、行列の入口から出口までの距離が長い場合の待ち人数計算の一例を示す図である。図８は正しく計算できている例である。
図９を参照して、実施形態２による、行列の入口から出口までの距離が長い場合に正しい人数がわからなくなった状態から、行列の人数を正しい人数に補正する情報処理について説明する。
まず、図９に処理の流れを示す。実施形態１で説明した図５との処理の差異は、検知人数をカウントし、行列の人数を検知人数に更新する判定部分である。本実施形態の処理では、人物検知されていない領域が一定以上である場合に加え、入口での通過検知時刻と人物検知の時刻との差が設定時刻以上の場合に、行列の人数を補正している。
Ｓ９００からＳ９０４までの処理は実施形態１のＳ４００からＳ４０４までの処理と同様であるため、説明を省略し、Ｓ９０５の処理から説明する。Ｓ９０４においてＹｅｓと判定されると、Ｓ９０５の処理となる。

Ｓ９０５において、制御部３０８は、通過人数記憶部３０２を介してＨＤＤ２０４等に記憶された前回の入口の通過時刻と、Ｓ９０２の人物検知処理が実行された時刻と、を比較し、差が設定時刻以上であるか否かを判定する。ここで、例えば、情報処理装置１００は、解析装置１２０より人物検知処理が実行された時刻の情報も解析結果として取得しているものとする。制御部３０８は、差が設定時刻以上であると判定すると（Ｓ９０５においてＹｅｓ）、差が設定時刻以上でないと判定すると（Ｓ９０５においてＮｏ）、図９に示すフローチャートの処理を終了する。制御部３０８は、Ｓ９０５の判定の際に用いる設定時刻として行列の入口から行列末尾まで移動する場合にかかる予測時間を用いてもよいし、入口の平均通過間隔を用いてもよいし、入口の最大通過間隔を用いてもよい。前回の入口の通過時刻と人物検知処理が実行された時刻との差が設定時刻以上である場合は、前回入口を通過した人物は行列の末尾に到着しており、撮影した範囲に映っている人数が行列の人数であると特定できる。
したがって、Ｓ９０６において、行列人数計算部３０４は、解析結果に含まれる検知人数を行列に並んでいる人数（行列の人数初期値）とする。行列人数管理部３０６は、行列人数記憶部３０５によってＨＤＤ２０４等に記憶されている行列の人数初期値を、行列人数計算部３０４によって求められた行列の人数初期値で更新する。
Ｓ９０７において、通過人数管理部３０７は、通過人数記憶部３０２を介してＨＤＤ２０４に記憶されている入口の通過人数と出口の通過人数とを０にする。
情報処理システムは、図９のフローチャートの処理が終了した後、一定時間後に再度、Ｓ９０１からの処理を開始する。処理間隔は任意の値でよく、行列の出口や入口の通過が発生したとき等でもよい。Ｓ９０６の処理、又は、Ｓ９０６及びＳ９０７の処理は、決定の処理の一例である。

＜実施形態３＞
次に、図１１を参照して、図１０のように行列付近にネットワークカメラ等の撮影装置１３０が複数配置されており、行列部分を撮影できる場合に、正しい人数がわからなくなった状態から正しい人数に補正する情報処理について説明する。
まず、図１１に処理の流れを示す。実施形態１で説明した図５との差異は、Ｓ１１０５〜Ｓ１１０７の処理である。本実施形態の処理では、人物検知されていない領域が一定以上である場合に加え、行列全体を撮影できる複数のカメラで撮影したときに、Ｓ１１０３で検知された人物の数と行列全体の人物の検知数との差異が０であるとき、行列の人数を補正する。
Ｓ１１００からＳ１１０４までの処理は実施形態１のＳ４００からＳ４０４までの処理と同様であるため、説明を省略し、Ｓ１１０５の処理から説明する。Ｓ１１０４においてＹｅｓと判定されると、Ｓ１１０５の処理となる。

Ｓ１１０５において、行列全体を撮影している複数の撮影装置１３０は、行列全体を撮影する。ここで、複数の撮影装置１３０が、行列全体を撮影するタイミングは、Ｓ１１０５のタイミングに限られない。複数の撮影装置１３０は、図１１の処理開始時に行列全体を撮影してもよいし、Ｓ１１０１の行列の一部分を撮影する際に、行列全体を撮影してもよい。但し、Ｓ１１０５の処理開始時に行列全体を撮影する場合、複数の撮影装置１３０は、制御部３０８からの撮影要求等に応じて、行列全体を撮影する。複数の撮影装置１３０は、撮影した画像を解析装置１２０に送信する。
Ｓ１１０６において、解析結果取得部３０３は、解析装置１２０から人物検知の結果を取得する。
Ｓ１１０７において、制御部３０８は、Ｓ１１０６で解析結果取得部３０３が取得した人物検知の結果に含まれる人物検知個数の総和と、Ｓ１１０３で取得した検知人数と、を比較し、人物検知数の差が０であるか否かを判定する。制御部３０８は、人物検知数の差が０であると判定すると（Ｓ１１０７においてＹｅｓ）、Ｓ１１０８に進み、人物検知数の差が０でないと判定すると（Ｓ１１０７においてＮｏ）、図１１に示すフローチャートの処理を終了する。Ｓ１１０７の処理において、制御部３０８は、Ｓ１１０６で解析結果取得部３０３が取得した人物検知の結果に基づき、Ｓ１１０１で画像を取得した撮影装置以外での画像の人物検知個数が０であるか否かを判定するようにしてもよい。このように判定した場合、制御部３０８は、Ｓ１１０１で画像を取得した撮影装置以外での画像の人物検知個数が０である場合、Ｓ１１０８に進み、０でない場合、図１１に示すフローチャートの処理を終了する。

Ｓ１１０８において、行列人数計算部３０４は、Ｓ１１０３で取得した検知人数を行列に並んでいる人数（行列の人数初期値）とする。行列人数管理部３０６は、行列人数記憶部３０５によってＨＤＤ２０４等に記憶されている行列の人数初期値を、行列人数計算部３０４によって求められた行列の人数初期値で更新する。
Ｓ１１０９において、通過人数管理部３０７は、通過人数記憶部３０２を介してＨＤＤ２０４に記憶されている入口の通過人数と出口の通過人数とを０にする。
情報処理システムは、図１１のフローチャートの処理が終了した後、一定時間後に再度、Ｓ１１０１からの処理を開始する。処理間隔は任意の値でよく、行列の出口や入口の通過が発生したとき等でもよい。Ｓ１１０８の処理、又は、Ｓ１１０８及びＳ１１０９の処理は、決定の処理の一例である。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した図３のソフトウェア構成の一部又はすべてをハードウェア構成として情報処理装置１００に実装するようにしてもよい。また、上述した図１のシステム構成は一例であり、例えば、情報処理装置１００と、解析装置１２０とを一体として構成してもよい。

以上、上述した各実施形態の処理によれば、たとえ出入り口以外から人が出入りした場合であっても、行列の人数を正しく補正、又は決定することができる。

１００ 情報処理装置
２０１ ＣＰＵ
２０４ ＨＤＤ

Claims (10)

1. 行列の入口の通過人数と前記行列の出口の通過人数とに基づき前記行列に並んでいる人数を算出する算出手段と、
   前記行列の出口に対応する範囲を撮影して得られた撮影画像を取得する画像取得手段と、
   前記撮影画像に含まれる人物を検知する解析手段と、
   前記撮影画像において前記解析手段により人物が検知されていない領域のサイズが所定値以上の場合、前記撮影画像から前記解析手段により検知された人物の数を、前記行列に並んでいる人数として決定し、前記領域のサイズが前記所定値未満の場合、前記算出手段により算出された人数を、前記行列に並んでいる人数として決定する決定手段と、を有するシステム。
2. 行列の入口の通過人数と前記行列の出口の通過人数とに基づき、前記行列に並んでいる人数を算出する算出手段と、
   前記行列の入口を人物が通過した通過時刻の情報を取得する時刻取得手段と、
   前記行列の出口に対応する範囲を撮影して得られた撮影画像を取得する画像取得手段と、
   前記撮影画像に含まれる人物を検知する解析手段と、
   前記撮影画像において前記解析手段により人物が検知されていない領域のサイズが所定値以上、かつ、前回の前記入口の前記通過時刻から前記撮影画像から人物が検知された時刻までの経過時間が設定値以上の場合、前記撮影画像から前記解析手段により検知された人物の数を、前記行列に並んでいる人数として決定し、前記領域のサイズが前記所定値未満、または、前記経過時間が前記設定値未満の場合、前記算出手段により算出された人数を、前記行列に並んでいる人数として決定する決定手段と、を有するシステム。
3. 前記算出手段は、前記行列の入口の通過人数と前記行列の出口の通過人数との差分に基づき、前記行列に並んでいる人数を算出することを特徴とする請求項１又は２に記載のシステム。
4. 行列の入口の通過人数と前記行列の出口の通過人数とに基づき前記行列に並んでいる人数を算出する算出手段と、
   前記行列の出口に対応する範囲を撮影して得られた撮影画像に対する人物の検知処理の結果を取得する結果取得手段と、
   前記撮影画像において前記検知処理によって人物が検知されていない領域のサイズが所定値以上の場合、前記撮影画像から前記検知処理により検知された人物の数を、前記行列に並んでいる人数として決定し、前記領域のサイズが前記所定値未満の場合、前記算出手段により算出された人数を、前記行列に並んでいる人数として決定する決定手段と、
   を有する情報処理装置。
5. 行列の入口の通過人数と前記行列の出口の通過人数とに基づき、前記行列に並んでいる人数を算出する算出手段と、
   前記行列の入口を人物が通過した通過時刻の情報を取得する時刻取得手段と、
   前記行列の出口に対応する範囲を撮影して得られた撮影画像に対する人物の検知処理の結果を取得する結果取得手段と
   前記撮影画像において前記検知処理によって人物が検知されていない領域のサイズが所定値以上、かつ、前回の前記入口の前記通過時刻から前記撮影画像に対し前記検知処理が実行された時刻までの経過時間が設定値以上の場合、前記撮影画像から前記検知処理により検知された人物の数を、前記行列に並んでいる人数として決定し、前記領域のサイズが前記所定値未満、または、前記経過時間が前記設定値未満の場合、前記算出手段により算出された人数を、前記行列に並んでいる人数として決定する決定手段と、を有する情報処理装置。
6. 前記算出手段は、前記行列の入口の通過人数と前記行列の出口の通過人数との差分に基づき、前記行列に並んでいる人数を算出することを特徴とする請求項４又は５に記載の情報処理装置。
7. 行列の入口の通過人数と前記行列の出口の通過人数とに基づき前記行列に並んでいる人数を算出する算出工程と、
   前記行列の出口に対応する範囲を撮影して得られた撮影画像を取得する画像取得工程と、
   前記撮影画像に含まれる人物を検知する解析工程と、
   前記撮影画像上で前記解析工程において人物が検知されていない領域のサイズが所定値以上の場合、前記撮影画像から前記解析工程において検知された人物の数を、前記行列に並んでいる人数として決定し、前記領域のサイズが前記所定値未満の場合、前記算出工程において算出された人数を、前記行列に並んでいる人数として決定する決定工程と、
   を有する情報処理方法。
8. 行列の入口の通過人数と前記行列の出口の通過人数とに基づき、前記行列に並んでいる人数を算出する算出工程と、
   前記行列の入口を人物が通過した通過時刻の情報を取得する時刻取得工程と、
   前記行列の出口に対応する範囲を撮影して得られた撮影画像を取得する画像取得工程と、
   前記撮影画像に含まれる人物を検知する解析工程と、
   前記撮影画像上で前記解析工程において人物が検知されていない領域のサイズが所定値以上、かつ、前回の前記入口の前記通過時刻から前記撮影画像から人物が検知された時刻までの経過時間が設定値以上の場合、前記撮影画像から前記解析工程において検知された人物の数を、前記行列に並んでいる人数として決定し、前記領域のサイズが前記所定値未満、または、前記経過時間が前記設定値未満の場合、前記算出工程において算出された人数を、前記行列に並んでいる人数として決定する決定工程と、を有する情報処理方法。
9. 前記算出工程において、前記行列の入口の通過人数と前記行列の出口の通過人数との差分に基づき、前記行列に並んでいる人数を算出することを特徴とする請求項７又は８に記載の情報処理方法。
10. コンピュータを、請求項４乃至６何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。