JP7161920B2 - 店舗装置 - Google Patents

Description

本発明は、店舗を監視する店舗装置に関する。

従来、店舗に設置された店舗装置が、店舗内を撮影した撮影画像を解析し、撮影画像から検出した人物への対処が必要である場合、監視センタに設置された監視装置に通報を行う画像監視システムが利用されている。

例えば、特許文献１には、監視対象の状況を監視センタで画像により監視する画像監視システムが開示されている。この画像監視システムにおいて、画像監視装置は、利用者により非常通報操作があったときは、監視センタへの非常通報及び現画像の送出を行う。

また、特許文献２には、監視領域の画像から検知した人物の姿勢が記憶手段に記憶された姿勢と一致した場合に、強盗発生状況要因に基づいて非常通報の要否を判定する通報装置が開示されている。

特開２００１－１０９９７３号公報 特開２０１２－３５９５号公報

店舗を監視する店舗装置では、店舗内を撮影した撮影画像から検出された人物への対処が必要であるか否かをより高精度に判定することが求められている。

本発明の目的は、撮影画像から検出された人物への対処の必要性の度合いを高精度に算出することができる店舗装置を提供することにある。

かかる課題を解決するため本発明は、店舗を監視する店舗装置であって、店舗内を撮影した撮影画像を取得する画像取得部と、撮影画像から人物を検出する人物検出部と、予め設定されたモデルを用いて、撮影画像から、検出された人物への対処の必要性の度合いを示す要対処度を算出する要対処度算出部と、要対処度が閾値以上である場合、監視装置に自動通報を送信する自動通報部と、店舗の店員による通報指示に従って、監視装置に手動通報を送信する手動通報部と、手動通報部が手動通報を送信した場合、通報指示が実行される前の所定期間に撮影された撮影画像に基づいてモデルを更新する更新部と、を有する店舗装置を提供する。

この店舗装置において、自動通報部は、要対処度が閾値未満であり、且つ、閾値より小さい第２閾値以上である場合、店舗の店員に通報指示の実行を促し、更新部は、通報指示の実行が促されて手動通報が送信された場合と通報指示の実行が促されずに手動通報が送信された場合とでモデルの更新方法を変更することが好適である。

この店舗装置において、更新部は、自動通報部が店舗の店員に通報指示の実行を促し且つ手動通報部が手動通報を送信していない場合、検出された人物への対処が必要でないとみなして、通報指示の実行が促される際に使用された撮影画像に基づいてモデルを更新することが好適である。

この店舗装置において、店舗が混雑しているか否かを判定する混雑判定部をさらに有し、更新部は、自動通報部が、店舗の店員に通報指示の実行を促し、且つ、手動通報部が、手動通報を送信していない場合、混雑判定部が店舗が混雑していないと判定したときに限り、モデルを更新することが好適である。

本発明に係る店舗装置は、撮影画像から検出された人物への対処の必要性の度合いを高精度に算出することが可能となる。

画像監視システム１の全体システム構成を示す図である。 監視処理の動作を示すフローチャートの一例を示す図である。 画像監視システム１の動作シーケンスの一例を示す図である。 監視装置３０に表示される表示画面の一例である。

以下、実施形態に係る画像監視システムについて図を参照しつつ説明する。

図１は、実施形態に係る画像監視システム１の全体システム構成を示す図である。図１に示すように、画像監視システム１は、一又は複数の店舗のそれぞれに設置される一又は複数の店舗装置１０と、構内ＬＡＮ又はインターネット等の通信ネットワークを介して各店舗装置１０と接続される監視装置３０とを有する。また、各店舗装置１０には、一又は複数の撮像装置２１と、音出力装置２２と、操作装置２３と、一又は複数の端末装置２４とが接続される。

店舗装置１０は、例えばパーソナルコンピュータ等であり、インタフェース部１１と、第１通信部１２と、第１記憶部１３と、第１制御部１４とを有する。

インタフェース部１１は、例えばＵＳＢ等のシリアルバス規格に準じるインタフェース回路を有し、撮像装置２１、音出力装置２２、操作装置２３及び／又は端末装置２４と通信接続して各種の情報を送受信する。なお、インタフェース部１１は、シリアルバス規格に準じるインタフェース回路の代わりに、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ等の近距離無線通信規格に準じるインタフェース回路を有してもよい。

第１通信部１２は、イーサネット（登録商標）などの各種の通信インタフェース回路を有し、通信ネットワークを介して監視装置３０と各種の信号を送受信する。

第１記憶部１３は、ＲＯＭ、ＲＡＭ等の半導体メモリ、磁気ディスク（ＨＤＤ）、又はＣＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ等の光ディスクドライブ及びその記録媒体を有する。第１記憶部１３は、店舗装置１０を制御するためのコンピュータプログラム及び各種データを記憶し、第１制御部１４との間でこれらの情報を入出力する。コンピュータプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第１記憶部１３にインストールされてもよい。また、記憶部１５は、データとして、モデル１３１及び背景画像１３２等を記憶する。
モデル１３１は、店舗内を撮影した撮影画像から検出された人物への対処の必要性の度合いを示す要対処度を算出するために使用される判定モデルであり、予め設定される。対処が必要な人物とは、例えば不審人物、又は、困っている人物等である。不審人物とは、例えば長時間滞留している人物、刃物等の凶器を所持している人物、奇声を発する人物、サングラスもしくはマスク等で顔を覆っている人物、又は、万引き等の窃盗行為を画策して周辺を観察している人物等である。困っている人物とは、例えば何かを探してうろうろしている人物、又は、体調不良等のため、うずくまっている人物等である。
背景画像１３２は、各撮像装置２１が、動物体が存在しないときに店舗内を撮影した画像である。

第１制御部１４は、ＣＰＵ、ＭＰＵ等のプロセッサと、ＲＯＭ、ＲＡＭ等のメモリと、その周辺回路とを有し、店舗装置１０の各種信号処理を実行する。第１制御部１４は、プロセッサ上で動作するプログラムの機能モジュールとして実装される手動通報手段１４１、画像取得手段１４２、人物検出手段１４３、要対処度算出手段１４４、自動通報手段１４５、更新手段１４６及び混雑判定手段１４７等を有する。なお、第１制御部１４として、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等が用いられてもよい。

撮像装置２１は、店舗装置１０が設置される店舗に固定設置され、店舗内を撮影するカメラである。撮像装置２１は、ＣＣＤ素子またはＣ－ＭＯＳ素子など、可視光に感度を有する光電変換素子と、その光電変換素子上に像を結像する結像光学系と、光電変換素子から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器とを有する。撮像装置２１は、撮影したＲＧＢ各色の画像を各画素が０～２５５の範囲の輝度値を有するデジタルの撮影画像に変換して店舗装置１０へ出力する。

音出力装置２２は、店舗装置１０が設置される店舗に設置され、店舗内に音声を出力するスピーカである。音出力装置２２は、店舗装置１０から音声信号を受信し、受信した音声信号に従って、店員又は客等の店舗内の人物に音声を出力する。

操作装置２３は、店舗装置１０が設置される店舗内の、特に店員が操作するレジの周辺等に設置され、店員の通報指示を受け付けるボタンである。操作装置２３は、受け付けた通報指示に応じた通報指示信号を店舗装置１０へ出力する。本実施形態では、操作装置２３は、通報ボタンであり、店員により押下されると、通報指示信号を店舗装置１０へ出力する。

端末装置２４は、店舗装置１０の店員により携帯される端末であり、例えばインカム（インターコミュニケーション）、スマートフォン等である。端末装置２４は、店舗装置１０と接続するためのインタフェースと、店員に通知を行うための表示装置及び／又は音声出力装置等の通知部と、それらを制御するためのプロセッサとを有する。端末装置２４は、店舗装置１０から通知信号を受信し、受信した通知信号に従って、店員に画像又は音声による通知を行う。

なお、撮像装置２１、音出力装置２２、操作装置２３及び／又は端末装置２４は、店舗装置１０と別個に設けられるのでなく、店舗装置１０と一体に設けられてもよい。

監視装置３０は、例えばサーバ等であり、第２通信部３１と、操作部３２と、表示部３３と、第２記憶部３４と、第２制御部３５とを有する。

第２通信部３１は、第１通信部１２と同様の通信インタフェース回路を有し、通信ネットワークを介して店舗装置１０と各種の信号を送受信する。

操作部３２は、例えばタッチパネル、マウス、キーボード等であり、監視センタの監視員による操作を受け付け、受け付けた操作に応じた信号を第２制御部３５に送る。

表示部３３は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等であり、第２制御部３５からの指示に従って、店舗装置１０から受信した通報、撮影画像等を表示する。

第２記憶部３４は、第１記憶部１３と同様の半導体メモリ、磁気ディスク又は光ディスクドライブ及びその記録媒体を有する。第２記憶部３４は、監視装置３０を制御するためのコンピュータプログラム及び各種データを記憶し、第２制御部３５との間でこれらの情報を入出力する。コンピュータプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第２記憶部３４にインストールされてもよい。

第２制御部３５は、第１制御部１４と同様のプロセッサ、メモリ及び周辺回路を有し、監視装置３０の各種信号処理を実行する。第２制御部３５は、プロセッサ上で動作するプログラムの機能モジュールとして実装される評価手段３５１等を有する。

図２は、店舗装置１０による監視処理の動作を示すフローチャートの一例を示す図である。以下、図２に示したフローチャートを参照しつつ、本実施形態による登録処理の動作を説明する。なお、以下に説明する動作のフローは、第１記憶部１３に予め記憶されているプログラムに基づいて、主に第１制御部１４により、店舗装置１０の各部と協同して実行される。

まず、手動通報手段１４１は、インタフェース部１１を介して操作装置２３から店舗の店員による通報指示が入力されたか否かを判定する（ステップＳ１０１）。店舗の店員による通報指示が入力された場合、手動通報手段１４１は、店員により通報が指示されたことを示す手動通報を監視装置３０に送信することを決定し（ステップＳ１０２）、処理をステップＳ１０１へ戻す。手動通報には、入力店舗の識別情報が含まれる。さらに、手動通報には、通報を指示した店員の勤務スケジュール情報等に基づく識別情報が含まれてもよい。この場合、手動通報手段１４１は、後述する処理において、監視装置３０に手動通報を送信する。このように、手動通報手段１４１は、店舗の店員による指示に従って、監視装置３０に手動通報を送信する。

一方、操作装置２３から店舗の店員による通報指示が入力されていない場合、画像取得手段１４２は、撮像装置２１が店舗内を撮影した撮影画像をインタフェース部１１を介して撮像装置２１から取得する（ステップＳ１０３）。本実施形態では、画像取得手段１４２は、直前の所定期間（例えば１０秒間）に撮影された複数の撮影画像を取得する。

次に、人物検出手段１４３は、撮影画像から人物を検出する（ステップＳ１０４）。人物検出手段１４３は、撮影画像と、その撮影画像を撮影した撮像装置２１が撮影した背景画像１３２との間で、対応画素間の輝度差を求め、各画素の画素値がその輝度差の絶対値で表される差分画像を生成する。人物検出手段１４３は、撮影画像において、対応する差分画像内の画素値が所定の閾値以上となる領域を動物体領域として検出する。例えば、所定の閾値は、差分画像の各画素値の平均値とすることができる。人物検出手段１４３は、検出した動物体領域が、人物に対応する所定範囲の大きさを有する場合、その動物体領域を人物が写っている人物領域として検出する。
また、人物検出手段１４３は、画像取得手段１４２が順次取得した撮影画像において、検出した各人物領域に対して公知のトラッキング技術を用いて追跡処理を実行する。人物検出手段１４３は、例えば、最新の撮影画像内の人物領域のそれぞれについて、その人物領域の重心位置と、直前の撮影画像から検出された人物領域の重心位置との距離を算出し、距離が所定の閾値以下である人物領域を同一人物による人物領域として対応付ける。なお、人物検出手段１４３は、オプティカルフロー、パーティクルフィルタ等の方法を用いて追跡処理を実行してもよい。
撮影画像から人物が検出されなかった場合、人物検出手段１４３は、処理をステップＳ１０１へ戻す。

一方、撮影画像から人物が検出された場合、要対処度算出手段１４４は、予め設定されたモデル１３１を用いて、撮影画像から、検出した各人物の要対処度を算出する（ステップＳ１０５）。

店舗装置１０は、モデル１３１として、強化学習により事前に学習された学習モデルを使用する。店舗装置１０は、例えば、強化学習としてＱ学習を使用し、学習モデルとして行動価値関数を使用する。Ｑ学習では、環境の状態ｓと、その状態ｓで選択される行動ａとを独立変数として、状態ｓで行動ａを選択した場合の行動の価値を表す行動価値関数Ｑ（ｓ，ａ）が学習される。Ｑ学習では、状態ｓと行動ａとの相関性が未知の状態で学習が開始され、任意の状態ｓで種々の行動ａを選択する試行錯誤を繰り返すことにより、行動価値関数Ｑが反復して更新される。また、Ｑ学習では、ある状態ｓである行動ａが選択された場合に、報酬ｒが得られるように構成され、より高い報酬ｒが得られる行動ａが選択されるように、行動価値関数Ｑが学習される。
行動価値関数Ｑの更新式は、以下の式（１）のように表される。

式（１）において、ｓ_t及びａ_tはそれぞれ時刻ｔにおける状態及び行動であり、行動ａ_tにより状態はｓ_tからｓ_t+1に変化する。ｒ_t+1は、状態がｓ_tからｓ_t+1に変化したことで得られる報酬である。ｍａｘＱの項は、時刻ｔ＋１で最大の価値Ｑになる（と時刻ｔで考えられている）行動ａを行ったときのＱを意味する。α及びγはそれぞれ学習係数及び割引率であり、０＜α≦１、０＜γ≦１で任意に設定される。

店舗装置１０には、対処が必要である人物が写っている画像に対する行動価値関数Ｑ₁と、対処が必要である人物が写っていない画像に対する行動価値関数Ｑ₂とが設定される。行動価値関数Ｑ₁は、対処が必要である人物が写っているサンプル画像群を複数用いて事前に学習され、行動価値関数Ｑ₂は、対処が必要である人物が写っていないサンプル画像群を複数用いて事前に学習される。各サンプル画像群は、各撮像装置２１により所定期間に撮影された連続する撮影画像のセットである。店舗装置１０は、各撮影画像が撮影された時刻を時刻ｔとし、時刻ｔにおける撮影画像から検出された人物領域の重心位置を状態ｓ_tとし、各人物領域の重心位置が、時刻ｔにおける撮影画像から検出された人物領域の重心位置から時刻ｔ＋１における撮影画像から検出された人物領域の重心位置へ移動したことを行動ａ_tとして使用する。また、店舗装置１０は、サンプル画像群における最後の行動ａの報酬ｒとして０より大きい値を設定し、他の行動ａの報酬ｒとして０を設定する。

店舗装置１０は、全ての状態ｓと各状態ｓにおいて取り得る行動ａとの全組合せについて、Ｑ（ｓ，ａ）の初期値をランダムに設定する。店舗装置１０は、一つのサンプル画像群に含まれる各画像を時刻順に参照し、各画像から検出された人物領域に対応するＱ（ｓ，ａ）を、上記の式（１）に従って更新していく。店舗装置１０は、対処が必要である人物が写っている全てのサンプル画像群を用いて、行動価値関数Ｑ₁（ｓ，ａ）を更新し、最終的に更新された各Ｑ₁（ｓ，ａ）の値（行動価値）の組合せをモデル１３１として第１記憶部１３に記憶する。同様に、店舗装置１０は、対処が必要である人物が写っていない全てのサンプル画像群を用いて、行動価値関数Ｑ₂（ｓ，ａ）を更新し、最終的に更新された各Ｑ₂（ｓ，ａ）の値（行動価値）の組合せをモデル１３１として第１記憶部１３に記憶する。

要対処度算出手段１４４は、画像取得手段１４２が取得した各撮影画像から検出された各人物の人物領域の重心位置を状態ｓとし、その重心位置から、次の撮影画像から検出されたその人物の人物領域の重心位置へ移動したことを行動ａとして特定する。要対処度算出手段１４４は、モデル１３１を参照し、特定した状態ｓと行動ａとの組合せに対応するＱ₁（ｓ，ａ）の値（行動価値）と、Ｑ₂（ｓ，ａ）の値（行動価値）とを特定する。要対処度算出手段１４４は、特定したＱ₁（ｓ，ａ）の値（行動価値）からＱ₂（ｓ，ａ）の値（行動価値）を減算した値を、その組合せに対応する行動価値として算出する。要対処度算出手段１４４は、検出された人物毎に、各撮影画像について算出したその人物に対する行動価値の総和を算出し、算出した総和の中の最大値を要対処度として算出する。即ち、要対処度は、撮影画像に対処が必要である人物が写っている可能性が高い程、高くなるように算出される。

次に、自動通報手段１４５は、算出された要対処度が閾値以上であるか否かを判定する（ステップＳ１０６）。閾値は、事前の実験による実験結果に基づいて予め設定される。何れかの人物について算出された要対処度が閾値以上である場合、自動通報手段１４５は、店舗装置１０が撮影画像に基づいて通報が必要であると判定したことを示す自動通報を監視装置３０に送信することを決定し（ステップＳ１０７）、処理をステップＳ１０１へ戻す。自動通報には、入力店舗の識別情報が含まれる。さらに、自動通報には、行動価値の総和が閾値又は第２閾値以上である人物の識別情報（例えば、撮影画像における人物領域の座標）が含まれてもよい。この場合、自動通報手段１４５は、後述する処理において、監視装置３０に自動通報を送信する。
一方、全ての人物について算出された要対処度が閾値未満である場合、自動通報手段１４５は、要対処度が、閾値より小さい第２閾値以上であるか否かを判定する（ステップＳ１０８）。第２閾値は、事前の実験による実験結果に基づいて予め設定される。全ての人物について算出された要対処度が第２閾値未満である場合、自動通報手段１４５は、通報を監視装置３０に送信しないことを決定し（ステップＳ１０９）、処理をステップＳ１０１へ戻す。
一方、何れかの人物について算出された要対処度が第２閾値以上である場合、自動通報手段１４５は、店舗の各店員に通報指示の実行を促すメッセージを、インタフェース部１１を介して各店員が所持する端末装置２４に送信し、通知する（ステップＳ１１０）。各端末装置２４は、通報指示の実行を促すメッセージを受信すると、受信したメッセージを表示又は音声出力し、各店員に通知する。このように、自動通報手段１４５は、要対処度が第２閾値以上である場合、所定の基準に従って、監視センタの監視装置３０に自動通報を送信すること、及び、店舗の店員の端末装置２４に通報指示の実行を促すことの内の何れか一方を選択して実行する。特に、自動通報手段１４５は、要対処度が閾値以上である場合、監視装置３０に自動通報を送信することを選択し、要対処度が閾値未満である場合、店舗の店員の端末装置２４に通報指示の実行を促すことを選択する。

次に、自動通報手段１４５は、インタフェース部１１を介して操作装置２３又は端末装置２４から通報指示信号を受信したか否かを判定する（ステップＳ１１１）。通報指示信号を受信した場合、自動通報手段１４５は、手動通報を監視装置３０に送信することを決定し（ステップＳ１１２）、処理をステップＳ１０１へ戻す。この場合、手動通報手段１４１は、後述する処理において、監視装置３０に手動通報を送信する。この場合の手動通報には、行動価値の総和が第２閾値以上である人物の識別情報が含まれてもよい。
一方、通報指示信号を受信していない場合、自動通報手段１４５は、端末装置２４にメッセージを送信してから所定時間（例えば１０秒間）が経過したか否かを判定する（ステップＳ１１３）。所定時間が経過していない場合、自動通報手段１４５は、処理をステップＳ１１１に戻し、再度、通報指示信号を受信したか否かを判定する。

一方、所定時間が経過した場合、即ち店員が通報指示を実行しなかった場合、混雑判定手段１４７は、撮影画像から、店舗が混雑している度合いを示す混雑度を算出する（ステップＳ１１４）。例えば、混雑判定手段１４７は、人物検出手段１４３により撮影画像から検出された人物の数を混雑度として算出する。なお、混雑判定手段１４７は、撮影画像から検出された人物の内、レジ前等の予め設定された所定範囲内に位置する人物の数を混雑度として算出してもよい。また、混雑判定手段１４７は、所定範囲内に位置する人物の重みが大きくなるように、撮影画像から検出された各人物を重み付けして混雑度を算出してもよい。
次に、混雑判定手段１４７は、算出した混雑度に基づいて、店舗が混雑しているか否かを判定する（ステップＳ１１５）。混雑判定手段１４７は、混雑度が所定閾値以上である場合、店舗が混雑していると判定し、混雑度が所定閾値未満である場合、店舗が混雑していないと判定する。

店舗が混雑していると判定された場合、更新手段１４６は、処理をステップＳ１０１へ戻す。一方、店舗が混雑していないと判定された場合、更新手段１４６は、通報指示の実行が促される際に使用された撮影画像に基づいて、第１記憶部１３に記憶されたモデル１３１を更新し（ステップＳ１１６）、処理をステップＳ１０１に戻す。
即ち、更新手段１４６は、自動通報手段１４５が店舗の店員に通報指示の実行を促し且つ手動通報手段１４１が監視装置３０に手動通報を送信していない場合、撮影画像から検出された人物への対処が不要であるとみなして、モデル１３１を更新する。但し、自動通報手段１４５が店舗の店員に通報指示の実行を促し且つ手動通報手段１４１が手動通報を送信していない場合、混雑判定手段１４７が店舗が混雑していないと判定したときに限り、モデル１３１を更新する。これにより、更新手段１４６は、店員が多忙であるために通報指示を実行できなかった場合に、モデル１３１を誤って更新することを抑制できる。

更新手段１４６は、モデル１３１の初期設定時と同様にして、モデル１３１を更新する。但し、更新手段１４６は、店舗の各店員に通報指示の実行を促すメッセージが端末装置２４に送信された時及びその直前の所定期間に撮影された撮影画像を用いてモデル１３１を更新する。なお、更新手段１４６は、行動価値の総和が第２閾値以上である人物の人物領域のみを用いてモデル１３１を更新してもよい。
更新手段１４６は、各撮影画像が撮影された時刻を時刻ｔとし、時刻ｔにおける撮影画像から検出された人物領域の重心位置を状態ｓ_tとし、各人物領域の重心位置が、時刻ｔにおける撮影画像から検出された人物領域の重心位置から、時刻ｔ＋１における撮影画像から検出された人物領域の重心位置へ移動したことを行動ａ_tとして使用する。更新手段１４６は、受信した判定結果に対応する各撮影画像の内の最後の撮影画像に係る行動ａの報酬ｒとして０より大きい値を設定し、他の行動ａの報酬ｒとして０を設定する。
更新手段１４６は、受信した判定結果に対応する各撮影画像を時刻順に参照し、各撮影画像から検出された人物領域に対応するＱ（ｓ，ａ）を、上記の式（１）に従って更新していく。撮影画像に写っている人物に対する対処が不要であるとみなされているため、更新手段１４６は、行動価値関数Ｑ₂（ｓ，ａ）を更新し、モデル１３１を、最終的に更新された各Ｑ₂（ｓ，ａ）の値（行動価値）の組合せに更新する。
これにより、更新手段１４６は、対処が必要な人物が写っていない撮影画像について通報が送信されにくくなるように、モデル１３１を更新することが可能となる。

図３は、画像監視システム１の動作シーケンスの一例を示す図である。この動作シーケンスは、予め各装置の各記憶部に記憶されているプログラムに基づいて、主に各装置の各制御部により、店舗装置１０及び監視装置３０の各要素と協働して実行される。この動作シーケンスは、店舗装置１０が、監視処理において手動通報又は自動通報を監視装置３０に送信することを決定した場合に実行される。

まず、店舗装置１０の自動通報手段１４５は、図２のステップＳ１０９において自動通報を送信することが決定された場合、自動通報と、自動通報を送信することを決定する際に使用された撮影画像とを第１通信部１２を介して監視装置３０に送信する（ステップＳ２０１）。その場合、撮影画像として、自動通報が送信された時及びその直前の所定期間に撮影された画像と、ライブ画像とが合わせて送信される。

次に、監視装置３０の評価手段３５１は、第２通信部３１を介して店舗装置１０から自動通報及び撮影画像を受信した場合、受信した通報を示す情報及び撮影画像を表示部３３に表示する（ステップＳ２０２）。

図４は、監視装置３０に表示される表示画面の一例である。
図４に示すように、表示画面４００には、受信した通報を示す情報４０１、自動通報或いは手動通報による通報時の撮影画像４０２、ライブ映像を表示するライブ画像４０３、音声通知ボタン４０４、通報ボタン４０５及び終了ボタン４０６等が表示される。
情報４０１には、通報を送信した店舗装置１０が設置された店舗の識別情報と、その店舗装置１０から受信した通報が手動通報であるか自動通報であるかとが表示される。なお、店舗装置１０から受信した通報が手動通報である場合、情報４０１には、さらに通報を指示した店員もしくは端末装置２４の識別情報が表示されてもよい。また、店舗装置１０から受信した通報に、行動価値の総和が閾値又は第２閾値以上である人物の識別情報が含まれている場合、情報４０１には、さらにその人物の識別情報が表示されてもよい。
監視員は、音声通知ボタン４０４を押下することにより、店舗装置１０を介して音出力装置２２に所定の音声を出力させることができる。
監視員は、通報ボタン４０５を押下することにより、監視装置３０から、警察等に設置された他の装置（不図示）に通報を送信させることができる。
監視員は、終了ボタン４０６を押下することにより、表示画面４００の表示を終了させることができる。

店舗装置１０の手動通報手段１４１は、図２のステップＳ１０２又はＳ１１２において手動通報を送信することが決定された場合、手動通報と、手動通報を送信することを決定する際に使用された撮影画像とを第１通信部１２を介して監視装置３０に送信する（ステップＳ２０３）。ステップＳ１０２において手動通報を送信することが決定された場合、撮影画像として、手動通報前に撮影され且つ人物が検出された画像が送信される。ステップＳ１１２において手動通報を送信することが決定された場合、撮影画像として、店舗の各店員に通報指示の実行を促すメッセージが端末装置２４に送信された時及びその直前の所定期間に撮影された画像が送信される。

次に、監視装置３０の評価手段３５１は、第２通信部３１を介して店舗装置１０から手動通報及び撮影画像を受信した場合、受信した通報を示す情報及び撮影画像を含む表示画面４００を表示部３３に表示する（ステップＳ２０４）。

店舗装置１０の更新手段１４６は、監視装置３０へ手動通報を送信した場合、撮影画像から検出された人物への対処が必要であるとみなして、手動通報に対応する撮影画像に基づいて、第１記憶部１３に記憶されたモデル１３１を更新する（ステップＳ２０５）。
図２のステップＳ１１２で手動通報を送信することが決定された場合、通報指示の実行が促されて手動通報が送信された場合、更新手段１４６は、モデル１３１を更新する度合いとして第１度合いを設定する。また、更新手段１４６は、モデル１３１の更新に使用する画像として、店舗の各店員に通報指示の実行を促すメッセージが端末装置２４に送信された時及びその直前の所定期間に撮影された撮影画像を設定する。更新手段１４６は、モデル１３１の更新に使用する画像として、行動価値の総和が第２閾値以上である人物の人物領域のみを設定してもよい。
図２のステップＳ１０２で手動通報を送信することが決定された場合、即ち通報指示の実行が促されずに手動通報が送信された場合、更新手段１４６は、モデル１３１を更新する度合いとして第２度合いを設定する。第２度合いは、第１度合いより大きい。また、更新手段１４６は、モデル１３１の更新に使用する画像として、通報指示が実行される前、即ち手動通報前に撮影され且つ人物が検出された撮影画像を設定する。
このように、評価結果が手動通報に対応する場合、更新手段１４６は、モデル１３１の更新に使用する画像として、通報指示が実行される前の所定期間に撮影された撮影画像を設定する。

更新手段１４６は、図２のステップＳ１１６の処理と同様にして、モデル１３１を更新する。但し、更新手段１４６は、設定した度合い、及び、手動通報に対応する撮影画像に基づいてモデル１３１を更新する。この場合、撮影画像に写っている人物に対する対処が必要であるとみなされているため、更新手段１４６は、行動価値関数Ｑ₁（ｓ，ａ）を更新し、モデル１３１を、最終的に更新された各Ｑ₁（ｓ，ａ）の値（行動価値）の組合せに更新する。
また、更新手段１４６は、モデル１３１を更新する度合いを第１度合いに設定した場合、評価結果に対応する各撮影画像の内の最後の撮影画像に係る行動ａの報酬ｒとして第１値を設定する。また、更新手段１４６は、モデル１３１を更新する度合いを第２度合いに設定した場合、評価結果に対応する各撮影画像の内の最後の撮影画像に係る行動ａの報酬ｒとして第１値より大きい第２値を設定する。

このように、更新手段１４６は、通報指示の実行が促されて手動通報が送信された場合と通報指示の実行が促されずに手動通報が送信された場合とでモデル１３１の更新方法を変更する。特に、更新手段１４６は、評価結果が、通報指示の実行が促されずに手動通報が送信された場合は、通報指示の実行が促されて手動通報が送信された場合より、モデル１３１を更新する度合いを大きくする。通報指示の実行が促されていないにも関わらず、店員により自発的に手動通報が送信される場合、店舗内に対処が必要な人物が存在している可能性が高い。したがって、更新手段１４６は、モデル１３１を適切に更新することが可能となる。
なお、更新手段１４６は、通報指示の実行が促されて手動通報が送信された場合に、通報指示の実行が促されずに手動通報が送信された場合より、モデル１３１を更新する度合いを大きくしてもよい。その場合、第２度合いは、第１度合いより小さい値に設定される。モデル１３１が十分に学習されると、通報指示の実行が促されている場合の方が、撮影画像に対処が必要な人物が写っている可能性が高くなる。したがって、更新手段１４６は、モデル１３１を適切に更新することが可能となる。

以上により、画像監視システム１の動作シーケンスは終了する。
なお、店舗装置１０は、図２のステップＳ１０８～Ｓ１１６の処理を省略し、要対処度が閾値未満である場合、監視装置３０に通報を送信しないことを決定してもよい。また、店舗装置１０は、図２のステップＳ１１４～Ｓ１１５の処理を省略し、店舗が混雑しているか否かに関わらずモデル１０３を更新してもよい。

また、監視装置３０は、図２のステップＳ２０３において店舗装置１０から手動通報がなされたとき、監視時間を店舗装置１０に送信してもよい。その場合、ステップＳ２０５において、更新手段１４６は、監視装置から受信した監視時間に基づいて、モデル１３１を更新する度合いを変更してもよい。監視時間が長い場合、監視員は撮影画像に写っている人物に対して対処が必要であるか否かを判定するために長時間を要しており、その撮影画像には人物の行動が顕著に表れていない可能性が高い。逆に、監視時間が短い場合、監視員は撮影画像に写っている人物に対して対処が必要であるか否かを短時間で判定しており、撮影画像には人物の行動が顕著に表れている可能性が高い。
そこで、更新手段１４６は、監視時間が短い程、モデル１３１を更新する度合いを大きくし、監視時間が長い程、モデル１３１を更新する度合いを小さくする。例えば、更新手段１４６は、監視時間が短い程、判定結果に対応する各撮影画像の内の最後の撮影画像に係る行動ａの報酬ｒとして大きい値を設定し、監視時間が長い程、判定結果に対応する各撮影画像の内の最後の撮影画像に係る行動ａの報酬ｒとして小さい値を設定する。
これにより、更新手段１４６は、モデル１３１をより効率良く更新することができる。

以上説明してきたように、本発明に係る店舗装置１０は、モデル１３１を用いて撮影画像から算出した要対処度に基づいて自動通報を監視装置３０に送信するとともに、店舗の店員による通報指示に従って手動通報を監視装置３０に送信する。店舗装置１０は、手動通報を送信した場合、撮影画像から検出された人物への対処が必要であるとみなしてモデル１３１を更新する。これにより、店舗装置１０は、モデル１３１を適切に更新することが可能となり、その結果、要対処度を高精度に算出することが可能となる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されない。本実施形態では、モデル１３１が店舗装置１０に記憶される例について説明したが、モデル１３１は、外部装置に記憶され、クラウドコンピューティングの形態で利用されてもよい。その場合、要対処度算出手段１４４は、人物領域を含む画像を第１通信部１２を介して外部装置に送信し、外部装置により算出された要対処度を第１通信部１２を介して外部装置から受信する。また、更新手段１４６は、撮影画像を第１通信部１２を介して外部装置に送信し、モデル１３１を外部装置に更新させる。これにより、画像監視システムは、十分な処理速度及び記憶容量を有さない装置を店舗装置１０として利用することができる。

また、図２のステップＳ１０６において、自動通報手段１４５は、要対処度が閾値以上であるか否かでなく、撮影画像に写っている人物が不審人物であるか困っている人物であるかを判定してもよい。
その場合、店舗装置１０には、不審人物が写っている画像に対する行動価値関数Ｑ₃と、困っている人物が写っている画像に対する行動価値関数Ｑ₄とが設定される。行動価値関数Ｑ₃は、不審人物が写っているサンプル画像群を複数用いて事前に学習され、行動価値関数Ｑ₄は、困っている人物が写っているサンプル画像群を複数用いて事前に学習される。行動価値関数Ｑ₃及びＱ₄は、行動価値関数Ｑ₁及びＱ₂と同様にして、設定される。要対処度算出手段１４４は、各撮影画像から検出された各人物領域について、Ｑ₃（ｓ，ａ）の値（行動価値）と、Ｑ₄（ｓ，ａ）の値（行動価値）とを特定する。要対処度算出手段１４４は、各撮影画像について算出した各人物に対するＱ₃（ｓ，ａ）の値（行動価値）の総和がＱ₄（ｓ，ａ）の値（行動価値）の総和以上である場合、その人物は不審人物であると判定する。一方、要対処度算出手段１４４は、Ｑ₃（ｓ，ａ）の値（行動価値）の総和がＱ₄（ｓ，ａ）の値（行動価値）の総和未満である場合、その人物は困っている人物であると判定する。
自動通報手段１４５は、撮影画像に写っている人物が不審人物である場合、ステップＳ１０７において自動通報を監視装置３０に送信することを決定し、撮影画像に写っている人物が困っている人物である場合、処理をステップＳ１０８へ移行し、要対処度が第２閾値以上であるか否かを判定する。
これにより、撮影画像に不審人物が写っていると推定される場合には、自動的に監視装置３０に通報され、監視員により適切な対処が行われる。一方、撮影画像に困っている人物が写っていると推定される場合には、まず店員に通知されて店員により対処が行われ、店員が必要と判断した場合には、さらに監視装置３０に通報される。したがって、画像監視システムでは、対処の必要がないにも関わらず、監視装置３０に通報されて監視員に負担をかけることが抑制される。

また、店舗装置１０は、学習モデルを事前に設定せずに、運用中に撮像された撮影画像、手動通報の実行結果、及び、監視装置３０から送信された評価結果のみに基づいて、モデル１３１を生成及び更新してもよい。画像監視システムの管理者は、新たに画像監視システムを構築する際に、学習モデルを事前学習しておく必要がないため、短期間且つ容易に画像監視システムを構築することができる。

また、図３のステップＳ２０３において、評価手段３５１は、評価結果、撮影画像及び／又は通報の種別（手動通報か自動通報か）を、通報を送信した店舗装置１０と異なる他の店舗装置１０に送信してもよい。その場合、他の店舗装置１０の更新手段１４６は、受信した評価結果、撮影画像及び通報の種別に基づいて、自装置が記憶するモデル１３１を更新する。これにより、画像監視システムは、店舗として全国展開する複数のチェーン店等を有する場合に、各店舗の店舗装置１０により取得されたデータを一元管理して水平展開し、各店舗装置１０が使用するモデル１３１を効率よく更新することができる。

また、図２のステップＳ１０５において、店舗装置１０は、強化学習により決定された学習モデル（行動価値関数）の代わりに、教師あり学習等の他の学習方式により決定された学習モデル（識別器）を使用して、撮影画像に対処の必要がある人物が写っているか否かを判定してもよい。
その場合、要対処度算出手段１４４は、画像が入力された場合に要対処度を出力するように事前学習された識別器により、要対処度を算出する。この識別器は、例えばディープラーニング等により、対処が必要である人物が写っている複数のサンプル画像、及び、対処が必要である人物が写っていない複数のサンプル画像を用いて事前学習され、モデル１３１として予め第１記憶部１３に記憶される。要対処度算出手段１４４は、人物検出手段１４３が検出した人物領域を含む画像を識別器に入力し、識別器から出力された要対処度を取得することにより、要対処度を算出する。
一方、図２のステップＳ１１６、図３のステップＳ２０５において、更新手段１４６は、モデル１３１として記憶された識別器を更新する。撮影画像に写っている人物に対する対処が必要である場合、更新手段１４６は、その撮影画像内の人物領域を、対処が必要である人物が写っているサンプル画像に追加して、識別器を再学習する。一方、撮影画像に写っている人物に対する対処が不要である場合、更新手段１４６は、その撮影画像内の人物領域を、対処が不要である人物が写っているサンプル画像に追加して、識別器を再学習する。
この場合も、画像監視システムは、モデル１３１を適切に更新することが可能となり、その結果、要対処度を高精度に算出することが可能となる。

または、店舗装置１０は、パターンマッチングにより撮影画像に対処の必要がある人物が写っているか否かを判定してもよい。
その場合、店舗装置１０は、対処が必要である人物が写っている複数の第１画像パターンと、対処が不要である人物が写っている複数の第２画像パターンとをモデル１３１として第１記憶部１３に記憶しておく。要対処度算出手段１４４は、撮影画像から検出した人物領域と、モデル１３１として記憶しておいた各画像パターンとの類似度を算出する。類似度は、例えば、人物領域と、画像パターンを人物領域と同じサイズに拡大／縮小した画像との正規化相互相関値とすることができる。要対処度算出手段１４４は、人物領域と各第１画像パターンの類似度の内の最大値を、人物領域と各第２画像パターンの類似度の内の最大値で除算した値を要対処度として算出する。
一方、図２のステップＳ１１６、図３のステップＳ２０５において、更新手段１４６は、モデル１３１として記憶された画像パターンを更新する。撮影画像に写っている人物に対する対処が必要である場合、更新手段１４６は、その撮影画像内の人物領域を第１画像パターンに追加する。一方、評価結果が、撮影画像に写っている人物に対する対処が不要である場合、更新手段１４６は、その撮影画像内の人物領域を第２画像パターンに追加する。
この場合も、画像監視システムは、モデル１３１を適切に更新することが可能となり、その結果、要対処度を高精度に算出することが可能となる。

以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１０ 店舗装置、１４１ 手動通報手段、１４２ 画像取得手段、１４３ 人物検出手段、１４４ 要対処度算出手段、１４５ 自動通報手段、１４６ 更新手段、１４７ 混雑判定手段、３０ 監視装置、３５１ 評価手段

Claims (4)

1. 店舗を監視する店舗装置であって、
   店舗内を撮影した撮影画像を取得する画像取得部と、
   前記撮影画像から人物を検出する人物検出部と、
   予め設定されたモデルを用いて、前記撮影画像から、前記検出された人物への対処の必要性の度合いを示す要対処度を算出する要対処度算出部と、
   前記要対処度が閾値以上である場合、監視装置に自動通報を送信する自動通報部と、
   店舗の店員による通報指示に従って、監視装置に手動通報を送信する手動通報部と、
   前記手動通報部が前記手動通報を送信した場合、前記通報指示が実行される前の所定期間に撮影された撮影画像に基づいて前記モデルを更新する更新部と、
   を有することを特徴とする店舗装置。
2. 前記自動通報部は、前記要対処度が前記閾値未満であり、且つ、前記閾値より小さい第２閾値以上である場合、店舗の店員に前記通報指示の実行を促し、
   前記更新部は、前記通報指示の実行が促されて前記手動通報が送信された場合と前記通報指示の実行が促されずに前記手動通報が送信された場合とで前記モデルの更新方法を変更する、請求項１に記載の店舗装置。
3. 前記更新部は、前記自動通報部が店舗の店員に前記通報指示の実行を促し且つ前記手動通報部が手動通報を送信していない場合、前記検出された人物への対処が必要でないとみなして、前記通報指示の実行が促される際に使用された撮影画像に基づいて前記モデルを更新する、請求項２に記載の店舗装置。
4. 店舗が混雑しているか否かを判定する混雑判定部をさらに有し、
   前記更新部は、前記自動通報部が店舗の店員に前記通報指示の実行を促し且つ前記手動通報部が前記手動通報を送信していない場合、前記混雑判定部が店舗が混雑していないと判定したときに限り、前記モデルを更新する、請求項３に記載の店舗装置。

Images