JP7220057B2 - image surveillance system - Google Patents

Description

本発明は、店舗を監視する画像監視システムに関する。 The present invention relates to an image monitoring system for monitoring a store.

従来、店舗に設置された店舗装置が、店舗内を撮影した撮影画像を解析し、撮影画像から検出した人物への対処が必要である場合、監視センタに設置された監視装置に通報を行う画像監視システムが利用されている。 Conventionally, a store device installed in a store analyzes a photographed image of the inside of the store, and when it is necessary to deal with a person detected from the photographed image, an image for reporting to a monitoring device installed in a monitoring center. A monitoring system is used.

例えば、特許文献１には、監視対象の状況を監視センタで画像により監視する画像監視システムが開示されている。この画像監視システムにおいて、画像監視装置は、利用者により非常通報操作があったときは、監視センタへの非常通報及び現画像の送出を行う。 For example, Patent Literature 1 discloses an image monitoring system that monitors the status of a monitoring target using an image at a monitoring center. In this image monitoring system, an image monitoring device sends an emergency report to a monitoring center and a current image when an emergency report operation is performed by a user.

また、特許文献２には、監視領域の画像から検知した人物の姿勢が記憶手段に記憶された姿勢と一致した場合に、強盗発生状況要因に基づいて非常通報の要否を判定する通報装置が開示されている。 In addition, Patent Document 2 discloses a reporting device that determines whether or not an emergency report is necessary based on a robbery occurrence situation factor when the posture of a person detected from an image of a monitoring area matches the posture stored in a storage means. disclosed.

特開２００１－１０９９７３号公報JP-A-2001-109973 特開２０１２－３５９５号公報JP 2012-3595 A

店舗を監視する画像監視システムでは、店舗内を撮影した撮影画像から検出された人物への対処が必要であるか否かをより高精度に判定することが求められている。 In an image monitoring system for monitoring a store, it is required to more accurately determine whether or not a person detected from a photographed image of the inside of the store needs to be dealt with.

本発明の目的は、撮影画像から検出された人物への対処の必要性の度合いを高精度に算出することができる画像監視システムを提供することにある。 SUMMARY OF THE INVENTION It is an object of the present invention to provide an image monitoring system capable of calculating with high accuracy the degree of necessity of dealing with a person detected from a photographed image.

かかる課題を解決するため本発明は、店舗装置及び監視装置を有し、店舗を監視する画像監視システムであって、店舗装置は、店舗内を撮影した撮影画像を取得する画像取得部と、撮影画像から人物を検出する人物検出部と、予め設定されたモデルを用いて、撮影画像から、検出された人物への対処の必要性の度合いを示す要対処度を算出する要対処度算出部と、要対処度が閾値以上である場合、監視装置に自動通報を送信する自動通報部と、店舗の店員による通報指示に従って、監視装置に手動通報を送信する手動通報部と、を有し、監視装置は、店舗装置から自動通報又は手動通報を受信した場合、受信した自動通報又は手動通報を評価して評価結果を店舗装置に送信する評価部を有し、店舗装置は、監視装置から受信した評価結果及び自動通報が送信される前の所定期間又は通報指示が実行される前の所定期間に撮影された撮影画像に基づいてモデルを更新し、且つ、評価結果が手動通報に対応する場合と自動通報に対応する場合とでモデルの更新方法を変更する更新部をさらに有する画像監視システムを提供する。 In order to solve such problems, the present invention provides an image monitoring system for monitoring a store, having a store device and a monitoring device, wherein the store device includes an image acquisition unit for acquiring a captured image of the inside of the store; a person detection unit that detects a person from an image; and a handling requirement calculation unit that calculates a handling requirement level indicating the degree of necessity of handling the detected person from the captured image using a preset model. , an automatic notification unit that transmits an automatic notification to the monitoring device when the level of action required is equal to or higher than a threshold, and a manual notification unit that transmits a manual notification to the monitoring device according to a notification instruction from a store clerk, and monitors The device has an evaluation unit that, when receiving an automatic or manual notification from the store device, evaluates the received automatic or manual notification and transmits the evaluation result to the store device, and the store device receives from the monitoring device A case where the model is updated based on a photographed image taken during a predetermined period before the evaluation result and the automatic notification is sent or a predetermined period before the notification instruction is executed, and the evaluation result corresponds to the manual notification. Provided is an image monitoring system further comprising an updating unit that changes the method of updating a model depending on whether it corresponds to automatic notification.

この画像監視システムにおいて、更新部は、評価結果が手動通報に対応する場合は、評価結果が自動通報に対応する場合より、モデルを更新する度合いを大きくすることが好適である。 In this image monitoring system, the updating unit preferably updates the model more frequently when the evaluation result corresponds to the manual notification than when the evaluation result corresponds to the automatic notification.

この画像監視システムにおいて、自動通報部は、要対処度が閾値未満であり、且つ、閾値より小さい第２閾値以上である場合、店舗の店員に通報指示の実行を促し、更新部は、評価結果が、通報指示の実行が促されて送信された手動通報に対応する場合と通報指示の実行が促されずに送信された手動通報に対応する場合とでモデルの更新方法を変更することが好適である。 In this image monitoring system, the automatic notification unit prompts the store clerk to execute a notification instruction when the degree of action required is less than the threshold and is equal to or greater than a second threshold smaller than the threshold, and the update unit updates the evaluation result. However, it is preferable to change the model update method depending on whether the manual report is sent after prompting the execution of the report instruction or the manual report is sent without prompting the execution of the report instruction. is.

この画像監視システムにおいて、更新部は、自動通報部が店舗の店員に通報指示の実行を促し且つ手動通報部が手動通報を送信していない場合、検出された人物への対処が不要であるとみなして、モデルを更新することが好適である。 In this image monitoring system, if the automatic notification unit urges the store clerk to execute a notification instruction and the manual notification unit does not send a manual notification, the update unit determines that no action is required for the detected person. It is preferable to consider and update the model.

本発明に係る画像監視システムは、撮影画像から検出された人物への対処の必要性の度合いを高精度に算出することが可能となる。 INDUSTRIAL APPLICABILITY The image monitoring system according to the present invention enables highly accurate calculation of the degree of necessity of dealing with a person detected from a photographed image.

画像監視システム１の全体システム構成を示す図である。1 is a diagram showing an overall system configuration of an image monitoring system 1; FIG. 監視処理の動作を示すフローチャートの一例を示す図である。It is a figure which shows an example of the flowchart which shows operation|movement of a monitoring process. 画像監視システム１の動作シーケンスの一例を示す図である。4 is a diagram showing an example of an operation sequence of the image monitoring system 1; FIG. 監視装置３０に表示される表示画面の一例である。It is an example of a display screen displayed on the monitoring device 30 . 更新処理の動作を示すフローチャートの一例を示す図である。FIG. 10 is a diagram showing an example of a flowchart showing operation of update processing;

以下、実施形態に係る画像監視システムについて図を参照しつつ説明する。 An image monitoring system according to an embodiment will be described below with reference to the drawings.

図１は、実施形態に係る画像監視システム１の全体システム構成を示す図である。図１に示すように、画像監視システム１は、一又は複数の店舗のそれぞれに設置される一又は複数の店舗装置１０と、構内ＬＡＮ又はインターネット等の通信ネットワークを介して各店舗装置１０と接続される監視装置３０とを有する。また、各店舗装置１０には、一又は複数の撮像装置２１と、音出力装置２２と、操作装置２３と、一又は複数の端末装置２４とが接続される。 FIG. 1 is a diagram showing the overall system configuration of an image monitoring system 1 according to an embodiment. As shown in FIG. 1, an image monitoring system 1 connects one or more store devices 10 installed in one or more stores, and each store device 10 via a communication network such as a local LAN or the Internet. and a monitoring device 30 . In addition, one or a plurality of imaging devices 21 , a sound output device 22 , an operation device 23 , and one or a plurality of terminal devices 24 are connected to each store device 10 .

店舗装置１０は、例えばパーソナルコンピュータ等であり、インタフェース部１１と、第１通信部１２と、第１記憶部１３と、第１制御部１４とを有する。 The store apparatus 10 is, for example, a personal computer or the like, and has an interface section 11 , a first communication section 12 , a first storage section 13 and a first control section 14 .

インタフェース部１１は、例えばＵＳＢ等のシリアルバス規格に準じるインタフェース回路を有し、撮像装置２１、音出力装置２２、操作装置２３及び／又は端末装置２４と通信接続して各種の情報を送受信する。なお、インタフェース部１１は、シリアルバス規格に準じるインタフェース回路の代わりに、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ等の近距離無線通信規格に準じるインタフェース回路を有してもよい。 The interface unit 11 has an interface circuit conforming to a serial bus standard such as USB, and communicates with the imaging device 21, the sound output device 22, the operation device 23 and/or the terminal device 24 to transmit and receive various information. Note that the interface unit 11 may have an interface circuit conforming to a short-range wireless communication standard such as WiFi, Bluetooth (registered trademark), NFC, etc., instead of the interface circuit conforming to the serial bus standard.

第１通信部１２は、イーサネット（登録商標）などの各種の通信インタフェース回路を有し、通信ネットワークを介して監視装置３０と各種の信号を送受信する。 The first communication unit 12 has various communication interface circuits such as Ethernet (registered trademark), and transmits and receives various signals to and from the monitoring device 30 via a communication network.

第１記憶部１３は、ＲＯＭ、ＲＡＭ等の半導体メモリ、磁気ディスク（ＨＤＤ）、又はＣＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ等の光ディスクドライブ及びその記録媒体を有する。第１記憶部１３は、店舗装置１０を制御するためのコンピュータプログラム及び各種データを記憶し、第１制御部１４との間でこれらの情報を入出力する。コンピュータプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第１記憶部１３にインストールされてもよい。また、記憶部１５は、データとして、モデル１３１及び背景画像１３２等を記憶する。
モデル１３１は、店舗内を撮影した撮影画像から検出された人物への対処の必要性の度合いを示す要対処度を算出するために使用される判定モデルであり、予め設定される。対処が必要な人物とは、例えば不審人物、又は、困っている人物等である。不審人物とは、例えば長時間滞留している人物、刃物等の凶器を所持している人物、奇声を発する人物、サングラスもしくはマスク等で顔を覆っている人物、又は、万引き等の窃盗行為を画策して周辺を観察している人物等である。困っている人物とは、例えば何かを探してうろうろしている人物、又は、体調不良等のため、うずくまっている人物等である。
背景画像１３２は、各撮像装置２１が、動物体が存在しないときに店舗内を撮影した画像である。 The first storage unit 13 has a semiconductor memory such as ROM and RAM, a magnetic disk (HDD), or an optical disk drive such as CD-ROM and DVD-RAM and recording media thereof. The first storage unit 13 stores computer programs and various data for controlling the store apparatus 10 and inputs/outputs such information to/from the first control unit 14 . The computer program may be installed in the first storage unit 13 from a computer-readable portable recording medium such as CD-ROM, DVD-ROM, etc. using a known setup program or the like. The storage unit 15 also stores a model 131, a background image 132, and the like as data.
The model 131 is a determination model that is set in advance and is used to calculate a degree of need to deal with a person detected from a captured image of the inside of the store. A person who needs to be dealt with is, for example, a suspicious person or a person in trouble. Suspicious people include, for example, people who have stayed for a long time, people who have weapons such as knives, people who make strange noises, people who cover their faces with sunglasses or masks, or people who have committed theft such as shoplifting. It is a person or the like who is observing the surroundings by plotting. A person in need is, for example, a person who is looking for something, or a person who is crouched due to poor physical condition or the like.
The background image 132 is an image captured inside the store by each imaging device 21 when there is no moving object.

第１制御部１４は、ＣＰＵ、ＭＰＵ等のプロセッサと、ＲＯＭ、ＲＡＭ等のメモリと、その周辺回路とを有し、店舗装置１０の各種信号処理を実行する。第１制御部１４は、プロセッサ上で動作するプログラムの機能モジュールとして実装される手動通報手段１４１、画像取得手段１４２、人物検出手段１４３、要対処度算出手段１４４、自動通報手段１４５及び更新手段１４６等を有する。なお、第１制御部１４として、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等が用いられてもよい。 The first control unit 14 has processors such as CPU and MPU, memories such as ROM and RAM, and their peripheral circuits, and executes various signal processing of the store apparatus 10 . The first control unit 14 includes manual notification means 141, image acquisition means 142, person detection means 143, response level calculation means 144, automatic notification means 145, and update means 146, which are implemented as functional modules of a program that operates on the processor. etc. A DSP, LSI, ASIC, FPGA, or the like may be used as the first control unit 14 .

撮像装置２１は、店舗装置１０が設置される店舗に固定設置され、店舗内を撮影するカメラである。撮像装置２１は、ＣＣＤ素子またはＣ－ＭＯＳ素子など、可視光に感度を有する光電変換素子と、その光電変換素子上に像を結像する結像光学系と、光電変換素子から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器とを有する。撮像装置２１は、撮影したＲＧＢ各色の画像を各画素が０～２５５の範囲の輝度値を有するデジタルの撮影画像に変換して店舗装置１０へ出力する。 The imaging device 21 is a camera that is fixedly installed in the store where the store device 10 is installed and captures the inside of the store. The imaging device 21 includes a photoelectric conversion element sensitive to visible light, such as a CCD element or a C-MOS element, an imaging optical system that forms an image on the photoelectric conversion element, and an electric current output from the photoelectric conversion element. and an A/D converter that amplifies and analog-to-digital (A/D) converts the signal. The imaging device 21 converts the captured RGB color image into a digital captured image in which each pixel has a luminance value in the range of 0 to 255, and outputs the digital captured image to the store device 10 .

音出力装置２２は、店舗装置１０が設置される店舗に設置され、店舗内に音声を出力するスピーカである。音出力装置２２は、店舗装置１０から音声信号を受信し、受信した音声信号に従って、店員又は客等の店舗内の人物に音声を出力する。 The sound output device 22 is a speaker that is installed in the store where the store device 10 is installed and that outputs sound inside the store. The sound output device 22 receives an audio signal from the store device 10 and outputs audio to a person in the store, such as a salesclerk or a customer, according to the received audio signal.

操作装置２３は、店舗装置１０が設置される店舗内の、特に店員が操作するレジの周辺等に設置され、店員の通報指示を受け付けるボタンである。操作装置２３は、受け付けた通報指示に応じた通報指示信号を店舗装置１０へ出力する。本実施形態では、操作装置２３は、通報ボタンであり、店員により押下されると、通報指示信号を店舗装置１０へ出力する。 The operation device 23 is a button that is installed in the store where the store device 10 is installed, particularly around a cash register operated by a store clerk, and receives a notification instruction from the store clerk. The operation device 23 outputs to the store device 10 a notification instruction signal corresponding to the received notification instruction. In this embodiment, the operation device 23 is a report button, and outputs a report instruction signal to the store device 10 when pressed by the store clerk.

端末装置２４は、店舗装置１０の店員により携帯される端末であり、例えばインカム（インターコミュニケーション）、スマートフォン等である。端末装置２４は、店舗装置１０と接続するためのインタフェースと、店員に通知を行うための表示装置及び／又は音声出力装置等の通知部と、それらを制御するためのプロセッサとを有する。端末装置２４は、店舗装置１０から通知信号を受信し、受信した通知信号に従って、店員に画像又は音声による通知を行う。 The terminal device 24 is a terminal carried by a store clerk of the store device 10, and is, for example, an intercom (intercommunication), a smart phone, or the like. The terminal device 24 has an interface for connecting with the store device 10, a notification unit such as a display device and/or an audio output device for notifying the store clerk, and a processor for controlling them. The terminal device 24 receives the notification signal from the store device 10 and notifies the store clerk by image or sound according to the received notification signal.

なお、撮像装置２１、音出力装置２２、操作装置２３及び／又は端末装置２４は、店舗装置１０と別個に設けられるのでなく、店舗装置１０と一体に設けられてもよい。 Note that the imaging device 21 , the sound output device 22 , the operation device 23 and/or the terminal device 24 may not be provided separately from the store device 10 but may be provided integrally with the store device 10 .

監視装置３０は、例えばサーバ等であり、第２通信部３１と、操作部３２と、表示部３３と、第２記憶部３４と、第２制御部３５とを有する。 The monitoring device 30 is, for example, a server or the like, and has a second communication section 31 , an operation section 32 , a display section 33 , a second storage section 34 and a second control section 35 .

第２通信部３１は、第１通信部１２と同様の通信インタフェース回路を有し、通信ネットワークを介して店舗装置１０と各種の信号を送受信する。 The second communication section 31 has a communication interface circuit similar to that of the first communication section 12, and transmits/receives various signals to/from the store apparatus 10 via the communication network.

操作部３２は、例えばタッチパネル、マウス、キーボード等であり、監視センタの監視員による操作を受け付け、受け付けた操作に応じた信号を第２制御部３５に送る。 The operation unit 32 is, for example, a touch panel, a mouse, a keyboard, etc., receives operations by the monitoring staff of the monitoring center, and sends signals corresponding to the received operations to the second control unit 35 .

表示部３３は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等であり、第２制御部３５からの指示に従って、店舗装置１０から受信した通報、撮影画像等を表示する。 The display unit 33 is, for example, a liquid crystal display, an organic EL display, or the like, and displays information, captured images, and the like received from the store device 10 according to instructions from the second control unit 35 .

第２記憶部３４は、第１記憶部１３と同様の半導体メモリ、磁気ディスク又は光ディスクドライブ及びその記録媒体を有する。第２記憶部３４は、監視装置３０を制御するためのコンピュータプログラム及び各種データを記憶し、第２制御部３５との間でこれらの情報を入出力する。コンピュータプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第２記憶部３４にインストールされてもよい。 The second storage section 34 has a semiconductor memory similar to that of the first storage section 13, a magnetic disk or an optical disk drive, and its recording medium. The second storage unit 34 stores computer programs and various data for controlling the monitoring device 30 and inputs/outputs such information to/from the second control unit 35 . The computer program may be installed in the second storage unit 34 from a computer-readable portable recording medium such as CD-ROM, DVD-ROM, etc. using a known setup program or the like.

第２制御部３５は、第１制御部１４と同様のプロセッサ、メモリ及び周辺回路を有し、監視装置３０の各種信号処理を実行する。第２制御部３５は、プロセッサ上で動作するプログラムの機能モジュールとして実装される評価手段３５１等を有する。 The second control unit 35 has the same processor, memory and peripheral circuits as those of the first control unit 14 and executes various signal processing of the monitoring device 30 . The second control unit 35 has evaluation means 351 and the like implemented as functional modules of a program that runs on the processor.

図２は、店舗装置１０による監視処理の動作を示すフローチャートの一例を示す図である。以下、図２に示したフローチャートを参照しつつ、本実施形態による登録処理の動作を説明する。なお、以下に説明する動作のフローは、第１記憶部１３に予め記憶されているプログラムに基づいて、主に第１制御部１４により、店舗装置１０の各部と協同して実行される。 FIG. 2 is a diagram showing an example of a flowchart showing the operation of monitoring processing by the store apparatus 10. As shown in FIG. The operation of the registration process according to this embodiment will be described below with reference to the flowchart shown in FIG. The operation flow described below is executed mainly by the first control unit 14 in cooperation with each unit of the store apparatus 10 based on a program pre-stored in the first storage unit 13 .

まず、手動通報手段１４１は、インタフェース部１１を介して操作装置２３から店舗の店員による通報指示が入力されたか否かを判定する（ステップＳ１０１）。店舗の店員による通報指示が入力された場合、手動通報手段１４１は、店員により通報が指示されたことを示す手動通報を監視装置３０に送信することを決定し（ステップＳ１０２）、処理をステップＳ１０１へ戻す。手動通報には、入力店舗の識別情報が含まれる。さらに、手動通報には、通報を指示した店員の勤務スケジュール情報等に基づく識別情報が含まれてもよい。この場合、手動通報手段１４１は、後述する処理において、監視装置３０に手動通報を送信する。このように、手動通報手段１４１は、店舗の店員による指示に従って、監視装置３０に手動通報を送信する。 First, the manual notification means 141 determines whether or not a notification instruction is input from the store clerk from the operation device 23 via the interface section 11 (step S101). When the notification instruction is input by the store clerk, the manual notification means 141 determines to transmit a manual notification indicating that the notification has been instructed by the store clerk to the monitoring device 30 (step S102), and the process proceeds to step S101. return to The manual notification includes the identification information of the input store. Furthermore, the manual notification may include identification information based on the work schedule information of the clerk who instructed the notification. In this case, the manual notification means 141 transmits a manual notification to the monitoring device 30 in a process to be described later. In this manner, the manual reporting means 141 transmits manual reporting to the monitoring device 30 in accordance with instructions from the store clerk.

一方、操作装置２３から店舗の店員による通報指示が入力されていない場合、画像取得手段１４２は、撮像装置２１が店舗内を撮影した撮影画像をインタフェース部１１を介して撮像装置２１から取得する（ステップＳ１０３）。本実施形態では、画像取得手段１４２は、直前の所定期間（例えば１０秒間）に撮影された複数の撮影画像を取得する。 On the other hand, when the store clerk has not input a notification instruction from the operation device 23, the image acquiring means 142 acquires the image captured by the image capturing device 21 of the inside of the store from the image capturing device 21 via the interface unit 11 ( step S103). In this embodiment, the image acquisition unit 142 acquires a plurality of captured images captured during the immediately preceding predetermined period (for example, 10 seconds).

次に、人物検出手段１４３は、撮影画像から人物を検出する（ステップＳ１０４）。人物検出手段１４３は、撮影画像と、その撮影画像を撮影した撮像装置２１が撮影した背景画像１３２との間で、対応画素間の輝度差を求め、各画素の画素値がその輝度差の絶対値で表される差分画像を生成する。人物検出手段１４３は、撮影画像において、対応する差分画像内の画素値が所定の閾値以上となる領域を動物体領域として検出する。例えば、所定の閾値は、差分画像の各画素値の平均値とすることができる。人物検出手段１４３は、検出した動物体領域が、人物に対応する所定範囲の大きさを有する場合、その動物体領域を人物が写っている人物領域として検出する。
また、人物検出手段１４３は、画像取得手段１４２が順次取得した撮影画像において、検出した各人物領域に対して公知のトラッキング技術を用いて追跡処理を実行する。人物検出手段１４３は、例えば、最新の撮影画像内の人物領域のそれぞれについて、その人物領域の重心位置と、直前の撮影画像から検出された人物領域の重心位置との距離を算出し、距離が所定の閾値以下である人物領域を同一人物による人物領域として対応付ける。なお、人物検出手段１４３は、オプティカルフロー、パーティクルフィルタ等の方法を用いて追跡処理を実行してもよい。
撮影画像から人物が検出されなかった場合、人物検出手段１４３は、処理をステップＳ１０１へ戻す。 Next, the person detection means 143 detects a person from the photographed image (step S104). The person detection means 143 obtains the luminance difference between corresponding pixels between the photographed image and the background image 132 photographed by the imaging device 21 that photographed the photographed image, and the pixel value of each pixel is the absolute value of the luminance difference. Generates a difference image represented by a value. The person detection unit 143 detects, in the captured image, an area in which the pixel value in the corresponding difference image is equal to or greater than a predetermined threshold as a moving object area. For example, the predetermined threshold can be the average value of each pixel value of the difference image. When the detected moving object area has a size within a predetermined range corresponding to a person, the person detecting means 143 detects the moving object area as a person area containing a person.
Further, the person detection unit 143 executes tracking processing using a known tracking technique for each person region detected in the photographed images sequentially acquired by the image acquisition unit 142 . For example, for each person area in the latest captured image, the person detection unit 143 calculates the distance between the centroid position of the person area and the centroid position of the person area detected from the immediately preceding captured image. A person area that is equal to or less than a predetermined threshold value is associated as a person area of the same person. Note that the person detection unit 143 may perform tracking processing using methods such as optical flow and particle filtering.
If a person is not detected from the captured image, the person detection unit 143 returns the process to step S101.

一方、撮影画像から人物が検出された場合、要対処度算出手段１４４は、予め設定されたモデル１３１を用いて、撮影画像から、検出した各人物の要対処度を算出する（ステップＳ１０５）。 On the other hand, when a person is detected from the photographed image, the handling requirement calculating means 144 calculates the handling requirement level of each detected person from the photographed image using the preset model 131 (step S105).

店舗装置１０は、モデル１３１として、強化学習により事前に学習された学習モデルを使用する。店舗装置１０は、例えば、強化学習としてＱ学習を使用し、学習モデルとして行動価値関数を使用する。Ｑ学習では、環境の状態ｓと、その状態ｓで選択される行動ａとを独立変数として、状態ｓで行動ａを選択した場合の行動の価値を表す行動価値関数Ｑ（ｓ，ａ）が学習される。Ｑ学習では、状態ｓと行動ａとの相関性が未知の状態で学習が開始され、任意の状態ｓで種々の行動ａを選択する試行錯誤を繰り返すことにより、行動価値関数Ｑが反復して更新される。また、Ｑ学習では、ある状態ｓである行動ａが選択された場合に、報酬ｒが得られるように構成され、より高い報酬ｒが得られる行動ａが選択されるように、行動価値関数Ｑが学習される。
行動価値関数Ｑの更新式は、以下の式（１）のように表される。

式（１）において、ｓ_t及びａ_tはそれぞれ時刻ｔにおける状態及び行動であり、行動ａ_tにより状態はｓ_tからｓ_t+1に変化する。ｒ_t+1は、状態がｓ_tからｓ_t+1に変化したことで得られる報酬である。ｍａｘＱの項は、時刻ｔ＋１で最大の価値Ｑになる（と時刻ｔで考えられている）行動ａを行ったときのＱを意味する。α及びγはそれぞれ学習係数及び割引率であり、０＜α≦１、０＜γ≦１で任意に設定される。 As the model 131, the store apparatus 10 uses a learning model learned in advance by reinforcement learning. The store apparatus 10 uses, for example, Q-learning as reinforcement learning and an action-value function as a learning model. In Q-learning, the action value function Q(s, a) representing the action value when the action a is selected in the state s is obtained by using the environmental state s and the action a selected in the state s as independent variables. be learned. In Q-learning, learning is started in a state where the correlation between state s and action a is unknown, and by repeating trial and error to select various actions a in arbitrary state s, action-value function Q repeats Updated. In addition, in Q-learning, when an action a in a certain state s is selected, a reward r is obtained, and an action value function Q is learned.
An update formula for the action-value function Q is expressed as the following formula (1).

In equation (1), s _t and a _t are the state and action at time t, respectively, and the state changes from s _t to s _t+1 by action a _t . r _t+1 is the reward obtained by changing the state from s _t to s _t+1 . The term maxQ means the Q when the action a that becomes the maximum value Q at the time t+1 (considered at the time t) is performed. α and γ are a learning coefficient and a discount rate, respectively, and are arbitrarily set within 0<α≦1 and 0<γ≦1.

店舗装置１０には、対処が必要である人物が写っている画像に対する行動価値関数Ｑ₁と、対処が必要である人物が写っていない画像に対する行動価値関数Ｑ₂とが設定される。行動価値関数Ｑ₁は、対処が必要である人物が写っているサンプル画像群を複数用いて事前に学習され、行動価値関数Ｑ₂は、対処が必要である人物が写っていないサンプル画像群を複数用いて事前に学習される。各サンプル画像群は、各撮像装置２１により所定期間に撮影された連続する撮影画像のセットである。店舗装置１０は、各撮影画像が撮影された時刻を時刻ｔとし、時刻ｔにおける撮影画像から検出された人物領域の重心位置を状態ｓ_tとし、各人物領域の重心位置が、時刻ｔにおける撮影画像から検出された人物領域の重心位置から時刻ｔ＋１における撮影画像から検出された人物領域の重心位置へ移動したことを行動ａ_tとして使用する。また、店舗装置１０は、サンプル画像群における最後の行動ａの報酬ｒとして０より大きい値を設定し、他の行動ａの報酬ｒとして０を設定する。 The store device 10 is set with an action value function _Q1 for an image containing a person who needs to be dealt with, and an action value function _Q2 for an image without a person who needs to be dealt with. The action-value function Q ₁ is learned in advance using a plurality of sample image groups in which a person requiring action is shown, and the action-value function Q ₂ is learned in advance by using a group of sample images in which a person requiring action is not shown. Pre-learned using multiple. Each sample image group is a set of consecutive captured images captured by each imaging device 21 during a predetermined period. The shop apparatus 10 sets the time when each photographed image was photographed to be time t, the barycentric position of the person region detected from the photographed image at time t to state s _t , and the barycentric position of each person region to be the photographed at time t. The movement from the centroid position of the human region detected from the image to the centroid position of the human region detected from the captured image at time t+1 is used as the action _at . Also, the store apparatus 10 sets a value greater than 0 as the reward r for the last action a in the sample image group, and sets 0 as the reward r for the other actions a.

店舗装置１０は、全ての状態ｓと各状態ｓにおいて取り得る行動ａとの全組合せについて、Ｑ（ｓ，ａ）の初期値をランダムに設定する。店舗装置１０は、一つのサンプル画像群に含まれる各画像を時刻順に参照し、各画像から検出された人物領域に対応するＱ（ｓ，ａ）を、上記の式（１）に従って更新していく。店舗装置１０は、対処が必要である人物が写っている全てのサンプル画像群を用いて、行動価値関数Ｑ₁（ｓ，ａ）を更新し、最終的に更新された各Ｑ₁（ｓ，ａ）の値（行動価値）の組合せをモデル１３１として第１記憶部１３に記憶する。同様に、店舗装置１０は、対処が必要である人物が写っていない全てのサンプル画像群を用いて、行動価値関数Ｑ₂（ｓ，ａ）を更新し、最終的に更新された各Ｑ₂（ｓ，ａ）の値（行動価値）の組合せをモデル１３１として第１記憶部１３に記憶する。 The store device 10 randomly sets the initial value of Q(s, a) for all combinations of all states s and actions a that can be taken in each state s. The shop apparatus 10 refers to each image included in one sample image group in chronological order, and updates Q(s, a) corresponding to the human region detected from each image according to the above equation (1). go. The shop device 10 updates the action value function Q ₁ (s, a) using all the sample image groups showing the person who needs to be dealt with, and finally updates each Q ₁ (s, A combination of a) values (behavioral values) is stored in the first storage unit 13 as a model 131 . Similarly, the store device 10 updates the action-value function Q ₂ (s, a) using all the sample image groups that do not include a person who needs to be dealt with, and finally updates each Q ₂ A combination of (s, a) values (behavior value) is stored in the first storage unit 13 as a model 131 .

要対処度算出手段１４４は、画像取得手段１４２が取得した各撮影画像から検出された各人物の人物領域の重心位置を状態ｓとし、その重心位置から、次の撮影画像から検出されたその人物の人物領域の重心位置へ移動したことを行動ａとして特定する。要対処度算出手段１４４は、モデル１３１を参照し、特定した状態ｓと行動ａとの組合せに対応するＱ₁（ｓ，ａ）の値（行動価値）と、Ｑ₂（ｓ，ａ）の値（行動価値）とを特定する。要対処度算出手段１４４は、特定したＱ₁（ｓ，ａ）の値（行動価値）からＱ₂（ｓ，ａ）の値（行動価値）を減算した値を、その組合せに対応する行動価値として算出する。要対処度算出手段１４４は、検出された人物毎に、各撮影画像について算出したその人物に対する行動価値の総和を算出し、算出した総和の中の最大値を要対処度として算出する。即ち、要対処度は、撮影画像に対処が必要である人物が写っている可能性が高い程、高くなるように算出される。 The degree-of-measures-required calculation means 144 sets the barycenter position of the person region of each person detected from each captured image acquired by the image acquisition means 142 to state s, and uses the barycentric position to determine the person detected from the next captured image. movement to the position of the center of gravity of the person region is identified as action a. The action required degree calculation means 144 refers to the model 131, the value (action value) of Q ₁ (s, a) corresponding to the combination of the identified state s and the action a, and the value of Q ₂ (s, a) Identify value (behavioral value). The action required degree calculation means 144 subtracts the value of Q ₂ (s, a) (action value) from the identified value of Q ₁ (s, a) (action value), and calculates the value as the action value corresponding to the combination. Calculate as The handling requirement calculating means 144 calculates, for each detected person, the sum of the action values for the person calculated for each photographed image, and calculates the maximum value among the calculated sums as the handling requirement level. That is, the degree of need to be dealt with is calculated so as to be higher as the probability that a person who needs to be dealt with is shown in the photographed image is higher.

次に、自動通報手段１４５は、算出された要対処度が閾値以上であるか否かを判定する（ステップＳ１０６）。閾値は、事前の実験による実験結果に基づいて予め設定される。何れかの人物について算出された要対処度が閾値以上である場合、自動通報手段１４５は、店舗装置１０が撮影画像に基づいて通報が必要であると判定したことを示す自動通報を監視装置３０に送信することを決定し（ステップＳ１０７）、処理をステップＳ１０１へ戻す。自動通報には、入力店舗の識別情報が含まれる。さらに、自動通報には、行動価値の総和が閾値又は第２閾値以上である人物の識別情報（例えば、撮影画像における人物領域の座標）が含まれてもよい。この場合、自動通報手段１４５は、後述する処理において、監視装置３０に自動通報を送信する。
一方、全ての人物について算出された要対処度が閾値未満である場合、自動通報手段１４５は、要対処度が、閾値より小さい第２閾値以上であるか否かを判定する（ステップＳ１０８）。第２閾値は、事前の実験による実験結果に基づいて予め設定される。全ての人物について算出された要対処度が第２閾値未満である場合、自動通報手段１４５は、通報を監視装置３０に送信しないことを決定し（ステップＳ１０９）、処理をステップＳ１０１へ戻す。
一方、何れかの人物について算出された要対処度が第２閾値以上である場合、自動通報手段１４５は、店舗の各店員に通報指示の実行を促すメッセージを、インタフェース部１１を介して各店員が所持する端末装置２４に送信し、通知する（ステップＳ１１０）。各端末装置２４は、通報指示の実行を促すメッセージを受信すると、受信したメッセージを表示又は音声出力し、各店員に通知する。このように、自動通報手段１４５は、要対処度が第２閾値以上である場合、所定の基準に従って、監視センタの監視装置３０に自動通報を送信すること、及び、店舗の店員の端末装置２４に通報指示の実行を促すことの内の何れか一方を選択して実行する。特に、自動通報手段１４５は、要対処度が閾値以上である場合、監視装置３０に自動通報を送信することを選択し、要対処度が閾値未満である場合、店舗の店員の端末装置２４に通報指示の実行を促すことを選択する。 Next, the automatic notification means 145 determines whether or not the calculated degree of need for action is equal to or greater than a threshold (step S106). The threshold is set in advance based on experimental results from previous experiments. If the degree of required action calculated for any person is equal to or greater than the threshold, the automatic notification means 145 sends an automatic notification to the monitoring device 30 indicating that the store device 10 has determined that a notification is necessary based on the photographed image. (step S107), and the process returns to step S101. The automatic notification includes the identification information of the input store. Furthermore, the automatic notification may include identification information (for example, the coordinates of the person area in the captured image) of the person whose total behavioral value is equal to or greater than the threshold or the second threshold. In this case, the automatic notification means 145 transmits an automatic notification to the monitoring device 30 in a process to be described later.
On the other hand, when the degree of action required calculated for all persons is less than the threshold, the automatic reporting means 145 determines whether or not the degree of action required is equal to or larger than a second threshold, which is smaller than the threshold (step S108). The second threshold is set in advance based on experimental results from previous experiments. If the degree of need for action calculated for all persons is less than the second threshold, the automatic notification means 145 determines not to transmit the notification to the monitoring device 30 (step S109), and returns the process to step S101.
On the other hand, if the degree of required action calculated for any person is equal to or higher than the second threshold, the automatic notification means 145 sends a message to each store clerk prompting execution of the notification instruction to each store clerk via the interface unit 11. is transmitted to the terminal device 24 possessed by and notified (step S110). When each terminal device 24 receives the message prompting execution of the notification instruction, it displays or outputs the received message by voice, and notifies each store clerk. In this way, the automatic notification means 145 transmits an automatic notification to the monitoring device 30 of the monitoring center according to a predetermined standard when the level of action required is equal to or higher than the second threshold, and the terminal device 24 of the store clerk prompting the user to execute the notification instruction. In particular, the automatic notification means 145 selects to send an automatic notification to the monitoring device 30 when the degree of action required is equal to or higher than the threshold, and to the terminal device 24 of the store clerk when the degree of action required is less than the threshold. Select to prompt execution of notification instructions.

次に、自動通報手段１４５は、インタフェース部１１を介して操作装置２３又は端末装置２４から通報指示信号を受信したか否かを判定する（ステップＳ１１１）。通報指示信号を受信した場合、自動通報手段１４５は、手動通報を監視装置３０に送信することを決定し（ステップＳ１１２）、処理をステップＳ１０１へ戻す。この場合、手動通報手段１４１は、後述する処理において、監視装置３０に手動通報を送信する。この場合の手動通報には、行動価値の総和が第２閾値以上である人物の識別情報が含まれてもよい。
一方、通報指示信号を受信していない場合、自動通報手段１４５は、端末装置２４にメッセージを送信してから所定時間（例えば１０秒間）が経過したか否かを判定する（ステップＳ１１３）。所定時間が経過していない場合、自動通報手段１４５は、処理をステップＳ１１１に戻し、再度、通報指示信号を受信したか否かを判定する。 Next, the automatic notification means 145 determines whether or not a notification instruction signal has been received from the operation device 23 or the terminal device 24 via the interface section 11 (step S111). When the notification instruction signal is received, the automatic notification means 145 determines to transmit a manual notification to the monitoring device 30 (step S112), and returns the process to step S101. In this case, the manual notification means 141 transmits a manual notification to the monitoring device 30 in a process to be described later. The manual notification in this case may include the identification information of the person whose total behavioral value is equal to or greater than the second threshold.
On the other hand, if the notification instruction signal has not been received, the automatic notification means 145 determines whether or not a predetermined time (for example, 10 seconds) has passed since the message was sent to the terminal device 24 (step S113). If the predetermined time has not elapsed, the automatic notification means 145 returns the process to step S111 and determines again whether or not the notification instruction signal has been received.

一方、所定時間が経過した場合、即ち店員が通報指示を実行しなかった場合、更新手段１４６は、通報指示の実行が促される際に使用された撮影画像に基づいて、第１記憶部１３に記憶されたモデル１３１を更新し（ステップＳ１１４）、処理をステップＳ１０１に戻す。
即ち、更新手段１４６は、自動通報手段１４５が店舗の店員に通報指示の実行を促し且つ手動通報手段１４１が監視装置３０に手動通報を送信していない場合、更新手段１４６は、撮影画像から検出された人物への対処が不要であるとみなして、モデル１３１を更新する。 On the other hand, if the predetermined time has passed, that is, if the clerk has not executed the report instruction, the updating means 146 stores the The stored model 131 is updated (step S114), and the process returns to step S101.
That is, when the automatic notification means 145 prompts the store clerk to execute the notification instruction and the manual notification means 141 does not transmit the manual notification to the monitoring device 30, the update means 146 detects from the captured image. The model 131 is updated assuming that it is unnecessary to deal with the identified person.

更新手段１４６は、モデル１３１の初期設定時と同様にして、モデル１３１を更新する。但し、更新手段１４６は、店舗の各店員に通報指示の実行を促すメッセージが端末装置２４に送信された時及びその直前の所定期間に撮影された撮影画像を用いてモデル１３１を更新する。なお、更新手段１４６は、行動価値の総和が第２閾値以上である人物の人物領域のみを用いてモデル１３１を更新してもよい。
更新手段１４６は、各撮影画像が撮影された時刻を時刻ｔとし、時刻ｔにおける撮影画像から検出された人物領域の重心位置を状態ｓ_tとし、各人物領域の重心位置が、時刻ｔにおける撮影画像から検出された人物領域の重心位置から、時刻ｔ＋１における撮影画像から検出された人物領域の重心位置へ移動したことを行動ａ_tとして使用する。更新手段１４６は、受信した判定結果に対応する各撮影画像の内の最後の撮影画像に係る行動ａの報酬ｒとして０より大きい値を設定し、他の行動ａの報酬ｒとして０を設定する。
更新手段１４６は、受信した判定結果に対応する各撮影画像を時刻順に参照し、各撮影画像から検出された人物領域に対応するＱ（ｓ，ａ）を、上記の式（１）に従って更新していく。撮影画像に写っている人物に対する対処が不要であるとみなされているため、更新手段１４６は、行動価値関数Ｑ₂（ｓ，ａ）を更新し、モデル１３１を、最終的に更新された各Ｑ₂（ｓ，ａ）の値（行動価値）の組合せに更新する。
これにより、更新手段１４６は、対処が必要な人物が写っていない撮影画像について通報が送信されにくくなるように、モデル１３１を更新することが可能となる。 The updating means 146 updates the model 131 in the same way as when the model 131 is initialized. However, the updating means 146 updates the model 131 by using the photographed images photographed during a predetermined period immediately before and when a message prompting each store clerk to execute the notification instruction is sent to the terminal device 24 . Note that the updating unit 146 may update the model 131 using only the person regions of persons whose total behavior value is equal to or greater than the second threshold.
The update unit 146 sets the time when each photographed image was photographed to be time t, the barycentric position of the person region detected from the photographed image at time t to state s _t , and the barycentric position of each person region to be the photographed at time t. The movement from the centroid position of the human region detected from the image to the centroid position of the human region detected from the captured image at time t+1 is used as the action _at . The updating means 146 sets a value greater than 0 as the reward r for the action a related to the last photographed image among the respective photographed images corresponding to the received determination result, and sets 0 as the reward r for the other action a. .
The updating means 146 refers to each photographed image corresponding to the received determination result in chronological order, and updates Q(s, a) corresponding to the human region detected from each photographed image according to the above equation (1). To go. Since it is deemed unnecessary to deal with the person appearing in the photographed image, the updating means 146 updates the action value function Q ₂ (s, a), and the model 131 is finally updated to each Update to a combination of Q ₂ (s, a) values (action values).
As a result, the updating unit 146 can update the model 131 so that it is difficult for a report to be sent for a photographed image in which a person who needs to be dealt with is not shown.

図３は、画像監視システム１の動作シーケンスの一例を示す図である。この動作シーケンスは、予め各装置の各記憶部に記憶されているプログラムに基づいて、主に各装置の各制御部により、店舗装置１０及び監視装置３０の各要素と協働して実行される。この動作シーケンスは、店舗装置１０が、監視処理において手動通報又は自動通報を監視装置３０に送信することを決定した場合に実行される。 FIG. 3 is a diagram showing an example of an operation sequence of the image monitoring system 1. As shown in FIG. This operation sequence is executed mainly by each control unit of each device in cooperation with each element of the store device 10 and the monitoring device 30, based on a program stored in advance in each storage unit of each device. . This operation sequence is executed when the store device 10 decides to transmit a manual report or an automatic report to the monitor device 30 in the monitoring process.

まず、店舗装置１０の手動通報手段１４１又は自動通報手段１４５は、手動通報又は自動通報と、各手動通報又は自動通報を送信することを決定する際に使用された撮影画像とを第１通信部１２を介して監視装置３０に送信する（ステップＳ２０１）。
図２のステップＳ１０２において手動通報を送信することが決定された場合、手動通報手段１４１が、監視装置３０に手動通報を送信する。その場合、撮影画像として、手動通報前に撮影され且つ人物が検出された画像が送信される。
図２のステップＳ１０９において自動通報を送信することが決定された場合、自動通報手段１４５が、監視装置３０に自動通報を送信する。その場合、撮影画像として、自動通報が送信された時及びその直前の所定期間に撮影された画像が送信される。
図２のステップＳ１１２において手動通報を送信することが決定された場合、手動通報手段１４１が、監視装置３０に手動通報を送信する。その場合、撮影画像として、店舗の各店員に通報指示の実行を促すメッセージが端末装置２４に送信された時及びその直前の所定期間に撮影された画像が送信される。
また、図２のステップＳ１０２、Ｓ１０９、Ｓ１１２において通報を送信することが決定された場合、上記撮影画像と合わせて現在の画像であるライブ画像が送信される。 First, the manual notification means 141 or automatic notification means 145 of the store device 10 transmits the manual notification or automatic notification and the photographed image used when deciding to transmit each manual notification or automatic notification to the first communication unit. 12 to the monitoring device 30 (step S201).
When it is determined to transmit the manual notification in step S102 of FIG. 2, the manual notification means 141 transmits the manual notification to the monitoring device 30. In that case, as the captured image, an image captured before the manual notification and in which the person is detected is transmitted.
When it is decided to transmit the automatic notification in step S109 of FIG. 2, the automatic notification means 145 transmits the automatic notification to the monitoring device 30. In this case, as the photographed images, images photographed at the time when the automatic notification is transmitted and during a predetermined period immediately before that are transmitted.
If it is decided to transmit the manual notification in step S112 of FIG. 2, the manual notification means 141 transmits the manual notification to the monitoring device 30. In this case, as the photographed images, images photographed during a predetermined period immediately before and at the time when a message prompting each salesclerk of the store to execute the notification instruction is transmitted to the terminal device 24 are transmitted.
Further, when it is determined in steps S102, S109, and S112 in FIG. 2 that the report is to be transmitted, a live image, which is the current image, is transmitted together with the photographed image.

次に、監視装置３０の評価手段３５１は、第２通信部３１を介して店舗装置１０から手動通報又は自動通報及び撮影画像を受信した場合、受信した通報を示す情報及び撮影画像を表示部３３に表示する（ステップＳ２０２）。 Next, when the evaluation unit 351 of the monitoring device 30 receives the manual or automatic notification and the captured image from the store device 10 via the second communication unit 31, the information indicating the received notification and the captured image are displayed on the display unit 33. (step S202).

図４は、監視装置３０に表示される表示画面の一例である。
図４に示すように、表示画面４００には、受信した通報を示す情報４０１、自動通報或いは手動通報による通報時の撮影画像４０２、ライブ映像を表示するライブ画像４０３、評価ボタン４０４、音声通知ボタン４０８、通報ボタン４０９及び終了ボタン４１０等が表示される。
情報４０１には、通報を送信した店舗装置１０が設置された店舗の識別情報と、その店舗装置１０から受信した通報が手動通報であるか自動通報であるかとが表示される。なお、店舗装置１０から受信した通報が手動通報である場合、情報４０１には、さらに通報を指示した店員もしくは端末装置２４の識別情報が表示されてもよい。また、店舗装置１０から受信した通報に、行動価値の総和が閾値又は第２閾値以上である人物の識別情報が含まれている場合、情報４０１には、さらにその人物の識別情報が表示されてもよい。
評価ボタン４０４には、対処不要ボタン４０５、対処保留ボタン４０６及び対処必要ボタン４０７が含まれる。監視員は、対処不要ボタン４０５を押下することにより、撮影画像４０２に写っている人物に対する対処が不要であったという評価結果を指定することができ、対処必要ボタン４０７を押下することにより、撮影画像４０２に写っている人物に対する対処が必要であったという評価結果を指定することができる。また、監視員は、対処保留ボタン４０６を押下することにより、撮影画像４０２に写っている人物に対する対処が必要か不要かの判断を保留するという評価結果を指定することができる。
監視員は、音声通知ボタン４０８を押下することにより、店舗装置１０を介して音出力装置２２に所定の音声を出力させることができる。
監視員は、通報ボタン４０９を押下することにより、監視装置３０から、警察等に設置された他の装置（不図示）に通報を送信させることができる。
監視員は、終了ボタン４１０を押下することにより、表示画面４００の表示を終了させることができる。 FIG. 4 is an example of a display screen displayed on the monitoring device 30. As shown in FIG.
As shown in FIG. 4, the display screen 400 includes information 401 indicating the received report, an image 402 taken at the time of report by automatic report or manual report, a live image 403 displaying a live image, an evaluation button 404, and an audio notification button. 408, a report button 409, an end button 410, and the like are displayed.
The information 401 displays the identification information of the shop where the store device 10 that sent the report is installed, and whether the report received from the store device 10 is a manual report or an automatic report. When the report received from the store device 10 is a manual report, the information 401 may further display the identification information of the clerk or the terminal device 24 who instructed the report. Further, when the report received from the store device 10 includes the identification information of a person whose total behavioral value is equal to or greater than the threshold or the second threshold, the information 401 further displays the identification information of the person. good too.
The evaluation buttons 404 include a no action button 405 , a pending action button 406 and a necessary action button 407 . By pressing the no-handling button 405 , the observer can specify the evaluation result that no handling is required for the person in the captured image 402 . It is possible to specify an evaluation result indicating that the person shown in the image 402 needs to be dealt with. Further, by pressing the action pending button 406, the observer can specify the evaluation result of suspending the judgment as to whether or not the person shown in the captured image 402 needs to be dealt with.
By pressing the voice notification button 408 , the surveillance staff can cause the sound output device 22 to output a predetermined voice via the store device 10 .
By pressing the report button 409, the surveillance staff can cause the monitoring device 30 to send a report to another device (not shown) installed in the police or the like.
The observer can terminate the display of the display screen 400 by pressing the end button 410 .

次に、評価手段３５１は、受信した自動通報又は手動通報を評価する（ステップＳ２０３）。評価手段３５１は、各通報の評価として、撮影画像に写っている人物に対する対処が必要であるか、不要であるか又はその何れでもないかを評価する。 Next, the evaluation means 351 evaluates the received automatic notification or manual notification (step S203). The evaluation means 351 evaluates each notification as to whether or not it is necessary or unnecessary to deal with the person appearing in the captured image.

例えば、評価手段３５１は、監視員により操作部３２を用いて入力される、各通報に対する監視員の評価を受け付ける。評価手段３５１は、監視員の評価として、撮影画像に写っている人物に対する対処が必要であったこと、対処が不要であったこと、又は、そのいずれでもないこと（対処保留）を受け付ける。 For example, the evaluation means 351 receives the observation staff's evaluation of each report input by the observation staff using the operation unit 32 . The evaluation means 351 accepts, as an evaluation by the observer, that the person in the photographed image needed to be dealt with, that no action was needed, or neither of these (action pending).

また、評価手段３５１は、各通報に対する監視員の対処行動を検出する。対処行動とは、受信した通報に係る問題（撮影画像に写っている問題）を解決するために、監視員が実行する行動である。即ち、対処行動には、監視員が、店舗装置１０から受信した通報の正誤評価（撮影画像に写っている人物に対する対処が必要であるか否か）を監視装置３０に直接入力するような行動は含まれない。評価手段３５１は、操作部３２を用いた監視員による表示画面４００に対する操作を監視員の対処行動として検出する。
監視員により音声通知ボタン４０８が押下された場合、評価手段３５１は、監視員の対処行動として店舗に対する音声通知を検出する。この場合、評価手段３５１は、第２通信部３１を介して店舗装置１０に、警告等の所定の音声を出力することを要求する音声出力要求を送信する。店舗装置１０は、音声出力要求を受信すると、インタフェース部１１を介して音出力装置２２に所定の音声を出力させる。なお、監視装置３０は、マイク等の音声入力部（不図示）を有し、監視員による音声の入力を受け付け、受け付けた音声を店舗装置１０に送信してもよい。
また、監視員により通報ボタン４０９が押下された場合、評価手段３５１は、監視員の対処行動として他装置への通報を検出する。この場合、評価手段３５１は、第２通信部３１を介して他の装置に通報を送信する。
また、監視員により終了ボタン４１０が押下された場合、評価手段３５１は、表示画面４００を閉じて、表示画面４００の表示を終了する。この場合、評価手段３５１は、表示画面４００の表示を開始してから終了するまでの時間を、監視員が店舗を監視する監視時間として検出する。なお、評価手段３５１は、音声通知ボタン４０８又は通報ボタン４０９が押下された場合、表示画面４００の表示を開始してから音声通知ボタン４０８又は通報ボタン４０９が押下されるまでの時間を監視時間として検出してもよい。この監視時間を含めて対処行動が評価されるようにしてもよい。 Also, the evaluation means 351 detects the coping behavior of the observer with respect to each report. A coping action is an action taken by the observer in order to solve the problem (problem shown in the captured image) related to the received report. In other words, the coping action is an action in which the surveillance staff directly inputs to the monitoring device 30 the correctness evaluation of the report received from the store device 10 (whether or not the person in the photographed image needs to be dealt with). is not included. The evaluation unit 351 detects the operation of the display screen 400 by the observer using the operation unit 32 as the coping behavior of the observer.
When the voice notification button 408 is pressed by the monitor, the evaluation unit 351 detects the voice notification to the store as the coping behavior of the monitor. In this case, the evaluation unit 351 transmits a voice output request requesting output of a predetermined voice such as a warning to the store device 10 via the second communication unit 31 . Upon receiving the voice output request, the store device 10 causes the sound output device 22 to output a predetermined voice via the interface unit 11 . Note that the monitoring device 30 may have a voice input unit (not shown) such as a microphone, receive voice input from the monitor, and transmit the received voice to the store device 10 .
Also, when the report button 409 is pressed by the observer, the evaluation unit 351 detects a report to another device as the coping behavior of the observer. In this case, the evaluation means 351 transmits a report to another device via the second communication section 31 .
Further, when the observer presses the end button 410 , the evaluation unit 351 closes the display screen 400 and terminates the display of the display screen 400 . In this case, the evaluation unit 351 detects the time from when the display of the display screen 400 is started to when it is finished as the monitoring time during which the monitor monitors the store. In addition, when the voice notification button 408 or the report button 409 is pressed, the evaluation means 351 regards the time from when the display of the display screen 400 is started until when the voice notification button 408 or the report button 409 is pressed as the monitoring time. may be detected. Coping behavior may be evaluated including this monitoring time.

評価手段３５１は、検出した対処行動に基づいて、店舗装置１０から受信した通報の正誤を判定する。評価手段３５１は、監視員の対処行動として店舗に対する音声通知又は他装置への通報を検出した場合、店舗装置１０から受信した通報を正解であると判定する。一方、評価手段３５１は、表示画面４００の表示を開始してから所定時間（例えば２分間）が経過する前に、店舗に対する音声通知又は他装置への通報を検出することなく、表示画面４００の表示を終了した場合、店舗装置１０から受信した通報を不正解であると判定する。
また、評価手段３５１は、表示画面４００の表示を開始してから所定時間が経過するまで、店舗に対する音声通知又は他装置への通報を検出することなく、表示画面４００を表示し続けた場合、店舗装置１０から受信した通報に対する判定を保留する。即ち、この場合、評価手段３５１は、万引き等の問題が発生した可能性があり、監視員が表示画面４００を監視し続けているが、撮影画像からその問題の発生を確信できないものとみなす。または、評価手段３５１は、表示画面４００の表示を開始してから所定時間が経過するまで表示画面４００を表示し続けた場合、撮影画像に写っている人物への対処が必要であると判定してもよい。 The evaluation unit 351 determines whether the report received from the store device 10 is correct or incorrect based on the detected coping behavior. The evaluation means 351 determines that the report received from the store device 10 is correct when the voice notification to the store or the report to the other device is detected as the coping behavior of the surveillance staff. On the other hand, the evaluation means 351 detects the voice notification to the store or the notification to other devices before a predetermined time (for example, 2 minutes) has elapsed since the display of the display screen 400 was started. When the display is completed, the report received from the store device 10 is determined to be incorrect.
In addition, when the evaluation means 351 continues to display the display screen 400 without detecting voice notification to the store or notification to other devices until a predetermined time has elapsed since the display of the display screen 400 was started, Determination on the report received from the store device 10 is suspended. That is, in this case, the evaluation means 351 considers that there is a possibility that a problem such as shoplifting has occurred, and that although the monitor continues to monitor the display screen 400, the occurrence of the problem cannot be confirmed from the captured image. Alternatively, when the display screen 400 continues to be displayed until a predetermined period of time has elapsed since the display of the display screen 400 was started, the evaluation means 351 determines that it is necessary to deal with the person appearing in the captured image. may

次に、評価手段３５１は、評価結果を第２通信部３１を介して店舗装置１０に送信する（ステップＳ２０４）。 Next, the evaluation means 351 transmits the evaluation result to the store apparatus 10 via the second communication section 31 (step S204).

次に、店舗装置１０の更新手段１４６は、第１通信部１２を介して監視装置３０から評価結果を受信した場合、更新処理を実行する（ステップＳ２０５）。更新手段１４６は、更新処理において、受信した評価結果及びその評価結果に対応する撮影画像に基づいて、第１記憶部１３に記憶されたモデル１３１を更新する。更新処理の詳細については後述する。
以上により、画像監視システム１の動作シーケンスは終了する。 Next, when the update unit 146 of the store device 10 receives the evaluation result from the monitoring device 30 via the first communication unit 12, it performs update processing (step S205). In the updating process, the updating unit 146 updates the model 131 stored in the first storage unit 13 based on the received evaluation result and the captured image corresponding to the evaluation result. Details of the update process will be described later.
Thus, the operation sequence of the image monitoring system 1 ends.

図５は、店舗装置１０による更新処理の動作を示すフローチャートの一例を示す図である。更新処理は、図４のステップＳ２０５において実行される。 FIG. 5 is a diagram showing an example of a flowchart showing operation of update processing by the store apparatus 10. As shown in FIG. The update process is performed in step S205 of FIG.

まず、更新手段１４６は、受信した評価結果が手動通報に対応するか自動通報に対応するかを判定する（ステップＳ３０１）。更新手段１４６は、図２のステップＳ２０１で送信されたのが手動通報であったか自動通報であったかにより、受信した評価結果が手動通報に対応するか自動通報に対応するかを判定する。評価結果が自動通報に対応する場合、更新手段１４６は、モデル１３１を更新する度合いとして第１度合いを設定する（ステップＳ３０２）。また、更新手段１４６は、モデル１３１の更新に使用する画像として、自動通報が送信される前の所定期間、特に自動通報が送信された時及びその直前の所定期間に撮影された撮影画像を設定する。更新手段１４６は、モデル１３１の更新に使用する画像として、行動価値の総和が閾値又は第２閾値以上である人物の人物領域のみを設定してもよい。 First, the updating means 146 determines whether the received evaluation result corresponds to manual notification or automatic notification (step S301). The updating means 146 determines whether the received evaluation result corresponds to the manual notification or the automatic notification depending on whether it was the manual notification or the automatic notification that was sent in step S201 of FIG. When the evaluation result corresponds to the automatic notification, the updating means 146 sets the first degree as the degree of updating the model 131 (step S302). Further, the updating means 146 sets, as images used for updating the model 131, captured images captured during a predetermined period before the automatic notification is transmitted, particularly when the automatic notification is transmitted and during a predetermined period immediately before that. do. The updating unit 146 may set only the human region of a person whose total behavioral value is equal to or greater than the threshold or the second threshold as the image used for updating the model 131 .

一方、評価結果が手動通報に対応する場合、更新手段１４６は、評価結果が、通報指示の実行が促されて送信された手動通報に対応するか、通報指示の実行が促されずに送信された手動通報に対応するかを判定する（ステップＳ３０３）。更新手段１４６は、手動通報が、通報指示の実行が促されて送信された通報であるか否かを、店舗装置１０から端末装置２４に通報指示の実行が促されから所定時間内に店員が通報ボタンを押下したか否かで判定する。更新手段１４６は、図２のステップＳ１１２で手動通報を送信することが決定されたか、ステップＳ１０２で手動通報を送信することが決定されたかにより、評価結果が、通報指示の実行が促されて送信された手動通報に対応するか、通報指示の実行が促されずに送信された手動通報に対応するかを判定する。
評価結果が、通報指示の実行が促されて送信された手動通報に対応する場合、更新手段１４６は、モデル１３１を更新する度合いとして第２度合いを設定する（ステップＳ３０４）。第２度合いは、第１度合いより大きい。また、更新手段１４６は、モデル１３１の更新に使用する画像として、店舗の各店員に通報指示の実行を促すメッセージが端末装置２４に送信された時及びその直前の所定期間に撮影された撮影画像を設定する。更新手段１４６は、モデル１３１の更新に使用する画像として、行動価値の総和が第２閾値以上である人物の人物領域のみを設定してもよい。
一方、評価結果が、通報指示の実行が促されずに送信された手動通報に対応する場合、更新手段１４６は、モデル１３１を更新する度合いとして第３度合いを設定する（ステップＳ３０５）。第３度合いは、第２度合いよりさらに大きい。また、更新手段１４６は、モデル１３１の更新に使用する画像として、通報指示が実行される前、即ち手動通報前に撮影され且つ人物が検出された撮影画像を設定する。
このように、評価結果が手動通報に対応する場合、更新手段１４６は、モデル１３１の更新に使用する画像として、通報指示が実行される前の所定期間に撮影された撮影画像を設定する。 On the other hand, if the evaluation result corresponds to the manual report, the updating means 146 determines whether the evaluation result corresponds to the manual report sent with the execution of the report instruction being prompted, or the evaluation result was sent without prompting the execution of the report instruction. It is determined whether the manual notification is supported (step S303). The updating means 146 determines whether or not the manual report is a report transmitted by prompting the execution of the report instruction to be sent from the store device 10 to the terminal device 24 within a predetermined time after the store device 10 prompts the terminal device 24 to execute the report instruction. It is determined by whether or not the report button has been pressed. The updating means 146 transmits the evaluation result when the execution of the notification instruction is prompted, depending on whether it is determined to transmit the manual notification in step S112 of FIG. 2 or whether it is determined to transmit the manual notification in step S102. It is determined whether to respond to the manual notification sent or to respond to the manual notification sent without being prompted to execute the notification instruction.
If the evaluation result corresponds to the manual report sent after prompting execution of the report instruction, the updating means 146 sets the second degree as the degree of updating the model 131 (step S304). The second degree is greater than the first degree. Further, the updating means 146 uses, as images to be used for updating the model 131, photographed images photographed during a predetermined period immediately before and at the time when a message prompting each store clerk to execute a notification instruction is transmitted to the terminal device 24. set. The updating means 146 may set only the human region of the person whose total behavioral value is equal to or greater than the second threshold as the image used for updating the model 131 .
On the other hand, if the evaluation result corresponds to the manual notification sent without prompting execution of the notification instruction, the updating means 146 sets the third degree as the degree of updating the model 131 (step S305). The third degree is even greater than the second degree. Further, the updating means 146 sets, as an image used for updating the model 131, a photographed image in which a person is detected and photographed before the notification instruction is executed, that is, before the manual notification.
In this way, when the evaluation result corresponds to manual notification, the updating means 146 sets the captured image captured during the predetermined period before the notification instruction is executed as the image used for updating the model 131 .

次に、更新手段１４６は、図２のステップＳ１１６の処理と同様にして、モデル１３１を更新し（ステップＳ３０６）、一連のステップを終了する。但し、更新手段１４６は、監視装置３０から受信した評価結果、ステップＳ３０２、Ｓ３０４又はＳ３０５で設定した度合い、及び、評価結果に対応する撮影画像に基づいてモデル１３１を更新する。 Next, the update means 146 updates the model 131 (step S306) in the same manner as the process of step S116 in FIG. 2, and the series of steps ends. However, the updating unit 146 updates the model 131 based on the evaluation result received from the monitoring device 30, the degree set in step S302, S304 or S305, and the captured image corresponding to the evaluation result.

評価結果が、撮影画像に写っている人物に対する対処が必要であったことを示す場合、更新手段１４６は、行動価値関数Ｑ₁（ｓ，ａ）を更新し、モデル１３１を、最終的に更新された各Ｑ₁（ｓ，ａ）の値（行動価値）の組合せに更新する。一方、評価結果が、撮影画像に写っている人物に対する対処が不要であったことを示す場合、更新手段１４６は、行動価値関数Ｑ₂（ｓ，ａ）を更新し、モデル１３１を、最終的に更新された各Ｑ₂（ｓ，ａ）の値（行動価値）の組合せに更新する。また、評価結果が、撮影画像に写っている人物に対する対処の要否が不明であったことを示す場合、更新手段１４６は、モデル１３１を更新しない。 When the evaluation result indicates that the person in the captured image needs to be dealt with, the updating means 146 updates the action value function Q ₁ (s, a) and finally updates the model 131. update to the combination of each Q ₁ (s, a) value (behavior value) obtained. On the other hand, if the evaluation result indicates that the person in the captured image did not need to be dealt with, the updating means 146 updates the action value function Q ₂ (s, a) to convert the model 131 into the final to the combination of values (action value) of each Q ₂ (s, a) updated to . Further, when the evaluation result indicates that it is unclear whether or not the person in the photographed image needs to be dealt with, the updating means 146 does not update the model 131 .

また、更新手段１４６は、モデル１３１を更新する度合いを第１度合いに設定した場合、評価結果に対応する各撮影画像の内の最後の撮影画像に係る行動ａの報酬ｒとして第１値を設定する。一方、更新手段１４６は、モデル１３１を更新する度合いを第２度合いに設定した場合、評価結果に対応する各撮影画像の内の最後の撮影画像に係る行動ａの報酬ｒとして第１値より大きい第２値を設定する。また、更新手段１４６は、モデル１３１を更新する度合いを第３度合いに設定した場合、評価結果に対応する各撮影画像の内の最後の撮影画像に係る行動ａの報酬ｒとして第２値よりさらに大きい第３値を設定する。 Further, when the degree of updating the model 131 is set to the first degree, the updating means 146 sets the first value as the reward r for the action a related to the last photographed image among the photographed images corresponding to the evaluation result. do. On the other hand, when the update unit 146 sets the degree of updating the model 131 to the second degree, the reward r for the action a related to the last captured image among the captured images corresponding to the evaluation result is greater than the first value. Sets the second value. Further, when the degree of update of the model 131 is set to the third degree, the updating means 146 sets the reward r of the action a related to the last photographed image among the photographed images corresponding to the evaluation result to be more than the second value. Set a large third value.

このように、更新手段１４６は、評価結果が手動通報に対応する場合と自動通報に対応する場合とでモデル１３１の更新方法、即ちモデル１３１を更新する度合い又はモデル１３１の更新に使用する撮影画像を変更する。特に、更新手段１４６は、評価結果が手動通報に対応する場合は、評価結果が自動通報に対応する場合より、モデル１３１を更新する度合いを大きくする。手動通報が送信される場合、店舗の店員により判断されており、自動通報が送信される場合より、通報に対する信頼性が高い。したがって、更新手段１４６は、モデル１３１を適切に更新することが可能となる。
また、更新手段１４６は、評価結果が、通報指示の実行が促されて送信された手動通報に対応する場合と通報指示の実行が促されずに送信された手動通報に対応する場合とでモデル１３１の更新方法を変更する。特に、更新手段１４６は、評価結果が、通報指示の実行が促されずに送信された手動通報に対応する場合は、評価結果が、通報指示の実行が促されて送信された手動通報に対応する場合より、モデル１３１を更新する度合いを大きくする。通報指示の実行が促されていないにも関わらず、店員により自発的に手動通報が送信される場合、店舗内に対処が必要な人物が存在している可能性が高い。したがって、更新手段１４６は、モデル１３１を適切に更新することが可能となる。
なお、更新手段１４６は、評価結果が、通報指示の実行が促されて送信された手動通報に対応する場合に、評価結果が、通報指示の実行が促されずに送信された手動通報に対応する場合より、モデル１３１を更新する度合いを大きくしてもよい。その場合、第３度合いは、第２度合いより小さく且つ第１度合いより大きい値に設定され、第３値は、第２値より小さく且つ第１値より大きい値に設定される。モデル１３１が十分に学習されると、通報指示の実行が促されている場合の方が、撮影画像に対処が必要な人物が写っている可能性が高くなる。したがって、更新手段１４６は、モデル１３１を適切に更新することが可能となる。 In this way, the updating means 146 determines the method of updating the model 131, that is, the degree of update of the model 131 or the photographed image used for updating the model 131, depending on whether the evaluation result corresponds to manual notification or to automatic notification. to change In particular, the updating means 146 updates the model 131 to a greater degree when the evaluation result corresponds to the manual notification than when the evaluation result corresponds to the automatic notification. When a manual notification is sent, it is judged by the store clerk and is more reliable than when an automatic notification is sent. Therefore, the updating means 146 can update the model 131 appropriately.
In addition, the update means 146 is modeled according to the case where the evaluation result corresponds to the manual report sent with the execution of the report instruction being prompted and the case of the evaluation result corresponding to the manual report sent without prompting the execution of the report instruction. Change the update method of 131. In particular, if the evaluation result corresponds to the manual report sent without prompting execution of the report instruction, the updating means 146 updates the evaluation result to correspond to the manual report sent with prompting to execute the report instruction. The degree to which the model 131 is updated is increased. If a manual report is voluntarily sent by the store clerk even though the execution of the report instruction is not prompted, there is a high possibility that there is someone in the store who needs to be dealt with. Therefore, the updating means 146 can update the model 131 appropriately.
Note that if the evaluation result corresponds to the manual report sent with prompting to execute the report instruction, the updating means 146 updates the evaluation result to correspond to the manual report sent without prompting the execution of the report instruction. The degree to which the model 131 is updated may be greater than the case where the model 131 is updated. In that case, the third degree is set to a value less than the second degree and greater than the first degree, and the third value is set to a value less than the second value and greater than the first value. When the model 131 is sufficiently learned, it is more likely that a person who needs to be dealt with is shown in the captured image when the execution of the notification instruction is prompted. Therefore, the updating means 146 can update the model 131 appropriately.

なお、店舗装置１０は、図２のステップＳ１０１～Ｓ１０２の処理を省略し、監視装置３０に手動通報を送信する処理を省略してもよい。また、店舗装置１０は、図２のステップＳ１０８～Ｓ１１４の処理を省略し、要対処度が閾値未満である場合、監視装置３０に通報を送信しないことを決定してもよい。 Note that the shop device 10 may omit the processing of steps S101 and S102 in FIG. 2 and the processing of transmitting the manual report to the monitoring device 30. Alternatively, the store device 10 may omit the processing of steps S108 to S114 in FIG.

また、店舗の店員による通報指示が入力され、店舗装置１０が手動通報を実行する場合、その手動通報の直前に撮影された撮影画像には、対処が必要である人物が写っている可能性が高い。そのため、その場合、店舗装置１０は、監視装置３０における評価結果に関わらず、モデル１３１を更新してもよい。例えば、評価手段３５１は、店舗装置１０から手動通報を受信した場合、図３のステップＳ２０３において、受信した手動通報に対する評価を省略し、ステップＳ２０４において、評価結果の送信を省略する。一方、更新手段１４６は、ステップＳ２０１において、手動通報手段１４１が監視装置３０に手動通報を送信した場合、撮影画像から検出された人物への対処が必要であるとみなして、モデル１３１（行動価値関数Ｑ₁）を更新する。この場合も、更新手段１４６は、モデル１３１を更新する度合いとして第２度合いを設定する。
この場合、画像監視システムは、店舗の店員による信頼性の高い指示に基づいて、監視員の評価を用いずにモデル１３１を更新するため、監視員の負荷を軽減しつつ、モデル１３１を適切に更新することができる。 Further, when a report instruction is input by a store clerk and the store device 10 executes a manual report, there is a possibility that a photographed image taken immediately before the manual report includes a person who needs to be dealt with. expensive. Therefore, in that case, the store device 10 may update the model 131 regardless of the evaluation result in the monitoring device 30 . For example, when receiving a manual report from the shop apparatus 10, the evaluation means 351 omits the evaluation of the received manual report in step S203 of FIG. 3, and omits the transmission of the evaluation result in step S204. On the other hand, when the manual reporting means 141 transmits a manual report to the monitoring device 30 in step S201, the updating means 146 considers that the person detected from the captured image needs to be dealt with, and the model 131 (action value Update function Q ₁ ). Also in this case, the updating means 146 sets the second degree as the degree of updating the model 131 .
In this case, the image monitoring system updates the model 131 based on highly reliable instructions from the store clerk without using the evaluation of the monitor. can be updated.

また、図２のステップＳ２０４において、評価手段３５１は、評価結果とともに、ステップＳ２０３で検出した監視時間を店舗装置１０に送信してもよい。その場合、図５のステップＳ３０６において、更新手段１４６は、監視装置から受信した監視時間に基づいて、モデル１３１を更新する度合いを変更してもよい。監視時間が長い場合、監視員は撮影画像に写っている人物に対して対処が必要であるか否かを判定するために長時間を要しており、その撮影画像には人物の行動が顕著に表れていない可能性が高い。逆に、監視時間が短い場合、監視員は撮影画像に写っている人物に対して対処が必要であるか否かを短時間で判定しており、撮影画像には人物の行動が顕著に表れている可能性が高い。
そこで、更新手段１４６は、監視時間が短い程、モデル１３１を更新する度合いを大きくし、監視時間が長い程、モデル１３１を更新する度合いを小さくする。例えば、更新手段１４６は、監視時間が短い程、判定結果に対応する各撮影画像の内の最後の撮影画像に係る行動ａの報酬ｒとして大きい値を設定し、監視時間が長い程、判定結果に対応する各撮影画像の内の最後の撮影画像に係る行動ａの報酬ｒとして小さい値を設定する。
これにより、更新手段１４６は、モデル１３１をより効率良く更新することができる。 Moreover, in step S204 of FIG. 2, the evaluation means 351 may transmit the monitoring time detected in step S203 to the store apparatus 10 together with the evaluation result. In that case, in step S306 of FIG. 5, the updating means 146 may change the degree of updating the model 131 based on the monitoring time received from the monitoring device. When the monitoring time is long, it takes a long time for the monitor to determine whether or not the person in the photographed image needs to be dealt with, and the person's behavior is conspicuous in the photographed image. It is highly likely that it is not reflected in Conversely, if the monitoring time is short, the monitor quickly determines whether or not the person in the captured image needs to be dealt with. likely to be
Therefore, the updating means 146 increases the degree of updating the model 131 as the monitoring time becomes shorter, and decreases the degree of updating the model 131 as the monitoring time becomes longer. For example, the updating unit 146 sets a larger value as the reward r for the action a related to the last captured image among the captured images corresponding to the determination result as the monitoring time becomes shorter, A small value is set as the reward r for the action a related to the last captured image among the captured images corresponding to .
Thereby, the updating means 146 can update the model 131 more efficiently.

また、図２のステップＳ２０４において、評価手段３５１は、評価結果とともに、ステップＳ２０３における評価の種別（監視員の評価を受け付けたか店舗に対する音声通知を検出したか他装置への通報を検出したか）を店舗装置１０に送信してもよい。その場合、図５のステップＳ３０６において、更新手段１４６は、監視装置から受信した評価の種別に基づいて、モデル１３１を更新する度合いを変更してもよい。
例えば、更新手段１４６は、監視員の評価が受け付けられた場合、対処行動が検出された場合より、モデル１３１を更新する度合いを大きくする。また、更新手段１４６は、対処行動が店舗に対する音声通知である場合、対処行動が他装置への通報である場合より、モデル１３１を更新する度合いを大きくする。または、更新手段１４６は、対処行動が店舗に対する音声通知である場合、対処行動が他装置への通報である場合より、モデル１３１を更新する度合いを小さくしてもよい。
これにより、更新手段１４６は、モデル１３１をより効率良く更新することができる。 In addition, in step S204 of FIG. 2, the evaluation means 351, together with the evaluation result, determines the type of evaluation in step S203 (whether the evaluation of the surveillance staff was received, the voice notification to the store was detected, or the notification to another device was detected). may be transmitted to the store device 10 . In that case, in step S306 of FIG. 5, the updating means 146 may change the degree of updating the model 131 based on the type of evaluation received from the monitoring device.
For example, the update unit 146 updates the model 131 more frequently when the observer's evaluation is accepted than when coping behavior is detected. Further, the updating means 146 updates the model 131 to a greater degree when the coping action is voice notification to the store than when the coping action is notification to other devices. Alternatively, the update unit 146 may update the model 131 less frequently when the coping action is voice notification to the store than when the coping action is notification to other devices.
Thereby, the updating means 146 can update the model 131 more efficiently.

以上説明してきたように、本発明に係る画像監視システムでは、店舗装置１０が、モデル１３１を用いて撮影画像から算出した要対処度に基づいて自動通報を監視装置３０に送信するとともに、店舗の店員による通報指示に従って手動通報を監視装置３０に送信する。監視装置３０は、店舗装置１０から受信した通報を評価して評価結果を店舗装置１０に送信し、店舗装置１０は、受信した評価結果に基づいてモデル１３１を更新する。このとき、店舗装置１０は、評価結果が手動通報に対応する場合と自動通報に対応する場合とでモデル１３１の更新方法を変更する。これにより、画像監視システムは、監視装置３０による評価結果に基づいて、モデル１３１を適切に更新することが可能となり、その結果、要対処度を高精度に算出することが可能となる。 As described above, in the image monitoring system according to the present invention, the store device 10 transmits an automatic notification to the monitoring device 30 based on the degree of action required calculated from the photographed image using the model 131, and A manual report is transmitted to the monitoring device 30 according to the report instruction by the store clerk. The monitoring device 30 evaluates the report received from the store device 10 and transmits the evaluation result to the store device 10, and the store device 10 updates the model 131 based on the received evaluation result. At this time, the store apparatus 10 changes the update method of the model 131 depending on whether the evaluation result corresponds to manual notification or automatic notification. Thereby, the image monitoring system can appropriately update the model 131 based on the evaluation result by the monitoring device 30, and as a result, it is possible to calculate the required action level with high accuracy.

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されない。本実施形態では、モデル１３１が店舗装置１０に記憶される例について説明したが、モデル１３１は、外部装置に記憶され、クラウドコンピューティングの形態で利用されてもよい。その場合、要対処度算出手段１４４は、人物領域を含む画像を第１通信部１２を介して外部装置に送信し、外部装置により算出された要対処度を第１通信部１２を介して外部装置から受信する。また、更新手段１４６は、撮影画像を第１通信部１２を介して外部装置に送信し、モデル１３１を外部装置に更新させる。これにより、画像監視システムは、十分な処理速度及び記憶容量を有さない装置を店舗装置１０として利用することができる。 Although preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments. In this embodiment, an example in which the model 131 is stored in the store device 10 has been described, but the model 131 may be stored in an external device and used in the form of cloud computing. In that case, the handling level calculation means 144 transmits the image including the person area to the external device via the first communication unit 12, and sends the handling level calculated by the external device to the external device via the first communication unit 12. Receive from device. In addition, the updating means 146 transmits the captured image to the external device via the first communication unit 12 and causes the external device to update the model 131 . As a result, the image monitoring system can use a device that does not have sufficient processing speed and storage capacity as the store device 10 .

また、図２のステップＳ１０６において、自動通報手段１４５は、要対処度が閾値以上であるか否かでなく、撮影画像に写っている人物が不審人物であるか困っている人物であるかを判定してもよい。
その場合、店舗装置１０には、不審人物が写っている画像に対する行動価値関数Ｑ₃と、困っている人物が写っている画像に対する行動価値関数Ｑ₄とが設定される。行動価値関数Ｑ₃は、不審人物が写っているサンプル画像群を複数用いて事前に学習され、行動価値関数Ｑ₄は、困っている人物が写っているサンプル画像群を複数用いて事前に学習される。行動価値関数Ｑ₃及びＱ₄は、行動価値関数Ｑ₁及びＱ₂と同様にして、設定される。要対処度算出手段１４４は、各撮影画像から検出された各人物領域について、Ｑ₃（ｓ，ａ）の値（行動価値）と、Ｑ₄（ｓ，ａ）の値（行動価値）とを特定する。要対処度算出手段１４４は、各撮影画像について算出した各人物に対するＱ₃（ｓ，ａ）の値（行動価値）の総和がＱ₄（ｓ，ａ）の値（行動価値）の総和以上である場合、その人物は不審人物であると判定する。一方、要対処度算出手段１４４は、Ｑ₃（ｓ，ａ）の値（行動価値）の総和がＱ₄（ｓ，ａ）の値（行動価値）の総和未満である場合、その人物は困っている人物であると判定する。
自動通報手段１４５は、撮影画像に写っている人物が不審人物である場合、ステップＳ１０７において自動通報を監視装置３０に送信することを決定し、撮影画像に写っている人物が困っている人物である場合、処理をステップＳ１０８へ移行し、要対処度が第２閾値以上であるか否かを判定する。
これにより、撮影画像に不審人物が写っていると推定される場合には、自動的に監視装置３０に通報され、監視員により適切な対処が行われる。一方、撮影画像に困っている人物が写っていると推定される場合には、まず店員に通知されて店員により対処が行われ、店員が必要と判断した場合には、さらに監視装置３０に通報される。したがって、画像監視システムでは、対処の必要がないにも関わらず、監視装置３０に通報されて監視員に負担をかけることが抑制される。 In addition, in step S106 of FIG. 2, the automatic notification means 145 determines whether the person appearing in the photographed image is a suspicious person or a person in need, not whether or not the degree of need to be dealt with is equal to or greater than the threshold. You can judge.
In this case, the store device 10 is set with an action value function _Q3 for an image containing a suspicious person and an action value function _Q4 for an image containing a troubled person. The action value function _Q3 is learned in advance using a plurality of sample image groups showing suspicious persons, and the action value function _Q4 is learned in advance using a plurality of sample image groups showing troubled persons. be done. Action-value functions _Q3 and _Q4 are set in the same manner as action-value functions _Q1 and _Q2 . The action required degree calculation means 144 calculates the value of Q ₃ (s, a) (behavioral value) and the value of Q ₄ (s,a) (behavioral value) for each human region detected from each photographed image. Identify. If the sum of Q ₃ (s, a) values (behavior value) for each person calculated for each photographed image is equal to or greater than the sum of Q ₄ (s, a) values (behavior value). If there is, the person is determined to be a suspicious person. On the other hand, if the sum of the values of Q ₃ (s, a) (behavioral value) is less than the sum of the values of Q ₄ (s, a) (behavioral value), the handling requirement level calculating means 144 determines that the person is in trouble. It is determined that the person is
If the person appearing in the photographed image is a suspicious person, the automatic notification means 145 determines in step S107 to transmit an automatic notification to the monitoring device 30, and the person appearing in the photographed image is a person in trouble. If so, the process proceeds to step S108, and it is determined whether or not the degree of need for action is equal to or greater than the second threshold.
As a result, when it is estimated that a suspicious person appears in the photographed image, it is automatically reported to the monitoring device 30, and appropriate measures are taken by the monitoring staff. On the other hand, when it is presumed that a person in trouble is shown in the photographed image, the clerk is first notified, and the clerk takes measures. be done. Therefore, in the image monitoring system, it is possible to prevent the monitoring device from being notified to the monitoring device 30 and placing a burden on the monitoring personnel even though there is no need for countermeasures.

また、店舗装置１０は、学習モデルを事前に設定せずに、運用中に撮像された撮影画像、手動通報の実行結果、及び、監視装置３０から送信された評価結果のみに基づいて、モデル１３１を生成及び更新してもよい。画像監視システムの管理者は、新たに画像監視システムを構築する際に、学習モデルを事前学習しておく必要がないため、短期間且つ容易に画像監視システムを構築することができる。 In addition, the store device 10 does not set the learning model in advance, but based only on the photographed image captured during operation, the execution result of the manual notification, and the evaluation result transmitted from the monitoring device 30, the model 131 may be generated and updated. When building a new image monitoring system, the administrator of the image monitoring system does not need to learn the learning model in advance, so the image monitoring system can be built easily in a short period of time.

また、図３のステップＳ２０４において、評価手段３５１は、評価結果、撮影画像、通報の種別（手動通報か自動通報か）及び評価の種別を、通報を送信した店舗装置１０と異なる他の店舗装置１０に送信してもよい。その場合、他の店舗装置１０の更新手段１４６は、受信した評価結果、撮影画像、通報の種別及び評価の種別に基づいて、自装置が記憶するモデル１３１を更新する。これにより、画像監視システムは、店舗として全国展開する複数のチェーン店等を有する場合に、各店舗の店舗装置１０により取得されたデータを一元管理して水平展開し、各店舗装置１０が使用するモデル１３１を効率よく更新することができる。 Further, in step S204 of FIG. 3, the evaluation means 351 sets the evaluation result, the photographed image, the type of report (manual report or automatic report), and the type of evaluation to another store apparatus different from the store apparatus 10 that transmitted the report. 10 may be sent. In this case, the updating means 146 of the other shop device 10 updates the model 131 stored in the own device based on the received evaluation result, photographed image, report type, and evaluation type. As a result, when the image monitoring system has a plurality of nationwide chain stores as stores, the data acquired by the store devices 10 of each store is centrally managed and horizontally deployed, and the data is used by each store device 10. The model 131 can be updated efficiently.

また、図２のステップＳ１０５において、店舗装置１０は、強化学習により決定された学習モデル（行動価値関数）の代わりに、教師あり学習等の他の学習方式により決定された学習モデル（識別器）を使用して、撮影画像に対処の必要がある人物が写っているか否かを判定してもよい。
その場合、要対処度算出手段１４４は、画像が入力された場合に要対処度を出力するように事前学習された識別器により、要対処度を算出する。この識別器は、例えばディープラーニング等により、対処が必要である人物が写っている複数のサンプル画像、及び、対処が必要である人物が写っていない複数のサンプル画像を用いて事前学習され、モデル１３１として予め第１記憶部１３に記憶される。要対処度算出手段１４４は、人物検出手段１４３が検出した人物領域を含む画像を識別器に入力し、識別器から出力された要対処度を取得することにより、要対処度を算出する。
一方、図２のステップＳ１１４及び図５のステップＳ３０６において、更新手段１４６は、モデル１３１として記憶された識別器を更新する。撮影画像に写っている人物に対する対処が必要である場合、更新手段１４６は、その撮影画像内の人物領域を、対処が必要である人物が写っているサンプル画像に追加して、識別器を再学習する。一方、撮影画像に写っている人物に対する対処が不要である場合、更新手段１４６は、その撮影画像内の人物領域を、対処が不要である人物が写っているサンプル画像に追加して、識別器を再学習する。この際、更新手段１４６は、監視装置から受信した監視時間に基づいてサンプル画像への追加の是非を制限するようにしてもよい。即ち、更新手段１４６は、撮影画像に写っている人物に対する対処が必要であった場合で、且つ、監視時間が所定未満であった場合はサンプル画像へ追加するようにする。
この場合も、画像監視システムは、モデル１３１を適切に更新することが可能となり、その結果、要対処度を高精度に算出することが可能となる。 Further, in step S105 of FIG. 2, the store device 10 uses a learning model (discriminator) determined by another learning method such as supervised learning instead of the learning model (action value function) determined by reinforcement learning. may be used to determine whether the captured image contains a person that needs to be addressed.
In this case, the handling requirement calculation unit 144 calculates the handling requirement level using a discriminator pre-trained to output the handling requirement level when an image is input. This discriminator is pre-learned, for example, by deep learning, etc., using a plurality of sample images containing a person who needs to be dealt with, and a plurality of sample images not containing a person who needs to be dealt with. 131 is stored in advance in the first storage unit 13 . The handling requirement calculation unit 144 calculates the handling requirement level by inputting the image including the person region detected by the person detection unit 143 into the classifier and obtaining the handling level output from the classifier.
On the other hand, in step S114 of FIG. 2 and step S306 of FIG. When a person appearing in the captured image needs to be dealt with, the updating means 146 adds the person area in the captured image to the sample image showing the person who needs to be dealt with, and re-identifies the classifier. learn. On the other hand, if the person in the captured image does not need to be dealt with, the updating means 146 adds the person area in the captured image to the sample image showing the person who does not need to be dealt with. to relearn. At this time, the updating means 146 may limit whether or not to add to the sample image based on the monitoring time received from the monitoring device. That is, the updating means 146 adds the person to the sample image when it is necessary to deal with the person appearing in the photographed image and when the monitoring time is less than a predetermined period.
In this case as well, the image monitoring system can appropriately update the model 131, and as a result, can calculate the degree of action required with high accuracy.

または、店舗装置１０は、パターンマッチングにより撮影画像に対処の必要がある人物が写っているか否かを判定してもよい。
その場合、店舗装置１０は、対処が必要である人物が写っている複数の第１画像パターンと、対処が不要である人物が写っている複数の第２画像パターンとをモデル１３１として第１記憶部１３に記憶しておく。要対処度算出手段１４４は、撮影画像から検出した人物領域と、モデル１３１として記憶しておいた各画像パターンとの類似度を算出する。類似度は、例えば、人物領域と、画像パターンを人物領域と同じサイズに拡大／縮小した画像との正規化相互相関値とすることができる。要対処度算出手段１４４は、人物領域と各第１画像パターンの類似度の内の最大値を、人物領域と各第２画像パターンの類似度の内の最大値で除算した値を要対処度として算出する。
一方、図２のステップＳ１１６及び図５のステップＳ３０６において、更新手段１４６は、モデル１３１として記憶された画像パターンを更新する。撮影画像に写っている人物に対する対処が必要である場合、更新手段１４６は、その撮影画像内の人物領域を第１画像パターンに追加する。一方、評価結果が、撮影画像に写っている人物に対する対処が不要である場合、更新手段１４６は、その撮影画像内の人物領域を第２画像パターンに追加する。また、店舗装置１０は、モデル１３１として記憶された画像パターンと合わせて、監視時間の情報を記憶しておき、監視時間に基づき第１画像パターン、第２画像パターンへの追加の是非を判定するようにしてもよい。例えば、更新手段１４６は、判定結果が対処が必要であったことを示し、且つ、監視時間が所定時間未満であった場合は、第１画像パターンに追加するなどとしてもよい。
この場合も、画像監視システムは、モデル１３１を適切に更新することが可能となり、その結果、要対処度を高精度に算出することが可能となる。 Alternatively, the shop apparatus 10 may determine whether or not a person who needs to be dealt with is shown in the captured image by pattern matching.
In this case, the shop apparatus 10 first stores, as models 131, a plurality of first image patterns showing a person who needs to be dealt with and a plurality of second image patterns showing a person who does not need to be dealt with. Store in section 13 . The action required degree calculation means 144 calculates the degree of similarity between the human region detected from the photographed image and each image pattern stored as the model 131 . The degree of similarity can be, for example, a normalized cross-correlation value between the person area and an image obtained by enlarging/reducing the image pattern to the same size as the person area. The handling requirement calculating means 144 calculates the handling requirement level by dividing the maximum value of similarities between the person region and each first image pattern by the maximum value of similarities between the person region and each second image pattern. Calculate as
On the other hand, in step S116 of FIG. 2 and step S306 of FIG. When the person appearing in the photographed image needs to be dealt with, the updating means 146 adds the person area in the photographed image to the first image pattern. On the other hand, if the evaluation result indicates that no action is required for the person appearing in the photographed image, the updating means 146 adds the person area in the photographed image to the second image pattern. In addition to the image pattern stored as the model 131, the store apparatus 10 stores information on the monitoring time, and determines whether or not to add the first image pattern and the second image pattern based on the monitoring time. You may do so. For example, the updating unit 146 may add to the first image pattern when the determination result indicates that countermeasures are necessary and the monitoring time is less than a predetermined time.
In this case as well, the image monitoring system can appropriately update the model 131, and as a result, can calculate the degree of action required with high accuracy.

以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。 As described above, various modifications can be made within the scope of the present invention according to the embodiment.

１０ 店舗装置、１４１ 手動通報手段、１４２ 画像取得手段、１４３ 人物検出手段、１４４ 要対処度算出手段、１４５ 自動通報手段、１４６ 更新手段、３０ 監視装置、３５１ 評価手段 10 store device 141 manual notification means 142 image acquisition means 143 person detection means 144 response level calculation means 145 automatic notification means 146 update means 30 monitoring device 351 evaluation means

Claims (4)

店舗装置及び監視装置を有し、店舗を監視する画像監視システムであって、
前記店舗装置は、
店舗内を撮影した撮影画像を取得する画像取得部と、
前記撮影画像から人物を検出する人物検出部と、
予め設定されたモデルを用いて、前記撮影画像から、前記検出された人物への対処の必要性の度合いを示す要対処度を算出する要対処度算出部と、
前記要対処度が閾値以上である場合、前記監視装置に自動通報を送信する自動通報部と、
店舗の店員による通報指示に従って、前記監視装置に手動通報を送信する手動通報部と、を有し、
前記監視装置は、前記店舗装置から前記自動通報又は前記手動通報を受信した場合、前記受信した自動通報又は手動通報を評価して評価結果を前記店舗装置に送信する評価部を有し、
前記店舗装置は、前記監視装置から受信した評価結果及び前記自動通報が送信される前の所定期間又は前記通報指示が実行される前の所定期間に撮影された撮影画像に基づいて前記モデルを更新し、且つ、前記評価結果が手動通報に対応する場合は、前記評価結果が自動通報に対応する場合より、前記モデルを更新する度合いを大きくする更新部をさらに有する、
ことを特徴とする画像監視システム。 An image monitoring system that has a store device and a monitoring device and monitors the store,
The store device is
an image acquisition unit that acquires a photographed image of the inside of the store;
a person detection unit that detects a person from the captured image;
a handling requirement level calculation unit that calculates a handling requirement level indicating the degree of necessity of handling the detected person from the captured image using a preset model;
an automatic notification unit that transmits an automatic notification to the monitoring device when the degree of action required is equal to or greater than a threshold;
a manual notification unit that transmits a manual notification to the monitoring device according to a notification instruction from a store clerk;
The monitoring device has an evaluation unit that, when receiving the automatic notification or the manual notification from the store device, evaluates the received automatic notification or manual notification and transmits an evaluation result to the store device,
The store device updates the model based on the evaluation result received from the monitoring device and the photographed image taken during a predetermined period before the automatic notification is transmitted or during the predetermined period before the notification instruction is executed. and further comprising an updating unit that updates the model to a greater extent than when the evaluation result corresponds to automatic notification when the evaluation result corresponds to manual notification ,
An image monitoring system characterized by: 店舗装置及び監視装置を有し、店舗を監視する画像監視システムであって、An image monitoring system that has a store device and a monitoring device and monitors the store,
前記店舗装置は、The store device is
店舗内を撮影した撮影画像を取得する画像取得部と、an image acquisition unit that acquires a photographed image of the inside of the store;
前記撮影画像から人物を検出する人物検出部と、a person detection unit that detects a person from the captured image;
予め設定されたモデルを用いて、前記撮影画像から、前記検出された人物への対処の必要性の度合いを示す要対処度を算出する要対処度算出部と、a handling requirement level calculation unit that calculates a handling requirement level indicating the degree of necessity of handling the detected person from the captured image using a preset model;
前記要対処度が閾値以上である場合、前記監視装置に自動通報を送信する自動通報部と、an automatic notification unit that transmits an automatic notification to the monitoring device when the degree of action required is equal to or greater than a threshold;
店舗の店員による通報指示に従って、前記監視装置に手動通報を送信する手動通報部と、を有し、a manual notification unit that transmits a manual notification to the monitoring device according to a notification instruction from a store clerk;
前記監視装置は、前記店舗装置から前記自動通報又は前記手動通報を受信した場合、前記受信した自動通報又は手動通報を評価して評価結果を前記店舗装置に送信する評価部を有し、The monitoring device has an evaluation unit that, when receiving the automatic notification or the manual notification from the store device, evaluates the received automatic notification or manual notification and transmits an evaluation result to the store device,
前記店舗装置は、前記監視装置から受信した評価結果及び前記自動通報が送信される前の所定期間又は前記通報指示が実行される前の所定期間に撮影された撮影画像に基づいて前記モデルを更新し、且つ、前記評価結果が自動通報に対応する場合は、前記要対処度が前記閾値以上である前記検出された人物の領域を用いて前記モデルを更新し、前記評価結果が手動通報に対応する場合は、前記通報指示が実行される前の所定期間に撮影された撮影画像を用いて前記モデルを更新する更新部をさらに有する、The store device updates the model based on the evaluation result received from the monitoring device and the photographed image taken during a predetermined period before the automatic notification is transmitted or during the predetermined period before the notification instruction is executed. and, if the evaluation result corresponds to automatic notification, the model is updated using the region of the detected person whose handling level is equal to or greater than the threshold, and the evaluation result corresponds to manual notification. When doing so, further comprising an update unit that updates the model using a captured image captured during a predetermined period before the notification instruction is executed,
ことを特徴とする画像監視システム。An image monitoring system characterized by: 前記自動通報部は、前記要対処度が前記閾値未満であり、且つ、前記閾値より小さい第２閾値以上である場合、店舗の店員に前記通報指示の実行を促し、
前記更新部は、前記評価結果が、前記通報指示の実行が促されずに送信された手動通報に対応する場合は、前記通報指示の実行が促されて送信された手動通報に対応する場合より、前記モデルを更新する度合いを大きくする、請求項１または２に記載の画像監視システム。 The automatic notification unit prompts a store clerk to execute the notification instruction when the degree of need to be dealt with is less than the threshold and is equal to or greater than a second threshold smaller than the threshold,
When the evaluation result corresponds to a manual report sent without prompting execution of the report instruction, the updating unit determines that the evaluation result corresponds to a manual report sent after prompting execution of the report instruction. , the image monitoring system according to claim 1 or 2, wherein the degree of updating the model is increased . 前記更新部は、前記自動通報部が店舗の店員に前記通報指示の実行を促し且つ前記手動通報部が手動通報を送信していない場合、前記検出された人物への対処が不要であるとみなして、前記モデルを更新する、請求項３に記載の画像監視システム。 When the automatic notification unit urges the store clerk to execute the notification instruction and the manual notification unit does not send the manual notification, the update unit determines that the detected person does not need to be dealt with. 4. The image surveillance system of claim 3, wherein the model is updated by updating the model.

Images