JP7015115B2

JP7015115B2 - Shooting abnormality monitoring system and program

Info

Publication number: JP7015115B2
Application number: JP2017067737A
Authority: JP
Inventors: 哲也高橋; 拓朗田中; 文男青木; 裕哉山本
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2017-03-30
Filing date: 2017-03-30
Publication date: 2022-02-02
Anticipated expiration: 2037-03-30
Also published as: JP2018169886A

Description

本発明は、撮影異常を監視する技術に関する。 The present invention relates to a technique for monitoring an abnormality in photography.

ウェアラブルカメラを利用して異常を監視する技術が知られている。例えば特許文献１には、ヘルメットに装着したカメラ及びインターカムからの映像信号及び音声信号をウェストポーチに収納したエンコードサーバーで記録することで、装着者が移動しながら映像及び音声を記録する技術が記載されている。 Technology for monitoring abnormalities using a wearable camera is known. For example, Patent Document 1 describes a technique for recording video and audio while the wearer is moving by recording video and audio signals from a camera and intercom mounted on a helmet with an encode server housed in a waist pouch. Are listed.

特開２００６－１４８８４２号公報Japanese Unexamined Patent Publication No. 2006-148842

特許文献１に記載されたようなウェアラブルカメラは、基本的には、常時画像を撮影している。ただし、例えばウェアラブルカメラを装着するユーザーがトイレ等の特定の場所にいる場合には、プライバシーを保護するために、撮影を控える必要がある。そこで、このような撮影が制限される条件に該当する場合、ユーザーは、例えばウェアラブルカメラをカバーで覆って撮影ができない状態にする。しかし、例えばユーザーが特定の場所から離れることにより、撮影が制限される条件に該当しなくなったときに、ユーザーがカバーを外し忘れると、以後、監視に必要な画像が撮影されなくなってしまう。
本発明は、撮影が制限される条件に該当しなくなったときに、カメラの遮蔽が解消されないことにより撮影できない状態が発生するのを防ぐことを目的とする。 A wearable camera as described in Patent Document 1 basically constantly captures an image. However, for example, when a user wearing a wearable camera is in a specific place such as a toilet, it is necessary to refrain from taking a picture in order to protect privacy. Therefore, when such a condition for restricting shooting is met, the user covers, for example, a wearable camera with a cover so that shooting cannot be performed. However, if the user forgets to remove the cover when the conditions for restricting shooting are no longer met, for example, when the user moves away from a specific place, the images necessary for monitoring will not be shot thereafter.
An object of the present invention is to prevent a state in which shooting cannot be performed due to the camera's occlusion not being removed when the conditions under which shooting is restricted are no longer met.

本発明は、ユーザーに装着されるカメラの視野が遮蔽された状態を検知する遮蔽検知手段と、前記カメラによる撮影が制限される条件に該当するか否かを判定する制限判定手段と、前記遮蔽検知手段により前記遮蔽された状態が検知された後、前記条件に該当しなくなったときに前記遮蔽された状態が継続している場合には、前記遮蔽された状態が解消されないことによる撮影異常を検出する異常検出手段とを備える撮影異常監視システムを提供する。 INDUSTRIAL APPLICABILITY The present invention includes a shielding detecting means for detecting a state in which the field of view of a camera mounted on a user is blocked, a limiting determining means for determining whether or not shooting by the camera is restricted, and the shielding. After the shielded state is detected by the detection means, if the shielded state continues when the condition is no longer met, a shooting abnormality due to the fact that the shielded state is not resolved is caused. Provided is a shooting abnormality monitoring system including an abnormality detecting means for detecting.

前記撮影異常監視システムは、さらに、前記異常検出手段により検出された前記撮影異常を前記ユーザーに報知する報知手段を備えてもよい。 The photographing abnormality monitoring system may further include a notification means for notifying the user of the photographing abnormality detected by the abnormality detecting means.

前記撮影異常は、第１撮影異常であり、前記異常検出手段は、前記条件に該当しない期間内に前記遮蔽された状態が検知された場合には、前記第１撮影異常とは異なる第２撮影異常を検出してもよい。 The imaging abnormality is a first imaging abnormality, and the abnormality detecting means is different from the first imaging abnormality when the shielded state is detected within a period not satisfying the above conditions. Anomalies may be detected.

前記撮影異常監視システムは、さらに、前記第１撮影異常と前記第２撮影異常とを区別して前記ユーザーに報知する報知手段を備えてもよい。 The shooting abnormality monitoring system may further include a notification means for distinguishing between the first shooting abnormality and the second shooting abnormality and notifying the user.

前記撮影異常は、第１撮影異常であり、前記異常検出手段は、前記遮蔽された状態が検知され、且つ前記条件に該当する状態が所定時間継続すると、前記第１撮影異常とは異なる第２撮影異常を検出してもよい。 The photographing abnormality is a first photographing abnormality, and the abnormality detecting means is different from the first photographing abnormality when the shielded state is detected and the state corresponding to the above condition continues for a predetermined time. A shooting abnormality may be detected.

前記撮影異常は、第１撮影異常であり、前記遮蔽検知手段は、前記遮蔽された状態が所定の遮蔽物によるものであるか否かを判定し、前記異常検出手段は、前記遮蔽された状態が前記所定の遮蔽物によるものではないと判定された場合には、前記条件に該当していたとしても、前記第１撮影異常とは異なる第２撮影異常を検出してもよい。 The photographing abnormality is a first photographing abnormality, the shielding detecting means determines whether or not the shielded state is due to a predetermined shield, and the abnormality detecting means is the shielded state. If it is determined that is not due to the predetermined shield, a second imaging abnormality different from the first imaging abnormality may be detected even if the above conditions are met.

前記撮影異常監視システムは、さらに、前記ユーザーの位置又は前記位置が属する範囲を特定する位置特定手段を備え、前記条件は、前記ユーザーが所定のエリア内に居るという条件を含み、前記制限判定手段は、前記位置特定手段により特定された前記位置又は前記範囲に基づいて、前記ユーザーが前記所定のエリア内に居るか否かを判定してもよい。 The shooting abnormality monitoring system further includes a position specifying means for specifying the position of the user or the range to which the position belongs, and the condition includes the condition that the user is in a predetermined area, and the restriction determination means. May determine whether or not the user is in the predetermined area based on the position or the range specified by the position specifying means.

前記撮影異常監視システムは、さらに、前記ユーザーの移動方向を検出する移動方向検出手段を備え、前記条件は、前記ユーザーが所定の方向に移動しているという条件を含み、前記制限判定手段は、前記移動方向検出手段により検出された前記移動方向に基づいて、前記ユーザーが前記所定の方向に移動しているか否かを判定してもよい。 The shooting abnormality monitoring system further includes a moving direction detecting means for detecting the moving direction of the user, the condition including the condition that the user is moving in a predetermined direction, and the restriction determining means includes the condition that the user is moving in a predetermined direction. Based on the movement direction detected by the movement direction detecting means, it may be determined whether or not the user is moving in the predetermined direction.

前記撮影異常監視システムは、さらに、前記カメラの撮影方向を検出する撮影方向検出手段を備え、前記条件は、前記カメラの撮影方向が所定の方向であるという条件を含み、前記制限判定手段は、前記撮影方向検出手段により検出された前記撮影方向に基づいて、前記カメラの撮影方向が前記所定の方向であるか否かを判定してもよい。 The shooting abnormality monitoring system further includes a shooting direction detecting means for detecting the shooting direction of the camera, the condition including the condition that the shooting direction of the camera is a predetermined direction, and the limitation determination means includes the condition that the shooting direction of the camera is a predetermined direction. Based on the shooting direction detected by the shooting direction detecting means, it may be determined whether or not the shooting direction of the camera is the predetermined direction.

また、本発明は、コンピュータに、ユーザーに装着されるカメラの視野が遮蔽された状態を検知するステップと、前記カメラによる撮影が制限される条件に該当するか否かを判定するステップと、前記遮蔽された状態が検知された後、前記条件に該当しなくなったときに前記遮蔽された状態が継続している場合には、前記遮蔽された状態が解消されないことによる撮影異常を検出するステップとを実行させるためのプログラムを提供する。 Further, the present invention includes a step of detecting a state in which the field of view of a camera mounted on the user is obstructed by the computer, a step of determining whether or not shooting by the camera is restricted, and the above-mentioned step. After the shielded state is detected, if the shielded state continues when the conditions are no longer met, the step of detecting a shooting abnormality due to the shielded state not being resolved. Provide a program to execute.

本発明によれば、撮影が制限される条件に該当しなくなったときに、カメラの遮蔽が解消されないことにより撮影できない状態が発生するのを防ぐことができる。 According to the present invention, when the conditions for restricting photography are no longer met, it is possible to prevent a state in which photography is not possible due to the fact that the shielding of the camera is not eliminated.

本実施形態に係る画像監視システム１の構成の一例を示す図。The figure which shows an example of the structure of the image monitoring system 1 which concerns on this embodiment. ウェアラブル端末１０が装着された状態の一例を示す図。The figure which shows an example of the state which the wearable terminal 10 is attached. ウェアラブル端末１０のハードウェア構成の一例を示す図。The figure which shows an example of the hardware composition of a wearable terminal 10. サーバー装置２０のハードウェア構成の一例を示す図。The figure which shows an example of the hardware composition of a server apparatus 20. 画像監視システム１による撮影異常の監視に関する機能構成の一例を示す図。The figure which shows an example of the function composition about the monitoring of the shooting abnormality by the image monitoring system 1. 画像監視システム１の動作の一例を示すタイミングチャート。A timing chart showing an example of the operation of the image monitoring system 1. 画像監視システム１の動作の一例を示すタイミングチャート。A timing chart showing an example of the operation of the image monitoring system 1. 画像監視システム１の動作の一例を示すタイミングチャート。A timing chart showing an example of the operation of the image monitoring system 1. 画像監視システム１の動作の一例を示すタイミングチャート。A timing chart showing an example of the operation of the image monitoring system 1.

［構成］
図１は、本実施形態に係る画像監視システム１の構成の一例を示す図である。画像監視システム１は、本発明における撮影異常監視システムを含むものである。画像監視システム１においては、ウェアラブル端末１０を用いて不審物の監視等の用途に用いられる画像を撮影する。また、画像監視システム１は、ウェアラブル端末１０による監視用の撮影が正常に行われていない状態である撮影異常を監視する。 [Constitution]
FIG. 1 is a diagram showing an example of the configuration of the image monitoring system 1 according to the present embodiment. The image monitoring system 1 includes the imaging abnormality monitoring system according to the present invention. In the image monitoring system 1, a wearable terminal 10 is used to capture an image used for monitoring a suspicious object or the like. Further, the image monitoring system 1 monitors a shooting abnormality, which is a state in which shooting for monitoring by the wearable terminal 10 is not normally performed.

画像監視システム１は、複数のウェアラブル端末１０と、サーバー装置２０と、オペレーション端末３０とを備える。各ウェアラブル端末１０とサーバー装置２０とは、データを伝送する通信回線４０を介して接続される。通信回線４０には、基地局が接続されており、各ウェアラブル端末１０は、基地局を介して通信回線４０に無線で接続される。通信回線４０は、例えばインターネットと無線通信ネットワークとにより構成されてもよい。サーバー装置２０とオペレーション端末３０とは、データを伝送する通信回線６０を介して接続される。通信回線６０は、例えばＬＡＮ（Local Area Network）等のプライベートネットワークにより構成されてもよい。なお、図１に示す例では、サーバー装置２０の数及びオペレーション端末３０の数はいずれも単数であるが、サーバー装置２０の数及びオペレーション端末３０の数は複数であってもよい。 The image monitoring system 1 includes a plurality of wearable terminals 10, a server device 20, and an operation terminal 30. Each wearable terminal 10 and the server device 20 are connected via a communication line 40 for transmitting data. A base station is connected to the communication line 40, and each wearable terminal 10 is wirelessly connected to the communication line 40 via the base station. The communication line 40 may be configured by, for example, the Internet and a wireless communication network. The server device 20 and the operation terminal 30 are connected via a communication line 60 for transmitting data. The communication line 60 may be configured by a private network such as a LAN (Local Area Network). In the example shown in FIG. 1, the number of server devices 20 and the number of operation terminals 30 are both singular, but the number of server devices 20 and the number of operation terminals 30 may be plural.

ウェアラブル端末１０は、ユーザーに装着されるコンピュータであり、画像を撮影する機能を有する。ウェアラブル端末１０は、例えばスマートフォンであってもよい。ウェアラブル端末１０は、ユーザーに装着された状態で、監視用にユーザーの前方の監視空間を内蔵カメラで常時又は断続的に撮影し、撮影した画像（以下、「撮影画像」という。）をサーバー装置２０に送信する。 The wearable terminal 10 is a computer worn by the user and has a function of capturing an image. The wearable terminal 10 may be, for example, a smartphone. The wearable terminal 10 is mounted on the user, and the monitoring space in front of the user is constantly or intermittently photographed by a built-in camera, and the captured image (hereinafter referred to as “captured image”) is a server device. Send to 20.

サーバー装置２０及びオペレーション端末３０は、監視センター５０内に設置される。監視センター５０は、ウェアラブル端末１０により撮影された画像を用いて各種の異常を監視するための施設である。サーバー装置２０は、ウェアラブル端末１０による撮影画像に基づく異常事象の監視や、ウェアラブル端末１０の撮影異常を監視するサービスを提供するコンピュータである。サーバー装置２０は、ウェアラブル端末１０から送信された撮影画像を解析することで、不審物等の監視空間に生じた異常事象を検出する。また、サーバー装置２０は、ウェアラブル端末１０からの送信された各種情報に基づき、ウェアラブル端末１０のカメラ１７の視野が遮蔽され正常に撮影できない状態である撮影異常を検出する。 The server device 20 and the operation terminal 30 are installed in the monitoring center 50. The monitoring center 50 is a facility for monitoring various abnormalities using images taken by the wearable terminal 10. The server device 20 is a computer that provides a service for monitoring an abnormal event based on a captured image by the wearable terminal 10 and monitoring an abnormal shooting of the wearable terminal 10. The server device 20 detects an abnormal event that has occurred in a monitoring space such as a suspicious object by analyzing a captured image transmitted from the wearable terminal 10. Further, the server device 20 detects a shooting abnormality in which the field of view of the camera 17 of the wearable terminal 10 is blocked and normal shooting cannot be performed based on various information transmitted from the wearable terminal 10.

オペレーション端末３０は、各種の異常を監視するオペレーターにより使用されるコンピュータである。オペレーション端末３０は、例えばパーソナルコンピュータであってもよい。サーバー装置２０にて異常事象が検出された場合、オペレーション端末３０に異常事象の内容が送信され、オペレーターに通知される。 The operation terminal 30 is a computer used by an operator who monitors various abnormalities. The operation terminal 30 may be, for example, a personal computer. When an abnormal event is detected in the server device 20, the content of the abnormal event is transmitted to the operation terminal 30 and the operator is notified.

図２は、ウェアラブル端末１０が装着された状態の一例を示す図である。ウェアラブル端末１０は、ケース７０に収容される。このケース７０は、例えばハーネスを用いてユーザーの上半身に固定される。これにより、ウェアラブル端末１０がユーザーに装着される。 FIG. 2 is a diagram showing an example of a state in which the wearable terminal 10 is attached. The wearable terminal 10 is housed in the case 70. The case 70 is fixed to the user's upper body using, for example, a harness. As a result, the wearable terminal 10 is attached to the user.

ケース７０は、開口部７１と、カバー７２と、取っ手７３とを有する。開口部７１は、ウェアラブル端末１０が収容された状態でカメラ１７のレンズ１７１に対向する位置に設けられ、レンズ１７１は開口部７１を介して外部に露出する。カバー７２は、開口部７１の前面を覆う位置（以下、「遮蔽位置」という。）と覆わない位置（以下、「退避位置」という。）との間でスライド移動可能な、可動式の遮蔽板である。カバー７２が遮蔽位置にあるとき、ケース７０に収容されたウェアラブル端末１０のレンズ１７１の前方が遮蔽され、すなわちカメラ１７の視野が遮蔽された状態となる。取っ手７３は、カバー７２の図中の矢印－Ｘ方向の端部に設けられる。カバー７２を閉じる場合、ユーザーは取っ手７３を持ってカバー７２を図中の矢印－Ｘ方向に遮蔽位置まで移動させる。カバー７２は、ユーザーの操作に従って図中の矢印－Ｘ方向にスライド移動し、開口部７１を遮蔽する。これにより、レンズ１７１が遮蔽され、ユーザーの前方の監視空間を撮影できない状態になる。一方、カバー７２を開ける場合、ユーザーは取っ手７３を持ってカバー７２を図中の矢印Ｘ方向に退避位置まで移動させる。カバー７２は、ユーザーの操作に従って図中の矢印Ｘ方向にスライド移動する。これにより、開口部７１を介してレンズ１７１が外部に露出し、撮影可能な状態になる。なお、ケース７０には、カバー７２により遮蔽される部分に、撮影中であることを示すメッセージ、例えば「警備撮影中」というメッセージが印字されていてもよい。 The case 70 has an opening 71, a cover 72, and a handle 73. The opening 71 is provided at a position facing the lens 171 of the camera 17 in a state where the wearable terminal 10 is housed, and the lens 171 is exposed to the outside through the opening 71. The cover 72 is a movable shielding plate that can be slidably moved between a position that covers the front surface of the opening 71 (hereinafter, referred to as “shielding position”) and a position that does not cover (hereinafter, referred to as “retracting position”). Is. When the cover 72 is in the shielded position, the front of the lens 171 of the wearable terminal 10 housed in the case 70 is shielded, that is, the field of view of the camera 17 is shielded. The handle 73 is provided at the end of the cover 72 in the arrow-X direction in the drawing. When closing the cover 72, the user holds the handle 73 and moves the cover 72 to the shielding position in the arrow-X direction in the drawing. The cover 72 slides in the arrow-X direction in the drawing according to the user's operation to shield the opening 71. As a result, the lens 171 is shielded, and the surveillance space in front of the user cannot be photographed. On the other hand, when opening the cover 72, the user holds the handle 73 and moves the cover 72 to the retracted position in the arrow X direction in the drawing. The cover 72 slides in the direction of the arrow X in the figure according to the user's operation. As a result, the lens 171 is exposed to the outside through the opening 71, and a state in which photography is possible is possible. The case 70 may have a message indicating that shooting is in progress, for example, a message "security shooting in progress" printed on a portion shielded by the cover 72.

図３は、ウェアラブル端末１０のハードウェア構成の一例を示す図である。ウェアラブル端末１０は、プロセッサー１１と、メモリー１２と、通信インタフェース１３と、ストレージ１４と、入力装置１５と、出力装置１６と、カメラ１７と、各種のセンサー１８とを備える。これらの装置は、データを伝送するバス１９を介して接続される。 FIG. 3 is a diagram showing an example of the hardware configuration of the wearable terminal 10. The wearable terminal 10 includes a processor 11, a memory 12, a communication interface 13, a storage 14, an input device 15, an output device 16, a camera 17, and various sensors 18. These devices are connected via a bus 19 that transmits data.

プロセッサー１１は、プログラムをメモリー１２に読み出して実行することにより、各種の処理を実行する。プロセッサー１１としては、例えばＣＰＵ（Central Processing Unit）が用いられてもよい。メモリー１２は、プロセッサー１１により実行されるプログラムを記憶する。メモリー１２としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせが用いられてもよい。通信インタフェース１３は、通信回線４０を介して、サーバー装置２０とデータ通信を行う。ストレージ１４は、各種のデータ及びプログラムを記憶する。ストレージ１４としては、例えばハードディスク、フラッシュメモリー、又はこれらの組み合わせが用いられてもよい。 The processor 11 executes various processes by reading the program into the memory 12 and executing the program. As the processor 11, for example, a CPU (Central Processing Unit) may be used. The memory 12 stores a program executed by the processor 11. As the memory 12, for example, a ROM (Read Only Memory), a RAM (Random Access Memory), or a combination thereof may be used. The communication interface 13 performs data communication with the server device 20 via the communication line 40. The storage 14 stores various data and programs. As the storage 14, for example, a hard disk, a flash memory, or a combination thereof may be used.

入力装置１５は、各種の情報の入力に用いられる。入力装置１５としては、例えばキー、タッチパネルを構成するタッチセンサー、又はこれらの組み合わせが用いられてもよい。出力装置１６は、各種の情報を出力する。出力装置１６としては、例えばディスプレイ、スピーカー、振動部、発光部、又はこれらのうちの少なくとも２つの組み合わせが用いられてもよい。ディスプレイは、画像を表示する。ディスプレイとしては、例えば液晶ディスプレイが用いられてもよい。スピーカーは、音を出力する。振動部は、ウェアラブル端末１０の筐体を振動させる。振動装置としては、例えば振動モーターが用いられてもよい。発光部は、発光する。発光部としては、例えばＬＥＤ（Light Emitting Diode）が用いられてもよい。 The input device 15 is used for inputting various types of information. As the input device 15, for example, a key, a touch sensor constituting a touch panel, or a combination thereof may be used. The output device 16 outputs various information. As the output device 16, for example, a display, a speaker, a vibrating unit, a light emitting unit, or at least two combinations thereof may be used. The display displays an image. As the display, for example, a liquid crystal display may be used. The speaker outputs sound. The vibrating unit vibrates the housing of the wearable terminal 10. As the vibration device, for example, a vibration motor may be used. The light emitting unit emits light. As the light emitting unit, for example, an LED (Light Emitting Diode) may be used.

カメラ１７は、レンズ１７１と撮像素子１７２とを有し、レンズ１７１により被写体の画像を撮像素子１７２上に結像させることにより、被写体の動画を撮影する。カメラ１７としては、例えばデジタルビデオカメラが用いられてもよい。各種のセンサー１８には、例えば測位センサー、加速度センサー、磁気センサー、傾斜センサー、及び高度センサーが含まれる。測位センサーは、ウェアラブル端末１０の位置を測定する。測位センサーとしては、例えば、ＢＬＥ（Bluetooth Low Energy）ビーコンの受信機、ＧＰＳ（Global Positioning System）受信機、又はその両方が用いられてもよい。加速度センサーは、ウェアラブル端末１０の加速度を測定する。磁気センサーは、磁場の大きさ及び方向を測定する。傾斜センサーは、ウェアラブル端末１０の傾斜角度を測定する。傾斜センサーとしては、例えばジャイロセンサーが用いられてもよい。高度センサーは、ウェアラブル端末１０の高度を測定する。高度センサーとしては、例えば気圧センサーが用いられてもよい。 The camera 17 has a lens 171 and an image pickup element 172, and an image of the subject is imaged on the image pickup element 172 by the lens 171 to capture a moving image of the subject. As the camera 17, for example, a digital video camera may be used. Various sensors 18 include, for example, positioning sensors, acceleration sensors, magnetic sensors, tilt sensors, and altitude sensors. The positioning sensor measures the position of the wearable terminal 10. As the positioning sensor, for example, a BLE (Bluetooth Low Energy) beacon receiver, a GPS (Global Positioning System) receiver, or both may be used. The accelerometer measures the acceleration of the wearable terminal 10. The magnetic sensor measures the magnitude and direction of the magnetic field. The tilt sensor measures the tilt angle of the wearable terminal 10. As the tilt sensor, for example, a gyro sensor may be used. The altitude sensor measures the altitude of the wearable terminal 10. As the altitude sensor, for example, a barometric pressure sensor may be used.

図４は、サーバー装置２０のハードウェア構成の一例を示す図である。サーバー装置２０は、プロセッサー２１と、メモリー２２と、通信インタフェース２３と、ストレージ２４とを備える。これらの装置は、データを伝送するバス２５を介して接続される。 FIG. 4 is a diagram showing an example of the hardware configuration of the server device 20. The server device 20 includes a processor 21, a memory 22, a communication interface 23, and a storage 24. These devices are connected via a bus 25 that carries data.

プロセッサー２１は、プログラムをメモリー２２に読み出して実行することにより、各種の処理を実行する。プロセッサー２１としては、例えばＣＰＵが用いられる。メモリー２２は、プロセッサー２１により実行されるプログラムを記憶する。メモリー２２としては、例えばＲＯＭ、ＲＡＭ、又はこれらの組み合わせが用いられてもよい。通信インタフェース２３は、通信回線４０を介して、各ウェアラブル端末１０とデータ通信を行う。また、通信インタフェース２３は、通信回線６０を介して、オペレーション端末３０とデータ通信を行う。ストレージ２４は、各種のデータ及びプログラムを記憶する。ストレージ２４としては、例えばハードディスク、フラッシュメモリー、又はこれらの組み合わせが用いられてもよい。 The processor 21 executes various processes by reading the program into the memory 22 and executing the program. As the processor 21, for example, a CPU is used. The memory 22 stores a program executed by the processor 21. As the memory 22, for example, ROM, RAM, or a combination thereof may be used. The communication interface 23 performs data communication with each wearable terminal 10 via the communication line 40. Further, the communication interface 23 performs data communication with the operation terminal 30 via the communication line 60. The storage 24 stores various data and programs. As the storage 24, for example, a hard disk, a flash memory, or a combination thereof may be used.

図５は、画像監視システム１による撮影異常の監視に関する機能構成の一例を示す図である。画像監視システム１は、遮蔽検知手段１０１と、位置特定手段１０２と、移動方向検出手段１０３と、撮影方向検出手段１０４と、制限判定手段１０５と、異常検出手段１０６と、報知手段１０７として機能する。この例では、遮蔽検知手段１０１と、位置特定手段１０２と、移動方向検出手段１０３と、撮影方向検出手段１０４と、報知手段１０７とは、ウェアラブル端末１０に実装される。これらの機能は、メモリー１２に記憶されたプログラムと、プログラムを実行するプロセッサー１１との協働により実現される。また、制限判定手段１０５と、異常検出手段１０６とは、サーバー装置２０に実装される。これらの機能は、メモリー２２に記憶されたプログラムと、プログラムを実行するプロセッサー２１との協働により実現される。 FIG. 5 is a diagram showing an example of a functional configuration related to monitoring of shooting abnormalities by the image monitoring system 1. The image monitoring system 1 functions as a shielding detecting means 101, a position specifying means 102, a moving direction detecting means 103, a shooting direction detecting means 104, a restriction determining means 105, an abnormality detecting means 106, and a notification means 107. .. In this example, the shielding detecting means 101, the position specifying means 102, the moving direction detecting means 103, the photographing direction detecting means 104, and the notifying means 107 are mounted on the wearable terminal 10. These functions are realized by the cooperation between the program stored in the memory 12 and the processor 11 that executes the program. Further, the restriction determination means 105 and the abnormality detecting means 106 are mounted on the server device 20. These functions are realized by the cooperation between the program stored in the memory 22 and the processor 21 that executes the program.

遮蔽検知手段１０１は、カメラ１７の視野が遮蔽された状態を検知する。例えば遮蔽検知手段１０１は、カメラ１７により撮影された画像を用いて、カメラ１７の視野が遮蔽された状態を検知する。遮蔽検知手段１０１は、撮影画像における明度、濃淡、コントラスト等に基づき、カメラ１７の視野が遮蔽された状態を検知する。例えば、遮蔽検知手段１０１は、撮影画像が全体的に暗く、明暗差が小さい場合に、カメラ１７の視野が遮蔽されたことにより正常に撮影できていないと判断する。このとき、一時的な画像の乱れによる誤検知を防ぐため、遮蔽検知手段１０１は、正常に撮影できない状態が所定時間継続した時点でカメラ１７の視野が遮蔽されたと判断してもよい。遮蔽検知手段１０１の検知結果を示す情報は、サーバー装置２０に送信される。 The obstruction detecting means 101 detects a state in which the field of view of the camera 17 is obstructed. For example, the obstruction detecting means 101 detects a state in which the field of view of the camera 17 is obstructed by using an image taken by the camera 17. The obstruction detecting means 101 detects a state in which the field of view of the camera 17 is obstructed based on the brightness, shading, contrast, and the like in the captured image. For example, when the captured image is dark as a whole and the difference in brightness is small, the shielding detecting means 101 determines that the image cannot be normally captured because the field of view of the camera 17 is blocked. At this time, in order to prevent erroneous detection due to temporary image distortion, the shielding detecting means 101 may determine that the field of view of the camera 17 is blocked when the state in which normal shooting cannot be performed continues for a predetermined time. Information indicating the detection result of the shield detecting means 101 is transmitted to the server device 20.

位置特定手段１０２は、ユーザーの位置又はユーザーの位置が属する範囲を特定する。例えばユーザーが屋外にいる場合、位置特定手段１０２は、ＧＰＳを利用してユーザーの位置を特定する。例えばＧＰＳを利用して測定された位置が、ユーザーの位置として特定される。一方、ユーザーが屋内にいる場合、位置特定手段１０２は、屋内に設けられたビーコンを利用して、ユーザーの位置又はユーザーの位置が属する範囲を特定する。このビーコンとしては、例えばＢＬＥビーコンが用いられてもよい。この場合、屋内には、複数のＢＬＥビーコンが設けられる。各ＢＬＥビーコンは、Bluetooth（登録商標）の規格に従って電波を発信する。例えばウェアラブル端末１０が或るＢＬＥビーコンから電波を受信すると、このＢＬＥビーコンの電波が届く範囲が、ユーザーの位置が属する範囲として特定される。 The position specifying means 102 specifies the position of the user or the range to which the position of the user belongs. For example, when the user is outdoors, the position specifying means 102 identifies the position of the user by using GPS. For example, a position measured using GPS is specified as a user's position. On the other hand, when the user is indoors, the position specifying means 102 identifies the position of the user or the range to which the position of the user belongs by using the beacon provided indoors. As the beacon, for example, a BLE beacon may be used. In this case, a plurality of BLE beacons are provided indoors. Each BLE beacon emits radio waves in accordance with the Bluetooth® standard. For example, when the wearable terminal 10 receives a radio wave from a certain BLE beacon, the range to which the radio wave of the BLE beacon reaches is specified as the range to which the user's position belongs.

或いはユーザーが屋内にいる場合、位置特定手段１０２は、屋内に設けられたビーコンと歩行者デッドレコニングとの組み合わせにより、ユーザーの位置又はユーザーの位置が属する範囲を特定してもよい。この歩行者デッドレコニングでは、加速度センサー、磁気センサー、傾斜センサー、又はこれらのうち少なくとも２つの組み合わせを用いて、ユーザーの相対的な位置が測定される。位置特定手段１０２により特定された位置又は範囲を示す情報は、サーバー装置２０に送信される。 Alternatively, when the user is indoors, the position specifying means 102 may specify the position of the user or the range to which the position of the user belongs by the combination of the beacon provided indoors and the pedestrian dead reckoning. In this pedestrian dead reckoning, the relative position of the user is measured using an accelerometer, a magnetic sensor, a tilt sensor, or a combination of at least two of them. Information indicating the position or range specified by the position specifying means 102 is transmitted to the server device 20.

移動方向検出手段１０３は、ユーザーの移動方向を検出する。例えば移動方向検出手段１０３は、高度センサーを用いて鉛直方向の成分を含むユーザーの移動方向を検出する。移動方向検出手段１０３により検出された移動方向を示す情報は、サーバー装置２０に送信される。 The moving direction detecting means 103 detects the moving direction of the user. For example, the moving direction detecting means 103 detects the moving direction of the user including the vertical component by using the altitude sensor. The information indicating the moving direction detected by the moving direction detecting means 103 is transmitted to the server device 20.

撮影方向検出手段１０４は、カメラ１７の撮影方向を検出する。この撮影方向は、例えばカメラ１７の光軸方向であってもよい。例えば撮影方向検出手段１０４は、傾斜センサーを用いてカメラ１７の撮影方向を検出する。撮影方向検出手段１０４により検出された撮影方向を示す情報は、サーバー装置２０に送信される。 The shooting direction detecting means 104 detects the shooting direction of the camera 17. This shooting direction may be, for example, the optical axis direction of the camera 17. For example, the shooting direction detecting means 104 detects the shooting direction of the camera 17 by using the tilt sensor. Information indicating the shooting direction detected by the shooting direction detecting means 104 is transmitted to the server device 20.

制限判定手段１０５は、ウェアラブル端末１０から受信した情報に基づいて、カメラ１７による撮影が制限される条件（以下、「撮影制限条件」という。）に該当するか否かを判定する。撮影制限条件には、例えばユーザーの場所に関する条件と、ユーザーの移動方向に関する条件と、カメラ１７の撮影方向に関する条件とが含まれてもよい。 Based on the information received from the wearable terminal 10, the restriction determination means 105 determines whether or not the condition for restricting shooting by the camera 17 (hereinafter referred to as “shooting restriction condition”) is satisfied. The shooting restriction condition may include, for example, a condition relating to the location of the user, a condition relating to the moving direction of the user, and a condition relating to the shooting direction of the camera 17.

ユーザーの場所に関する条件は、例えばユーザーが所定のエリア内に居るという条件である。この所定のエリアは、撮影が制限される場所である。なお、ここで言う「制限」という用語の概念には、撮影が許可されないという意味だけでなく、撮影を控えた方がよいという意味も含む。この所定のエリアには、例えばトイレ及び階段が含まれてもよい。この場合、制限判定手段１０５は、位置特定手段１０２により特定された位置又は範囲に基づいて、ユーザーが所定のエリア内に居るか否かを判定する。ユーザーが所定のエリア内に居る場合、撮影制限条件に該当すると判定される。 The condition regarding the location of the user is, for example, the condition that the user is in a predetermined area. This predetermined area is a place where photography is restricted. It should be noted that the concept of the term "restriction" here includes not only the meaning that shooting is not permitted but also the meaning that it is better to refrain from shooting. This predetermined area may include, for example, a toilet and stairs. In this case, the restriction determining means 105 determines whether or not the user is in a predetermined area based on the position or range specified by the position specifying means 102. If the user is in a predetermined area, it is determined that the shooting restriction condition is satisfied.

ユーザーの移動方向に関する条件は、例えばユーザーが所定の方向に移動しているという条件である。この所定の方向は、撮影が制限されるような移動方向である。この所定の方向には、例えば階段又はエスカレーターで上昇移動していることを示す方向が含まれてもよい。これは、階段又はエスカレーターで上昇移動している間は、前方の人を斜め下から撮影することになり、撮影が好ましくない場合があるためである。この場合、制限判定手段１０５は、移動方向検出手段１０３により検出された移動方向に基づいて、ユーザーが所定の方向に移動しているか否かを判定する。ユーザーが所定の方向に移動している場合、撮影制限条件に該当すると判定される。 The condition regarding the movement direction of the user is, for example, the condition that the user is moving in a predetermined direction. This predetermined direction is a moving direction in which shooting is restricted. This predetermined direction may include, for example, a direction indicating that the vehicle is moving up by a staircase or an escalator. This is because the person in front is photographed from diagonally below while moving up and down on the stairs or the escalator, which may not be preferable. In this case, the restriction determining means 105 determines whether or not the user is moving in a predetermined direction based on the moving direction detected by the moving direction detecting means 103. If the user is moving in a predetermined direction, it is determined that the shooting restriction condition is satisfied.

カメラ１７の撮影方向に関する条件には、例えばカメラ１７の撮影方向が所定の方向であるという条件である。この所定の方向は、撮影が制限されるような撮影方向である。この所定の方向は、例えば撮影方向が仰角４５度～９０度の範囲としてもよい。この場合、制限判定手段１０５は、撮影方向検出手段１０４により検出された撮影方向に基づいて、カメラ１７の撮影方向が所定の方向であるか否かを判定する。カメラ１７の撮影方向が所定の方向である場合、撮影制限条件に該当すると判定される。 The condition regarding the shooting direction of the camera 17 is, for example, that the shooting direction of the camera 17 is a predetermined direction. This predetermined direction is a shooting direction in which shooting is restricted. This predetermined direction may be, for example, a shooting direction in the range of an elevation angle of 45 degrees to 90 degrees. In this case, the limitation determining means 105 determines whether or not the shooting direction of the camera 17 is a predetermined direction based on the shooting direction detected by the shooting direction detecting means 104. When the shooting direction of the camera 17 is a predetermined direction, it is determined that the shooting restriction condition is satisfied.

このように、ユーザーの場所に関する条件、ユーザーの移動方向に関する条件、及びカメラ１７の撮影方向に関する条件の少なくともいずれかを満たす場合、撮影制限条件に該当すると判定される。一方、これらの条件をいずれも満たさない場合、撮影制限条件に該当しないと判定される。 As described above, when at least any one of the condition regarding the user's location, the condition regarding the user's moving direction, and the condition regarding the shooting direction of the camera 17 is satisfied, it is determined that the shooting restriction condition is satisfied. On the other hand, if none of these conditions are satisfied, it is determined that the shooting restriction conditions are not met.

異常検出手段１０６は、遮蔽検知手段１０１による検知結果及び制限判定手段１０５による判定結果に基づき、ウェアラブル端末１０が正常に撮影できない状態にある撮影異常を検出する。異常検出手段１０６は、ウェアラブル端末１０から受信した情報と制限判定手段１０５の判定結果とに基づいて、遮蔽検知手段１０１により遮蔽された状態が検知された後、撮影制限条件に該当しなくなったときに遮蔽された状態が継続している場合には、遮蔽された状態が解消されないことによる撮影異常（以下、「撮影復帰異常」という。）を検出する。この撮影復帰異常は、本発明における第１撮影異常の一例である。 The abnormality detecting means 106 detects a shooting abnormality in which the wearable terminal 10 cannot normally shoot, based on the detection result by the shielding detecting means 101 and the determination result by the limitation determining means 105. When the abnormality detecting means 106 does not meet the shooting restriction condition after the shielded state is detected by the shielding detecting means 101 based on the information received from the wearable terminal 10 and the determination result of the limiting determining means 105. When the shielded state continues, a shooting abnormality (hereinafter referred to as “shooting recovery abnormality”) due to the shielded state not being resolved is detected. This imaging return abnormality is an example of the first imaging abnormality in the present invention.

また、異常検出手段１０６は、撮影制限条件に該当しない期間内に遮蔽検知手段１０１によりカメラ１７の視野（以下、単に「カメラ視野」と称す。）が遮蔽された状態が検知された場合には、遮蔽された状態の検知に応じて撮影異常（以下、「撮影障害異常」という。）を検出する。この撮影障害異常は、本発明における第２撮影異常の一例である。この撮影障害異常は、遮蔽された状態が解消されないことに起因する撮影異常ではない点で、撮影復帰異常とは異なる。撮影復帰異常は、ユーザーが撮影制限条件下において意図的にカメラ視野を遮蔽し、その遮蔽を解除し忘れたことによる撮影異常であるのに対し、撮影障害異常は、ユーザーの意図にかかわらず正しく撮影が行われていない状態である。なお、この「撮影制限条件下」という用語の概念には、撮影制限条件に該当している場合だけではなく、所定の猶予時間の後、撮影制限条件に該当する場合も含まれる。なお、異常検出手段１０６は、遮蔽された状態が検知された時に撮影障害異常を検出してもよいし、遮蔽された状態が検知された時点から所定の時間経過した後に撮影障害異常を検出してもよい。異常検出手段１０６により検出された撮影復帰異常又は撮影障害異常を示す情報は、ウェアラブル端末１０に送信される。 Further, when the abnormality detecting means 106 detects that the field of view of the camera 17 (hereinafter, simply referred to as “camera field of view”) is blocked by the shielding detecting means 101 within a period that does not correspond to the shooting restriction condition. , A shooting abnormality (hereinafter referred to as "shooting failure abnormality") is detected according to the detection of the shielded state. This imaging disorder abnormality is an example of the second imaging abnormality in the present invention. This shooting failure abnormality is different from the shooting return abnormality in that it is not a shooting abnormality caused by the fact that the shielded state is not resolved. The shooting return abnormality is a shooting abnormality caused by the user intentionally blocking the camera field of view under the shooting restriction condition and forgetting to release the shielding, whereas the shooting failure abnormality is correct regardless of the user's intention. No shooting has been done. It should be noted that the concept of the term "shooting restriction condition" includes not only the case where the shooting restriction condition is satisfied but also the case where the shooting restriction condition is satisfied after a predetermined grace period. The abnormality detecting means 106 may detect the shooting failure abnormality when the shielded state is detected, or detect the shooting failure abnormality after a predetermined time has elapsed from the time when the shielded state is detected. You may. The information indicating the shooting return abnormality or the shooting failure abnormality detected by the abnormality detecting means 106 is transmitted to the wearable terminal 10.

報知手段１０７は、サーバー装置２０から受信した情報に基づいて、異常検出手段１０６により検出された撮影異常（撮影復帰異常又は撮影障害異常）をユーザーに報知する。ユーザーへの報知は、例えば音、振動、光、画像の表示、又はこれらのうち少なくとも２つ組み合わせにより行われてもよい。音による報知は、撮影異常を示す音をスピーカーから出力することにより行われる。振動による報知は、振動部を用いてウェアラブル端末１０の筐体を振動させることにより行われる。光による報知は、発光部を発光させることにより行われる。画像の表示による報知は、撮影異常を示す画像をディスプレイに表示することにより行われる。 The notification means 107 notifies the user of a shooting abnormality (shooting return abnormality or shooting failure abnormality) detected by the abnormality detecting means 106 based on the information received from the server device 20. Notification to the user may be performed by, for example, sound, vibration, light, image display, or a combination of at least two of these. The notification by sound is performed by outputting a sound indicating an abnormality in shooting from the speaker. The notification by vibration is performed by vibrating the housing of the wearable terminal 10 by using the vibration unit. Notification by light is performed by causing the light emitting unit to emit light. Notification by displaying an image is performed by displaying an image indicating an abnormality in shooting on the display.

また、報知手段１０７は、撮影復帰異常と撮影障害異常とを区別してユーザーに報知してもよい。例えば報知手段１０７は、撮影復帰異常を報知する場合と撮影障害異常を報知する場合とで、報知方法を異ならせてもよい。この報知方法には、例えば報知内容が含まれてもよい。例えば撮影復帰異常を報知する場合と撮影障害異常を報知する場合とで、互いに異なる音声メッセージがスピーカーから出力されてもよい。例えば撮影復帰異常を報知する場合には、「カバーを外し忘れています」という音声メッセージが出力される一方、撮影障害異常を報知する場合には、「撮影ができません」という音声メッセージが出力されてもよい。 Further, the notification means 107 may notify the user by distinguishing between the shooting return abnormality and the shooting failure abnormality. For example, the notification means 107 may use different notification methods depending on whether the shooting return abnormality is notified or the shooting failure abnormality is notified. This notification method may include, for example, notification content. For example, different voice messages may be output from the speaker depending on whether the shooting return abnormality is notified or the shooting failure abnormality is notified. For example, when notifying an abnormal shooting return, a voice message "Forgot to remove the cover" is output, while when notifying an abnormal shooting failure, a voice message "Cannot shoot" is output. May be good.

なお、異常検出手段１０６により検出された撮影異常は、ユーザーに加えてオペレーターにも報知されてもよい。この場合、異常検出手段１０６により検出された撮影異常を示す情報は、オペレーション端末３０にも送信される。オペレーション端末３０は、サーバー装置２０から受信した情報に基づいて、異常検出手段１０６により検出された撮影異常をオペレーターに報知する。この報知は、例えばオペレーション端末３０のディスプレイに、撮影異常を示す画像を表示することにより行われてもよい。 The photographing abnormality detected by the abnormality detecting means 106 may be notified not only to the user but also to the operator. In this case, the information indicating the photographing abnormality detected by the abnormality detecting means 106 is also transmitted to the operation terminal 30. The operation terminal 30 notifies the operator of the photographing abnormality detected by the abnormality detecting means 106 based on the information received from the server device 20. This notification may be performed, for example, by displaying an image indicating a shooting abnormality on the display of the operation terminal 30.

［動作］
＜撮影制限条件に該当しない期間にカメラ視野が遮蔽された場合＞
図６は、この場合の画像監視システム１の動作の一例を示すタイミングチャートである。撮影制限条件に該当しない期間内の時刻ｔ１１に、ユーザーによりレンズ１７１がカバー７２で覆われると、遮蔽検知手段１０１は、カメラ視野が遮蔽された状態を検知する。時刻ｔ１１から所定の猶予時間Ｔ１０の間、制限判定手段１０５により撮影制限条件に該当すると判定されなかった場合には、時刻ｔ１１から所定の猶予時間Ｔ１０が経過した時刻ｔ１２に、異常検出手段１０６は、撮影障害異常を検出する。この所定の猶予時間Ｔ１０は、例えば所定の猶予時間Ｔ１０内に撮影制限条件に該当するようになった場合には、撮影制限条件に該当する直前にユーザーがカメラ視野を遮蔽したと見なせるような時間である。言い換えると、所定の猶予時間Ｔ１０は、所定の猶予時間Ｔ１０内に撮影制限条件に該当しない場合には、このような状況に該当しないと見なせるような時間である。撮影障害異常が検出されると、報知手段１０７は、ユーザーに撮影障害異常を報知する。 [motion]
<When the camera field of view is blocked during the period that does not meet the shooting restriction conditions>
FIG. 6 is a timing chart showing an example of the operation of the image monitoring system 1 in this case. When the lens 171 is covered with the cover 72 by the user at time t11 within the period not corresponding to the shooting restriction condition, the obstruction detecting means 101 detects a state in which the camera field of view is obstructed. If it is not determined by the restriction determining means 105 that the shooting restriction condition is satisfied during the predetermined grace time T10 from the time t11, the abnormality detecting means 106 is set at the time t12 when the predetermined grace time T10 has elapsed from the time t11. , Detects shooting failure abnormalities. This predetermined grace time T10 is, for example, a time during which the user can be regarded as blocking the camera field of view immediately before the shooting restriction condition is satisfied when the shooting restriction condition is met within the predetermined grace time T10. Is. In other words, the predetermined grace time T10 is a time that can be regarded as not corresponding to such a situation if the shooting restriction condition is not satisfied within the predetermined grace time T10. When the shooting failure abnormality is detected, the notification means 107 notifies the user of the shooting failure abnormality.

＜撮影制限条件に該当する期間にカメラ視野が遮蔽された場合＞
図７は、この場合の画像監視システム１の動作の一例を示すタイミングチャートである。ここでは、時刻ｔ２１から期間Ｔ２０の間、撮影制限条件に該当する場合を想定する。この期間Ｔ２０内の時刻ｔ２２に、ユーザーによりレンズ１７１がカバー７２で覆われると、遮蔽検知手段１０１は、カメラ視野が遮蔽された状態を検知する。この場合、異常検出手段１０６は、期間Ｔ２０中は撮影異常を検出しない。期間Ｔ２０が終了する時刻ｔ２３において、カメラ視野が遮蔽された状態が継続している場合には、異常検出手段１０６は、撮影復帰異常を検出する。この時刻ｔ２３は、本発明における撮影制限条件に該当しなくなったときの一例である。撮影復帰異常が検出されると、報知手段１０７は、ユーザーに撮影復帰異常を報知する。 <When the camera field of view is blocked during the period that meets the shooting restriction conditions>
FIG. 7 is a timing chart showing an example of the operation of the image monitoring system 1 in this case. Here, it is assumed that the shooting restriction condition is satisfied between the time t21 and the period T20. When the lens 171 is covered with the cover 72 by the user at the time t22 within the period T20, the obstruction detecting means 101 detects the state in which the camera field of view is obstructed. In this case, the abnormality detecting means 106 does not detect a photographing abnormality during the period T20. If the state in which the camera field of view is blocked continues at the time t23 at the end of the period T20, the abnormality detecting means 106 detects a shooting return abnormality. This time t23 is an example when the shooting restriction condition in the present invention is no longer applicable. When the shooting return abnormality is detected, the notification means 107 notifies the user of the shooting return abnormality.

図７に示す例においては、撮影制限条件に該当しなくなった時点である時刻ｔ２３で遮蔽された状態が継続していると撮影復帰異常が検出されているが、所定の猶予時間を待って撮影復帰異常が検出されてもよい。例えば、撮影制限条件に該当しなくなった時刻ｔ２３から所定の猶予時間Ｔ１０が経過した時点で遮蔽された状態が継続している場合に、撮影復帰異常が検出されてもよい。 In the example shown in FIG. 7, if the shielded state continues at time t23, which is the time when the shooting restriction condition is no longer applied, a shooting return abnormality is detected, but shooting is performed after a predetermined grace period. A return abnormality may be detected. For example, when the shielded state continues at the time when the predetermined grace time T10 elapses from the time t23 when the shooting restriction condition is no longer applied, the shooting return abnormality may be detected.

また、上述した図６に示す例において、時刻ｔ１１から所定の猶予時間Ｔ１０内に、ユーザーによりレンズ１７１がカバー７２で覆われた場合にも、図７に示す例と同様に撮影復帰異常の検出が行われてもよい。すなわち、制限判定手段１０５により撮影制限条件に該当しなくなったとき遮蔽された状態が継続している場合、異常検出手段１０６は、撮影復帰異常を検出してもよい。 Further, in the above-mentioned example shown in FIG. 6, even when the lens 171 is covered with the cover 72 by the user within the predetermined grace time T10 from the time t11, the shooting return abnormality is detected as in the example shown in FIG. May be done. That is, if the shielded state continues when the shooting restriction condition is no longer met by the restriction determining means 105, the abnormality detecting means 106 may detect the shooting return abnormality.

＜撮影制限条件に該当し且つカメラ視野が遮蔽された状態が一定期間継続した場合＞
図８は、この場合の画像監視システム１の動作の一例を示すタイミングチャートである。ここでは、時刻ｔ３１に、制限判定手段１０５により撮影制限条件に該当すると判定され、時刻ｔ３１より後の時刻ｔ３２に、ユーザーによりレンズ１７１がカバー７２で覆われた場合を想定する。この場合、時刻ｔ３２において、遮蔽検知手段１０１は、カメラ視野が遮蔽された状態を検知する。この例では、時刻ｔ３２から所定の時間Ｔ３０、撮影制限条件に該当し且つカメラ視野が遮蔽された状態が継続する。この所定の時間Ｔ３０は、例えばユーザーに何らかの異常が発生したと考えられるような時間である。この場合、時刻ｔ３２から所定の時間Ｔ３０が経過した時刻ｔ３３において、異常検出手段１０６は、撮影障害異常を検出する。撮影障害異常が検出されると、報知手段１０７は、ユーザーに撮影障害異常を報知する。 <When the shooting restriction conditions are met and the camera field of view is blocked for a certain period of time>
FIG. 8 is a timing chart showing an example of the operation of the image monitoring system 1 in this case. Here, it is assumed that the lens 171 is covered with the cover 72 by the user at the time t31, which is determined by the restriction determination means 105 to meet the shooting restriction condition, and at the time t32 after the time t31. In this case, at time t32, the shielding detecting means 101 detects a state in which the camera field of view is shielded. In this example, from the time t32 to the predetermined time T30, the state in which the shooting restriction condition is satisfied and the camera field of view is blocked continues. This predetermined time T30 is, for example, a time at which it is considered that some abnormality has occurred in the user. In this case, at the time t33 when the predetermined time T30 has elapsed from the time t32, the abnormality detecting means 106 detects the imaging failure abnormality. When the shooting failure abnormality is detected, the notification means 107 notifies the user of the shooting failure abnormality.

＜専用カバー以外の遮蔽物によりカメラ視野が遮蔽された場合＞
カメラ視野の遮蔽に用いられるカバー７２には、専用カバーが用いられてもよい。この専用カバーは、本発明における所定の遮蔽物の一例である。この場合、遮蔽検知手段１０１は、撮影画像を解析し、カメラ視野が遮蔽された状態であることを検知し、さらに、専用カバーであるカバー７２の検出を行うことで、遮蔽された状態の要因が専用カバーによる遮蔽行為であるか否かを判定する。すなわち、遮蔽検知手段１０１は、遮蔽された状態が専用カバーによるものであるか否かを判定する。専用カバーには、例えば所定の印が付加される。この所定の印としては、例えばマーク、模様、ＩＣ（Integrated Circuit）タグ、又は二次元バーコードが用いられてもよい。例えば遮蔽検知手段１０１は、所定の印を読み取ることにより、専用カバーとそれ以外の遮蔽物とを識別する。 <When the camera field of view is blocked by a shield other than the dedicated cover>
A dedicated cover may be used for the cover 72 used for shielding the field of view of the camera. This dedicated cover is an example of a predetermined shield in the present invention. In this case, the shielding detecting means 101 analyzes the captured image, detects that the camera field of view is in a shielded state, and further detects the cover 72, which is a dedicated cover, to cause the shielded state. Determines whether or not is a shielding act with a dedicated cover. That is, the shield detecting means 101 determines whether or not the shielded state is due to the dedicated cover. For example, a predetermined mark is added to the dedicated cover. As the predetermined mark, for example, a mark, a pattern, an IC (Integrated Circuit) tag, or a two-dimensional bar code may be used. For example, the shield detecting means 101 distinguishes between the dedicated cover and other shields by reading a predetermined mark.

例えば専用カバーには、所定のマーク又は模様が付加される場合を想定する。この場合、所定のマーク又は模様は、専用カバーにおいてレンズ１７１と対向する面に設けられる。また、カメラ１７により撮影された画像に画像認識処理が施される。この画像認識処理により所定のマーク又は模様が認識された場合、専用カバーを用いた遮蔽であると判定される。すなわち、この場合には、専用カバーが識別され、カメラ視野が識別された状態は専用カバーによるものであると判定される。一方、画像認識処理により所定のマーク又は模様が認識されなかった場合、専用カバーが用いられていない遮蔽であると判定される。すなわち、この場合には、専用カバー以外の遮蔽物が識別され、カメラ視野が遮蔽された状態は専用カバー以外の遮蔽物によるものであると判定される。 For example, it is assumed that a predetermined mark or pattern is added to the dedicated cover. In this case, the predetermined mark or pattern is provided on the surface of the dedicated cover facing the lens 171. Further, the image recognition process is applied to the image taken by the camera 17. When a predetermined mark or pattern is recognized by this image recognition process, it is determined that the cover is shielded using the dedicated cover. That is, in this case, it is determined that the dedicated cover is identified and the state in which the camera field of view is identified is due to the dedicated cover. On the other hand, when the predetermined mark or pattern is not recognized by the image recognition process, it is determined that the cover is not used for the special cover. That is, in this case, the shield other than the dedicated cover is identified, and it is determined that the state in which the camera field of view is shielded is due to the shield other than the dedicated cover.

図９は、専用カバー以外の遮蔽物によりカメラ視野が遮蔽された場合の画像監視システム１の動作の一例を示すタイミングチャートである。ここでは、時刻ｔ４１から期間Ｔ４０の間、撮影制限条件に該当する場合を想定する。この期間Ｔ４０内の時刻ｔ４２に遮蔽検知手段１０１によりカメラ視野が遮蔽された状態が検知され、その原因が専用カバーではない、すなわちカメラ視野が遮蔽された状態が専用カバー以外の遮蔽物によるものであると判定されると、異常検出手段１０６は、撮影制限条件に該当する期間Ｔ４０内であっても、時刻ｔ４２に撮影障害異常を検知する。撮影障害異常が検出されると、報知手段１０７は、ユーザーに撮影障害異常を報知する。 FIG. 9 is a timing chart showing an example of the operation of the image monitoring system 1 when the camera field of view is blocked by a shield other than the dedicated cover. Here, it is assumed that the shooting restriction condition is satisfied between the time t41 and the period T40. At time t42 within this period T40, the state in which the camera field of view is blocked by the shielding detection means 101 is detected, and the cause is not the dedicated cover, that is, the state in which the camera field of view is blocked is due to a shield other than the dedicated cover. If it is determined to be present, the abnormality detecting means 106 detects a shooting failure abnormality at time t42 even within the period T40 corresponding to the shooting restriction condition. When the shooting failure abnormality is detected, the notification means 107 notifies the user of the shooting failure abnormality.

以上説明した実施形態によれば、撮影制限条件下においてユーザーが意図的にカメラ視野を遮蔽した場合には撮影障害異常と判定されず、また、撮影制限条件に該当しなくなったときにカメラ１７の遮蔽が解消されなければ撮影復帰異常が検出され、ユーザーに報知される。これにより、所定の環境下においてユーザーや他者のプライバシーを保護することができるとともに、カバー７２を開け忘れたとしてもすぐにそのことに気づき、対処することができる。よって、撮影制限条件に該当しなくなったときに、カメラ視野の遮蔽が解消されないことにより撮影できない状態が発生するのを防ぐことができる。 According to the embodiment described above, when the user intentionally blocks the camera field of view under the shooting restriction condition, it is not determined as a shooting failure abnormality, and when the shooting restriction condition is no longer satisfied, the camera 17 is used. If the obstruction is not resolved, a shooting return abnormality is detected and the user is notified. As a result, the privacy of the user and others can be protected under a predetermined environment, and even if the cover 72 is forgotten to be opened, it can be immediately noticed and dealt with. Therefore, when the shooting restriction condition is no longer satisfied, it is possible to prevent a state in which shooting cannot be performed due to the fact that the shielding of the camera field of view is not eliminated.

［変形例］
本発明は上述した実施形態に限定されない。上述した実施形態に対し、種々の変形がなされてもよい。また、以下の変形例が組み合わせて実施されてもよい。 [Modification example]
The present invention is not limited to the embodiments described above. Various modifications may be made to the above-described embodiment. Moreover, the following modification examples may be carried out in combination.

［変形例１］
上述した実施形態において、カバー７２の構造は、図２に示す構造に限定されない。カバー７２は、カメラ視野を遮蔽できる構造であれば、どのような構造であってもよい。例えば、スライド可動式のカバーに替えて、開口部７１の上辺を基軸に回転可能な回転可動式のカバーを採用してもよく、又は、ケース７０とは別体に構成されて開口部７１を覆うように嵌合可能なキャップ式のカバーを採用してもよい。また、カメラ視野を遮蔽する遮蔽物は、カバー７２に限定されない。遮蔽物は、カメラ視野を遮蔽するものであれば、どのようなものであってもよい。さらに、カメラ視野の遮蔽方法は、レンズ１７１の前面を覆う遮蔽物を用いた方法に限定されない。カメラ視野の遮蔽方法は、カメラ１７を撮影できない状態にするものであれば、どのような方法であってもよい。例えばカメラ１７の表裏を反対にし、レンズ１７１をユーザーの身体に向けることにより、カメラ視野が遮蔽されてもよい。 [Modification 1]
In the above-described embodiment, the structure of the cover 72 is not limited to the structure shown in FIG. The cover 72 may have any structure as long as it can shield the camera field of view. For example, instead of the slide movable cover, a rotatable movable cover that can rotate around the upper side of the opening 71 may be adopted, or the opening 71 is configured separately from the case 70 and the opening 71 is provided. A cap-type cover that can be fitted so as to cover may be adopted. Further, the shield that shields the camera field of view is not limited to the cover 72. The shield may be anything as long as it shields the field of view of the camera. Further, the method of shielding the camera field of view is not limited to the method using a shield covering the front surface of the lens 171. The camera field of view may be shielded by any method as long as the camera 17 cannot be photographed. For example, the front and back of the camera 17 may be reversed and the lens 171 may be directed toward the user's body to block the camera field of view.

［変形例２］
カメラ視野が遮蔽された状態を検知する方法は、上述した実施形態で説明した方法に限定されない。例えば、ウェアラブル端末１０が照度を測定する照度センサーを備える場合には、遮蔽検知手段１０１は、照度センサーを用いて遮蔽された状態を検知してもよい。或いは、カバー７２の開閉を検知するセンサーを設け、遮蔽検知手段１０１は、このセンサーを用いて遮蔽された状態を検知してもよい。 [Modification 2]
The method of detecting the state in which the camera field of view is obstructed is not limited to the method described in the above-described embodiment. For example, when the wearable terminal 10 is provided with an illuminance sensor for measuring illuminance, the shielding detecting means 101 may detect the shielded state by using the illuminance sensor. Alternatively, a sensor for detecting the opening / closing of the cover 72 may be provided, and the shielding detecting means 101 may detect the shielding state by using this sensor.

［変形例３］
上述した実施形態において、撮影制限条件には、時間に関する条件が含まれてもよい。この時間に関する条件は、例えば現在時刻がユーザーについて設定された所定の時間内であるという条件であってもよい。この所定の時間は、ユーザーの昼休みの時間等、ユーザーが撮影を行わない時間である。この場合、制限判定手段１０５は、現在時刻がユーザーについて設定された所定の時間内であるか否かを判定する。現在時刻がユーザーについて設定された所定の時間内である場合には、撮影制限条件に該当すると判定される。 [Modification 3]
In the above-described embodiment, the imaging restriction condition may include a time-related condition. The condition regarding this time may be, for example, a condition that the current time is within a predetermined time set for the user. This predetermined time is a time during which the user does not take a picture, such as a time during the lunch break of the user. In this case, the restriction determination means 105 determines whether or not the current time is within a predetermined time set for the user. If the current time is within the predetermined time set for the user, it is determined that the shooting restriction condition is satisfied.

［変形例４］
画像監視システム１による撮影異常の監視に関する機能を実装する対象は、上述した実施形態において説明した例に限定されない。例えばサーバー装置２０が位置特定手段１０２の少なくとも一部の機能を有していてもよい。また、例えばウェアラブル端末１０が図５に示す機能を全て有していてもよい。この場合、ウェアラブル端末１０は、撮影異常監視装置として機能する。 [Modification 4]
The target for implementing the function related to the monitoring of shooting abnormalities by the image monitoring system 1 is not limited to the example described in the above-described embodiment. For example, the server device 20 may have at least a part of the functions of the position specifying means 102. Further, for example, the wearable terminal 10 may have all the functions shown in FIG. In this case, the wearable terminal 10 functions as a shooting abnormality monitoring device.

［変形例５］
画像監視システム１において行われる処理のステップは、上述した実施形態で説明した例に限定されない。この処理のステップは、矛盾のない限り、入れ替えられてもよい。本発明は、画像監視システム１において行われる処理のステップを備える撮影異常監視方法として提供されてもよい。 [Modification 5]
The processing steps performed in the image monitoring system 1 are not limited to the examples described in the above-described embodiment. The steps of this process may be swapped as long as there is no contradiction. The present invention may be provided as a photographing abnormality monitoring method including a processing step performed in the image monitoring system 1.

［変形例６］
本発明は、ウェアラブル端末１０、サーバー装置２０、又はオペレーション端末３０において実行されるプログラムとして提供されてもよい。このプログラムは、インターネットなどの通信回線を介してダウンロードされてもよい。また、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリーなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。 [Modification 6]
The present invention may be provided as a program executed by the wearable terminal 10, the server device 20, or the operation terminal 30. This program may be downloaded via a communication line such as the Internet. In addition, this program is provided in a state of being recorded on a computer-readable recording medium such as a magnetic recording medium (magnetic tape, magnetic disk, etc.), an optical recording medium (optical disk, etc.), an optical magnetic recording medium, a semiconductor memory, or the like. You may.

１：画像監視システム、１０：ウェアラブル端末、２０：サーバー装置、１０１：遮蔽検知手段、１０２：位置特定手段、１０３：移動方向検出手段、１０４：撮影方向検出手段、１０５：制限判定手段、１０６：異常検出手段、１０７：報知手段 1: Image monitoring system, 10: Wearable terminal, 20: Server device, 101: Obstruction detecting means, 102: Position specifying means, 103: Moving direction detecting means, 104: Shooting direction detecting means, 105: Restriction determining means, 106: Abnormality detecting means, 107: Notifying means

Claims

ユーザーに装着されるカメラの視野が遮蔽された状態を検知する遮蔽検知手段と、
前記カメラによる撮影が制限される条件に該当するか否かを判定する制限判定手段と、
前記条件に該当しない期間内に前記遮蔽検知手段により前記遮蔽された状態が検知された場合は第２撮影異常を検出し、前記条件に該当する期間内に前記遮蔽された状態が検知された場合は前記第２撮影異常を検出せず、当該条件に該当しなくなったとき当該遮蔽された状態が継続していると、前記第２撮影異常とは異なる前記遮蔽された状態が解消されないことによる第１撮影異常を検出する異常検出手段と
を備える撮影異常監視システム。 Shielding detection means that detects the state in which the field of view of the camera attached to the user is blocked,
A restriction determination means for determining whether or not shooting with the camera is restricted, and a restriction determination means.
When the shielded state is detected by the shield detecting means within the period not satisfying the above conditions, the second imaging abnormality is detected, and when the shielded state is detected within the period corresponding to the conditions. Does not detect the second shooting abnormality, and if the shielded state continues when the condition is no longer met , the shielded state different from the second shooting abnormality is not resolved . 1 A shooting abnormality monitoring system including an abnormality detecting means for detecting a shooting abnormality.

前記異常検出手段は、前記遮蔽された状態が検知されてから所定時間経過したか否かを判定し、当該所定時間が経過するまでに前記条件に該当すると判定されなかった場合、前記第２撮影異常を検出し、当該所定時間が経過するまでに前記条件に該当すると判定された場合には、前記第２撮影異常を検出しないThe abnormality detecting means determines whether or not a predetermined time has elapsed since the shielded state was detected, and if it is not determined that the condition is not satisfied by the time when the predetermined time elapses, the second photographing. If an abnormality is detected and it is determined that the above conditions are met by the time the predetermined time elapses, the second imaging abnormality is not detected.
請求項１に記載の撮影異常監視システム。The shooting abnormality monitoring system according to claim 1.

ユーザーに装着されるカメラの視野が遮蔽された状態を検知する遮蔽検知手段と、
前記カメラによる撮影が制限される条件に該当するか否かを判定する制限判定手段と、
前記遮蔽検知手段により前記遮蔽された状態が検知された後、前記条件に該当しなくなったとき前記遮蔽された状態が継続している場合には、前記遮蔽された状態が解消されないことによる撮影復帰異常である第１撮影異常を検出する異常検出手段と
を備え、
前記遮蔽検知手段は、前記遮蔽された状態が所定の遮蔽物によるものであるか否かを判定し、
前記異常検出手段は、
前記条件に該当しない期間内に前記遮蔽された状態が検知された場合は、前記所定の遮蔽物であるか否かによらず前記撮影復帰異常である前記第１撮影異常とは異なる撮影障害異常である第２撮影異常を検出し、
前記条件に該当する期間内に前記遮蔽された状態が検知された場合、前記遮蔽された状態が前記所定の遮蔽物によるものでないと判定されたときは前記第２撮影異常とは異なる前記撮影障害異常である第３撮影異常を検出し、前記遮蔽された状態が前記所定の遮蔽物によるものであると判定されたときには前記撮影障害異常である前記第２撮影異常及び前記第３撮影異常を検出しない
ことを特徴とする撮影異常監視システム。 Shielding detection means that detects the state in which the field of view of the camera attached to the user is blocked,
A restriction determination means for determining whether or not shooting with the camera is restricted, and a restriction determination means.
After the shielded state is detected by the shield detecting means, when the condition is no longer met, if the shielded state continues, the shooting is restored because the shielded state is not resolved. It is equipped with an abnormality detection means for detecting the first abnormal shooting abnormality, which is an abnormality.
The shield detecting means determines whether or not the shielded state is due to a predetermined shield, and determines whether or not the shielded state is due to a predetermined shield.
The abnormality detecting means is
If the shielded state is detected within a period that does not meet the above conditions, the shooting failure abnormality is different from the first shooting abnormality, which is the shooting return abnormality, regardless of whether or not the shield is the predetermined shield. The second shooting abnormality is detected,
When the shielded state is detected within the period corresponding to the above condition, and when it is determined that the shielded state is not due to the predetermined shield, the shooting failure different from the second shooting abnormality The third imaging abnormality , which is an abnormality, is detected, and when it is determined that the shielded state is due to the predetermined shield, the second imaging abnormality and the third imaging abnormality, which are the imaging failure abnormalities, are detected. A shooting abnormality monitoring system characterized by not doing so.

さらに、前記第１撮影異常と前記第２撮影異常とを区別して前記ユーザーに報知する報知手段を備える
請求項１から３のいずれか１項に記載の撮影異常監視システム。 The imaging abnormality monitoring system according to any one of claims 1 to 3, further comprising a notification means for distinguishing between the first imaging abnormality and the second imaging abnormality and notifying the user.

前記異常検出手段は、前記遮蔽された状態が検知され且つ前記条件に該当する状態が所定時間継続すると、前記第１撮影異常とは異なる第４撮影異常を検出する
請求項１から４のいずれか１項に記載の撮影異常監視システム。 Any of claims 1 to 4 , wherein the abnormality detecting means detects a fourth imaging abnormality different from the first imaging abnormality when the shielded state is detected and the state corresponding to the condition continues for a predetermined time. Or the shooting abnormality monitoring system described in item 1.

さらに、前記ユーザーの位置又は前記位置が属する範囲を特定する位置特定手段を備え、
前記条件は、前記ユーザーが所定のエリア内に居るという条件を含み、
前記制限判定手段は、前記位置特定手段により特定された前記位置又は前記範囲に基づいて、前記ユーザーが前記所定のエリア内に居るか否かを判定する
請求項１から５のいずれか１項に記載の撮影異常監視システム。 Further, a position specifying means for specifying the position of the user or the range to which the position belongs is provided.
The condition includes the condition that the user is in a predetermined area.
The restriction determination means according to any one of claims 1 to 5 for determining whether or not the user is in the predetermined area based on the position or the range specified by the position specifying means. The shooting abnormality monitoring system described.

さらに、前記ユーザーの移動方向を検出する移動方向検出手段を備え、
前記条件は、前記ユーザーが所定の方向に移動しているという条件を含み、
前記制限判定手段は、前記移動方向検出手段により検出された前記移動方向に基づいて、前記ユーザーが前記所定の方向に移動しているか否かを判定する
請求項１から６のいずれか１項に記載の撮影異常監視システム。 Further, a moving direction detecting means for detecting the moving direction of the user is provided.
The condition includes the condition that the user is moving in a predetermined direction.
The restriction determining means is defined in any one of claims 1 to 6 for determining whether or not the user is moving in the predetermined direction based on the moving direction detected by the moving direction detecting means. The shooting abnormality monitoring system described.

さらに、前記カメラの撮影方向を検出する撮影方向検出手段を備え、
前記条件は、前記カメラの撮影方向が所定の方向であるという条件を含み、
前記制限判定手段は、前記撮影方向検出手段により検出された前記撮影方向に基づいて、前記カメラの撮影方向が前記所定の方向であるか否かを判定する
請求項１から７のいずれか１項に記載の撮影異常監視システム。 Further, a shooting direction detecting means for detecting the shooting direction of the camera is provided.
The condition includes a condition that the shooting direction of the camera is a predetermined direction.
The limitation determination means is any one of claims 1 to 7 for determining whether or not the shooting direction of the camera is the predetermined direction based on the shooting direction detected by the shooting direction detecting means. Shooting abnormality monitoring system described in.

コンピュータに、
ユーザーに装着されるカメラの視野が遮蔽された状態を検知するステップと、
前記カメラによる撮影が制限される条件に該当するか否かを判定するステップと、
前記条件に該当しない期間内に前記遮蔽された状態が検知された場合は第２撮影異常を検出し、前記条件に該当する期間内に前記遮蔽された状態が検知された場合は前記第２撮影異常を検出せず、当該条件に該当しなくなったとき当該遮蔽された状態が継続していると、前記第２撮影異常とは異なる前記遮蔽された状態が解消されないことによる第１撮影異常を検出するステップと
を実行させるためのプログラム。 On the computer
Steps to detect when the field of view of the camera attached to the user is blocked,
The step of determining whether or not the conditions for restricting shooting by the camera are met, and
If the shielded state is detected within the period not satisfying the above conditions, the second imaging abnormality is detected, and if the shielded state is detected within the period corresponding to the conditions, the second imaging is performed. If no abnormality is detected and the shielded state continues when the condition is no longer met, the first shooting abnormality is detected because the shielded state different from the second shooting abnormality is not resolved. A program to execute the steps to be performed.

コンピュータに、
ユーザーに装着されるカメラの視野が遮蔽された状態を検知するステップと、
前記カメラによる撮影が制限される条件に該当するか否かを判定するステップと、
前記遮蔽された状態が検知された後、前記条件に該当しなくなったとき前記遮蔽された状態が継続している場合には、前記遮蔽された状態が解消されないことによる撮影復帰異常である第１撮影異常を検出するステップと
を実行させ、
前記検知するステップでは、前記遮蔽された状態が所定の遮蔽物によるものであるか否かが判定され、
前記検出するステップでは、
前記条件に該当しない期間内に前記遮蔽された状態が検知された場合は、前記所定の遮蔽物であるか否かによらず前記撮影復帰異常である前記第１撮影異常とは異なる撮影障害異常である第２撮影異常が検出され、
前記条件に該当する期間内に前記遮蔽された状態が検知された場合、前記遮蔽物が前記所定の遮蔽物によるものでないと判定されたときは前記第２撮影異常とは異なる前記撮影障害異常である第３撮影異常が検出され、前記遮蔽物が前記所定の遮蔽物によるものであると判定されたときには前記撮影障害異常である前記第２撮影異常及び前記第３撮影異常が検出されない
ためのプログラム。 On the computer
Steps to detect when the field of view of the camera attached to the user is blocked,
The step of determining whether or not the conditions for restricting shooting by the camera are met, and
After the shielded state is detected, when the condition is no longer met, if the shielded state continues, the first abnormality is a shooting return abnormality due to the fact that the shielded state is not resolved. Execute the step to detect the shooting abnormality and
In the detection step, it is determined whether or not the shielded state is due to a predetermined shield.
In the step of detecting,
If the shielded state is detected within a period that does not meet the above conditions, the shooting failure abnormality is different from the first shooting abnormality, which is the shooting return abnormality, regardless of whether or not the shield is the predetermined shield. The second shooting abnormality is detected,
When the shielded state is detected within the period corresponding to the above condition, and when it is determined that the shield is not due to the predetermined shield, the shooting failure abnormality is different from the second shooting abnormality. A program for detecting the second imaging abnormality and the third imaging abnormality, which are the imaging obstacle abnormalities, when a certain third imaging abnormality is detected and it is determined that the shield is due to the predetermined shield. ..