WO2021186751A1 - デジタル・オートファイル・セキュリティシステム、方法及びプログラム - Google Patents

デジタル・オートファイル・セキュリティシステム、方法及びプログラム Download PDF

Info

Publication number
WO2021186751A1
WO2021186751A1 PCT/JP2020/018740 JP2020018740W WO2021186751A1 WO 2021186751 A1 WO2021186751 A1 WO 2021186751A1 JP 2020018740 W JP2020018740 W JP 2020018740W WO 2021186751 A1 WO2021186751 A1 WO 2021186751A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
theft
person
shopping cart
act
Prior art date
Application number
PCT/JP2020/018740
Other languages
English (en)
French (fr)
Inventor
和夫 三輪
Original Assignee
株式会社 テクノミライ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 テクノミライ filed Critical 株式会社 テクノミライ
Priority to JP2020537786A priority Critical patent/JP6773389B1/ja
Publication of WO2021186751A1 publication Critical patent/WO2021186751A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems

Definitions

  • the present invention relates to a digital autofile security system, method and program for detecting theft by a person by photographing the inside of a security area with a surveillance camera for crime prevention or the like.
  • Patent Document 1 states that "determine whether or not theft has been performed based on image data” (claim 1), and "in the situation where it is determined that shoplifting has been performed, the product is placed in a bag or a pocket of clothes. It is described as “the act of putting in” (0021).
  • the technique of Patent Document 1 relates to a system for detecting the occurrence of shoplifting.
  • An object of the present invention is to provide a digital autofile security system, a method and a program capable of accurately determining a suspicious person from a captured image.
  • the digital auto file security system has a person extraction means for extracting a person from an image taken by a camera for photographing a security area, and a shopping cart possessed by the person extracted by the person extraction means.
  • Theft was carried out in response to the fact that the product detection means stopped detecting the product after detecting the product in the shopping cart without recognizing the act of returning the product in the display shelf. It is characterized in that it is provided with a theft act determination means for determining.
  • the shopper is judged only by whether or not the product has disappeared from the shopping cart without recognizing the act of returning the product in the shopping cart to the display shelf. It is possible to recognize that it hides in the shopping cart and moves it from the shopping cart to my bag.
  • the digital auto file security system further includes a theft weight storage means for storing the theft weight, which is a parameter of the ease of theft of a product, in association with the product, and the theft act determination means is the theft. It is characterized in that it is determined that the theft act has been performed based on the theft weight of the product stored in the weight storage means.
  • the theft act determining means determines the degree of suspicion of theft based on the parameters of a product that is no longer detected after the product detecting means detects a product in the shopping cart. You can take action according to the degree of suspicion of theft.
  • the theft act determination means uses the information learned / registered in advance by determining that the theft act has been performed based on the shopping cart information learned or registered in advance. Therefore, the shopping cart The accuracy of determining whether or not there is a product in the product is very high, and it is possible to make a highly reliable determination.
  • a reporting means for reporting the determination result to a predetermined terminal in response to the determination that the theft act has been performed by the theft act determining means for example, a store-related person can promptly respond to a shoplifting candidate. Can be taken.
  • the above-mentioned reporting means reports the degree of suspicion of theft, and store personnel respond to shoplifters who may be shoplifting candidates according to their degree of caution (such as having a person who handles shoplifting take charge). Can be taken.
  • the digital auto file security method of the present invention includes a person extraction step of extracting a person from an image taken by a camera that captures a security area, and a shopping basket held by the person extracted by the person extraction step.
  • the present invention detects a person extraction means for extracting a person from an image taken by a camera for photographing a security area and a product in a shopping basket owned by the person extracted by the person extraction means.
  • It is a program for functioning as a digital auto file security system characterized by being provided with an action determination means.
  • the present invention it is possible to determine a suspicious person by recognizing that a product is put in a shopping cart and then hidden in the shadow and moved from the shopping basket to my bag or the like.
  • FIG. 1 is a block diagram showing a configuration of a digital auto file security system according to an embodiment of the present invention.
  • This digital auto file security system is suitable for application to business establishments such as stores, commercial facilities and exhibition halls.
  • This embodiment is an example in which the digital auto file security system is applied to a store.
  • the stores are, for example, supermarkets, convenience stores, drug stores, 100-yen shops, and greengrocers.
  • Theft is shoplifting in stores.
  • stores that use shopping carts (including carts) to store products are targeted.
  • the digital auto file security system 1000 includes a plurality of surveillance cameras 11 installed in a security area, a human sensor 20, and Wi-Fi (Wireless Fidelity) installed in the security area.
  • a terminal hereinafter referred to as "Wi-Fi master unit" 30, a beacon master unit 40, a mobile terminal device 50 (ID (Identification) terminal) carried by a person concerned (salesperson), and a monitoring device that controls the entire system. It includes 100 and an AI (Artificial Intelligence) accelerator (Accelerator) 200.
  • the security area is a caution area (security target area), for example, a store sales floor.
  • the monitoring device 100 is installed in the security area, it may be installed outside via a network (not shown).
  • a network not shown.
  • the monitoring device 100 is installed on a server on the network, a plurality of security areas can be monitored.
  • the surveillance camera 11 captures an image in the security area.
  • a part or all of the surveillance camera 11 is a PTZ camera having a PTZ (pan / tilt / zoom) function, and is remotely controlled by the surveillance device 100.
  • Surveillance cameras 11 are installed in stores subject to security in buildings subject to security and in various locations in the relevant site area. The image taken by the surveillance camera 11 is output to the surveillance device 100 and recorded in the recording unit 160.
  • the motion sensor 20 is a thermo camera, an infrared camera, or the like, and detects the temperature of a sensing object in the security area to detect a suspicious person in the security area.
  • the Wi-Fi master unit 30 uses Wi-Fi to exchange information with the Wi-Fi slave unit 51 of the mobile terminal device 50. Further, the Wi-Fi master unit 30 can acquire position information by Wi-Fi positioning, that is, can acquire position information using a Wi-Fi access point and a predetermined position information service.
  • Beacon is a wireless technology that uses Bluetooth Low Energy.
  • the beacon is composed of a combination of a beacon master unit 40, which is a beacon device on the transmitting side, and an application of a mobile terminal device 50 (corresponding to the beacon slave unit 52 described later) that supports reception of radio waves from the beacon master unit 40.
  • the beacon transmits unique ID information necessary for identification, and reacts only to the application associated with the ID information of the mobile terminal device 50.
  • the application of the mobile terminal device 50 registers the same identifier as the beacon master unit 40.
  • the application (beacon slave unit 52) of the mobile terminal device 50 stands by in the background by executing an application equipped with a beacon function, and excites a predetermined action when approaching the beacon of the beacon master unit 40.
  • the mobile terminal device 50 is carried by a salesperson of a store or the like.
  • the mobile terminal device 50 is, for example, a smartphone 50a, a tablet 50b, a notebook computer 50c, or the like.
  • the mobile terminal device 50 is also a mobile phone, a PHS (Personal Handy-Phone System), a PDA (Personal Digital Assistants), a dedicated terminal, or the like.
  • the mobile terminal device 50 can be used by a store salesperson or the like in various places (that is, the current position), and is an image including an email or a moving image from the monitoring device 100 via a telephone line (not shown). Etc. can be received.
  • the mobile terminal device 50 assumes the use of a smartphone 50a (ID terminal), and each individual can use it in various places (that is, the current position).
  • One of the mobile terminal devices 50 is located at a security company (not shown).
  • the smartphone 50a has a digital auto file security application (hereinafter referred to as "security application”). If the security application is started by the background processing of each application, for example, it goes through the communication carrier network (mobile communication network), the web service cloud 300 (see Fig. 4 below), or the Internet 303 (see Fig. 4 below). Then, the cloud server 301 (see FIG. 4 below) on the web service cloud 300 can be connected, and the text about the suspicious person can be received from the cloud server 301. The smartphone 50a can notify the text on which the suspicious person is detected to the standby screen or the like.
  • security application a digital auto file security application
  • the smartphone 50a includes a Wi-Fi individual identification device (hereinafter referred to as "Wi-Fi slave unit") 51 and a GPS 53 that captures the positions of related parties.
  • the smartphone 50a may be provided with the beacon slave unit 52.
  • the smartphone 50a may include any one of the Wi-Fi slave unit 51, the beacon slave unit 52, and the GPS 53.
  • the Wi-Fi slave unit 51 receives and individually identifies the radio waves of the Wi-Fi master unit 30 installed in the business facility.
  • the monitoring device 100 stores the arrangement information of the Wi-Fi master unit 30 installed in the facility as safety-related information.
  • the Wi-Fi slave unit 51 approaches the Wi-Fi master unit 30, it is possible to determine the ID and position of the person who carries the mobile terminal device 50.
  • the beacon slave unit 52 is an application of the mobile terminal device 50 that supports reception of radio waves from the beacon master unit 40.
  • the beacon master unit 40 transmits a beacon (unique ID information necessary for identification), and the application (beacon slave unit 52) of the mobile terminal device 50 excites a predetermined action when approaching the beacon of the beacon master unit 40. do.
  • the GPS 53 receives radio waves of position information from GPS satellites and the like.
  • the GPS 53 acquires the position information by calculating the current position information as three parameters of latitude, longitude and altitude from the information received via the GPS antenna.
  • the acquired position information is timely transmitted to the monitoring device 100.
  • an example using GPS satellites is shown as a means for acquiring position information, but a method using a positional relationship with a base station other than GPS may also be used.
  • a method using a positional relationship with a base station other than GPS may also be used.
  • the mobile terminal device 50 which is a mobile terminal
  • a base station and a mobile phone communication network are used in place of or in combination with GPS53. It is also possible to send and receive information to and from the mobile phone company server via the mobile phone company and acquire the current location information of the own terminal from the proximity confirmation.
  • location information acquisition by Wi-Fi positioning that is, location information acquisition using a Wi-Fi access point and a predetermined location information service may be used.
  • the monitoring device 100 is installed in the security area and centrally manages the security area.
  • the monitoring device 100 may be a general server computer, a personal computer, or the like.
  • the monitoring device 100 includes a control unit 110, an input unit 120, a storage unit 130 (theft weight storage means), a display unit 140, an output unit 150, a recording unit 160, an image processing unit 170, and an interface (I). / F) A unit 180 and a communication unit 190 are provided, and each unit is connected by a bus 195.
  • control unit 110 shall read each program from the ROM as necessary, load it into the RAM, and execute each function (described later).
  • Each program may be stored in the storage unit 130 in advance, or may be incorporated into the monitoring device 100 when necessary via another storage medium or communication medium.
  • the control unit 110 is composed of a CPU (Central Processing Unit) and the like, controls the entire monitoring device 100, executes a control program, and functions as a digital auto file security system. The detailed configuration of the control unit 110 will be described later.
  • CPU Central Processing Unit
  • the input unit 120 has an operation panel 120a, and is an input device for the user of the monitoring device 100 to input instructions and the like, such as a keyboard, a mouse, and a touch panel or a microphone provided on the screen of the display unit 140.
  • the storage unit 130 is composed of a non-volatile memory such as a ROM (Read Only Memory), a RAM (Random Access Memory), or an EEPROM (Electrically Erasable Programmable Read-Only Memory), and stores various data and programs used by the control unit 110. ..
  • the storage unit 130 stores still images or moving images received from the surveillance camera 11, various data and programs used by the control unit 110, and the like.
  • the storage unit 130 stores the theft weight parameter 135, which is a parameter of the ease of stealing the product, in association with the product.
  • FIG. 2 is a diagram illustrating the theft weight parameter 135.
  • the theft weight parameter 135 includes the theft performance weight 135a depending on the past performance, the theft price weight 135b depending on the price of the product, and the theft of the display shelf on which the product is displayed. At least one selected from the group consisting of position weights 135c is used.
  • the theft performance weight 135a (theft performance weighting value “A”)
  • the theft price weight 135b (theft price weighting value “B”)
  • the theft position weight 135c (theft position weighting value “C”) are used.
  • the theft weight is set, for example, in the range of "1" to "10"("1" is the minimum and "10" is the maximum).
  • the display unit 140 displays the operating status of the monitoring device 100, the image received from the monitoring camera 11, the GUI (Graphical User Interface) for operating the monitoring device 100, and the like.
  • the output unit 150 is, for example, an audio interface, and outputs an audio signal from the monitoring device 100 to the sound system 158 in the security area.
  • an audio signal output from the monitoring device 100 to the acoustic system 158 for example, an audio signal input from an audio input device such as a microphone provided in the input unit 120, or music data stored in the storage unit 130 is controlled by the control unit. 110 may be the reproduced audio signal.
  • the sound system 158 includes an amplifier and a plurality of speakers arranged in the store, and emits a signal input from the monitoring device 100 into the store.
  • the voice uttered in the store when the theft is detected is music known to the store personnel to notify the visit of a suspicious person.
  • a voice (music) notifying the occurrence of the theft act is notified in the store, so that each employee of the store can be notified of the visit of a suspicious person. Coordination between employees will be possible, and it will be possible to respond more quickly.
  • the recording unit 160 is composed of an external storage device such as an HDD (Hard Disk Drive), and records an image in the security area taken by the surveillance camera 11.
  • the recording unit 160 records high-quality images for a predetermined short time after shooting, converts the image quality to low image quality after a predetermined short time has elapsed, records the images for a predetermined long time, and erases and controls the high-quality shot images.
  • the unit 110 detects a suspicious person, it saves a predetermined short-time high-quality photographed image up to that time.
  • the image processing unit 170 is composed of a DSP (Digital Signal Processor) or the like, and performs predetermined processing on the received image. Predetermined processing includes contour extraction, image resizing, resolution conversion processing, and the like.
  • DSP Digital Signal Processor
  • the image captured by the surveillance camera 11 in 1 second is, for example, a 5-frame image, the 1/5 second image, the 2/5 second image, the 3/5 second image, the 4/5 second image, and the 5/5 second image.
  • the image processing unit 170 processes the image data taken by the surveillance camera 11 and sends it to the control unit 110 in order to determine the presence or absence of a person from the image in the security area.
  • the I / F unit 180 connects each surveillance camera 11 arranged in the security area with the surveillance device 100. Further, the I / F unit 180 is connected to a headquarters, a head office, a security company, etc. (not shown) by a network or a dedicated line.
  • the communication unit 190 transmits / receives data to / from the mobile terminal device 50 via the base station.
  • the communication unit 190 has a wireless communication function, and is connected to a control board using, for example, USB (Universal Serial Bus).
  • FIG. 3 is a block diagram of the control unit 110 of the monitoring device 100 of the digital autofile security system according to the first embodiment of the present invention.
  • the control unit 110 is configured by a CPU (Central Processing Unit) or the like, controls the entire monitoring device 100, executes a control program, and functions as a digital auto file security system.
  • the control unit 110 includes a person extraction unit 111 (human extraction means), a product detection unit 112 (product detection means), a return action recognition unit 113 (return action recognition means), a hand motion detection unit 114, and a theft action determination unit 115. (Theft act determination means) and a reporting unit 116 (reporting means) are provided.
  • the person extraction unit 111 extracts a person from the image taken by the camera that captures the security area.
  • the control unit 110 determines that a person exists after the person extraction unit 111 determines that the block of the candidate person (see the rectangle shown by the symbol a in the upper figure of FIG. 9) is human.
  • the control unit 110 detects the products in the shopping cart of the person extracted by the person extraction unit 111 by the product detection unit 112.
  • the shopping cart includes everything that puts products in, such as shopping carts and carts (hereinafter referred to as shopping carts). Further, the control unit 110 registers each pattern of the shape seen from the side surface, the front surface, the upper surface, and the multi-directional perspective of the shopping cart in the storage unit 130 as shopping cart information (pre-learned shopping cart information).
  • shopping cart information pre-learned shopping cart information
  • learning including machine learning such as AI
  • the certification accuracy can be further improved.
  • the color of the shopping cart may be registered as the shopping cart information. In this way, the recognition accuracy can be further improved from the difference between the color of the shopping cart registered in advance and the color of the product. This is especially effective when the items in the shopping cart are small.
  • the control unit 110 recognizes the return action recognition unit 113 that the person extracted by the person extraction unit 111 returns the product in the shopping cart to the display shelf.
  • the hand motion detection unit 114 detects the hand motion in the image extracted by the human extraction unit 111.
  • the product detection unit 112 detects the product in the shopping cart without the theft determination unit 115 recognizing the act of the return act recognition unit 113 returning the product in the shopping cart to the display shelf. Later, in response to the fact that the product is no longer detected, it is determined that the theft has been performed.
  • the control unit 110 determines that the theft act determination unit 115 has performed the theft act based on the theft weight of the product stored in the theft weight storage unit 130. For example, if the sum of the weighted values of the theft record weight 135a, the theft price weight 135b, and the theft position weight 135c is smaller than the predetermined threshold D), it is determined that the product is not likely to be shoplifted.
  • Theft weight parameter value X ⁇ (A + B + C) ⁇ D
  • the control unit 110 reports the determination result to a predetermined terminal after the reporting unit 116 determines that the theft act has been performed by the theft act determination unit 115.
  • the reporting unit 116 reports, for example, the degree of suspicion of theft (for example, 80%). Upon receiving the report, store personnel carefully observe shoplifting candidates.
  • the control unit 110 records in the recording unit 160 with high image quality for a predetermined short time after shooting, converts the image quality to low image quality after the predetermined short time elapses, and records the captured image with high image quality for a predetermined long time.
  • the high-quality shot image for a predetermined short time up to that time is saved.
  • the control unit 110 analyzes the captured image using the AI accelerator 200 (described later) to detect a person in the security area.
  • the control unit 110 issues a person detection request to the AI accelerator 200, and the AI accelerator 200 executes an AI calculation other than the CPU and transmits the person detection result to the person extraction unit 111. Since high speed is required for human detection, the AI accelerator 200 is used for human detection.
  • control unit 110 uses the AI accelerator 200 to detect a person, but the thermo camera (or motion sensor 20) may detect the person. That is, the motion sensor 20 detects the temperature in the security area. Then, the control unit 110 detects the presence of a person (suspicious person candidate) by detecting the body temperature of the person by the motion sensor 20 and detecting the change in the captured image by the surveillance camera 11.
  • control unit 110 may combine human detection using the AI accelerator 200 and human detection using a thermo camera (or motion sensor).
  • the AI accelerator 200 is used for the store sales floor where high speed of person detection is required, and the thermo camera (or motion sensor) is used outside the store sales floor where high speed of human detection is not required. do.
  • the person extraction unit 111 uses the AI accelerator 200 to convert an image taken by a camera that photographs a security area into a monochrome binary image, and extracts a person candidate from the monochrome binary image.
  • the AI accelerator 200 is used for each process of detecting a person in the present embodiment, it may be performed by a CPU process (execution of a control program of the control unit 110).
  • the AI accelerator 200 is a dedicated processor that detects a person, and uses a computing resource other than the CPU.
  • the AI accelerator 200 is, for example, an accelerator for image processing by a processor enhanced with a GPU (Graphics Processing Unit) and signal processing using an FPGA (Field-Programmable Gate Array). Further, the AI accelerator 200 executes the calculation of AI (Artificial Intelligence) on a dedicated hardware (for example, GPU).
  • AI Artificial Intelligence
  • the AI accelerator 200 which is a human detection processor
  • the performance of the computer processing by the PC is about 10 times higher, and the intrusion detection is executed quickly.
  • the calculation of AI which has a high calculation load, is left to the AI accelerator 200, which is a dedicated hardware.
  • FIG. 4 is a configuration diagram showing a digital auto file security system using the mobile terminal device 50 according to the embodiment of the present invention.
  • the digital auto file security system 1000 is active on the web service cloud 300 in cooperation with the cloud server (commercial server) 301 and the cloud server 301 that provide the digital auto file security service. It has a Push notification server 302 that acquires information and notifies the user's smartphone 50a (portable terminal device; ID terminal).
  • the web service cloud 300 is connected to the Internet 303.
  • the cloud server 301 on the web service cloud 300 can transmit texts and images to the smartphone 50a via the Internet 303.
  • the smartphone 50a receives the push notification from the push notification server 302 via the Internet 303.
  • the cloud server 301 and the push notification server 302 are connected to the smartphone 50a equipped with the security application via a communication carrier network (mobile communication network) (not shown) such as an LTE / 3G network.
  • a communication carrier network mobile communication network
  • the digital auto file security system 1000 detects shoplifting (product theft) candidates and push-notifies the smartphone 50a owned by a store salesperson or the like.
  • shoplifting product theft
  • the security application is activated and the zoom screen of the suspicious person is displayed, and a telop saying "Shoplifting candidate has been detected” is played.
  • the content is read aloud.
  • the suspicious person is notified by the telop and voice on the screen of the smartphone 50a.
  • the related organizations (police / fire department) are notified.
  • the security company and the head office of the affiliated company are also automatically notified. Also, if there is no urgency or if you want to confirm, only the security company will be notified.
  • FIG. 5 is a diagram showing the operation of the security application of the smartphone 50a.
  • a telop that detects a suspicious person is notified on the standby screen or the like of the smartphone 50a.
  • the display of the smartphone 50a is switched to the security application operation display, the zoom screen of the suspicious person is displayed, and the position and situation of the suspicious person " ⁇ sales floor ⁇ block is suspicious person". Is displayed.
  • this telop is read aloud by automatic voice.
  • the display of the smartphone 50a is displayed on four time-series screens as shown on the right side of FIG.
  • FIG. 6 is a flowchart showing a process in which the control unit 110 of the monitoring device 100 of the digital auto file security system determines the theft act. This flow is executed by the control unit 110 (see FIG. 3) of the monitoring device 100.
  • the control unit 110 obtains an image from the digital camera (surveillance camera 11) that captures the security area, for example, every 0.2 seconds according to the processing power of the computer.
  • the person extraction unit 111 (see FIG. 3) of the control unit 110 extracts people with the AI accelerator 200.
  • step S3 the product detection unit 112 of the control unit 110 detects the product in the shopping cart of the person extracted by the person extraction unit 111.
  • step S4 the return action recognition unit 113 of the control unit 110 recognizes the action of the person extracted by the person extraction unit 111 returning the product in the shopping cart to the display shelf.
  • step S5 the return action recognition unit 113 determines whether or not the action of returning the product in the shopping cart to the display shelf has been recognized.
  • step S5 When the return action recognition unit 113 recognizes the action of returning the product in the shopping cart to the display shelf (step S5: Yes), the process of this flow is terminated.
  • step S6 the theft action determination unit 115 indicates that the product detection unit 112 is in the shopping cart. After detecting the product, it is determined whether or not the product is no longer detected (whether the product in the shopping cart disappears).
  • step S5 Yes
  • step S6 Yes
  • the theft determination unit 115 determines the theft performance weight 135a (referred to as the theft performance weight "A") depending on the past performance and the theft price weight 135b (theft) depending on the price of the product.
  • the price weight (referred to as "B") and the theft position weight 135c (referred to as the theft position weight "C") of the display shelf on which the product is displayed are acquired.
  • the theft record weight 135a and the theft price weight 135b have the highest rank “10", so even if the theft position weight 135c has the lowest rank "0", the weight is given.
  • the weight of the theft record weight 135a of the product can be increased, and in this case, it is easy to determine that the product is shoplifting.
  • the product has a large theft weight (the sum of the weights of the theft record weight 135a, the theft price weight 135b, and the theft position weight 135c is larger than the predetermined threshold), it is determined that the product is likely to be shoplifted.
  • the above is an example. For example, any one of the theft record weight "A”, the theft price weight "B”, and the theft position weight "C” is added to the product taken by the hand movement detected by the hand movement detection unit 114. If so, it may be determined that the theft has been committed.
  • step S8: No If it is not determined that the theft has been performed (step S8: No), the process of this flow is terminated.
  • step S8: Yes the theft determination unit 115 determines the degree of suspicion of the theft in step S9. That is, the theft act determination unit 115 determines that the theft act has been performed in response to the fact that the product is no longer detected after detecting the product in the shopping cart 17 (step S7).
  • the degree of suspicion of theft for example, 80% is high. judge.
  • step S10 the reporting unit 116 reports the degree of suspicion of theft to a predetermined terminal in response to the determination that the theft has been performed by the theft determination unit 115, and ends the process of this flow.
  • the reporting unit 116 reports, for example, that the product in the shopping cart 17 has disappeared and the degree of theft (for example, 80%) from the theft weight parameter 135 (see FIG. 2).
  • store personnel carefully observe shoplifting candidates. Store officials can quickly determine that shoplifting candidates will put the product in their pockets or my bag, and that the product will not be settled at the cash register.
  • the disappearance of the product in the shopping cart 17 and the degree of theft are determined from the theft weight parameter 135, but when the product in the shopping cart 17 disappears.
  • the theft determination unit 115 may determine in step S10 that the theft has been performed.
  • the image data (video data such as a face image and behavior) of the suspicious person temporarily saved is recorded in the recording unit 160 as evidence.
  • the theft can be accurately determined from the captured image.
  • the shoplifting is judged only by whether or not the product disappears from the shopping cart, so the product is put in the shopping cart and then hidden in the shadow. It is possible to recognize that the product will be transferred from the shopping cart to my bag.
  • the store personnel can inform the store staff. For shoplifters who may be shoplifting candidates, it is possible to take measures according to the degree of caution (such as having a person who handles shoplifting take charge).
  • FIG. 7 is a diagram illustrating security during business hours in a store such as a supermarket of the monitoring device 100 of the digital auto file security system.
  • FIG. 8 is a flowchart showing the process. This flow is executed by the control unit 110 (see FIG. 3) of the monitoring device 100.
  • 3D cameras 12 such as a digital camera 11 (surveillance camera) and a depth camera are installed and arranged in the security area via a LAN (Local Area Network) 13. It is connected to the monitoring device 100.
  • the LAN 13 may be a wireless LAN.
  • the digital camera 11 and the 3D camera 12 photograph the display shelf (gondola) 15 and the showcase 16 (display shelf) of the store sales floor, and shoppers to acquire image data.
  • the products displayed on the display shelves 15 and the showcase 16 include the theft weight parameter 135 of the storage unit 130 shown in FIG. 2, the theft performance weight 135a depending on the past performance for each product code, and the product.
  • the theft price weight 135b which depends on the price of the goods, and the theft position weight 135c of the display shelf on which the goods are displayed are stored.
  • the product displayed on the display shelf 15a shown in FIG. 7 is a product having a large weighting of the theft record weight 135a
  • the product displayed in the showcase 16b is a product having a large weighting of the theft price weight 135b. be.
  • the shopper puts the product in the shopping cart 17 and moves, or holds the product in his hand and moves to the store sales floor, and pays at the cash register 18.
  • the monitoring device 100 is guarded by the security system at the opening time, for example, in the morning.
  • the control unit 110 obtains an image from the digital camera 11 and the 3D camera 12 installed in front of the display shelf 15 and the showcase 16.
  • the human body is detected.
  • the person is authenticated by face recognition or the like.
  • the hand of the relevant person is detected (see FIG. 9 below).
  • the object is detected.
  • step S106 the person concerned determines whether or not he / she has the shopping cart 17. When possessing the shopping cart 17, it is determined in step S107 that there is a shopping cart 17, and the process proceeds to step S109. If the shopping cart 17 is not possessed, it is determined in step S108 that there is no shopping cart 17, and the process proceeds to step S109.
  • step S109 it is determined whether the product is picked up or returned (see FIG. 9 below).
  • the product is returned to the display shelf 15 or the like, it is determined as “green” in step S110, and the process proceeds to step S123.
  • “green” and “orange” and “red”, which will be described later, are indexes indicating the degree of attention of shoplifting caution persons (shoplifting candidates). "Green” is (normal), “orange” is (caution), and “red” is (abnormal), and they are added to the judgment conditions of the shopper's behavior pattern.
  • step S109 if neither is the case (the product is not touched), the determination of "green” or the like is not performed, and the process proceeds to step S123 as it is.
  • step S111 it is determined in step S111 whether or not the product is put in the shopping cart 17 (see FIG. 10 below).
  • step S112 it is determined as "green” in step S112, and the process proceeds to step S123.
  • step S113 If the product is not in the shopping cart 17, it is determined in step S113 whether or not the product is in the pocket, bag, or the like. When the product is put in a pocket, bag, or the like, it is determined that there is a possibility of shoplifting, and it is determined as "orange” in step S114, and the process proceeds to step S115. When it is determined to be “orange”, the result of person authentication (particularly face authentication) in step S103 and the "orange” determination result are associated and stored in the storage unit 130 (see FIG. 1).
  • step S115 the control unit 110 determines whether or not the relevant person has been determined to be orange in the past based on the past "orange" determination result stored in the storage unit 130, and the relevant person has also been determined to be orange in the past. If the determination is orange, the corresponding person is determined to be “red” in step S116, and the process proceeds to step S123. If the orange determination has not been made in the past, the determination such as "orange” is not performed and the process proceeds to step S123 as it is.
  • a person who is determined to be “red” is recorded in the recording unit 160 as proof of image data (video data such as a face image and behavior) as a shoplifter (theft).
  • step S113 the control unit 110 obtains an image from the digital camera 11a installed in front of the cash register 18 (see FIG. 7) in step S117.
  • step S118 it is determined whether or not the shopper has settled at the cash register 18. When the payment is made at the cash register 18, it is determined as "green" in step S119, and the process proceeds to step S123.
  • step S120 If the payment has not been made at the cash register 18, it is determined as “orange” in step S120 and the process proceeds to step S121. If the orange determination has been made in the past, the determination is determined to be "red” in step S116, and the process proceeds to step S123. If the orange determination has not been made in the past, the "red" determination is not performed and the process proceeds to step S123.
  • step S123 the theft action determination unit 115 (see FIG. 3) of the control unit 110 refers to the theft weight parameter 135 (see FIG. 2) stored in the storage unit 130, and the theft weight of the picked-up product. To get.
  • step S124 the theft determination unit 115 performs the theft based on the image data (hand movement) detected by the hand motion detection unit 114 and the theft weight parameter 135 of the product stored in the storage unit 130. Determine if it is.
  • step S124 When the theft is performed (step S124: Yes), the reporting unit 116 reports the determination result to a predetermined terminal in response to the determination by the theft determination unit 115 that the theft has been performed in step S125. Then, the processing of this flow is completed.
  • the reporting unit 116 reports either "orange” or “red” based on the caution levels of "green”, “orange”, and “red”. Here, instead of “orange” and “red", the degree of suspicion of theft (for example, 80%) may be reported.
  • the degree of suspicion of theft (the degree of caution of "orange” or “red") is notified, so store personnel respond to shoplifters who may be shoplifting candidates according to the degree of caution. Can be taken. For example, theft with "red” added can be dealt with more quickly, such as by having a shoplifter in charge.
  • FIG. 9 is a diagram illustrating hand motion detection of the monitoring device 100 of the digital auto file security system.
  • the upper figure of FIG. 9 shows an image of a human being detected
  • the lower left figure of FIG. 9 shows the operation of a visitor picking up a product from E2
  • the lower right figure of FIG. 9 shows a visitor changing a product to E2.
  • the returned operation As shown in the upper figure of FIG. 9, the horizontal positions of the display shelves 15 are A, B, C, D, E, ..., And the vertical positions are 1, 2, 3, 4, ....
  • the visitor is image-recognized by the frame surrounded by the rectangle shown by the reference numeral a in the upper figure of FIG. It is assumed that the dominant hand of this visitor is the right hand, and the operation of picking up the product placed on E2 of the display shelf 15 with the right hand (see reference numeral b) is taken as an example.
  • the arrows in the lower left figure of FIG. 9 and the lower right figure of FIG. 9 indicate the movement of the hand over time.
  • the ratio of the intersection region of the rectangle surrounding E2 and the rectangle surrounding the right hand (see reference numeral b) to the entire E2 is calculated. As shown in the upper figure of FIG. 9, the evaluation value of the right hand was required to be "85".
  • the above-mentioned hand motion detection result is used in step S3 of FIG.
  • FIG. 10 is a diagram illustrating a shopping basket determination of a product of the monitoring device 100 of the digital auto file security system.
  • FIG. 11 is a flowchart showing the process. This flow is executed by the control unit 110 (see FIG. 3) of the monitoring device 100.
  • the upper figure of FIG. 10 shows an image of human detection
  • the lower left figure of FIG. 10 shows the operation of a visitor putting a product in a shopping cart
  • the lower right figure of FIG. 10 shows a state in which a product disappears from the shopping cart. It is a figure which shows.
  • the horizontal positions of the display shelves 15 are A, B, C, D, E, ...
  • the vertical positions are 1, 2, 3, 4, ....
  • the visitor is image-recognized by the frame surrounded by the rectangle shown by the reference numeral a in the upper figure of FIG.
  • FIG. 11 is a flowchart showing a shopping cart entry determination process of the product of the monitoring device 100 of the digital auto file security system. This flow is executed by the control unit 110 (see FIG. 3) of the monitoring device 100.
  • step S201 the control unit 110 obtains an image from the digital camera 11 and the 3D camera 12 installed in front of the display shelf 15 and the showcase 16.
  • step S202 the posture of the human body is determined.
  • step S203 the hand of the relevant person is detected (see FIG. 9).
  • step S204 object detection is performed to detect the shopping cart 17 (see FIG. 10).
  • step S205 the person concerned determines whether or not he / she has the product in his / her hand (see FIG. 10). If the product is not in hand, the process proceeds to step S220. If the product is in hand, the right hand (dominant hand) position is determined in step 206.
  • step S207 it is determined whether or not the product is returned to the display shelf 15 or the case. If it is not returned to the display shelf 15 or the case, in step S208, the shelf allocation on which the product is placed, for example, the name of the product placed on 2E is specified (see FIG. 10). In step S209, the product name of the product is specified. By specifying the product name, from the theft weight parameter 135 (see Fig. 2), the theft performance weight 135a, which depends on the past performance, the theft price weight 135b, which depends on the price of the product, and the product can be obtained for each product code. The theft position weight 135c of the displayed display shelf can be obtained. In step S210, the picked product is registered, and information such as the date and time, the camera, the shelving allocation, the product name, the number of products, and the image is acquired.
  • step S207 the product name of the product is specified in step S211.
  • step S212 the returned product is registered, and in step S213, it is determined that the product has been returned to the display shelf 15 or the case, and the process proceeds to step S220.
  • step S214 it is determined in step S214 whether the product is to be stored in the shopping cart 17 (see FIG. 10).
  • step S215 the storage destination of the product in hand is specified.
  • step S216 the storage destination of the product is determined.
  • step S217 When the storage destination of the product is the shopping cart 17, it is determined in step S217 that the product has been placed in the shopping cart 17 (see the lower left figure of FIG. 10), and the process proceeds to step S220.
  • step S2108 When the storage destination of the product is a pocket, in step S218, it is determined that the product has been put in the pocket (see the lower right figure of FIG. 10), and the process proceeds to step S220. If the storage destination of the product is other, it is determined in step S219 that the product has been put in the bag or the like (see the lower right figure of FIG. 10), and the process proceeds to step S220.
  • step S220 the theft action determination unit 115 (see FIG. 3) of the control unit 110 refers to the theft weight parameter 135 (see FIG. 2) stored in the storage unit 130, and the theft weight of the picked-up product. To get.
  • step S221 the theft determination unit 115 performs the theft based on the image data (hand movement) detected by the hand motion detection unit 114 and the theft weight parameter 135 of the product stored in the storage unit 130. Determine if it is.
  • step S221 When the theft is performed (step S221: Yes), the reporting unit 116 reports the determination result to a predetermined terminal in response to the determination by the theft determination unit 115 that the theft has been performed in step S222. Then, the processing of this flow is completed.
  • the reporting unit 116 reports the degree of suspicion of theft (for example, 80%) as well as the degree of caution of "orange” or “red” based on whether or not the product is put in the shopping cart 17.
  • the degree of suspicion of theft (attention of "orange” or “red) is notified according to whether the product is put in the shopping cart 17, so that the store staff may be a shoplifting candidate. It is possible to take measures according to the degree of caution for shoppers. For example, theft with "red” added can be dealt with more quickly, such as by having a shoplifter in charge.
  • FIG. 12 is a flowchart showing a shopping basket determination process of the product of the monitoring device 100 of the digital auto file security system. This flow is executed by the control unit 110 (see FIG. 3) of the monitoring device 100.
  • step S301 the control unit 110 obtains an image from the display shelf 15 and the digital camera 11 installed in front of the showcase 16.
  • a person is extracted.
  • step S303 person authentication is performed.
  • step S304 the hand of the relevant person is detected (see FIG. 9).
  • step S305 the object is detected and the shopping cart 17 is detected (see FIG. 10).
  • step S306 the person concerned determines whether or not he / she has the shopping cart 17. If there is a shopping cart 17, the process proceeds to step S307, and if there is no shopping cart 17, this flow ends.
  • the shopping cart 17 is a pre-learned shopping cart. In this embodiment, it is determined that the product put in the shopping cart has disappeared. By learning the shape of the shopping cart in advance, the recognition accuracy of the shopping cart is improved, and it is more accurately determined that the product is no longer detected after the product in the shopping basket is detected.
  • step S307 it is determined whether or not the product has been picked up or returned.
  • step S308 it is determined in step S308 whether or not the movement of the person's hand moves to put the product in the shopping cart 17.
  • step S310 it is determined whether or not the hand of the person concerned has moved to return the product to the display shelf 15. If the person's hand does not move the product back to the display shelf 15, it is determined in step S311 whether or not the product has disappeared from the shopping cart.
  • step S313 If the person's hand moves to return the product to the display shelf 15 in step S310, or if the product does not disappear from the shopping cart in step S311 above, it is determined that the theft has not been performed, and step S313 is performed. move on.
  • step S311 If the product disappears from the shopping cart in step S311 above, it is determined that the theft has been performed and the process proceeds to step S315.
  • step S312 If the movement of the person's hand does not move the product into the shopping cart 17 in step S308, it is determined in step S312 whether or not the movement of the person's hand moves to put the product in the pocket or the like. .. If the movement of the person's hand moves to put the product in a pocket or the like, the process proceeds to step S315. If the movement of the person's hand does not move the product into the pocket or the like, an image is obtained from the digital camera 11 or the like installed in front of the cash register in step S313.
  • step S314 the person concerned determines whether or not the product has been settled at the cash register.
  • step S314 the person concerned did not settle the product at the cash register, in step S311 the product disappeared from the shopping cart 17, or in step S312 the movement of the person's hand puts the product in a pocket or the like. If this is done, it is determined in step S315 whether or not the orange determination has been made in the past. If it has not been determined to be orange in the past, it is determined to be orange in step S316 and the process proceeds to step S319. If it is determined to be orange in the past, it is determined to be red in step S317 and the process proceeds to step S319.
  • step S314 When the person concerned has settled the product at the cash register in step S314 and returned the product picked up in step S307 to the display shelf 15, it is determined to be green and the process of this flow is terminated. Further, if the product is neither picked up nor returned in step S307, that is, if the product is not picked up, the processing of this flow ends. In step S319, the face, physical characteristics, etc. of the person concerned are input and stored as a person requiring attention, and the process of this flow is completed. In addition, upon receiving the determination that the theft act has been performed by the theft act determination unit 115, the reporting unit 116 may report the determination result to a predetermined terminal. The reporting unit 116 reports the degree of suspicion of theft (for example, 80%) as well as the degree of caution of "orange” or “red” based on whether or not the product is put in the shopping cart 17.
  • degree of suspicion of theft for example, 80%
  • the digital auto file security system 1000 (see FIG. 1) is a person extraction unit that extracts a person from an image taken by a camera that captures a security area. 111, the product detection unit 112 that detects the products in the shopping basket of the person extracted by the person extraction unit 111, and the person extracted by the person extraction unit 111 returns the products in the shopping cart to the display shelf. After the product detection unit 112 detects the product in the shopping cart without recognizing the return action recognition unit 113 that recognizes the action and the return action recognition unit 113 returning the product in the shopping cart to the display shelf. It is provided with a theft act determination unit 115 that determines that the theft act has been performed in response to the fact that the product is no longer detected.
  • the shopper is judged only by whether or not the product has disappeared from the shopping cart without recognizing the act of returning the product in the shopping cart to the display shelf. It is possible to recognize that it hides in the shopping cart and moves it from the shopping cart to my bag.
  • a person who steals may hide in a display shelf or a blind spot of a person, etc. as seen from a surveillance camera, and skillfully put the product in his / her bag or pocket to steal.
  • the theft act determination process becomes complicated and inaccurate. This leads to a decrease in recognition accuracy, and the decrease in recognition accuracy eventually leads to a decrease in the reliability of the theft determination. It is difficult to conclude that theft is an act based on unreliable information.
  • the shoplifting is determined in response to the recognition that the product has disappeared from the shopping cart, the theft can be quickly determined.
  • the shopping cart uses the information registered / learned in advance, the accuracy of determining whether or not there is a product in the shopping cart is very high, and it is possible to make a highly reliable determination.
  • the digital auto file security system 1000 is suspected of being stolen based on the parameters of the susceptibility of the product to the product that does not detect the product after detecting the product in the shopping cart. To determine the degree of. As a result, it is possible to take measures according to the degree of suspicion of theft.
  • the digital auto file security system 1000 determines that the theft has been performed based on the shopping cart information learned or registered in advance.
  • the shopping cart information is pattern information of the shape seen from the side surface, the front surface, the upper surface, and the multi-directional perspective of the shopping cart.
  • the digital auto file security system 1000 further includes a theft weight storage unit 130 that stores the theft weight, which is a parameter of the ease of theft of the product, in association with the product, and the theft action determination unit 115 , It is determined that the theft act has been performed based on the theft weight of the product stored in the theft weight storage unit 130.
  • the theft action determination unit 115 determines whether or not the theft action has been performed based on the theft weight in addition to the image data, which means not only the movement of the hand but also the movement of the hand ( The purpose action of shoplifting) can be added, and the theft can be accurately determined.
  • the theft weight stored in the storage unit 130 depends on the past performance. As a result, a large weight can be added to a product with many shoplifting acts, and the accuracy of determining the theft act can be further improved. As a result, the occurrence of shoplifting can be further suppressed.
  • the theft weight stored in the storage unit 130 depends on the price of the product. As a result, when shoplifting is carried out, a large weight can be added to an expensive product having a large loss, and the accuracy of determining the theft can be further improved. As a result, the loss due to shoplifting can be further suppressed.
  • the theft weight stored in the storage unit 130 is determined by the display shelf on which the products are displayed. As a result, a large weight can be added to a product with many shoplifting acts, and the accuracy of determining the theft act can be further improved. As a result, the occurrence of shoplifting can be further suppressed.
  • the digital auto file security system 1000 includes a reporting unit 116 that receives a determination by the theft determination unit 115 that the theft has been performed and reports the determination result to a predetermined terminal. ..
  • a reporting unit 116 that receives a determination by the theft determination unit 115 that the theft has been performed and reports the determination result to a predetermined terminal. ..
  • store personnel can promptly respond to shoplifting candidates.
  • the degree of suspicion of theft for example, 80%
  • store personnel will respond to shoplifters who may be shoplifting candidates according to their degree of caution (the person who handles shoplifting will be in charge). Etc.) can be taken.
  • the digital auto file security system 1000 includes an AI accelerator 200 which is a computing resource other than the CPU, and the person extraction unit 111 of the control unit 110 uses the AI accelerator 200 to use the AI accelerator 200 to provide a person in the security area. Is detected.
  • the AI accelerator 200 can detect a person existing in a wide security area in real time by executing a person detection process on a dedicated hardware separately from the CPU process. Moreover, even if a configuration using an inexpensive camera device is used, a person can be detected in real time. Further, since the AI accelerator 200 is used, it is possible to detect an intruder with extremely high accuracy as compared with the detection of a human body by a conventional surveillance camera.
  • this digital auto file security system 1000 can be applied to supermarkets, convenience stores, drug stores, 100-yen shops, greengrocers, and the like. Each of these stores may find it difficult to detect theft due to labor shortages, etc., and this system, which judges shoplifting after recognizing that the product has disappeared from the shopping cart, quickly determines the theft.
  • An effective crime prevention system can be expected in that it can be done.
  • the names of digital autofile security system and method are used, but this is for convenience of explanation, and includes a monitoring system, a security system, a search security method, and the like. May be good.
  • the digital autofile security system and method of the present invention are also realized by a program for making a computer function as the digital autofile security system or method of the present invention.
  • the program may be stored on a computer-readable recording medium.
  • the recording medium on which this program is recorded may be the ROM itself of the digital auto file security system, or a program reading device such as a CD-ROM drive is provided as an external storage device, and the recording medium is provided therein. It may be a CD-ROM or the like that can be read by inserting.
  • each of the above configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software for the processor to interpret and execute a program that realizes each function. Information such as programs, tables, and files that realize each function can be stored in memory, hard disks, recording devices such as SSDs (Solid State Drives), IC (Integrated Circuit) cards, SD (Secure Digital) cards, optical disks, etc. It can be held on a recording medium.
  • SSDs Solid State Drives
  • IC Integrated Circuit
  • SD Secure Digital
  • the digital auto file security system, method and program according to the present invention are suitable for being applied to all stores and the like that use shopping carts (including carts and the like) for storing products.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

撮影画像から正確に不審者を判定することができるデジタル・オートファイル・セキュリティシステム、方法及びプログラムを提供する。デジタル・オートファイル・セキュリティシステム（１０００）は、セキュリティ区域を撮影するカメラによって撮影された画像から人を抽出する人抽出部（１１１）と、人抽出部（１１１）によって抽出された人が持つ買い物かごの中の商品を検出する商品検出部（１１２）と、人抽出部（１１１）によって抽出された人が買い物かごの中の商品を陳列棚に戻す行為を認識する戻し行為認識部（１１３）と、戻し行為認識部（１１３）が買い物かごの中の商品を陳列棚に戻す行為を認識せずに、商品検出部（１１２）が買い物かごの中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する窃盗行為判定部（１１５）とを備える。

Description

デジタル・オートファイル・セキュリティシステム、方法及びプログラム
　本発明は、防犯等のために監視カメラによりセキュリティ区域内を撮影して人による窃盗行為を検出するデジタル・オートファイル・セキュリティシステム、方法及びプログラムに関する。
　特許文献１には、「画像データに基づいて、窃盗行為が行われたか否かを判定する」（請求項１）、「万引き行為を行ったと判別される状況は、商品を鞄や衣服のポケットに入れる行為」（００２１）と記載されている。特許文献１の技術は、万引き行為の発生を検出するシステムに関するものである。
特許第６５７３１８５号公報
　従来、窃盗行為を検出する場合は、特許文献１に記載されているように、画像データ中に撮像された人が窃盗行為を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、複数の撮像装置が取得した画像データに基づいて、窃盗行為が行われたか否かを判定していた。このために、精度の良い学習済モデルを用意しない場合には、不審者の判定に誤りが多く、実用的ではなかった。
　特に、商品を買い物かごに入れて、その後、陰に隠れて買い物かごからマイバッグなどに移してしまうと、万引きと認識できない。
　本発明の目的は、撮影画像から正確に不審者を判定することができるデジタル・オートファイル・セキュリティシステム、方法及びプログラムを提供することにある。
　本発明に係るデジタル・オートファイル・セキュリティシステムは、セキュリティ区域を撮影するカメラによって撮影された画像から人を抽出する人抽出手段と、前記人抽出手段によって抽出された人が持つ買い物かごの中の商品を検出する商品検出手段と、前記人抽出手段によって抽出された人が前記買い物かごの中の商品を陳列棚に戻す行為を認識する戻し行為認識手段と、前記戻し行為認識手段が前記買い物かごの中の商品を陳列棚に戻す行為を認識せずに、前記商品検出手段が前記買い物かごの中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する窃盗行為判定手段とを備えることを特徴とする。
　この構成により、買い物かごに入れた商品を陳列棚に戻す行為を認識せずに、商品が買い物かごから消えたか否かだけで万引きを判定するので、商品を買い物かごに入れて、その後、陰に隠れて買い物かごからマイバッグなどに移してしまうことを認識することができる。
　本発明に係るデジタル・オートファイル・セキュリティシステムは、商品の盗まれやすさのパラメータである窃盗重みを商品と対応づけて記憶する窃盗重み記憶手段を更に備え、前記窃盗行為判定手段は、前記窃盗重み記憶手段に記憶されている商品の窃盗重みに基づいて、窃盗行為が行われたことを判定することを特徴とする。
　この構成により、画像データに加えて、窃盗重みに基づいて窃盗行為が行われたか否かを判定しており、単なる手の動作だけではなく、手の動作に意味（商品を窃盗しようという目的動作）を付加することができ、正確に窃盗行為を判定することができる。
　前記窃盗行為判定手段は、前記商品検出手段が前記買い物かごの中の商品を検出した後に該商品を検出しなくなった商品の、前記パラメータに基づいて、窃盗の疑いの程度を判定することで、窃盗の疑いの程度に応じた対応をとることができる。
　前記窃盗行為判定手段は、予め学習又は登録しておいた買い物かご情報をもとに、前記窃盗行為が行われたことを判定することで、予め学習・登録された情報を用いるので、買い物かごの中に商品があるか否かの判定精度は非常に高く、信頼性の高い判定をすることができる。
　前記窃盗行為判定手段が、窃盗行為が行われたと判定したことを受けて、その判定結果を所定の端末に通報する通報手段を更に備えることで、例えば店舗関係者は、万引き候補に対し、迅速な対応をとることができる。
　前記通報手段は、窃盗の疑いの程度を通報することで、店舗関係者は、万引き候補の可能性のある買い物客に対し、注意度に応じた対応（万引き対応の人を担当させるなど）をとることができる。
　また、本発明のデジタル・オートファイル・セキュリティ方法は、セキュリティ区域を撮影するカメラによって撮影された画像から人を抽出する人抽出ステップと、前記人抽出ステップによって抽出された人が持つ買い物かごの中の商品を検出する商品検出ステップと、前記人抽出ステップによって抽出された人が前記買い物かごの中の商品を陳列棚に戻す行為を認識する戻し行為認識ステップと、前記戻し行為認識ステップが前記買い物かごの中の商品を陳列棚に戻す行為を認識せずに、前記商品検出手段が前記買い物かごの中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する窃盗行為判定ステップとを備える。
　また、本発明は、コンピュータを、セキュリティ区域を撮影するカメラによって撮影された画像から人を抽出する人抽出手段と、前記人抽出手段によって抽出された人が持つ買い物かごの中の商品を検出する商品検出手段と、前記人抽出手段によって抽出された人が前記買い物かごの中の商品を陳列棚に戻す行為を認識する戻し行為認識手段と、前記戻し行為認識手段が前記買い物かごの中の商品を陳列棚に戻す行為を認識せずに、前記商品検出手段が前記買い物かごの中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する窃盗行為判定手段とを備えることを特徴とするデジタル・オートファイル・セキュリティシステムとして機能させるためのプログラムである。
　本発明によれば、商品を買い物かごに入れて、その後、陰に隠れて買い物かごからマイバッグなどに移してしまうことを認識して不審者を判定することができる。
本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの構成を示すブロック図である。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの監視装置の記憶部の窃盗重みパラメータを説明する図である。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの監視装置の制御部のブロック図である。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの携帯端末装置を利用したシステムを示す構成図である。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムのスマートフォンのセキュリティアプリ動作を示す図である。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの監視装置の制御部が窃盗行為を判定する処理を示すフローチャートである。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムのスーパーマーケット等の店舗内の営業時間中の警備を説明する図である。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの監視装置の制御部が窃盗行為を判定する処理を示すフローチャートである。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの手の動作検出を説明する図である。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの監視装置の商品の買い物かご入れ判定を説明する図である。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの監視装置の制御部が窃盗行為を判定する処理を示すフローチャートである。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの監視装置の制御部が窃盗行為を判定する処理を示すフローチャートである。
　以下、添付図面を参照しながら本発明を実施するための形態について詳細に説明する。
（実施の形態）
　図１は、本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの構成を示すブロック図である。
　本デジタル・オートファイル・セキュリティシステムは、店舗、商業施設及び展示場等の事業所等に適用して好適である。
　本実施の形態は、本デジタル・オートファイル・セキュリティシステムを、店舗に適用した例である。店舗は、例えばスーパーマーケット、コンビニ、ドラッグストア、１００円ショップ、八百屋などである。店舗において、窃盗行為は万引きである。また、商品を入れる買い物かご（カート等を含む）を用いる店舗が対象となる。
　図１に示すように、デジタル・オートファイル・セキュリティシステム１０００は、セキュリティ区域に設置された複数の監視カメラ１１と、人感センサ２０と、セキュリティ区域内に設置されたＷｉ-Ｆｉ（Wireless Fidelity）ターミナル（以下「Ｗｉ-Ｆｉ親機」という）３０と、ビーコン親機４０と、関係者（販売員）が携帯する携帯端末装置５０（ＩＤ（Identification）端末）と、システム全体を制御する監視装置１００と、ＡＩ（Artificial Intelligence：人工知能）アクセラレータ（Accelerator）２００と、を備える。セキュリティ区域は、警戒エリア（警備対象エリア）であり、例えば、店舗の売場である。
　なお、監視装置１００は、セキュリティ区域内に設置されているが、図示しないネットワークを介して外部に設置してもよい。監視装置１００を、ネットワーク上のサーバに設置すると、複数のセキュリティ区域を監視対象とすることができる。
＜監視カメラ１１＞
　監視カメラ１１は、セキュリティ区域内の画像を撮影する。
　監視カメラ１１の一部又は全部は、ＰＴＺ（パン・チルト・ズーム）機能を有するＰＴＺカメラであり、監視装置１００により遠隔操作される。監視カメラ１１は、セキュリティ該当建物の警備対象の店舗及び該当敷地エリアの各所に設置される。監視カメラ１１が撮影した画像は、監視装置１００に出力され、録画部１６０に記録される。
＜人感センサ２０＞
　人感センサ２０は、サーモカメラ又は赤外線カメラ等であり、セキュリティ区域内の感知対象物の温度を検出して、セキュリティ区域内の不審者を検出する。
＜Ｗｉ-Ｆｉ親機３０＞
　Ｗｉ-Ｆｉ親機３０は、Ｗｉ-Ｆｉを用いて携帯端末装置５０のＷｉ-Ｆｉ子機５１との間で情報をやり取りする。また、Ｗｉ-Ｆｉ親機３０は、Ｗｉ-Ｆｉ測位による位置情報取得、すなわちＷｉ-Ｆｉアクセスポイントと所定の位置情報サービスを利用した位置情報を取得できる。
＜ビーコン親機４０＞
　ビーコンは、Bluetooth Low Energyを利用した無線技術である。ビーコンは、発信側のビーコン機器であるビーコン親機４０と、ビーコン親機４０からの電波受信に対応した携帯端末装置５０のアプリ（後記ビーコン子機５２に対応する）の組み合わせによって構成される。ビーコンは、識別に必要な固有のＩＤ情報を発信し、携帯端末装置５０の当該ＩＤ情報に紐付けられたアプリにしか反応しない。携帯端末装置５０のアプリは、ビーコン親機４０と同じ識別子を登録しておく。携帯端末装置５０のアプリ（ビーコン子機５２）は、ビーコン機能を搭載したアプリケーション実行によりバックグラウンドで待機し、ビーコン親機４０のビーコンに近接したときに所定アクションを励起する。
［携帯端末装置５０］
　携帯端末装置５０は、店舗の販売員などがそれぞれ携帯する。携帯端末装置５０は、例えばスマートフォン５０ａ、タブレット５０ｂ、又はノートパソコン５０ｃなどである。携帯端末装置５０は、このほか、携帯電話、ＰＨＳ（Personal Handy-Phone System）、ＰＤＡ（Personal Digital Assistants）、又は専用端末などである。本実施の形態では、携帯端末装置５０は、店舗の販売員などが様々な場所（すなわち現在位置）で使用可能であり、図示しない電話回線を介して監視装置１００からのメール又は動画を含む映像等を受信可能である。
　本実施の形態では、携帯端末装置５０は、スマートフォン５０ａ（ＩＤ端末）の利用を想定しており、各個人が様々な場所（すなわち現在位置）で使用可能である。携帯端末装置５０のうちの一つは、図示しない警備会社に配置される。
　スマートフォン５０ａは、デジタル・オートファイル・セキュリティアプリ（以下、「セキュリティアプリ」という）を有する。セキュリティアプリを、例えば各アプリのバックグランド処理で起動させておくと、通信キャリア網（移動体通信網）、ウェブサービスクラウド３００（後記図４参照）、又はインターネット３０３（後記図４参照）を経由して、ウェブサービスクラウド３００上のクラウドサーバ３０１（後記図４参照）に接続でき、クラウドサーバ３０１から不審者に関するテキストを受け取ることができる。スマートフォン５０ａは、待受け画面等に不審者を検出したテキストを通知できる。
　スマートフォン５０ａは、Ｗｉ-Ｆｉ個別識別機（以下「Ｗｉ-Ｆｉ子機」という）５１と、関係者の位置を捕捉するＧＰＳ５３と、を備える。
　なお、スマートフォン５０ａは、ビーコン子機５２を備えているものでもよい。又は、スマートフォン５０ａは、Ｗｉ-Ｆｉ子機５１と、ビーコン子機５２と、ＧＰＳ５３とのいずれか一つを備えるものでもよい。
＜Ｗｉ-Ｆｉ子機５１＞
　Ｗｉ-Ｆｉ子機５１は、業務施設に設置されたＷｉ-Ｆｉ親機３０の電波を受信及び個別識別する。監視装置１００は、施設内に設置されたＷｉ-Ｆｉ親機３０の配置情報をセフティ関連情報として記憶している。Ｗｉ-Ｆｉ子機５１がＷｉ-Ｆｉ親機３０に近接すると、携帯端末装置５０を携帯する関係者のＩＤと位置を判定することができる。
＜ビーコン子機５２＞
　ビーコン子機５２は、ビーコン親機４０からの電波受信に対応した携帯端末装置５０のアプリである。ビーコン親機４０は、ビーコン（識別に必要な固有のＩＤ情報）を発信し、携帯端末装置５０のアプリ（ビーコン子機５２）は、ビーコン親機４０のビーコンに近接したときに所定アクションを励起する。
＜ＧＰＳ５３＞
　ＧＰＳ５３は、位置情報の電波をＧＰＳ衛星等から受信する。ＧＰＳ５３は、ＧＰＳアンテナを介して受信した情報より、現在位置情報を、緯度、経度及び高度の３つのパラメータとして算出して位置情報を取得する。取得した位置情報は、適時、監視装置１００に送信される。
　なお、本実施形態では、位置情報を取得する手段として、ＧＰＳ衛星を利用した例を示したが、ＧＰＳ以外の、基地局との位置関係を利用した方式でもよい。例えば、モバイル端末である携帯端末装置５０として、Ａｎｄｒｏｉｄ（登録商標）スマートフォンやカメラ付き高機能携帯電話機を使用する場合、ＧＰＳ５３に代えて又は併用して、基地局及び携帯電話通信網（図示省略）を介して携帯電話会社サーバと情報の送受信を行い、接近確認から自端末の現在位置情報を取得することも可能である。
　また、Ｗｉ-Ｆｉ測位による位置情報取得、すなわちＷｉ-Ｆｉアクセスポイントと所定の位置情報サービスを利用した位置情報取得を用いてもよい。
［監視装置１００］
　監視装置１００は、セキュリティ区域内に設置され、セキュリティ区域内を集中管理する。監視装置１００は、一般的なサーバ計算機、又はパーソナルコンピュータ等であってよい。
　監視装置１００は、制御部１１０と、入力部１２０と、記憶部１３０（窃盗重み記憶手段）と、表示部１４０と、出力部１５０と、録画部１６０と、画像処理部１７０と、インタフェース（Ｉ／Ｆ）部１８０と、通信部１９０と、を備え、各部はバス１９５により接続される。
　以降、「○○部は」と主体を記した場合は、制御部１１０が必要に応じＲＯＭから各プログラムを読み出した上でＲＡＭにロードし、各機能（後記）を実行するものとする。各プログラムは、予め記憶部１３０に記憶されていてもよいし、他の記憶媒体又は通信媒体を介して、必要なときに監視装置１００に取り込まれてもよい。
　制御部１１０は、ＣＰＵ（Central Processing Unit）等により構成され、監視装置１００全体を制御するとともに、制御プログラムを実行して、デジタル・オートファイル・セキュリティシステムとして機能させる。制御部１１０の詳細な構成については、後記する。
　入力部１２０は、操作盤１２０ａを有し、キーボード、マウス、表示部１４０の画面上に設けられたタッチパネル又はマイクなど、監視装置１００のユーザが指示などを入力するための入力機器である。
　記憶部１３０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリからなり、制御部１１０が用いる各種データ及びプログラムなどを記憶する。記憶部１３０は、監視カメラ１１から受信した静止画又は動画、制御部１１０が用いる各種データ及びプログラムなどを記憶する。
　記憶部１３０は、商品の盗まれやすさのパラメータである窃盗重みパラメータ１３５を商品と対応づけて記憶する。
　図２は、窃盗重みパラメータ１３５を説明する図である。
　図２に示すように、窃盗重みパラメータ１３５は、商品ごとに、過去の実績に依存する窃盗実績重み１３５ａ、商品の価格に依存する窃盗価格重み１３５ｂ、及び商品が陳列されている陳列棚の窃盗位置重み１３５ｃからなる群より選択される少なくとも一つを用いる。本実施形態では、窃盗実績重み１３５ａ（窃盗実績重み付け値「Ａ」）、窃盗価格重み１３５ｂ（窃盗価格重み付け値「Ｂ」）、及び窃盗位置重み１３５ｃ（窃盗位置重み付け値「Ｃ」）を用いる。
　窃盗重みは、例えば「１」～「１０」(「１」が最小、「１０」が最大)の範囲で設定される。
　表示部１４０は、監視装置１００の動作状況をはじめ、監視カメラ１１から受信した画像、又は監視装置１００を操作するためのＧＵＩ（Graphical User Interface）などを表示する。
　出力部１５０は、例えばオーディオインタフェースであり、セキュリティ区域内の音響システム１５８に対して監視装置１００からの音声信号を出力する。監視装置１００から音響システム１５８へ出力する音声信号としては、例えば、入力部１２０に設けられたマイクなどの音声入力装置から入力された音声信号、又は記憶部１３０に記憶された音楽データを制御部１１０が再生した音声信号であってよい。音響システム１５８は、アンプ及び店舗内に配置された複数のスピーカを備え、監視装置１００から入力された信号を店舗内に発声する。
　また、窃盗行為の検出時に店舗内に発声する音声は、店舗関係者が知っている、不審者の来訪を知らせる音楽などである。このように、窃盗行為の検出時に、窃盗行為の発生を知らせる音声（音楽）を店舗内に報知することで、店舗の各従業員に、不審者の来訪を知らせることができる。従業員間での連携が可能になり、より迅速に対応することができる。
　録画部１６０は、ＨＤＤ（Hard Disk Drive）などの外部記憶装置により構成され、監視カメラ１１が撮影したセキュリティ区域内の画像を記録する。録画部１６０は、撮影後所定の短時間は高画質で録画し、その所定の短時間経過後は低画質に変換して所定の長時間まで録画すると共に高画質の撮影画像は消去し、制御部１１０が不審者を検出した時は、その時までの所定の短時間の高画質の撮影画像を保存する。
　画像処理部１７０は、ＤＳＰ（Digital Signal Processor）等により構成され、受信した画像に対して予め定められた処理を行う。予め定められた処理には、輪郭抽出、画像のリサイズ、又は解像度変換処理などがある。
　監視カメラ１１で１秒間に撮影する画像が例えば５コマの画像である場合、１／５秒画像、２／５秒画像、３／５秒画像、４／５秒画像及び５／５秒画像の動きで、対象物の外形形状線を入力すれば、動く対象物の大きさが分かる。
　画像処理部１７０は、監視カメラ１１で撮影された画像データを処理し、セキュリティ区域内の画像から人の存在の有無を判定するために制御部１１０に送る。
　Ｉ／Ｆ部１８０は、セキュリティ区域内に配置された各監視カメラ１１と監視装置１００とを接続する。また、Ｉ／Ｆ部１８０は、図示しない本部、本社又は警備会社などにネットワーク又は専用回線により接続する。
　通信部１９０は、基地局を介して携帯端末装置５０とデータを送受信する。通信部１９０は、無線通信機能を有し、例えばＵＳＢ（Universal Serial Bus）を用いて制御基板に接続される。
［制御部１１０］
　図３は、本発明の第１の実施の形態に係るデジタル・オートファイル・セキュリティシステムの監視装置１００の制御部１１０のブロック図である。
　図３に示すように、制御部１１０は、ＣＰＵ（Central Processing Unit）等により構成され、監視装置１００全体を制御するとともに、制御プログラムを実行して、デジタル・オートファイル・セキュリティシステムとして機能させる。
　制御部１１０は、人抽出部１１１（人抽出手段）と、商品検出部１１２（商品検出手段）、戻し行為認識部１１３（戻し行為認識手段）、手動作検出部１１４と、窃盗行為判定部１１５（窃盗行為判定手段）と、通報部１１６（通報手段）と、を備える。
　制御部１１０は、人抽出部１１１が、セキュリティ区域を撮影するカメラによって撮影された画像から人を抽出する。
　制御部１１０は、人抽出部１１１が、人の候補のブロック（図９上図の符号ａに示す矩形参照）が人らしいと判定したことを受けて、人が存在すると判定する。
　制御部１１０は、商品検出部１１２が、人抽出部１１１によって抽出された人が持つ買い物かごの中の商品を検出する。買い物かごは、買い物かごやカートなど、商品を中に入れるものはすべて含まれる（以下、買い物かごという）。また、制御部１１０は、買い物かごの側面、正面、上面、及び多方向斜視からみた形状の各パターンを、買い物かご情報（事前学習済み買い物かご情報）として記憶部１３０に登録しておく。ここで、買い物かごは、買い物かごの中が視認できる形状であるため、撮影した買い物かごの画像と上記パターン結果を照合することで、買い物かごの中に商品があることを精度よく短時間で認定することができる。また、認識の際、学習（ＡＩ等の機械学習も含む）を用いてもよく、さらに認定精度を向上できる。なお、買い物かご情報として、買い物かごの色を登録しておいてもよい。このようにすれば、予め登録した買い物かごの色と、商品との色の差異から、より認識精度を高めることができる。買い物かごの中の商品が小さい場合に特に有効である。
　制御部１１０は、戻し行為認識部１１３が、人抽出部１１１によって抽出された人が買い物かごの中の商品を陳列棚に戻す行為を認識する。
　制御部１１０は、手動作検出部１１４が、人抽出部１１１によって抽出された画像における手の動作を検出する。
　制御部１１０は、窃盗行為判定部１１５が、戻し行為認識部１１３が買い物かごの中の商品を陳列棚に戻す行為を認識せずに、商品検出部１１２が買い物かごの中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する。
　制御部１１０は、窃盗行為判定部１１５が、窃盗重み記憶部１３０に記憶されている商品の窃盗重みに基づいて、窃盗行為が行われたことを判定する。例えば、窃盗実績重み１３５ａと窃盗価格重み１３５ｂと窃盗位置重み１３５ｃの重み付け値の総和が、所定閾値Ｄより小さい）商品であれば、万引きされやすい商品でないと判定する。
　窃盗重みパラメータの値Ｘ＝Σ(Ａ＋Ｂ＋Ｃ)＜Ｄ
　制御部１１０は、通報部１１６が、窃盗行為判定部１１５によって窃盗行為が行われたと判定したことを受けて、その判定結果を所定の端末に通報する。通報部１１６は、例えば、窃盗の疑いの程度（例えば８０％など）を通報する。通報を受けて、店舗関係者は、万引き候補を注意して観察する。
　制御部１１０は、撮影後所定の短時間は高画質で録画部１６０に録画し、その所定の短時間経過後は低画質に変換して所定の長時間まで録画すると共に高画質の撮影画像は消去し、撮影方向の変化を検出した時は、その時までの所定の短時間の高画質の撮影画像は保存する。
　制御部１１０は、ＡＩアクセラレータ２００（後記）を用いて撮影画像を分析してセキュリティ区域内の人を検出する。制御部１１０は、ＡＩアクセラレータ２００に対して人検出要求を発行し、ＡＩアクセラレータ２００は、ＣＰＵ以外でＡＩの計算を実行して、人検出結果を人抽出部１１１に送信する。人検出には高速性が求められるので、人検出にＡＩアクセラレータ２００を用いている。
　本実施形態では、制御部１１０は、ＡＩアクセラレータ２００を用いて人を検出しているが、サーモカメラ（又は人感センサ２０）で人を検出するようにしてもよい。すなわち、人感センサ２０は、セキュリティ区域内の温度を検出する。そして、制御部１１０は、人感センサ２０が人の体温を検出し、かつ、監視カメラ１１がその撮影画像の変化を検出したことによって人（不審者候補）の存在を検出する。
　なお、制御部１１０は、ＡＩアクセラレータ２００を用いた人検出と、サーモカメラ（又は人感センサ）を用いた人検出とを組み合わせてもよい。例えば、セキュリティ区域内のうち、人検出の高速性が要求される、店舗売場についてはＡＩアクセラレータ２００を用い、人検出の高速性が要求されない店舗売場外はサーモカメラ（又は人感センサ）を使用する。
　人抽出部１１１は、ＡＩアクセラレータ２００を用いて、セキュリティ区域を撮影するカメラによって撮影された画像をモノクロ２値画像に変換し、そのモノクロ２値画像から人の候補を抽出する。
　なお、本実施形態では、人検出の各処理にＡＩアクセラレータ２００を使っているが、ＣＰＵ処理（制御部１１０の制御プログラム実行）で行ってもよい。
［ＡＩアクセラレータ２００］
　ＡＩアクセラレータ２００は、人を検出する専用プロセッサであり、ＣＰＵ以外の計算リソースを用いる。ＡＩアクセラレータ２００は、例えば、ＧＰＵ（Graphics  Processing Unit）を強化したプロセッサよる画像処理、ＦＰＧＡ（Field-Programmable Gate Array）を用いた信号処理のアクセラレートである。また、ＡＩアクセラレータ２００は、専用ハード（例えば、ＧＰＵ）上でＡＩ（Artificial Intelligence：人工知能）の計算を実行する。
　通常のＰＣによるコンピュータの処理では、デジタル画像一枚あたり人（人体）の検出の処理を行うのに約１．５秒かかる。このため、本実施形態では、人の検出プロセッサであるＡＩアクセラレータ２００を利用することで、ＰＣによるコンピュータの処理の約１０倍のパフォーマンスを得、侵入検出を迅速に実行する。また、本実施形態では、計算負荷が高いＡＩの計算を専用ハードであるＡＩアクセラレータ２００に任せている。これにより、市販のカメラと安価な機器を用いた構成であっても、リアルタイムにほとんど誤りなく人を検出可能であることが実証できた。
［デジタル・オートファイル・セキュリティシステム］
　図４は、本発明の実施形態に係る携帯端末装置５０を利用したデジタル・オートファイル・セキュリティシステムを示す構成図である。
　図４に示すように、デジタル・オートファイル・セキュリティシステム１０００は、ウェブサービスクラウド３００上に、デジタル・オートファイル・セキュリティサービスを提供するクラウドサーバ（商用サーバ）３０１、クラウドサーバ３０１に連携して能動的に情報を取得してユーザのスマートフォン５０ａ（携帯端末装置；ＩＤ端末）に通知するＰｕｓｈ通知サーバ３０２を有する。ウェブサービスクラウド３００は、インターネット３０３に接続される。ウェブサービスクラウド３００上のクラウドサーバ３０１は、インターネット３０３を経由してスマートフォン５０ａにテキスト及び画像を送信することができる。また、スマートフォン５０ａは、インターネット３０３を経由してＰｕｓｈ通知サーバ３０２からＰｕｓｈ通知を受信する。さらに、クラウドサーバ３０１及びＰｕｓｈ通知サーバ３０２は、ＬＴＥ／３Ｇ網などの通信キャリア網（移動体通信網）（図示省略）を経由して、セキュリティアプリが搭載されたスマートフォン５０ａに接続する。
　図４に示すように、デジタル・オートファイル・セキュリティシステム１０００は、万引き（商品窃盗）候補を検出し、店舗の販売員等が所持するスマートフォン５０ａにプッシュ通知する。
　スマートフォン５０ａに来た通知をユーザがタップすると、セキュリティアプリが起動して不審者のズーム画面を表示し、「万引き候補が検出されました」というテロップが流れる。同時にその内容が音声で読み上げられる。このように、スマートフォン５０ａの画面のテロップと音声とで不審者の通知が行われる。さらに、スマートフォン５０ａユーザの操作により、例えば緊急時には関係機関（警察・消防）に通知する。この場合、警備会社や関係企業本社にも自動的に通知される。また、緊急性がない場合や確認したい場合には、警備会社のみに通知する。
［セキュリティアプリ動作］
　図５は、スマートフォン５０ａのセキュリティアプリ動作を示す図である。
　図５左に示すように、スマートフォン５０ａの待受け画面等に不審者を検出したテロップが通知される。ユーザのタップにより、図５中に示すように、スマートフォン５０ａの表示はセキュリティアプリ動作表示に切り替わり、不審者のズーム画面を表示し、不審者の位置と状況「○○売場△△ブロックに不審者」を表示する。また、このテロップを自動音声で読み上げる。さらに、ユーザのタップにより、図５右に示すように、スマートフォン５０ａの表示を時系列の４画面に表示する。
　以下、上述のように構成されたデジタル・オートファイル・セキュリティシステムの動作について説明する。
［窃盗行為判定処理］
　図６は、デジタル・オートファイル・セキュリティシステムの監視装置１００の制御部１１０が窃盗行為を判定する処理を示すフローチャートである。本フローは、監視装置１００の制御部１１０（図３参照）により実行される。
　ステップＳ１で、制御部１１０は、セキュリティ区域を撮影するデジタルカメラ（監視カメラ１１）からコンピュータの処理能力に合わせて、例えば０．２秒毎等に画像を得る。
　ステップＳ２で、制御部１１０の人抽出部１１１（図３参照）は、ＡＩアクセラレータ２００で人抽出を行う。
　ステップＳ３で、制御部１１０の商品検出部１１２は、人抽出部１１１によって抽出された人が持つ買い物かごの中の商品を検出する。
　ステップＳ４で、制御部１１０の戻し行為認識部１１３は、人抽出部１１１によって抽出された人が買い物かごの中の商品を陳列棚に戻す行為を認識する。
　ステップＳ５で、戻し行為認識部１１３は、買い物かごの中の商品を陳列棚に戻す行為を認識したか否かを判定する。
　戻し行為認識部１１３が買い物かごの中の商品を陳列棚に戻す行為を認識した場合（ステップＳ５：Ｙｅｓ）、本フローの処理を終了する。
　戻し行為認識部１１３が買い物かごの中の商品を陳列棚に戻す行為を認識しなかった場合（ステップＳ５：Ｎｏ）、ステップＳ６で窃盗行為判定部１１５は、商品検出部１１２が買い物かごの中の商品を検出した後に該商品を検出しなくなったか（買い物かごの中の商品が消えたか）否かを判定する。
　上記ステップＳ５で戻し行為認識部１１３が買い物かごの中の商品を陳列棚に戻す行為を認識した場合（ステップＳ５：Ｙｅｓ）、又は上記ステップＳ６で買い物かごの中の商品が消えていない場合（ステップＳ６：Ｎｏ）、窃盗行為が行われなかったと判断して、本フローの処理を終了する。
　買い物かごの中の商品が消えた場合（ステップＳ６：Ｙｅｓ）、ステップＳ７で、制御部１１０の窃盗行為判定部１１５（図３参照）は、商品の窃盗重みを取得する。例えば、窃盗行為判定部１１５は、手に取った商品に対して、過去の実績に依存する窃盗実績重み１３５ａ（窃盗実績重み「Ａ」という）、商品の価格に依存する窃盗価格重み１３５ｂ（窃盗価格重み「Ｂ」という）、商品が陳列されている陳列棚の窃盗位置重み１３５ｃ（窃盗位置重み「Ｃ」という）を取得する。
　ステップＳ８で、窃盗行為判定部１１５は、当該商品の窃盗重みパラメータ１３５に基づいて窃盗行為が行われたと判定する。例えば、商品の窃盗重みが小さい（窃盗実績重み１３５ａの重み付け値Ａと、窃盗価格重み１３５ｂの重み付け値Ｂと、窃盗位置重み１３５ｃの重み付け値Ｃの総和が所定閾値Ｄより小さい）商品であれば、万引きされやすい商品でないと判定する（次式参照）。
　窃盗重みパラメータの値Ｘ＝Σ(Ａ＋Ｂ＋Ｃ)＜Ｄ
　例えば、図２の商品コード「１００２」の商品では、窃盗実績重み１３５ａと窃盗価格重み１３５ｂとが最高ランク「１０」であるため、窃盗位置重み１３５ｃが最低ランク「０」であっても、重み付け値の総和が所定閾値Ｄ（＝１５）以上であり、万引きされやすい商品と判定する。
　ただし、商品ロスが多発している商品では、その商品の窃盗実績重み１３５ａの重み付けを大きくしておくことができ、この場合は、万引きであると判定されやすくなる。逆に、商品の窃盗重みが大きい（窃盗実績重み１３５ａと窃盗価格重み１３５ｂと窃盗位置重み１３５ｃの重み付け値の総和が所定閾値より大きい）商品であれば、万引きされやすい商品であると判定する。
　上記は一例である。例えば、手動作検出部１１４によって検出された手の動作で取られた商品に、窃盗実績重み「Ａ」、窃盗価格重み「Ｂ」、窃盗位置重み「Ｃ」のいずれか１つでも付加されている場合には、窃盗行為が行われたと判定してもよい。
　窃盗行為が行われたと判定しない場合（ステップＳ８：Ｎｏ）、本フローの処理を終了する。
　窃盗行為が行われたと判定した場合（ステップＳ８：Ｙｅｓ）、ステップＳ９で窃盗行為判定部１１５は、窃盗行為の疑いの程度を判定する。すなわち、窃盗行為判定部１１５は、買い物かご１７の中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する（ステップＳ７）。このとき、買い物かご１７の中から消えた商品の窃盗重みパラメータ１３５が大きい、例えば窃盗価格重みが大きい（高価な）商品の場合には、窃盗の疑いの程度（例えば８０％など）が大きいと判定する。
　ステップＳ１０で通報部１１６は、窃盗行為判定部１１５によって窃盗行為が行われたと判定したことを受けて、窃盗行為の疑いの程度を所定の端末に通報して本フローの処理を終了する。通報部１１６は、例えば、買い物かご１７の中の商品が消えたことと、窃盗重みパラメータ１３５（図２参照）から窃盗行為の程度（例えば８０％など）を通報する。通報を受けて、店舗関係者は、万引き候補を注意して観察する。店舗関係者は、万引き候補が該当商品をポケットやマイバックに入れること、該当商品をレジで精算しないことを迅速に判断することができる。
　なお、本実施の形態では、買い物かご１７の中の商品が消えたことと、窃盗重みパラメータ１３５から窃盗行為の程度を判定するようにしているが、買い物かご１７の中の商品が消えた場合にすぐに（ステップＳ７及びステップＳ８をスキップして）、ステップＳ１０で窃盗行為判定部１１５は窃盗行為が行われたと判定する態様でもよい。
　また、店舗関係者等に通報を行った場合、一時保存していた不審者の画像データ（顔画像や挙動などの動画データ）を証拠として録画部１６０に録画しておく。
　これによって、撮影画像から正確に窃盗行為を判定することができる。
　すなわち、買い物かごに入れた商品を陳列棚に戻す行為を認識せずに、商品が買い物かごから消えたか否かだけで万引きを判定するので、商品を買い物かごに入れて、その後、陰に隠れて買い物かごからマイバッグなどに移してしまうことを認識することができる。
　また、買い物かご１７の中の商品が消えたことと、窃盗重みパラメータ１３５から窃盗行為の程度を判定し、窃盗の疑いの程度（例えば８０％など）を通報することで、店舗関係者は、万引き候補の可能性のある買い物客に対し、注意度に応じた対応（万引き対応の人を担当させるなど）をとることができる。
　また、画像データに加えて、窃盗重みに基づいて窃盗行為が行われたか否かを判定することで、単なる手の動作だけではなく、手の動作に意味（万引きしようという目的動作）を付加することができ、正確に窃盗行為を判定することができる。
［店舗での不審者自動登録］
　図７は、デジタル・オートファイル・セキュリティシステムの監視装置１００のスーパーマーケット等の店舗内の営業時間中の警備を説明する図である。図８は、その処理を示すフローチャートである。本フローは、監視装置１００の制御部１１０（図３参照）により実行される。
　図７に示す店舗（セキュリティ区域）には、デジタルカメラ１１（監視カメラ）、デプスカメラ等の３Ｄカメラ１２（監視カメラ）が設置され、ＬＡＮ（Local Area Network）１３を介してセキュリティ区域内に配置された監視装置１００に接続される。なお、ＬＡＮ１３は、無線ＬＡＮであってもよい。
　デジタルカメラ１１及び３Ｄカメラ１２は、店舗売場の陳列棚（ゴンドラ）１５及びショーケース１６（陳列棚）、買い物客を撮影して画像データを取得する。
　陳列棚１５及びショーケース１６に陳列された商品（図示省略）には、図２に示す記憶部１３０の窃盗重みパラメータ１３５に、商品コードごとに、過去の実績に依存する窃盗実績重み１３５ａ、商品の価格に依存する窃盗価格重み１３５ｂ、及び商品が陳列されている陳列棚の窃盗位置重み１３５ｃが保存されている。例えば、図７に示す陳列棚１５ａに陳列されている商品は、窃盗実績重み１３５ａの重み付けが大きい商品であり、ショーケース１６ｂに陳列されている商品は、窃盗価格重み１３５ｂの重み付けが大きい商品である。
　買い物客は、買い物かご１７に商品を入れて移動するか、商品を手に持って店舗売場を移動し、レジ１８で精算する。
　図８に示すように、監視装置１００は、開店時間、例えば朝などに、本セキュリティシステムが警備を開始する。
　ステップＳ１０１で制御部１１０は、陳列棚１５やショーケース１６前に設置されたデジタルカメラ１１、３Ｄカメラ１２から画像を得る。
　ステップＳ１０２で、人体を検出する。
　ステップＳ１０３で、人物を顔認証などによって認証する。
　ステップＳ１０４で、該当者の手を検出する（後記図９参照）。
　ステップＳ１０５で、物体（買い物かご１７）を検出する。
　ステップＳ１０６で、該当者は買い物かご１７を所持するか否かを判定する。
　買い物かご１７を所持する場合、ステップＳ１０７で買い物かご１７有りと判定してステップＳ１０９に進む。
　買い物かご１７を所持しない場合、ステップＳ１０８で買い物かご１７無しと判定してステップＳ１０９に進む。
　ステップＳ１０９で、商品を手に取ったか、戻したかを判定する（後記図９参照）。
　商品を陳列棚１５等に戻した場合、ステップＳ１１０で「グリーン」と判定してステップＳ１２３に進む。
　ここで、「グリーン」と、後記する「オレンジ」及び「レッド」は、万引き要注意者（万引き候補）の注意度を示す指標である。「グリーン」は（正常）、「オレンジ」は（注意）、「レッド」は（異常）として、買い物客の行動パターンの判定条件に加える。
　上記ステップＳ１０９で、いずれでもない（商品に手を触れていない）場合、「グリーン」等の判定は行わずそのままステップＳ１２３に進む。
　上記ステップＳ１０９で、商品を手に取った場合、ステップＳ１１１で、商品を買い物かご１７に入れたか否かを判定する（後記図１０参照）。商品を買い物かご１７に入れた場合、ステップＳ１１２で「グリーン」と判定してステップＳ１２３に進む。
　商品を買い物かご１７に入れていない場合、ステップＳ１１３で、商品をポケットやカバン等に入れたか否かを判定する。商品をポケットやカバン等に入れた場合、万引きの可能性があると判断してステップＳ１１４で「オレンジ」と判定してステップＳ１１５に進む。「オレンジ」と判定した場合、上記ステップＳ１０３で人物認証（特に顔認証）した結果と「オレンジ」判定結果とを紐づけて記憶部１３０（図１参照）に記憶する。
　ステップＳ１１５で、制御部１１０は、記憶部１３０に記憶された過去の「オレンジ」判定結果をもとに、該当人物が過去にもオレンジ判定されたか否かを判定し、該当人物が過去にもオレンジ判定されている場合、ステップＳ１１６で該当人物を「レッド」と判定してステップＳ１２３に進む。過去にオレンジ判定されていない場合、「オレンジ」等の判定は行わずそのままステップＳ１２３に進む。なお、「レッド」と判定した人物は、万引き（窃盗行為）者として、画像データ（顔画像や挙動などの動画データ）を証拠として録画部１６０に録画しておく。
　一方、上記ステップＳ１１３で商品をポケットやカバン等に入れていなければ、ステップＳ１１７で制御部１１０は、レジ１８（図７参照）前に設置されたデジタルカメラ１１ａから画像を得る。
　ステップＳ１１８で、買い物客がレジ１８で精算したか否かを判定する。
　レジ１８で精算した場合、ステップＳ１１９で「グリーン」と判定してステップＳ１２３に進む。
　レジ１８で精算していない場合、ステップＳ１２０で「オレンジ」と判定してステップＳ１２１に進む。過去にもオレンジ判定されている場合、ステップＳ１１６で「レッド」と判定と判定してステップＳ１２３に進む。過去にオレンジ判定されていない場合、「レッド」判定は行わずステップＳ１２３に進む。
　ステップＳ１２３で、制御部１１０の窃盗行為判定部１１５（図３参照）は、記憶部１３０に記憶している窃盗重みパラメータ１３５（図２参照）を参照して、手に取った商品の窃盗重みを取得する。
　ステップＳ１２４で、窃盗行為判定部１１５は、手動作検出部１１４によって検出された画像データ（手の動作）及び記憶部１３０に記憶されている商品の窃盗重みパラメータ１３５に基づいて窃盗行為が行われたか否かを判定する。
　窃盗行為が行われた場合（ステップＳ１２４：Ｙｅｓ）、ステップＳ１２５で通報部１１６は、窃盗行為判定部１１５によって窃盗行為が行われたと判定したことを受けて、その判定結果を所定の端末に通報して本フローの処理を終了する。通報部１１６は、「グリーン」、「オレンジ」及び「レッド」の注意度をもとに、「オレンジ」又は「レッド」のいずれかを通報する。ここで、「オレンジ」及び「レッド」に代えて、窃盗の疑いの程度（例えば８０％など）を通報してもよい。
　このように、窃盗の疑いの程度（「オレンジ」又は「レッド」の注意度）を通知するので、店舗関係者は、万引き候補の可能性のある買い物客に対し、注意度に応じた対応をとることができる。例えば、「レッド」が付加された窃盗行為に対しては、万引き対応の人を担当させるなど、より迅速に対応することができる。
［手の動作検出］
　図９は、デジタル・オートファイル・セキュリティシステムの監視装置１００の手の動作検出を説明する図である。図９上図は、人間検出された画像を示す図、図９左下図は、来店者がＥ２から商品を手に取った動作を示す図、図９右下図は、来店者が商品をＥ２に戻した動作を示す図である。
　図９上図に示すように、陳列棚１５の横方向の位置をＡ，Ｂ，Ｃ，Ｄ，Ｅ，…、縦方向の位置を１，２，３，４，…とする。来店者は、図９上図の符号ａに示す矩形で囲んだ枠で画像認識される。この来店者の利き手は、右手であるとし、陳列棚１５のＥ２に置かれた商品を、右手（符号ｂ参照）で取る動作を例に採る。
　商品の陳列ケースのフェース割りに応じて縦１から４、横Ａ～Ｅの名称をつける。例えばＥ２に万引きが多発する商品が置かれていることが事前に分かっているとすると、人間の手がＥ２から商品を取ったり、逆にＥ２に戻したりする動作を検出する。
　図９左下図及び図９右下図の矢印は、時間経過に伴う手の動きを示している。
　Ｅ２を囲む矩形と右手を囲む矩形（符号ｂ参照）との交差領域がＥ２全体に対して占める割合を求める。図９上図に示すように、右手の評価値は、「８５」であることが求められた。
　上記、手の動作検出結果は、図６のステップＳ３で用いられる。
［商品の買い物かご入れ判定（その１）］
　図１０は、デジタル・オートファイル・セキュリティシステムの監視装置１００の商品の買い物かご入れ判定を説明する図である。図１１は、その処理を示すフローチャートである。本フローは、監視装置１００の制御部１１０（図３参照）により実行される。
　図１０上図は、人間検出された画像を示す図、図１０左下図は、来店者が買い物かごに商品を入れる動作を示す図、図１０右下図は、買い物かごから商品が消えた様子を示す図である。
　図１０上図に示すように、陳列棚１５の横方向の位置をＡ，Ｂ，Ｃ，Ｄ，Ｅ，…、縦方向の位置を１，２，３，４，…とする。来店者は、図１０上図の符号ａに示す矩形で囲んだ枠で画像認識される。この来店者の利き手は、右手であるとし、陳列棚１５に置かれた商品を買い物かごに入れる動作、又は買い物かごから商品が消えた状態を例に採る。
　店舗の買い物かご１７やカートの形状を事前に学習させておく。
　図１０左下図に示すように、買い物かご１７を囲む枠（符号ｃ参照）と手を囲む枠（符号ｂ参照）との交差領域がある。この場合、商品を買い物かご１７に入れるので、「グリーン」（正常）と判定される。
　図１０右下図に示すように、買い物かご１７を囲む枠（符号ｃ参照）の中に商品が検出されない。この場合、万引きの可能性がある「オレンジ」（注意）と判定される。
　また、来店者が陳列ケースより商品を手に取り、片方の手でスマホにスキャンする手の動きがある場合に「グリーン」（正常）と判定し、スキャンをする手の動きがない場合に万引きの可能性がある「オレンジ」（注意）と判定するようにしてもよい。
　図１１は、デジタル・オートファイル・セキュリティシステムの監視装置１００の商品の買い物かご入れ判定処理を示すフローチャートである。本フローは、監視装置１００の制御部１１０（図３参照）により実行される。
　ステップＳ２０１で制御部１１０は、陳列棚１５やショーケース１６前に設置されたデジタルカメラ１１、３Ｄカメラ１２から画像を得る。
　ステップＳ２０２で、人体の姿勢判断を行う。
　ステップＳ２０３で、該当者の手を検出する（図９参照）。
　ステップＳ２０４で、物体検出を行い買い物かご１７を検出する（図１０参照）。
　ステップＳ２０５で、該当者は商品を手に所持しているか否かを判定する（図１０参照）。商品を手に所持していない場合、ステップＳ２２０に進む。
　商品を手に所持している場合、ステップ２０６で右手（利き手）位置を判定する。
　右手位置が陳列棚１５やショーケース１６（以下、ケースという）の中の場合、ステップＳ２０７で、陳列棚１５やケースへの返却か否かを判定する。
　陳列棚１５やケースへの返却でない場合、ステップＳ２０８で、商品が置かれている棚割り、例えば２Ｅに置かれた商品名を特定する（図１０参照）。
　ステップＳ２０９で、商品の品名を特定する。商品の品名を特定することで、窃盗重みパラメータ１３５（図２参照）から、商品コードごとの、過去の実績に依存する窃盗実績重み１３５ａ、商品の価格に依存する窃盗価格重み１３５ｂ、及び商品が陳列されている陳列棚の窃盗位置重み１３５ｃを取得することができる。
　ステップＳ２１０で、取った商品を登録し、日時、カメラ、棚割り、商品の品名、個数、画像等の情報を取得する。
　また、上記ステップＳ２０７で陳列棚１５やケースへの返却の場合、ステップＳ２１１で、商品の品名を特定する。
　ステップＳ２１２で、戻した商品を登録し、ステップＳ２１３で商品を陳列棚１５やケースに戻したと判断してステップＳ２２０に進む。
　一方、上記ステップＳ２０６で右手位置が陳列棚１５やケースの外の場合、ステップＳ２１４で、商品を買い物かご１７に格納しようとしているかを判定する（図１０参照）。
　ステップＳ２１５で、手に所持する商品の格納先を特定する。
　ステップＳ２１６で、商品の格納先を判定する。
　商品の格納先が買い物かご１７の場合、ステップＳ２１７で、買い物かご１７に商品を入れた（図１０左下図参照）と判断してステップＳ２２０に進む。
　商品の格納先がポケットの場合、ステップＳ２１８で、ポケットに商品を入れた（図１０右下図参照）と判断してステップＳ２２０に進む。
　商品の格納先がその他の場合、ステップＳ２１９で、カバン等に商品を入れた（図１０右下図参照）と判断してステップＳ２２０に進む。
　ステップＳ２２０で、制御部１１０の窃盗行為判定部１１５（図３参照）は、記憶部１３０に記憶している窃盗重みパラメータ１３５（図２参照）を参照して、手に取った商品の窃盗重みを取得する。
　ステップＳ２２１で、窃盗行為判定部１１５は、手動作検出部１１４によって検出された画像データ（手の動作）及び記憶部１３０に記憶されている商品の窃盗重みパラメータ１３５に基づいて窃盗行為が行われたか否かを判定する。
　窃盗行為が行われた場合（ステップＳ２２１：Ｙｅｓ）、ステップＳ２２２で通報部１１６は、窃盗行為判定部１１５によって窃盗行為が行われたと判定したことを受けて、その判定結果を所定の端末に通報して本フローの処理を終了する。通報部１１６は、商品を買い物かご１７に入れたか否かをもとに、「オレンジ」又は「レッド」の注意度と共に、窃盗の疑いの程度を（例えば８０％など）を通報する。
　このように、商品を買い物かご１７に入れたかに応じて、窃盗の疑いの程度（「オレンジ」又は「レッド」の注意度）を通知するので、店舗関係者は、万引き候補の可能性のある買い物客に対し、注意度に応じた対応をとることができる。例えば、「レッド」が付加された窃盗行為に対しては、万引き対応の人を担当させるなど、より迅速に対応することができる。
［商品の買い物かご入れ判定（その２）］
　図１２は、デジタル・オートファイル・セキュリティシステムの監視装置１００の商品の買い物かご入れ判定処理を示すフローチャートである。本フローは、監視装置１００の制御部１１０（図３参照）により実行される。
　開店時間にデジタル・オートファイル・セキュリティシステムが警備を開始する。
　ステップＳ３０１で制御部１１０は、陳列棚１５やショーケース１６前に設置されたデジタルカメラ１１から画像を得る。
　ステップＳ３０２で、人の抽出を行う。
　ステップＳ３０３で、人物認証を行う。
　ステップＳ３０４で、該当者の手を検出する（図９参照）。
　ステップＳ３０５で、物体検出を行い買い物かご１７を検出する（図１０参照）。
　ステップＳ３０６で、該当者は買い物かご１７を所持するか否かを判定する。
　買い物かご１７有りの場合、ステップＳ３０７に進み、買い物かご１７無しの場合、本フローを終了する。
　ここで、買い物かご１７は、事前学習済みの買い物かごである。本実施形態は、買い物かごに入れた商品が消えたことを判定する。買い物かごの形状を予め学習しておくことで、買い物かごの認識精度を高め、買い物かごの中の商品を検出した後に該商品を検出しなくなったことをより精確に判定する。
　ステップＳ３０７で、商品を手に取ったか又は戻したか否かを判定する。
　商品を手に取った場合、ステップＳ３０８で該当者の手の動きが商品を買い物かご１７に入れる動きをしたか否かを判定する。
　該当者の手の動きが商品を買い物かご１７に入れる動きをした場合、ステップＳ３０９で来店者移動先に設置されたデジタルカメラ１１等から画像を得る。
　ステップＳ３１０で、該当者の手が商品を陳列棚１５に戻す動きをしたか否かを判定する。
　該当者の手が商品を陳列棚１５に戻す動きをしなかった場合、ステップＳ３１１で、買い物かごから商品が消えたか否かを判定する。
　上記ステップＳ３１０で該当者の手が商品を陳列棚１５に戻す動きをした場合、又は上記ステップＳ３１１で、買い物かごから商品が消えなかった場合、窃盗行為が行われなかったと判断してステップＳ３１３に進む。
　上記ステップＳ３１１で、買い物かごから商品が消えた場合、窃盗行為が行われたと判断してステップＳ３１５に進む。
　上記ステップＳ３０８で該当者の手の動きが商品を買い物かご１７に入れる動きをしなかった場合、ステップＳ３１２で該当者の手の動きが商品をポケット等に入れる動きをしたか否かを判定する。該当者の手の動きが商品をポケット等に入れる動きをした場合、ステップＳ３１５に進む。
　該当者の手の動きが商品をポケット等に入れる動きをしなかった場合、ステップＳ３１３でレジ前に設置されたデジタルカメラ１１等から画像を得る。
　ステップＳ３１４で、該当者は商品をレジで精算したか否かを判定する。
　上記ステップＳ３１４で該当者は商品をレジで精算しなかった場合、上記ステップＳ３１１で買い物かご１７から商品が消えた場合、又は上記ステップＳ３１２で該当者の手の動きが商品をポケット等に入れる動きをした場合、ステップＳ３１５で過去にオレンジ判定されたか否かを判定する。
　過去にオレンジ判定されなかった場合、ステップＳ３１６でオレンジと判定してステップＳ３１９に進む。
　過去にオレンジ判定された場合、ステップＳ３１７でレッドと判定してステップＳ３１９に進む。
　上記ステップＳ３１４で該当者は商品をレジで精算した場合、及び上記ステップＳ３０７で手に取った商品を陳列棚１５に戻した場合、グリーンと判定して本フローの処理を終了する。また、上記ステップＳ３０７で商品を手に取った又は戻したのいずれでもない場合、すなわち、商品手に取っていない場合、本フローの処理を終了する。
　ステップＳ３１９では、要注意人物として該当者の顔、身体的特徴等を入力記憶して本フローの処理を終了する。
　なお、通報部１１６が、窃盗行為判定部１１５によって窃盗行為が行われたと判定したことを受けて、その判定結果を所定の端末に通報してもよい。通報部１１６は、商品を買い物かご１７に入れたか否かをもとに、「オレンジ」又は「レッド」の注意度と共に、窃盗の疑いの程度を（例えば８０％など）を通報する。
　以上詳細に説明したように、本実施の形態によれば、デジタル・オートファイル・セキュリティシステム１０００（図１参照）は、セキュリティ区域を撮影するカメラによって撮影された画像から人を抽出する人抽出部１１１と、人抽出部１１１によって抽出された人が持つ買い物かごの中の商品を検出する商品検出部１１２と、人抽出部１１１によって抽出された人が買い物かごの中の商品を陳列棚に戻す行為を認識する戻し行為認識部１１３と、戻し行為認識部１１３が買い物かごの中の商品を陳列棚に戻す行為を認識せずに、商品検出部１１２が買い物かごの中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する窃盗行為判定部１１５とを備える。
　この構成により、買い物かごに入れた商品を陳列棚に戻す行為を認識せずに、商品が買い物かごから消えたか否かだけで万引きを判定するので、商品を買い物かごに入れて、その後、陰に隠れて買い物かごからマイバッグなどに移してしまうことを認識することができる。
　すなわち、窃盗行為を行う人は、監視カメラからみて陳列棚や人等の死角に隠れ、巧みに、商品をマイバックやポケットにしのばせ窃盗に及ぶことがある。このような場合、該当者の手が商品をマイバッグに入れる動きをしたことまでを捉えて窃盗行為であると判定すると、窃盗行為判定処理が煩瑣となりまた不正確となる。このことは認識精度の低下につながり、認識精度の低下は、結局は、窃盗行為判定の信頼性の低下につながる。信頼性の低下した情報をもとに、窃盗行為と断定することは困難である。
　これに対して、本実施形態は、商品が買い物かごから消えたことを認識したことを受けて万引きと判定するので、迅速に窃盗行為を判定することができる。ここで、買い物かごは、予め登録・学習された情報を用いるので、買い物かごの中に商品があるか否かの判定精度は非常に高く、信頼性の高い判定をすることができる。
　本実施形態では、デジタル・オートファイル・セキュリティシステム１０００は、買い物かごの中の商品を検出した後に該商品を検出しなくなった商品の、商品の盗まれやすさのパラメータに基づいて、窃盗の疑いの程度を判定する。これにより、窃盗の疑いの程度に応じた対応をとることができる。
　本実施形態では、デジタル・オートファイル・セキュリティシステム１０００は、予め学習又は登録しておいた買い物かご情報をもとに、窃盗行為が行われたことを判定する。買い物かご情報は、上述したように、買い物かごの側面、正面、上面、及び多方向斜視からみた形状の各パターン情報である。撮影した買い物かごの映像と上記パターン結果を照合することで、買い物かごの中に商品があることを精度よく短時間で認識することができる。これにより、予め学習・登録された情報を用いるので、買い物かごの中に商品があるか否かの判定精度は非常に高く、信頼性の高い判定をすることができる。
　本実施形態では、デジタル・オートファイル・セキュリティシステム１０００は、商品の盗まれやすさのパラメータである窃盗重みを商品と対応づけて記憶する窃盗重み記憶部１３０を更に備え、窃盗行為判定部１１５は、窃盗重み記憶部１３０に記憶されている商品の窃盗重みに基づいて、窃盗行為が行われたことを判定する。
　この構成により、窃盗行為判定部１１５が、画像データに加えて、窃盗重みに基づいて窃盗行為が行われたか否かを判定しており、単なる手の動作だけではなく、手の動作に意味（万引きしようという目的動作）を付加することができ、正確に窃盗行為を判定することができる。
　本実施形態では、デジタル・オートファイル・セキュリティシステム１０００は、記憶部１３０に記憶される窃盗重みが、過去の実績に依存する。これにより、万引き行為が多い商品について、大きい重み付けを付加することができ、窃盗行為の判定の精度をより高めることができる。その結果、万引きの発生をより抑制することができる。
　本実施形態では、デジタル・オートファイル・セキュリティシステム１０００は、記憶部１３０に記憶される窃盗重みが、商品の価格に依存する。これにより、万引きされた場合に、損失が大きい高価な商品について、大きい重み付けを付加することができ、窃盗行為の判定の精度をより高めることができる。その結果、万引きによる損失をより抑制することができる。
　本実施形態では、デジタル・オートファイル・セキュリティシステム１０００は、記憶部１３０に記憶される窃盗重みが、商品が陳列されている陳列棚によって判断される。これにより、万引き行為が多い商品について、大きい重み付けを付加することができ、窃盗行為の判定の精度をより高めることができる。その結果、万引きの発生をより抑制することができる。
　本実施形態では、デジタル・オートファイル・セキュリティシステム１０００は、窃盗行為判定部１１５が、窃盗行為が行われたと判定したことを受けて、その判定結果を所定の端末に通報する通報部１１６を備える。これにより、店舗関係者は、万引き候補に対し、迅速な対応をとることができる。また、窃盗の疑いの程度（例えば８０％など）を通報することで、店舗関係者は、万引き候補の可能性のある買い物客に対し、注意度に応じた対応（万引き対応の人を担当させるなど）をとることができる。
　本実施形態では、デジタル・オートファイル・セキュリティシステム１０００は、ＣＰＵ以外の計算リソースであるＡＩアクセラレータ２００を備え、制御部１１０の人抽出部１１１は、ＡＩアクセラレータ２００を用いて、セキュリティ区域内の人を検出する。ＡＩアクセラレータ２００は、ＣＰＵ処理とは別に人の検出処理を専用ハードで実行することで、広範なセキュリティ区域内に存在する人を実時間で検出することができる。また、安価なカメラ機器用いた構成であっても、リアルタイムで人を検出することができる。
　また、ＡＩアクセラレータ２００であることで、従来の監視カメラによる人体検出に比べて極めて高い精度での侵入者の検出を行うことができる。
　以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
　例えば、本デジタル・オートファイル・セキュリティシステム１０００を、スーパーマーケット、コンビニ、ドラッグストア、１００円ショップ、八百屋など適用することができる。これら各店舗は、人手不足等から窃盗行為の発見が手薄となる場合があり、商品が買い物かごから消えたことを認識したことを受けて万引きと判定する本システムは、迅速に窃盗行為を判定することができる点で有効な防犯システムが期待できる。
　また、上記実施の形態及び他の適用例ではデジタル・オートファイル・セキュリティシステム及び方法という名称を用いたが、これは説明の便宜上であり、監視システム、セキュリティシステム、サーチ・セキュリティ方法等であってもよい。
　また、本発明のデジタル・オートファイル・セキュリティシステム及び方法は、コンピュータを本デジタル・オートファイル・セキュリティシステム又は方法として機能させるためのプログラムでも実現される。このプログラムは、コンピュータで読み取り可能な記録媒体に格納されていてもよい。
　このプログラムを記録した記録媒体は、本デジタル・オートファイル・セキュリティシステムのＲＯＭそのものであってもよいし、また、外部記憶装置としてＣＤ－ＲＯＭドライブ等のプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なＣＤ－ＲＯＭ等であってもよい。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣ（Integrated Circuit）カード、ＳＤ（Secure Digital）カード、光ディスク等の記録媒体に保持することができる。
　明細書、特許請求の範囲及び図面を含む２０２０年　３月１８日に出願の国際特許出願ＰＣＴ／ＪＰ２０２０／０１１９５８の開示は、そのまま参考として、ここにとり入れるものとする。
　本明細書で引用したすべての刊行物、特許及び特許出願は、そのまま参考として、ここにとり入れるものとする。
　本発明に係るデジタル・オートファイル・セキュリティシステム、方法及びプログラムは、商品を入れる買い物かご（カート等を含む）を用いるすべての店舗等に適用して好適である。
　１１　監視カメラ（デジタルカメラ、３Ｄカメラ）
　１５　陳列棚
　１６　ショーケース（陳列棚）
　２０　人感センサ
　３０　Ｗｉ-Ｆｉ親機
　４０　ビーコン親機
　５０　携帯端末装置（ＩＤ端末）
　５０ａ　スマートフォン（携帯端末装置；ＩＤ端末）
　５１　Ｗｉ-Ｆｉ子機
　５２　ビーコン子機
　５３　ＧＰＳ
　１００　監視装置
　１１０　制御部
　１１１　人抽出部（人抽出手段）
　１１２　商品検出部（商品検出手段）
　１１３　戻し行為認識部（戻し行為認識手段）
　１１４　手動作検出部
　１１５　窃盗行為判定部（窃盗行為判定手段）
　１１６　通報部（通報手段）
　１２０　入力部
　１２０ａ　操作盤
　１３０　記憶部（窃盗重み記憶手段）
　１３５　窃盗重みパラメータ（窃盗重み記憶手段）
　１３５ａ　過去の実績に依存する窃盗実績重み
　１３５ｂ　商品の価格に依存する窃盗価格重み
　１３５ｃ　商品が陳列されている陳列棚の窃盗位置重み
　１４０　表示部
　１５０　出力部
　１６０　録画部
　１７０　画像処理部
　１８０　インタフェース（Ｉ／Ｆ）部
　１９０　通信部
　２００　ＡＩアクセラレータ
　１０００　デジタル・オートファイル・セキュリティシステム
 

Claims (8)

  1. 　セキュリティ区域を撮影するカメラによって撮影された画像から人を抽出する人抽出手段と、
    　前記人抽出手段によって抽出された人が持つ買い物かごの中の商品を検出する商品検出手段と、
    　前記人抽出手段によって抽出された人が前記買い物かごの中の商品を陳列棚に戻す行為を認識する戻し行為認識手段と、
    　前記戻し行為認識手段が前記買い物かごの中の商品を陳列棚に戻す行為を認識せずに、前記商品検出手段が前記買い物かごの中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する窃盗行為判定手段と
    を備えることを特徴とするデジタル・オートファイル・セキュリティシステム。
  2. 　商品の盗まれやすさのパラメータである窃盗重みを商品と対応づけて記憶する窃盗重み記憶手段を更に備え、
    　前記窃盗行為判定手段は、前記窃盗重み記憶手段に記憶されている商品の窃盗重みに基づいて、窃盗行為が行われたことを判定することを特徴とする請求項１記載のデジタル・オートファイル・セキュリティシステム。
  3. 　前記窃盗行為判定手段は、前記商品検出手段が前記買い物かごの中の商品を検出した後に該商品を検出しなくなった商品の、前記パラメータに基づいて、窃盗の疑いの程度を判定することを特徴とする請求項２記載のデジタル・オートファイル・セキュリティシステム。
  4. 　前記窃盗行為判定手段は、予め学習又は登録しておいた買い物かご情報をもとに、前記窃盗行為が行われたことを判定することを特徴とする請求項１記載のデジタル・オートファイル・セキュリティシステム。
  5. 　前記窃盗行為判定手段が、窃盗行為が行われたと判定したことを受けて、その判定結果を所定の端末に通報する通報手段
    を更に備えることを特徴とする請求項１記載のデジタル・オートファイル・セキュリティシステム。
  6. 　前記通報手段は、窃盗の疑いの程度を通報することを特徴とする請求項５記載のデジタル・オートファイル・セキュリティシステム。
  7. 　セキュリティ区域を撮影するカメラによって撮影された画像から人を抽出する人抽出ステップと、
    　前記人抽出ステップによって抽出された人が持つ買い物かごの中の商品を検出する商品検出ステップと、
    　前記人抽出ステップによって抽出された人が前記買い物かごの中の商品を陳列棚に戻す行為を認識する戻し行為認識ステップと、
    　前記戻し行為認識ステップが前記買い物かごの中の商品を陳列棚に戻す行為を認識せずに、前記商品検出手段が前記買い物かごの中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する窃盗行為判定ステップと
    を備えることを特徴とするデジタル・オートファイル・セキュリティ方法。
  8. 　コンピュータを、
    　セキュリティ区域を撮影するカメラによって撮影された画像から人を抽出する人抽出手段と、前記人抽出手段によって抽出された人が持つ買い物かごの中の商品を検出する商品検出手段と、前記人抽出手段によって抽出された人が前記買い物かごの中の商品を陳列棚に戻す行為を認識する戻し行為認識手段と、前記戻し行為認識手段が前記買い物かごの中の商品を陳列棚に戻す行為を認識せずに、前記商品検出手段が前記買い物かごの中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する窃盗行為判定手段とを備えることを特徴とするデジタル・オートファイル・セキュリティシステム
    として機能させるためのプログラム。
     
PCT/JP2020/018740 2020-03-18 2020-05-08 デジタル・オートファイル・セキュリティシステム、方法及びプログラム WO2021186751A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020537786A JP6773389B1 (ja) 2020-03-18 2020-05-08 デジタル・オートファイル・セキュリティシステム、方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPPCT/JP2020/011958 2020-03-18
PCT/JP2020/011958 WO2021186610A1 (ja) 2020-03-18 2020-03-18 デジタル・オートファイル・セキュリティシステム、方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2021186751A1 true WO2021186751A1 (ja) 2021-09-23

Family

ID=77768162

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2020/011958 WO2021186610A1 (ja) 2020-03-18 2020-03-18 デジタル・オートファイル・セキュリティシステム、方法及びプログラム
PCT/JP2020/018740 WO2021186751A1 (ja) 2020-03-18 2020-05-08 デジタル・オートファイル・セキュリティシステム、方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/011958 WO2021186610A1 (ja) 2020-03-18 2020-03-18 デジタル・オートファイル・セキュリティシステム、方法及びプログラム

Country Status (1)

Country Link
WO (2) WO2021186610A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023243172A1 (ja) * 2022-06-17 2023-12-21 日立チャネルソリューションズ株式会社 監視装置及び監視装置方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005512245A (ja) * 2001-12-11 2005-04-28 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 不審な挙動を検出する監視システム
JP2010088072A (ja) * 2008-10-03 2010-04-15 Mitsubishi Denki Information Technology Corp 監視画像記憶システム及び監視画像記憶システムの監視画像記憶方法
WO2015033577A1 (ja) * 2013-09-06 2015-03-12 日本電気株式会社 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム
JP2017033442A (ja) * 2015-08-05 2017-02-09 株式会社ニューロマジック 位置情報収集装置、感応型コンテンツ表示装置、位置情報管理サーバ、及びその方法
JP2017083980A (ja) * 2015-10-26 2017-05-18 日立アイ・エヌ・エス・ソフトウェア株式会社 行動分析装置及びシステム及び方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105312A (ja) * 1992-09-22 1994-04-15 Hitachi Ltd 静止物監視方法および装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005512245A (ja) * 2001-12-11 2005-04-28 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 不審な挙動を検出する監視システム
JP2010088072A (ja) * 2008-10-03 2010-04-15 Mitsubishi Denki Information Technology Corp 監視画像記憶システム及び監視画像記憶システムの監視画像記憶方法
WO2015033577A1 (ja) * 2013-09-06 2015-03-12 日本電気株式会社 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム
JP2017033442A (ja) * 2015-08-05 2017-02-09 株式会社ニューロマジック 位置情報収集装置、感応型コンテンツ表示装置、位置情報管理サーバ、及びその方法
JP2017083980A (ja) * 2015-10-26 2017-05-18 日立アイ・エヌ・エス・ソフトウェア株式会社 行動分析装置及びシステム及び方法

Also Published As

Publication number Publication date
WO2021186610A1 (ja) 2021-09-23

Similar Documents

Publication Publication Date Title
JP5871296B1 (ja) スマートセキュリティ・デジタルシステム、方法及びプログラム
US20200402378A1 (en) Gunshot Detection System with Location Tracking
US11735018B2 (en) Security system with face recognition
JP6525229B1 (ja) デジタルサーチ・セキュリティシステム、方法及びプログラム
JP6195331B1 (ja) デジタルスマートセキュリティシステム、方法及びプログラム
US20160078264A1 (en) Real time electronic article surveillance and management
JP5780569B1 (ja) デジタルロス・デフェンスセキュリティシステム、方法及びプログラム
JP2018147160A (ja) 情報処理装置、情報処理方法及びプログラム
JP6529062B1 (ja) デジタルアキュレート・セキュリティシステム、方法及びプログラム
JPWO2016103332A1 (ja) デジタルファインドセキュリティシステム、方法及びプログラム
JP4925419B2 (ja) 情報収集システム、及び、モバイル端末
KR20170063883A (ko) 고객 경험 및 데이터 분석들을 개선시키기 위한 매장 인텔리전스 센서 플랫폼
JP2007060528A (ja) 施設における利用者管理システムおよび利用者管理方法
WO2018025492A1 (ja) 接客モニタリング装置、接客モニタリングシステム、及び接客モニタリング方法
JP6773389B1 (ja) デジタル・オートファイル・セキュリティシステム、方法及びプログラム
WO2021186751A1 (ja) デジタル・オートファイル・セキュリティシステム、方法及びプログラム
JP6245626B1 (ja) デジタルレジスタセキュリティシステム、方法及びプログラム
GB2574507A (en) Systems and methods for retracing shrink events
JP6754451B2 (ja) 監視システム、監視方法及びプログラム
JP2020077330A (ja) 店舗装置
WO2022059223A1 (ja) 映像解析システムおよび映像解析方法
JP2006163788A (ja) 入場者管理方法及び管理システム
JP2016219990A (ja) 位置推定システム、位置推定方法及びプログラム
JP2019133431A (ja) 情報処理方法、情報処理装置、および情報処理プログラム
WO2021084612A1 (ja) デジタルセフティ・レスポンスセキュリティシステム、方法及びプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020537786

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20925732

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20925732

Country of ref document: EP

Kind code of ref document: A1