WO2020116482A1 - 情報処理システム、情報処理方法及びプログラム - Google Patents
情報処理システム、情報処理方法及びプログラム Download PDFInfo
- Publication number
- WO2020116482A1 WO2020116482A1 PCT/JP2019/047305 JP2019047305W WO2020116482A1 WO 2020116482 A1 WO2020116482 A1 WO 2020116482A1 JP 2019047305 W JP2019047305 W JP 2019047305W WO 2020116482 A1 WO2020116482 A1 WO 2020116482A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- warning
- theft
- person
- shoplifting
- image data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B15/00—Identifying, scaring or incapacitating burglars, thieves or intruders, e.g. by explosives
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
Definitions
- the present disclosure relates to an information processing system, an information processing method, and a program.
- Patent Document 1 proposes a system for detecting whether or not the photographed person has performed a shoplifting suspicious action, based on image data photographed by a surveillance camera provided in a store.
- the system disclosed in Patent Document 1 detects the occurrence of a shoplifting suspicious activity, the system notifies the mobile terminal of the store clerk in the store, and the clerk who receives the notification calls a person who is suspected to be shoplifting. By doing so, shoplifting can be prevented in advance.
- the present disclosure has been made in view of such circumstances, and an object of the present disclosure is to provide an information processing system or the like capable of suppressing the occurrence of shoplifting without increasing the burden on a clerk or the like. To provide.
- An information processing system is a plurality of image capturing devices and a plurality of alerting devices distributed in a store, and when image data is input, a person captured in the image data steals.
- Theft that determines whether or not a theft has been performed based on the image data acquired by the plurality of imaging devices by using a learned model that has been learned to output information indicating whether or not the activity has been performed.
- the system includes a determination unit and a warning processing unit that, when it is determined that a thief has been performed, issues a warning using the warning device arranged near the person who performed the theft.
- shoplifting can be prevented from occurring without increasing the burden on the clerk or the like.
- FIG. 9 is a block diagram showing functions implemented by a control unit of a server according to the second embodiment.
- FIG. FIG. 9 is a schematic diagram for explaining a process performed by the server of the second embodiment.
- FIG. 9 is a schematic diagram showing a configuration example of a shoplifting discrimination model of Embodiment 2.
- FIG. 9 is a schematic diagram showing a configuration example of a shoplifting discrimination model of Embodiment 2.
- FIG. 9 is a schematic diagram showing a configuration example of a shoplifting discrimination model of Embodiment 2.
- FIG. 11 is a flowchart showing a procedure of shoplifting monitoring processing by the information processing system according to the second embodiment.
- 9 is a flowchart showing the procedure of shoplifting monitoring processing by the information processing system according to the third embodiment.
- FIG. 13 is a schematic diagram showing an arrangement example of each device of the information processing system of the fourth exemplary embodiment.
- 16 is a flowchart showing the procedure of shoplifting monitoring processing by the information processing system according to the fourth embodiment. 16 is a flowchart illustrating a procedure of shoplifting monitoring processing by the information processing system according to the fifth embodiment. It is a schematic diagram which shows the example of the captured image for learning of a violent behavior discrimination model. 20 is a flowchart showing a procedure of shoplifting monitoring processing by the information processing system according to the seventh embodiment. It is a schematic diagram which shows the example of the list
- FIG. 1 is a schematic diagram showing a configuration example of an information processing system.
- the information processing system 100 according to the present embodiment is provided, for example, in a store, and includes a server 10, a plurality of cameras 20, a plurality of warning devices 30, and two display devices (first display device 41 and second display device 42). including.
- Each of these devices is connected to, for example, a LAN (Local Area Network) provided in a store, and transmits and receives information via the LAN.
- LAN Local Area Network
- each of these devices may be connected to a network such as the Internet and may transmit and receive information via the network.
- FIG. 2 is a schematic diagram showing an arrangement example of the camera 20, the warning device 30, and the display devices 41 and 42 installed in the store.
- the camera 20 is an image pickup apparatus having a lens, an image pickup element, and the like, and photoelectrically converts light incident through the lens by the image pickup element to obtain image data.
- the camera 20 sequentially transmits the image data (photographed image) acquired by photographing to the server 10.
- the camera 20 is installed, for example, on the upper part or the ceiling of the display shelf so that a person in front of the display shelf displaying the product picks up the product.
- one camera 20 is provided at each end of each display shelf, but it is sufficient if the cameras 20 are dispersed and arranged so that the entire area of the store can be photographed. It is not limited to the example shown in.
- Each of the warning devices 30 includes, for example, one or more of a display device, a light emitting device, and a sound output device, and issues a warning (attention) by the display device, the light emitting device, or the sound output device.
- the display device is, for example, a liquid crystal display, an organic EL display, or the like, and when receiving display data from the server 10, issues a warning by displaying the received display data.
- the light emitting device is, for example, a lamp, a revolving light, or the like, and when it receives a lighting or blinking execution instruction from the server 10, gives a warning by lighting or blinking.
- the voice output device is, for example, a speaker, a buzzer, or the like, and when receiving output voice data from the server 10, issues a warning by outputting the received voice data as voice.
- the voice output device may be configured to issue a warning by outputting a predetermined sound or voice when receiving a voice output execution instruction from the server 10. Therefore, the warning device 30 gives a warning by displaying the warning data on the display device, turning on or blinking the light emitting device, and outputting the warning sound by the voice output device.
- the warning device 30 is composed of a plurality of devices of a display device, a light emitting device, and a voice output device, the warning device 30 in which the plurality of devices are integrated may be used, or may be configured separately. You may use the several apparatus collectively as the warning apparatus 30.
- the warning device 30 is installed at an appropriate position so that a warning can be given to a person in front of the display shelf.
- the warning device 30 is a display device or a light emitting device
- the warning device 30 is installed at the position of the line of sight of a person standing in front of the display shelf so that the display screen of the display device and the lighting or blinking state of the light emitting device can be understood.
- the warning device 30 is a voice output device, it is installed, for example, on the upper part or the ceiling of the display rack so that the voice from the voice output device reaches a person in front of the display rack. In the example shown in FIG.
- each warning device 30 is provided at the center of each display shelf, but it is sufficient if each warning device 30 is distributed and arranged so as to warn people in the store. 2, but is not limited to the example shown in FIG. Further, each of the warning devices 30 may be installed by selecting one or more of the display device, the light emitting device, and the audio output device according to the installation position in the store. That is, it is possible to configure such that a warning is given by a different device depending on the installation position.
- the first display device 41 and the second display device 42 are, for example, liquid crystal displays, organic EL displays, etc., and receive the display data transmitted from the server 10 and display the received display data. Therefore, when the first display device 41 and the second display device 42 receive and display warning data from the server 10, they also function as a warning device.
- the first display device 41 is installed in, for example, a cashier counter in a store or in the vicinity of the cashier counter, and is provided so that a person lined up at the cashier counter or a person lined up at the head of the cashier counter can be visually recognized.
- the second display device 42 is installed, for example, in the vicinity of an entrance/exit (exit), and is provided so that a person trying to exit the store from the entrance can visually recognize it.
- the server 10 may be provided at any place in the store, and when the server 10 is connected to other devices 20, 30, 41, 42 via a network. , May not be provided in the store.
- the server 10 is an information processing device such as a server computer or a personal computer, and may be provided with a plurality of units, may be realized with a plurality of virtual machines provided in one server, or may be a cloud server. It may be realized by using.
- the server 10 accumulates the image data sequentially transmitted from the cameras 20, processes to detect the occurrence of shoplifting based on the image data, and outputs warning information to the warning device 30 when detecting the occurrence of shoplifting. Various information processing such as output processing is performed.
- FIG. 3 is a block diagram showing a configuration example of the server 10.
- the server 10 includes a control unit 11, a storage unit 12, a communication unit 13, a display unit 14, an input unit 15, a reading unit 16 and the like, and these units are mutually connected via a bus.
- the control unit 11 includes one or more processors such as a CPU (Central Processing Unit), an MPU (Micro-Processing Unit) or a GPU (Graphics Processing Unit).
- the control unit 11 appropriately executes the control program 12P stored in the storage unit 12 to perform various information processing, control processing, and the like that the server 10 should perform.
- the storage unit 12 includes a RAM (Random Access Memory), a flash memory, a hard disk, an SSD (Solid State Drive), and the like.
- the storage unit 12 stores in advance the control program 12P executed by the control unit 11 and various data necessary for executing the control program 12P.
- the storage unit 12 also temporarily stores data and the like generated when the control unit 11 executes the control program 12P.
- the storage unit 12 stores a shoplifting discrimination model 121, which is a neural network constructed by machine learning processing, for example.
- the shoplifting discrimination model 121 uses image data obtained by photographing a person (captured image) and teacher data including information indicating whether the person in the photographed image has shoplifted It is a learned model that has been learned to output information indicating whether or not a person photographed in the image data has performed shoplifting (theft) when input.
- the learned model performs a predetermined calculation on the input value and outputs the calculation result
- the storage unit 12 stores the data such as the coefficient of the function defining the calculation and the threshold value in the shoplifting discrimination model. It is stored as 121.
- the storage unit 12 stores a camera DB (database) 12a and a warning device DB 12b.
- the camera DB 12a and the warning device DB 12b may be stored in an external storage device connected to the server 10, or may be stored in a storage device that can communicate with the server 10 via a network.
- the communication unit 13 is an interface for connecting to a network by wire communication or wireless communication, and transmits/receives information to/from an external device via the network.
- the display unit 14 is a liquid crystal display, an organic EL display, or the like, and displays various kinds of information according to an instruction from the control unit 11.
- the input unit 15 includes a mouse, a keyboard, and the like, receives an operation input by the user, and sends a control signal corresponding to the operation content to the control unit 11.
- the display unit 14 and the input unit 15 may be a touch panel integrally configured.
- the reading unit 16 reads the information stored in the portable storage medium 1a including a CD (Compact Disc)-ROM or a DVD (Digital Versatile Disc)-ROM.
- the control program and data stored in advance in the storage unit 12 may be read by the control unit 11 from the portable storage medium 1 a via the reading unit 16 and stored in the storage unit 12.
- the control program and data stored in advance in the storage unit 12 may be downloaded from the external device via the network via the communication unit 13 by the control unit 11 and stored in the storage unit 12. Further, the control unit 11 may read the control program and data from the semiconductor memory 1b.
- FIG. 4 is a schematic diagram showing a configuration example of the shoplifting discrimination model 121.
- the shoplifting discrimination model 121 is a deep learning model learned by using a deep learning algorithm, and is configured by a convolutional neural network (CNN: Convolution Neural Network) model as shown in FIG. 4, for example.
- CNN Convolutional neural network
- the shoplifting discrimination model 121 may be configured by a recurrent neural network (RNN) model in addition to the CNN model.
- RNN recurrent neural network
- the shoplifting discrimination model 121 is not limited to the multilayer neural network (deep learning) as shown in FIG. 4, and may be configured by using another machine learning algorithm.
- the shoplifting discrimination model 121 shown in FIG. 4 includes an input layer, a middle layer, and an output layer.
- the intermediate layer includes a convolutional layer, a pooling layer and a fully bonded layer.
- image data is input via the input layer.
- the image data input through each node of the input layer is input to the intermediate layer, and in the intermediate layer, the image feature amount is extracted by the filtering process in the convolutional layer to generate the feature map, which is compressed in the pooling layer.
- the amount of information is reduced.
- a plurality of convolutional layers and pooling layers are repeatedly provided, and the feature maps generated by the plurality of convolutional layers and pooling layers are input to the fully connected layer.
- the fully connected layers are provided in a plurality of layers (two layers in FIG. 4). Based on the input feature map, the output values of the nodes in each layer are calculated using various functions and thresholds, and the calculated output values Are sequentially input to the nodes of the next layer.
- the fully connected layer sequentially inputs the output values of the nodes in each layer to the nodes in the subsequent layer, and finally gives the respective output values to each node in the output layer.
- the number of layers of each of the convolutional layer, the pooling layer, and the total connection layer is not limited to the example shown in FIG. In the shoplifting discrimination model 121 of the present embodiment, the output layer has two nodes.
- the node 0 indicates the probability that the person photographed in the input image data should discriminate that the shoplifting action is performed. Then, the node 1 outputs the probability of determining that the shoplifting action is not performed (the normal action is performed).
- the output value of each node in the output layer is, for example, a value of 0 to 1.0, and the total of the probabilities output from the two nodes is 1.0 (100%).
- the situation in which it is determined that the shoplifting action is not performed includes, for example, an action of putting a product picked up by a person in the captured image into a shopping cart. Further, the situation in which it is determined that a shoplifting act is performed includes an act of opening the product or opening a beverage bottle, in addition to an act of putting the product in a bag or a pocket of clothes.
- the shoplifting discrimination model 121 includes, for example, image data (photographed image) obtained by photographing a person who puts a product picked up from a product shelf in his or her bag or clothes pocket, and Learning is performed using teacher data in which information (correct answer label) indicating that a person has shoplifted is set as one set. Further, the shoplifting discrimination model 121 is, for example, a photographed image obtained by photographing a person who performs an operation of opening a product picked up from a product shelf, a person who opens a beverage bottle of the product, and performs a drinking operation. Learning is performed using teacher data in which a set of information (correct answer label) indicating that a person in the captured image has shoplifted.
- the shoplifting discrimination model 121 when the captured image included in the teacher data is input, the output value from the node 0, which outputs the probability that the shoplifting action should be discriminated, approaches 1.0, and the other node 1 Learning is performed so that the output value from is close to 0. With this, the person who has taken the action of putting the product taken from the product shelf into his or her bag or the pocket of clothes, the person who has performed the operation of opening the taken product, and the beverage bottle of the product are opened.
- the shoplifting discrimination model 121 When a photographed image of a person who performs a drinking motion is input, the shoplifting discrimination model 121 in which the output value from the node 0 (probability to discriminate that a shoplifting action has been performed) becomes a value close to 1.0 can be generated. .
- the shoplifting discrimination model 121 includes image data (photographed image) obtained by photographing a person who puts a product picked up from a product shelf in a shopping basket prepared in a store You may learn using the teacher data which made one set the information (correct answer label) which shows that the person of No. is not performing shoplifting.
- the shoplifting discrimination model 121 when the captured image included in the teacher data is input, the output value from the node 1 that outputs the probability that it should be discriminated that the shoplifting action is not performed approaches 1.0. , And learn so that the output value from the other node 0 approaches 0.
- the shoplifting discrimination model 121 having a value close to 1.0 can be generated.
- the shoplifting discrimination model 121 optimizes data such as coefficients and thresholds of various functions that define a predetermined calculation performed on an input value.
- the learned shoplifting discrimination model 121 learned based on the image data and learned to output information indicating whether or not the person photographed in the image data has shoplifted.
- the shoplifting discrimination model 121 may be learned by the server 10 or may be stored in the storage unit 12 of the server 10 after being learned by a different learning device.
- FIG. 5A and 5B are schematic diagrams showing configuration examples of the DBs 12a to 12b stored in the server 10.
- 5A shows the camera DB 12a
- FIG. 5B shows the warning device DB 12b.
- the camera DB 12a stores information on the cameras 20 distributed in the store.
- the camera DB 12a illustrated in FIG. 5A includes a camera ID column, an installation place column, a captured image column, and the like.
- the camera ID column stores identification information assigned in advance to each camera 20.
- the installation location column stores information indicating the installation location of each camera 20.
- the information on the installation location is, for example, the identification information of the display rack closest to the installation location of the camera 20 or the coordinate value represented by the coordinate system defined based on an arbitrary position in the store, which can identify the installation location. To use.
- the captured image sequence stores image data (captured image) captured and acquired by each camera 20.
- the captured image may be stored in a predetermined area of the storage unit 12 or an external storage device connected to the server 10, in addition to being stored in the camera DB 12a.
- the captured image sequence stores information (for example, a file name indicating a storage location of image data) for reading a captured image from a predetermined area of the storage unit 12 or an external storage device.
- the camera ID and the installation location stored in the camera DB 12a are input by the employee of the store via the input unit 15 when the new camera 20 is installed in the store, and are stored by the control unit 11.
- the captured image stored in the camera DB 12a is stored by the control unit 11 every time the communication unit 13 acquires from each camera 20.
- the storage content of the camera DB 12a is not limited to the example shown in FIG. 5A, and various information regarding the camera 20 may be stored. For example, the date on which the camera 20 was installed, the date on which the camera 20 was inspected, the date on which the camera 20 was repaired, etc. may be stored.
- the warning device DB 12b stores information on the warning devices 30 distributed in the store.
- the warning device DB 12b illustrated in FIG. 5B includes a warning device ID column, an installation location column, an installation device column, and the like.
- the warning device ID column stores identification information pre-assigned to each warning device 30.
- the installation location column stores information indicating the installation location of each warning device 30.
- the information on the installation location stored in the warning device DB 12b may be any information as long as it can identify the installation location, but the same information as the installation location stored on the camera DB 12a is used. It is preferable.
- the installed device row stores information indicating the devices installed as the warning devices 30. For example, information indicating whether the installed device is a display device, a light emitting device, or an audio output device is stored.
- the warning device 30 is a device in which a plurality of devices of the display device, the light emitting device, and the audio output device are integrally configured
- information indicating each device included in the warning device 30 is stored in the installed device row. May be done.
- information indicating each device may be collectively stored in the installation device row.
- Each information stored in the warning device DB 12b is input by the employee of the store via the input unit 15 when a new warning device 30 is installed in the store, and is stored by the control unit 11.
- the storage content of the warning device DB 12b is not limited to the example shown in FIG. 5B, and various kinds of information regarding the warning device 30 may be stored. For example, the execution history of the warning process by the warning device 30, the date when the warning device 30 was installed, the date when the warning device 30 was inspected, the date when the warning device was repaired, and the like may be stored.
- FIGS. 7 and 8A to 8C are schematic diagrams for explaining processing performed by the server 10
- FIGS. 9A to 9D are It is a schematic diagram which shows an example of a warning screen.
- the control unit 11 of the server 10 realizes the functions of the image acquisition unit 101, the shoplifting detection unit 102, the tracking processing unit 103, and the warning processing unit 107.
- the tracking processing unit 103 also includes a tracking unit 104, an action detection unit 105, and a position detection unit 106.
- each of these functions is realized by the control unit 11 executing the control program 12P, but some of these functions may be realized by a dedicated hardware circuit.
- the image acquisition unit 101 sequentially acquires, from each camera 20, the image data obtained by each camera 20.
- the image acquisition unit 101 sequentially stores the image data (captured image) acquired from each camera 20 in the camera DB 12a and sends it to the shoplifting detection unit 102.
- the shoplifting detection unit (theft determination unit) 102 uses the shoplifting determination model 121, and based on the captured image (image data) acquired by each camera 20, the person photographed in the captured image performs shoplifting action. It detects whether or not.
- the shoplifting detection unit 102 inputs the captured image of each camera 20 acquired by the image acquisition unit 101 into the shoplifting determination model 121, and acquires the output value from the shoplifting determination model 121.
- the probability that it should be discriminated that a person in the input captured image performed the shoplifting action is output from the node 0 of the output layer, and the node 1 of the output layer performs the shoplifting action.
- the probability that should be discriminated as no (performing normal actions) is output.
- the shoplifting detection unit 102 determines whether a shoplifting action has occurred, based on the output value from the shoplifting discrimination model 121. For example, the shoplifting detection unit 102 performs shoplifting when the output value from the node 0 of the output layer of the shoplifting determination model 121 (probability of determining that a shoplifting action has been performed) is a predetermined value (for example, 0.8) or more. Determine that an action has occurred. The shoplifting detection unit 102 determines that the output value from the node 0 in the output layer of the shoplifting discrimination model 121 exceeds the output value from the node 1 in the output layer (probability that it should be determined that shoplifting is not performed).
- the shoplifting detection units 102 may be provided as many as the number of cameras 20 in the store, and each shoplifting detection unit 102 may perform shoplifting detection processing based on an image captured by the corresponding camera 20. Further, one shoplifting detection unit 102 may be configured to sequentially switch shoplifting detection processing based on images captured by a plurality of cameras 20.
- a node that outputs the probability that a person in the input photographed image should perform the act of putting the product in the bag, and a person in the photographed image May output a probability that should be determined that the product has inserted the product into the pocket of clothes.
- the shoplifting detection unit 102 can determine whether the person in the input captured image has put the product in the bag or put it in the pocket of the clothes.
- the shoplifting detection unit 102 may determine that the shoplifting action has occurred when the output value from either of the two nodes is equal to or greater than a predetermined value (for example, 0.8).
- the shoplifting detection unit 102 can determine whether the person in the input photographed image is in a state where he or she does not pick up the product or whether the product has been put in the shopping cart. The shoplifting detection unit 102 may determine that the shoplifting action has not occurred when the output value from either of these two nodes is equal to or greater than a predetermined value (for example, 0.5). ..
- the tracking processing unit 103 performs a process of tracking the movement of the person who performed the shoplifting action.
- the person who is the target of the tracking process is called a tracking target person.
- the tracking unit 104 tracks the movement of the tracking target person based on the captured image of each camera 20.
- FIG. 7 shows an example of a photographed image of a tracking target person.
- the tracking unit 104 sets, for example, a rectangular area including the tracking target person in the tracking area R, and in the tracking area R, specifies a feature amount such as a color of clothing or belongings of the tracking target person.
- the tracking unit 104 determines whether or not the tracking region R is included in the captured images sequentially acquired in time series by the cameras 20 based on the feature amount in the specified tracking region R, and the tracking region R is included.
- the movement of the tracking region R is tracked based on the captured image taken. If the person to be tracked is within the shooting range of the plurality of cameras 20, the tracking process is performed based on the images shot by the plurality of cameras 20. As a result, it is possible to prevent the tracking target person from failing to lose track of the tracking target person.
- the action detection unit (tracking determination unit) 105 displays, on the display shelf, a product that the tracking target person has put in a bag or clothes pocket of the tracking target person by shoplifting, based on the captured image captured by each camera 20. It is detected whether or not a returning action (action) is performed.
- the behavior detection unit 105 detects whether or not the product has been returned to the product shelf, based on the tracking region R sequentially tracked by the tracking unit 104.
- the behavior detection unit 105 detects the movement of the tracking target person based on the tracking region R. Detects that the product has been returned to the display shelf.
- the shoplifting discrimination model 121 in addition to the probability of discriminating whether or not the person in the input captured image has shoplifted, the person in the input captured image may, for example, have his own pocket or pocket of clothes. It is also possible to output the determination probability of whether or not the behavior of taking out the product from the product and returning it to the display shelf is performed.
- the behavior detection unit 105 can detect whether or not the tracking target person has performed the action of returning the merchandise to the display shelf based on the captured image of the tracking target person.
- the behavior detection unit 105 when a photographed image is input, has the person in the photographed image take out the commodity from his/her bag or clothes pocket and return it to the display shelf? Using a learned model that has been learned to output information indicating whether or not, based on the captured image of the tracked person, to detect whether the tracked person has performed the action of returning the product to the display shelf. Good.
- the action detection unit 105 captures the tracking target person by each camera 20 with respect to the shoplifting discrimination model 121 or another learned model. An image is input and an output value from the shoplifting discrimination model 121 or another learned model is acquired. The behavior detection unit 105 detects, based on the output value from the shoplifting discrimination model 121 or another learned model, whether or not the tracking target person has performed the behavior of returning the merchandise to the display shelf.
- the position detection unit 106 detects the position of the tracking target person and acquires position information indicating the position.
- the position information is, for example, the identification information of the display rack closest to the person to be tracked, the camera 20, the warning device 30, or the coordinate value represented by the coordinate system defined based on an arbitrary position in the store. Use information that can identify the position.
- the position detection unit 106 identifies, for example, the camera 20 that has the largest area of the tracking target person in the captured image among the cameras 20 that have captured the tracking target person. Then, the camera ID of this camera 20 is acquired as the position information of the tracking target person.
- the position detection unit (detection unit) 106 detects, for example, whether or not the tracking target person is within a predetermined range from the cashier counter, is within a predetermined range from the doorway, and the like, and detects a predetermined range from the cashier counter or the doorway.
- the identification information of the cashier counter or the entrance/exit may be acquired as the position of the tracking target person.
- the tracking processing unit 103 can track the movement of the tracking target person who has carried out the shoplifting action detected by the shoplifting detection unit 102 in the store by the processing of each unit described above, and can grasp the position of the tracking target person in real time. Further, the tracking processing unit 103 can grasp whether or not the tracking target person has returned the product put in his or her bag or clothes pocket to the display shelf by the shoplifting act. When it is detected that the tracking target person has returned the product to the display shelf, the tracking processing unit 103 ends the tracking processing for the tracking target person. When the tracking processing unit 103 ends the tracking processing for the tracking target person, the tracking processing unit 103 may output a message indicating that the shoplifting action is stopped by the warning device 30 closest to the tracking target person.
- the tracking processing unit 103 may transmit a display instruction of a message such as “Thank you for returning the product” to the warning device 30 of the display device and display it on the warning device 30. Further, the tracking processing unit 103 may transmit an output instruction of a voice message such as “Thank you for returning the product” to the warning device 30 of the voice output device to cause the warning device 30 to output a voice. .
- the warning processing unit 107 detects that the shoplifting detection unit 102 has performed a shoplifting action, and issues a warning to the tracking target person who is being tracked by the tracking processing unit 103.
- the warning processing unit 107 is based on the installation location of each of the warning devices 30 registered in the warning device DB 12b and the position of the tracking target person detected by the position detection unit 106, and is closest to the tracking target person.
- the warning device 30 is identified.
- the warning device 30 here also includes a first display device 41 and a second display device 42.
- the warning processing unit 107 transmits a warning processing execution instruction (warning instruction, warning information) to cause the specified warning device 30 to perform the warning processing.
- the warning processing unit 107 transmits the warning data for display and a display instruction (warning instruction, warning information) of the warning data to the warning device 30.
- the warning device 30 which is a display device, displays a warning screen based on the received warning data.
- FIG. 9A shows an example of a warning screen.
- the warning screen has a warning message such as “Shoplifting is a crime” and a message such as “Please return merchandise” to stop the shoplifting action. Is displayed. Further, as shown in FIG. 9A, the warning screen may display a captured image when the shoplifting detection unit 102 detects the occurrence of shoplifting. It should be noted that the warning screen displays the captured image by superimposing the mosaiced region P on the region of the face of the tracking target person in the captured image so that the individual cannot be identified, as shown in FIG. 9B, for example. Alternatively, as shown in FIG. 9C, a mosaiced region P may be superimposed and displayed on the entire region of the tracking target person in the captured image.
- the area P of the character image may be displayed in a superimposed manner on the area of the face of the tracking target person in the captured image.
- the warning screen may display an image of a product taken by a shoplifting action, for example, a product that the tracking target person put in his or her own bag or clothes pocket.
- the server 10 stores the image of the package of each product in the storage unit 12 in advance, specifies the product taken by the shoplifting action based on the captured image, and stores the image of the specified product from the storage unit 12. It is read and displayed on the warning device 30.
- the warning processing unit 107 transmits a lighting or blinking execution instruction (warning instruction, warning information) to the warning device 30.
- the warning device 30 which is a light emitting device, receives a lighting or blinking execution instruction from the server 10 and lights or blinks based on the received execution instruction.
- the warning processing unit 107 transmits the warning data for voice output and a voice output instruction (warning instruction, warning information) of the warning data to the warning device 30.
- the warning device 30, which is a voice output device receives a voice output instruction from the server 10 and outputs a voice based on the received warning data.
- the warning processing unit 107 transmits a voice output instruction (warning instruction, warning information) to the warning device 30, and in this case, a warning is issued.
- the device 30 outputs a predetermined sound based on the output instruction received from the server 10.
- the warning device 30, which is a voice output device, for example, "Is the product in the bag?", "Please pay at the cashier", "Thank you for coming to the store. Please output a voice message such as "Shoplifting AI is in operation now.”
- FIG. 10 is a flowchart showing a procedure of shoplifting monitoring processing by the information processing system 100.
- the processing performed by the camera 20 is shown on the left side
- the processing performed by the server 10 is shown in the center
- the processing performed by the warning device 30 is shown on the right side.
- the camera 20 acquires image data at a predetermined timing (S11), and sequentially transmits the acquired image data to the server 10 (S12).
- the camera 20 acquires image data of 20 to 30 frames per second, for example, but the number of frames is not limited.
- the server 10 sequentially receives the image data transmitted from the camera 20 (S13).
- the server 10 stores the received image data in the camera DB 12a and performs a detection process for detecting the occurrence of shoplifting based on the received image data (S14).
- the server 10 inputs the received image data (captured image) to the shoplifting discrimination model 121 and acquires the output value from the shoplifting discrimination model 121.
- the server 10 determines whether a shoplifting act has occurred, based on the output value from the shoplifting discrimination model 121, and determines whether a shoplifting action has been detected (S15).
- the server 10 detects that the shoplifting action has occurred.
- the server 10 When it is determined that the occurrence of shoplifting has not been detected (S15: NO), the server 10 returns to the process of step S13 and repeats the processes of steps S13 to S15.
- the server 10 starts the tracking processing of the person (tracking target person) who has performed the detected shoplifting (S16). Specifically, the server 10 determines whether or not the imaged area of the tracking target person (tracking area R) is included in the imaged image of each camera 20, and the imaged image including the tracking area R (this imaged image is The movement of the tracking region R is tracked based on the captured position of the camera 20).
- the server 10 determines whether or not the person to be tracked has, for example, carried out a shoplifting action to return the product put in his/her bag to the display shelf based on the image captured by each camera 20. A judgment is made (S17). For example, the server 10 detects the movement of the tracking target person photographed in the tracking area R based on the tracking area R that is sequentially tracked, and determines whether or not the tracking target person returns the product acquired by the shoplifting action to the product shelf. To detect. It should be noted that the server 10 operates the shoplifting discrimination model 121 or another learned model (when a photographed image is input, the person in the photographed image removes the product from his/her bag or clothes pocket and returns it to the display shelf.
- a learned model that has been learned so as to output information indicating whether or not it has been performed may be used to determine whether or not the tracking target person has returned the product to the display shelf.
- the server 10 ends the tracking processing started in step S16 (S18) and returns to the processing of step S13. Thereby, for example, when the tracking target person returns the product put in his/her bag or the like to the display shelf by shoplifting, the tracking processing of the tracking target person is ended, and the warning processing by the warning device 30 is ended.
- the server 10 When it is determined that the person to be tracked has not returned the product to the display shelf (S17: NO), the server 10 performs a process of detecting the current position of the person to be tracked (S19).
- the server 10 identifies, for example, the camera 20 that has the largest shooting area (tracking area R) of the tracking target person in the captured image among the cameras 20 that have captured the tracking target person.
- the ID is acquired as information indicating the current position of the tracking target person.
- the server 10 may acquire the identification information of the cashier counter or the entrance/exit as information indicating the current position of the tracking target person when detecting that the chase target is within a predetermined range from the cashier counter or the entrance/exit.
- the server 10 identifies a warning device that should perform the warning process based on the detected current position of the tracking target person and the installation location of each warning device 30 registered in the warning device DB 12b (S20). For example, the server 10 identifies the warning device 30 installed at the position closest to the current position of the tracking target person.
- the warning device 30 includes a first display device 41 and a second display device 42.
- the server 10 outputs a warning process execution instruction to the specified warning device 30 (S21).
- the server 10 transmits a display instruction of display warning data to the warning device 30 if the warning device 30 is a display device, and sends a lighting or blinking execution instruction to the warning device 30 if the warning device 30 is a light emitting device. Send to 30.
- the server 10 transmits to the warning device 30 a voice output instruction of warning data for voice output or a predetermined voice output instruction. It should be noted that the server 10 may cause each of the warning devices 30 to perform different warning processing according to the specified position of the warning device 30. For example, even if the two warning devices 30 are both display devices, the server 10 may transmit different warning data for display to each warning device 30 depending on the installation position of the warning device 30. As a result, it is possible to issue a warning according to the installation position of the warning device 30.
- the warning device 30 performs warning processing according to the execution instruction acquired from the server 10 (S22). If the warning device 30 is a display device, a warning screen is displayed based on the warning data for display received from the server 10, and if the warning device 30 is a light emitting device, based on the execution instruction received from the server 10. Lights up or flashes. Further, when the warning device 30 is a voice output device, when the warning data for voice output is received from the server 10, a voice output is performed based on the received warning data, and a predetermined voice output instruction is received from the server 10. In this case, the predetermined sound is output based on the received output instruction.
- the server 10 After the processing of step S21, the server 10 returns to the processing of step S17 and repeats the processing of steps S19 to S21 until the person to be traced returns the product to the display shelf.
- the warning processing can be performed by the warning device 30 in the vicinity of the person (tracking target person) having a high possibility of shoplifting. Therefore, immediately after the shoplifting action is performed, or after the shoplifting action is performed, it is possible to periodically warn and alert the tracking target person. For example, it is possible to warn the person to be tracked that a shoplifting action has been detected, and also to notify a message that discourages the execution of the shoplifting action.
- the server 10 outputs a message such as "Thank you for returning the product" by the warning device 30 closest to the tracking target person when the tracking process for the tracking target person is completed (display, voice output). ) May be done.
- the server 10 causes a police station, a security company, or the like. May be configured to notify.
- the control unit 11 of the server 10 determines whether or not the tracking processing by the tracking processing unit 103 for the same tracking target person has been continuously performed for a predetermined time (for example, 5 minutes, 10 minutes, etc.), and continues for the predetermined time. When it does, it may have a configuration to output the notification information to the terminal of a predetermined security company.
- control unit 11 of the server 10 determines whether or not the tracking target person has gone out of the store by the tracking process by the tracking processing unit 103, and when it goes out of the store, outputs the notification information to the terminal of the police station.
- the terminal of the security company and the terminal of the police station for example, turn on or off a lamp or output a predetermined voice message, so that the guard of the security company or the police of the police station. Notify the official that there was a report of shoplifting.
- the server 10 may notify the head office of the store, the headquarters having jurisdiction over the store, or the like, in addition to the police station or the security company, to the fact that the person to be traced has been detected.
- the control unit 11 of the server 10 informs the head office of the store or the terminal of the head office when the same tracking target person continues the tracking process for a predetermined time or when the tracking target person goes out of the store. May be output.
- the head office of the store or the terminal of the head office notifies the person in charge of the head office or the head office of the fact of the shoplifting action, for example, by turning on or off the lamp or outputting a predetermined voice message. ..
- shoplifting can be detected even at the head office or headquarters of the store.
- the timing for reporting to the security company, the police station, the head office and headquarters of the store can be changed as appropriate. For example, not only the duration of the tracking process for the same tracking target person but also the timing according to the number of times of execution of the warning process for the tracking target person during tracking may be notified. That is, if the tracking process is continuously performed for a predetermined time period or if the warning process for the tracking target person is performed for a predetermined number of times, the tracking target person is likely to exit the store without returning the product to the display shelf. It may be configured to report to a station or the like.
- AI Artificial Intelligence
- the server 10 detects the shoplifting action based on all the captured images, the captured images can be effectively used.
- the camera 20 may be provided with a function of detecting whether or not shoplifting has been performed based on the image data taken by the camera 20.
- the camera 20 is configured to perform a shooting process, perform a shoplifting action detection process based on the acquired image data, and notify the server 10 when a shoplifting action is detected.
- the server 10 is configured to perform the tracking process of the tracking target person after being notified by the camera 20 that the shoplifting action has been performed. Even with such a configuration, the same effect as that of the above-described first embodiment can be obtained.
- FIG. 11 is a block diagram showing functions realized by the control unit 11 of the server 10 of the second embodiment
- FIG. 12 is a schematic diagram for explaining processing performed by the server 10 of the second embodiment
- FIGS. 13 and 14A is a schematic diagram showing a configuration example of the shoplifting determination model 121 according to the second embodiment.
- the control unit 11 of the server 10 executes the control program 12P stored in the storage unit 12, in addition to the functions shown in FIG. To be realized.
- the grip detection unit 108 determines whether or not the person photographed in the captured image picks up the product (whether or not the product is grasped). Or) is detected.
- an image of a package of a product sold in a store is stored in the storage unit 12 in advance, and the grip detection unit 108 stores image data captured by each camera 20 and each product stored in the storage unit 12. It is detected whether the person in the captured image picks up any of the products based on the image of the package.
- the grip detection unit 108 detects the shooting area of the product in the sequentially acquired shot images, and when the shooting area of the product moves, determines that the product is held by the customer. Further, the grip detection unit 108 detects the photographing area of the product and the photographing area of the human hand in the sequentially acquired photographed images, and when the photographing area of the commodity overlaps the photographing area of the human hand, It may be determined that it has been taken by the customer.
- the process of detecting whether the person in the captured image picks up the product by the grip detection unit 108 is not limited to these.
- the shoplifting detection unit 102 uses the shoplifting determination model 121 to detect the person in the captured image. Detects whether shoplifting has been performed.
- the shoplifting determination model 121 of the present embodiment has the same configuration as the shoplifting determination model 121 of the first embodiment.
- the image data (image data) captured by the camera 20 is the input data, but in the shoplifting determination model 121 of the present embodiment, the customer region R1 extracted from the captured image is the input data. Becomes
- the shoplifting detection unit 102 detects that the person in the captured image picks up the product by the grip detection unit 108, as illustrated in FIG. 12, the shoplifting detection unit 102 includes the customer region R1 including the detected person in the captured image. To extract. Then, the shoplifting detection unit 102 inputs the customer region R1 to the shoplifting determination model 121 via the input layer, as shown in FIG. Note that the shoplifting discrimination model 121 of the present embodiment, as shown in, for example, FIGS. 14A and 14B, stores the product region R2 including the product detected by the grip detection unit 108 as being held by the customer in the input layer. The configuration may be such that the shoplifting determination model 121 is input via this. Even with such a configuration, the shoplifting detection unit 102 can detect whether the person who picks up the product has shoplifted.
- FIG. 15 is a flowchart showing a procedure of shoplifting act monitoring processing by the information processing system 100 according to the second embodiment.
- FIG. 15 shows the processing performed by the camera 20 on the left side and the processing performed by the server 10 on the right side.
- the process shown in FIG. 15 is obtained by adding the processes of steps S31 to S32 between steps S13 and S14 in the process shown in FIG. Therefore, description of steps similar to those in FIG. 10 will be omitted. Further, in FIG. 15, the illustration of steps S15 to S22 in FIG. 10 is omitted.
- the server 10 when the server 10 receives the image data transmitted from the camera 20 (S13), the server 10 stores the received image data in the camera DB 12a, and based on the received image data.
- a grip detection process is performed to detect whether or not a person (customer in the store) photographed in the image data (photographed image) picks up the product (S31).
- the server 10 determines whether the person in the captured image picks up the product by the grip detection process (S32), and determines that the person in the captured image does not pick up the product (S32: NO), and the process returns to step S13.
- step S14 a detection process for detecting the occurrence of shoplifting action is performed based on the received image data.
- Perform S14.
- the server 10 extracts the photographing area (customer area R1) of the person who is detected to have picked up the product from the photographed image, and performs shoplifting detection processing based on the extracted customer area R1. ..
- the same effect as that of the first embodiment can be obtained.
- the photographing region (customer region R) of the person who picks up the product is extracted from the photographed image acquired by the camera 20, and the discrimination processing by the shoplifting discrimination model 121 is performed based on the customer region R. To do. Therefore, since the customer region R1 with a small amount of data is used, it is possible to perform efficient and highly accurate determination processing.
- the information processing system 100 in which the warning device 30 performs different warning processes depending on the installation position will be described.
- the information processing system 100 of this embodiment is configured by the same devices as the devices of the information processing system 100 of the first embodiment. Since the first display device 41 and the second display device 42 are regarded as one of the warning devices 30, the information of the first display device 41 and the second display device 42 is also stored in the warning device DB 12b.
- the control unit 11 of the server 10 executes the control program 12P stored in the storage unit 12, the control unit 11 realizes the same functions as those shown in FIG.
- the processing performed by the warning processing unit 107 is slightly different from that of the first embodiment, and only different processing will be described.
- the warning processing unit 107 for the tracking target person who is being tracked by the tracking processing unit 103, is a warning device 30 installed at a position close to the tracking target person. Warn by.
- the warning processing unit 107 of the present embodiment is another warning device 30 (a warning device 30 that is a display device). ) And a warning screen different from that are displayed to warn.
- the warning processing unit 107 specifies the warning device 30 at the installation place closest to the tracking target person, whether the specified warning device 30 is the first display device 41 or the second display device 42. To judge.
- the warning processing unit 107 determines that the specified warning device 30 is not the first display device 41 and the second display device 42, that is, when the tracking target person is not near the cashier counter or the entrance/exit. A warning is issued by the warning device 30 near the person to be tracked.
- the warning device 30 here is a display device
- a warning message such as "Please pay at the cash register” is displayed.
- the warning processing unit 107 determines that the specified warning device 30 is the first display device 41, that is, when the tracking target person is near the cashier counter, the warning display unit 107 displays, for example, “Shoplifting”. Therefore, please display a warning message such as "Please pay at the cash register" (perform the first warning process).
- the warning processing unit 107 may display the second display device 42, for example, as shown in FIG. 9A or 9B.
- the warning screen as shown in is displayed (the second warning process is performed).
- It may be a message or a warning screen in which a warning message is displayed in a speech bubble spoken by the character.
- a sticker or a sticker having such a warning message or a warning screen may be attached to the vicinity of a cashier counter, a doorway, a wall in a store, or the like.
- the traceable person pays some products at the cashier counter when shoplifting in front of a display shelf in the store, after going out of the store from the doorway, and when shoplifting in the store. After going there, it is possible that you will go out of the store from the entrance.
- a tracking target person is first warned in the vicinity of the display shelf, and if the product is not returned to the display shelf in response to the warning, a warning is issued in the vicinity of the cashier counter, and the product is still displayed. If it is not returned to the shelf, a warning can be issued near the entrance. In this way, it is possible to call attention while switching the warning device 30 as the person to be tracked moves.
- the present embodiment by changing the content displayed on the warning screen when the tracking target person is in the vicinity of the display rack, in the vicinity of the cashier counter, and in the vicinity of the doorway. , It is possible to give a warning according to the location of the person to be tracked. For example, when the tracked person is near the display shelf, when the tracked person comes to the cashier counter, and when the tracked person comes to the entrance/exit, a warning message with an increased warning level is displayed in order. be able to.
- FIG. 16 is a flowchart showing the procedure of shoplifting monitoring processing by the information processing system 100 according to the third embodiment.
- FIG. 16 shows processing performed by the server 10, the first display device 41, the second display device 42, and the warning device 30 in order from the left side.
- the process shown in FIG. 16 is obtained by adding the processes of steps S41 to S46 between steps S20 and S21 in the process shown in FIG. Therefore, description of steps similar to those in FIG. 10 will be omitted. Also, in FIG. 16, the illustration of steps S11 to S16 and S18 in FIG. 10 is omitted.
- the server 10 determines whether the identified warning device 30 is the first display device 41 (S41). When it is determined that the specified warning device 30 is the first display device 41 (S41: YES), the server 10 transmits the first warning data for display to the first display device 41 (S42). The first display device 41 receives the first warning data transmitted from the server 10 and displays a warning screen based on the received first warning data (S43).
- the server 10 determines whether the specified warning device 30 is the second display device 42 (S44). When it is determined that the specified warning device 30 is the second display device 42 (S44: YES), the server 10 transmits the second warning data for display to the second display device 42 (S45). The second display device 42 receives the second warning data transmitted from the server 10 and displays a warning screen based on the received second warning data (S46). When it is determined that the specified warning device 30 is not the second display device 42 (S44: NO), the server 10 shifts the processing to step S21.
- step S42, S45 or S21 the server 10 returns to the processing of step S17 and repeats the processing of steps S19 to S21, S41 to S42 and S44 to S45 until the person to be traced returns the product to the display shelf.
- the warning device 30 near the person (tracking target) who is likely to have shoplifted can give a warning and the tracking target A warning can be issued by a predetermined warning message when the user comes near the cashier counter or the doorway.
- the present embodiment for example, immediately after performing a shoplifting act, it is possible to give a warning and a warning to the person who performed the shoplifting action (tracking target person).
- the person to be tracked comes to the cashier counter or to the entrance/exit, by displaying a predetermined warning screen on the first display device 41 and the second display device 42, respectively, the location and the situation of the person to be tracked are displayed. A corresponding warning can be given.
- the warning process having a higher warning level may be performed as the elapsed time after performing the shoplifting action becomes longer.
- a warning by lighting or blinking light is given by a warning device 30 which is a light emitting device, and when the product is not returned to the display shelf thereafter, the warning device 30 which is a display device is displayed.
- a warning screen is displayed to give a warning and the product is still not returned to the display rack, a warning message may be output as a warning by the warning device 30 that is a voice output device to give a warning.
- the warning device 30 of the light emitting device is provided near the first display device 41 provided on the cashier counter, and when the person to be tracked comes to the cashier counter, the warning device 30 turns on or off the light. By blinking, an employee at the cashier counter may be notified of the existence of the person to be tracked.
- a warning device 30 such as a light emitting device or a voice output device is provided near the second display device 42 provided at the entrance and exit, and when the tracking target person tries to go out of the store, the warning process by the warning device 30 is performed. This may be done to notify the employee of the store that the person to be tracked is going out of the store. Thereby, the employee of the store can grasp the existence of the tracking target person, and can secure the identity of the tracking target person when the tracking target person goes out of the store.
- whether or not the person to be tracked has come near the cashier counter or the entrance/exit is determined based on, for example, an image captured by a camera that photographs a person who is lined up at the cashier counter or a person who is about to exit the store from the entrance/exit. You may make it detect by.
- the tracking processing unit 103 of the server 10 acquires a captured image (shooting region R) of the tracking target person. Then, a photographed image including the photographing region R of the person to be tracked is searched from the photographed images of the person lined up at the cashier counter or the person trying to go out of the store through the entrance.
- the photographed image including the photographing region R of the person to be tracked can be retrieved, it may be detected that the person to be tracked is lined up at the cashier counter or trying to go out of the store from the entrance.
- the server 10 performs warning processing by the warning device 30 and the display devices 41 and 42, and notifies a pre-registered smartphone or mobile terminal of the existence of the tracking target person. May be. For example, when the occurrence of shoplifting is detected, or when the tracking target person comes near the cashier counter or the entrance/exit, the presence of the tracking target person may be notified to the smartphone or the mobile terminal managed by the store manager. This allows the store manager or employee of the store to monitor the behavior of the tracked person. Further, the server 10 may display a photographed image in which the occurrence of shoplifting has been detected, for example, on a display device provided in the employee waiting room in the store to notify the employee or the like in the employee waiting room. .
- FIG. 17 is a schematic diagram illustrating an arrangement example of each device of the information processing system 100 according to the fourth embodiment.
- the information processing system 100 according to the present embodiment includes, in addition to the devices of the information processing system 100 according to the first embodiment illustrated in FIG. 2, a camera 50 and a warning device 30 provided in a backyard in a store, a store manager and an employee.
- a waiting room display device 43 provided in the waiting room is included.
- the camera 50 and the warning device 30 provided in the backyard and the waiting room display device 43 provided in the waiting room are both connected to a network such as a LAN or the Internet provided in the store.
- the backyard is, for example, a warehouse, a room, a refrigerator, or the like that stores products that are not displayed in the store
- the waiting room is, for example, a room in which employees take a break.
- the camera 50 installed in the backyard is installed, for example, on the ceiling so that people in the backyard can take pictures of products being picked up.
- two cameras 50 are provided in the backyard, but the number of cameras 50 is not limited to two as long as the entire area of the backyard can be captured.
- one warning device 30 is provided in the backyard, but two or more warning devices 30 may be provided.
- a display shelf installed adjacent to the backyard is a walk-in refrigerator that has a door in the front for customers to take out products and a product slot for store employees to replenish products in the rear.
- the camera 50 may be provided at the rear product insertion slot. In this case, the camera 50 is installed so as to be able to take a picture of the employee near the product slot.
- the control unit 11 of the server 10 executes the control program 12P stored in the storage unit 12, the control unit 11 realizes the same functions as those shown in FIG.
- the processing performed by the warning processing unit 107 is slightly different from that of the first embodiment, and only different processing will be described.
- the warning processing unit 107 for the tracking target person who is being tracked by the tracking processing unit 103, is a warning device 30 installed at a position close to the tracking target person. Warn by.
- the warning processing unit 107 of the present embodiment determines whether the tracking target person is an employee of the store. For example, a photographed image of the face of each employee is registered in the storage unit 12 of the server 10 in advance, and the warning processing unit (specification unit) 107 includes the photographing region R of the tracking target person tracked by the tracking processing unit 103, Based on the captured image of the employee's face, the tracked person is identified as one of the employees.
- the warning processing unit 107 of the present embodiment performs the same processing as that of the first embodiment when it is determined that the tracking target person is not an employee of the store, that is, when a shoplifting act is performed.
- the warning processing unit 107 of the present embodiment determines that the tracking target person is an employee of the store, that is, when an internal deduction action is performed, the tracking target person (of the store While performing warning processing for employees, a notification screen is displayed on the waiting room display device 43.
- the employee who has performed the internal pulling action can be warned and the store manager in the waiting room can be notified of the occurrence of the internal pulling action.
- the shoplifting detection unit 102 when the occurrence of shoplifting is detected based on the image taken by the camera 20 provided in the backyard, it is determined that the shoplifting has occurred, and the tracking target person You may specify who you are.
- the determination as to whether the tracking target person is an employee of the store may be performed by the shoplifting detection unit 102 when the shoplifting detection unit 102 detects the occurrence of the shoplifting action.
- FIG. 18 is a flowchart showing a procedure of shoplifting monitoring processing by the information processing system 100 according to the fourth embodiment.
- the process performed by the server 10 is shown on the left side
- the process performed by the waiting room display device 43 is shown in the center
- the process performed by the warning device 30 is shown on the right side.
- the process shown in FIG. 18 is obtained by adding the processes of steps S51 to S54 to the process of FIG. 10 after the process of step S21. Therefore, description of steps similar to those in FIG. 10 will be omitted. Further, in FIG. 18, steps S11 to S16 and S18 in FIG. 10 are omitted.
- the server 10 outputs the warning process execution instruction to the warning device 30 at the position closest to the current position of the tracking target person in step S21, and then the tracking target person stores To determine if you are an employee of. That is, the server 10 determines whether the shoplifting act detected in step S14 is an internal pulling act by the employee (S51). For example, the server 10 uses the photographed image of the face of each employee registered in the storage unit 12 in advance and the photographed image (photographing region R) obtained by photographing the person to be traced by the cameras 20 and 50 to trace the person to be traced. Determine whether you are an employee.
- the server 10 determines that the person to be tracked is an employee of the store, that is, if it is determined that the internal deduction action has been performed (S51: YES), the server 10 determines the person to be tracked who has performed the internal deduction action. It specifies from the inside (S52).
- the server 10 generates notification data for notifying the employee who has been tracked to the specified employee, and transmits the notification data to the waiting room display device 43 (S53).
- the waiting room display device 43 receives the notification data transmitted from the server 10 and displays a notification screen based on the received notification data (S54). In this way, it is possible to notify the store manager or the like in the waiting room when an internal deduction is performed.
- the server 10 determines that the person to be tracked is not an employee of the store, that is, it is not an internal act (S51: NO), or after the process of step S53, the process of step S17 is performed.
- steps S19 to S21 and S51 to S53 are repeated until the person to be traced returns the product to a predetermined position in the display rack or backyard.
- the processing it is possible to give a warning to the tracking target person who has performed the shoplifting act or the internal shoplifting act, and to notify the store manager in the waiting room of the occurrence of the internal shoplifting act.
- the waiting room display device 43 for example, a smartphone or a mobile terminal used only by the store manager may be notified of the occurrence of the internal drawing act.
- the act performed by the traceable person is not the inward action. It can warn you of something and encourage you to stop performing internal deductions.
- the tracking process for the tracking target person is ended by returning the product acquired by the internal drawing act to the original position, and the warning process by the warning device 30 is ended. To be done.
- the captured image determined to be the internal pulling action is associated with the employee ID of the employee identified as having performed the internal pulling action. It may be stored in the storage unit 12. In this case, it is possible to confirm the occurrence history of the internal pulling action based on the captured image.
- the employee leaves the store for example, by reading the ID card of each employee with a reader. In this way, when the employee ID is read by the reader, if the read employee ID matches the employee ID of the employee who has performed the internal deduction action, warning processing may be performed. Good.
- a display device may be provided near the reader, and a warning screen as shown in FIG.
- 9A or 9B may be displayed on this display device to warn the employee. Thereby, the employee can know that the act of himself/herself is an internal pulling act, and that it has been discovered that the internal pulling act has been performed, and therefore, the employee can respond to the performing of the internal pulling act.
- the configuration of the present embodiment can be applied to the information processing system 100 of the second and third embodiments, and the same effect can be obtained even when applied to the information processing system 100 of the second and third embodiments.
- An information processing system 100 that causes a warning device 30, which is a display device, to display a predetermined screen when the occurrence of shoplifting is not detected will be described.
- the information processing system 100 of this embodiment is configured by the same devices as the devices of the information processing system 100 of the first embodiment.
- the control unit 11 of the server 10 realizes each function shown in FIG. 6 when the control program 12P stored in the storage unit 12 is executed.
- the server 10 when the server 10 does not detect the occurrence of the shoplifting action based on the image data acquired by the camera 20, it suppresses the image (moving image) for advertising and the shoplifting action.
- a process of displaying an announcement image or the like on the warning device 30 of the display device is performed.
- the image data for displaying an image for advertisement (advertising data) and the image data for displaying an announcement image (announcement data) may be stored in the storage unit 12 of the server 10 in advance,
- the server 10 may receive from an external device via the network and store it in the storage unit 12.
- FIG. 19 is a flowchart showing the procedure of shoplifting monitoring processing by the information processing system 100 according to the fifth embodiment.
- the process shown in FIG. 19 is obtained by adding the processes of steps S61 to S65 to the process shown in FIG. 10 before step S13 performed by the server 10. Therefore, description of steps similar to those in FIG. 10 will be omitted. Further, in FIG. 19, illustration of steps S19 to S22 in FIG. 10 is omitted.
- the server 10 reads image data (advertisement data) for displaying an advertisement image stored in the storage unit 12, for example, and sends it to the warning device 30 which is a display device. It is transmitted (S61).
- the warning device 30, which is a display device receives the advertisement data sequentially transmitted from the server 10 and displays an advertisement screen based on the received advertisement data (S62).
- the server 10 determines whether or not a predetermined timing for displaying the announcement image has come while displaying the advertisement screen on the warning device 30 which is a display device (S63).
- the announcement image may be displayed every 30 minutes, every hour, or the like.
- the server 10 determines whether or not a predetermined time has passed since the advertisement screen was displayed on the warning device 30, which is a display device, or whether a predetermined time has passed since the announcement image was displayed last time. If so, it is determined that the timing for displaying the announcement image has arrived.
- the server 10 When it is determined that the timing to display the announcement image has come (S63: YES), the server 10 reads and displays the image data (announcement data) for displaying the announcement image stored in the storage unit 12, for example. It transmits to the warning device 30 which is a device (S64).
- the alerting device 30, which is a display device, receives the announcement data transmitted from the server 10 and displays the announcement screen based on the received announcement data (S65).
- the announcement screen displays warning messages such as "Shoplifting is a crime" and "I will report as soon as I find it".
- the server 10 When the server 10 receives the image data transmitted from the camera 20 while displaying the advertisement screen or the announcement screen on the warning device 30 which is a display device (S13), the server 10 performs the shoplifting action based on the received image data. A detection process for detecting the occurrence is performed (S14). The server 10 of the present embodiment returns to the process of step S61 when the shoplifting action is not detected (S15: NO) and when the tracking process is completed (S18).
- the warning device 30 displays an advertisement screen or an announcement screen for suppressing shoplifting. (Display device) can be displayed. Therefore, when shoplifting has not occurred, it is possible to improve the customer's willingness to purchase by displaying the advertisement screen, and be careful not to perform shoplifting by displaying the announcement screen. Can be called.
- a warning screen can be displayed on the warning device 30 (display device) to warn the tracking target person.
- the warning screen is displayed on the warning device 30 (display device) near the person to be shoplifted
- the other warning devices 30 will continue to display advertisement screens and announcement screens. May be.
- the time for displaying the advertisement screen or the announcement screen for suppressing shoplifting (that is, the moving image reproduction time) can be changed as appropriate. Accordingly, in the information processing system 100 in which the advertisement screen and the announcement screen are displayed in the normal state where the shoplifting action is not performed, when the shoplifting action is performed, the warning device 30 near the person who performed the shoplifting action.
- a warning screen can be displayed by issuing a warning.
- the configuration of the present embodiment can be applied to the information processing system 100 of the second to fourth embodiments, and the same effect can be obtained even when applied to the information processing system 100 of the second to fourth embodiments.
- FIG. 20 is a schematic diagram showing an example of a captured image for learning the violent behavior discrimination model.
- the violent behavior discrimination model is image data (photographed image) obtained by photographing a person who is likely to commit violent behavior or a person who is committing violent behavior as shown in FIG. Learning is performed by using the teaching data in which one set of information (correct answer label) indicating that the above has been performed is set. Thereby, in the information processing system 100 of each of the above-described embodiments, when the captured image acquired by each camera 20 is input to the violent behavior discrimination model, it indicates whether or not the person in the captured image is performing the violent behavior. Information (discrimination probability) is output.
- the violent behavior discrimination model learned in this way is stored in the storage unit 12 of the server 10, and the control unit (violence determination unit) 11 uses the violent behavior discrimination model to capture images captured by the cameras 20. Based on the (image data), it is detected whether or not the person photographed in the photographed image committed a violent act. In addition, when the control unit (notification unit) 11 detects that the person photographed in the photographed image is performing a violent act, the control unit (notification unit) 11 uses the warning device 30 provided in the store to generate the violent act, for example. May be notified. With such a configuration, it is possible to detect not only a shoplifting act or a shoplifting act, but also a violent act in the store to give a warning.
- the shoplifting determination model 121 may be configured not only to determine whether or not a shoplifting action has been performed, but also to determine whether or not a violent action has been performed.
- the learned model that can detect the occurrence of violent behavior is used in this way, it can be applied not only to stores but also to a system that detects the occurrence of violent behavior at a window such as a public office or a police station and warns.
- the server 10 may be configured to notify the police station, the security company, the head office of the store, the headquarters or the like when the occurrence of violence is detected.
- the control unit 11 of the server 10 detects that a person in the captured image acquired by each camera 20 has performed a violent act using the violent act discrimination model, the police station, the predetermined security company, the store, etc. It has a configuration to output the notification information to the terminal at the head office or the headquarters.
- the terminal of the security company, the terminal of the police station, the terminal of the store headquarters or the headquarters when the notification information is acquired from the server 10, for example, by turning on or blinking a lamp or outputting a predetermined voice message, the security company.
- a violent act it is possible to notify the security company, the police station, the head office or headquarters of the store at an early stage, and each person in charge can grasp the occurrence of the violent act. ..
- the security company, the police station, the head office of the store, or the headquarters can deal with violent acts.
- Embodiment 7 In the information processing system 100 that monitors not only shoplifting acts but also internal pulling actions by store employees, when internal pulling actions occur, warning processing is not performed and, for example, the terminal device used by the store manager is not able to perform internal pulling actions. A configuration for notifying the occurrence will be described.
- the information processing system 100 of this embodiment is configured by the same devices as the devices of the information processing system 100 of the first and fourth embodiments.
- the information processing system 100 according to the present embodiment does not need to include the warning device 30 in the backyard in the information processing system 100 according to the fourth embodiment shown in FIG.
- control unit 11 of the server 10 executes the control program 12P stored in the storage unit 12, the control unit 11 realizes the same functions as those shown in FIG.
- the process performed by the shoplifting detection unit 102 is slightly different from that of the first and fourth embodiments, so only the different process will be described.
- the shoplifting detection unit 102 of the present embodiment uses the shoplifting discrimination model 121 to capture an image in the captured image based on the captured image (image data) acquired by each camera 20. It detects whether the person doing the shoplifting act. Then, when the shoplifting detection unit 102 of the present embodiment detects the occurrence of shoplifting, whether the person who performed the shoplifting is an employee of the store (that is, whether the shoplifting is performed) or not It is a customer of (that is, a shoplifting act). The determination as to whether or not the shoplifter is an employee of the store is performed by the warning processing unit 107 according to the fourth embodiment by a process of determining whether or not the tracking target person is an employee of the store.
- the same process is performed. Specifically, the photographed image of the face of each employee is registered in the storage unit 12 of the server 10 in advance, and the shoplifting detection unit 102 (specification unit) identifies the photographing area of the person who performed the shoplifting action and each employee. Based on the photographed image of the employee's face, who is the employee who performed the shoplifting action is specified. Further, when the occurrence of shoplifting is detected based on the image taken by the camera 20 provided in the backyard, it may be determined that the shoplifting has occurred, and that the shoplifting has occurred. After making the determination, it may be possible to identify who is the employee who performed the internal deduction.
- the tracking processing unit 103 of the present embodiment is the same as in the first and fourth embodiments.
- the shoplifting detection unit 102 determines that the person who performed the shoplifting action is an employee of the store, that is, when the shoplifting action is performed, the server 10 (control unit 11) of the present embodiment Without performing the tracking processing by the tracking processing unit 103 and the warning processing by the warning processing unit 107, the employee who has performed the internal deduction action is added to the list.
- FIG. 21 is a flowchart showing the procedure of the shoplifting action monitoring process by the information processing system 100 according to the seventh embodiment.
- FIG. 21 shows the processing performed by the camera 20 on the left side and the processing performed by the server 10 on the right side.
- the process shown in FIG. 21 is the process shown in FIG. 10 in which the processes of steps S71 to S73 are added between YES in step S15 and step S16. Therefore, description of steps similar to those in FIG. 10 will be omitted. Further, in FIG. 21, the illustration of steps S17 to S22 in FIG. 10 is omitted.
- step S15 when the server 10 determines that the shoplifting act is detected in step S15 (S15: YES), whether or not the detected shoplifting action is an internal shoplifting act by the employee. Is determined (S71). For example, the server 10 determines whether or not the image data that has detected the occurrence of shoplifting is a captured image captured by the camera 20 provided in the backyard, and an captured image captured by the camera 20 in the backyard. If it is determined that it is, it is determined that it is an internal drawing act.
- the server 10 also collates the image data (photographed image) in which the occurrence of shoplifting is detected with the photographed image of the face of each employee registered in the storage unit 12 in advance, and the person who carried out the shoplifting act becomes the employee. If it is determined whether or not the employee is in the staff, and it is determined that the employee is in the employee, it may be determined that the internal deduction action has occurred.
- the server 10 determines that the detected shoplifting act is not the internal shoplifting act (S71: NO), that is, when the shoplifting act is performed by the customer, the process proceeds to step S16, and the same as in the first embodiment. The processing after step S16 is performed.
- the server 10 identifies the employee who performed the internal pulling action. Yes (S72). Then, the server 10 adds the identified employee (the employee who has performed the internal deduction) to the list of employees who performed the internal deduction (notification information) (S73). Specifically, the control unit 11 associates, for example, the date and time when the internal drawing act occurs, the information of the identified employee (for example, name), and the image data (captured image) in which the occurrence of the internal drawing act is associated with the storage unit 12.
- the identified employee the employee who has performed the internal deduction
- the control unit 11 associates, for example, the date and time when the internal drawing act occurs, the information of the identified employee (for example, name), and the image data (captured image) in which the occurrence of the internal drawing act is associated with the storage unit 12.
- FIG. 22 is a schematic diagram showing an example of a list of employees who have carried out internal deduction.
- the control unit 11 can create a list in which the date and time when the internal pulling action occurs, the employee information, and the captured image are displayed in association with each other.
- the control unit 11 (transmission unit) of the server 10 transmits the created list to a predetermined terminal such as a terminal device used by the store manager or a waiting room display device 43 provided in the waiting room.
- a list of employees who have performed internal deduction can be displayed on a predetermined terminal, and the store manager or the like can know the occurrence of the internal deduction.
- the control unit 11 of the server 10 After the processing of step S73, the control unit 11 of the server 10 returns to the processing of step S13, receives the image data sequentially transmitted from the camera 20 (S13), and based on the received image data, the processing of step S14 and subsequent steps. Perform processing.
- the server 10 can create a list of employees who have performed internal withdrawal actions based on the information stored in the storage unit 12, and the history of the internal withdrawal actions by the employees can be created by the created list. Can be notified (reported) to.
- the configuration of the present embodiment can be applied to the information processing system 100 of each of the above-described embodiments, and the same effect can be obtained even when applied to the information processing system 100 of each of the embodiments.
- the employee who has performed the internal pulling action is stored by accumulating the information of the employee who has performed the internal pulling action.
- FIG. 8 An information processing system 100 that performs a process of detecting the behavior of a person in a store, and performs a process of detecting whether or not a shoplifting action has been performed when a person whose behavior is not normal is detected will be described.
- the information processing system 100 of this embodiment is configured by the same devices as the respective devices of the information processing system 100 of the first embodiment.
- 23 is a block diagram showing functions realized by the control unit 11 of the server 10 according to the eighth embodiment.
- the behavior detection unit 109 detects, based on the image data (captured image) acquired by the image acquisition unit 101 from each camera 20, whether or not the behavior of the person captured in the captured image is normal.
- the behavior detection unit 109 detects whether or not the behavior of a person in the captured image is normal by using, for example, the behavior discrimination model 122.
- the behavior determination model 122 has the same configuration as the shoplifting determination model 121, and determines whether the image data (photographed image) obtained by photographing a person and the behavior of the person in the photographed image are normal or abnormal.
- the state in which the behavior is not normal is, for example, a state in which the user is looking around, or walking around the store.
- information (determination probability) indicating whether the behavior of the person in the captured image is normal or not is output.
- the behavior determination model 122 may be learned by the server 10, or may be stored in the storage unit 12 of the server 10 after being learned by a different learning device.
- the behavior detection unit 109 inputs the captured image of each camera 20 acquired by the image acquisition unit 101 to the behavior determination model 122, and based on the output value from the behavior determination model 122, the behavior of the person in the captured image. Is determined to be normal. For example, if the output value output from the behavior determination model 122 as the probability that the behavior should be determined to be normal is equal to or greater than a predetermined value (for example, 0.8), the behavior detection unit 109 detects the person in the captured image. It is determined that the behavior of is normal.
- a predetermined value for example, 0.8
- the shoplifting detection unit 102 of the present embodiment uses the shoplifting discrimination model 121 to detect a shoplifting action by a person in a captured image when the behavior detection unit 109 detects that the behavior of the person in the captured image is not normal. It detects whether or not it has been done.
- FIG. 24 is a flowchart showing the procedure of the shoplifting action monitoring process by the information processing system 100 according to the eighth embodiment.
- the processing performed by the camera 20 is shown on the left side
- the processing performed by the server 10 is shown on the right side.
- the process shown in FIG. 24 is obtained by adding the processes of steps S81 to S82 between steps S13 and S14 in the process shown in FIG. Therefore, description of steps similar to those in FIG. 10 will be omitted. Further, in FIG. 24, the illustration of steps S15 to S22 in FIG. 10 is omitted.
- the server 10 when the server 10 receives the image data transmitted from the camera 20 (S13), the server 10 stores the received image data in the camera DB 12a, and based on the received image data.
- a behavior detection process is performed to detect whether or not the behavior of the person (customer in the store) photographed in the image data (captured image) is normal (S81).
- the server 10 determines whether or not the behavior of the person in the captured image is normal by the behavior detection processing (S82), and when it is determined that the behavior of the person in the captured image is normal (S82: YES). , And returns to the process of step S13.
- step S14 the detection process for detecting the occurrence of shoplifting is performed based on the received image data.
- step S14 The process after step S14 is the same as the process described in the first embodiment.
- the same effect as that of each of the above-described embodiments can be obtained.
- the presence or absence of a person whose behavior in the store is not normal is detected based on the captured image acquired by the camera 20, and when the person who is not behavior normal in the store is detected, this person is detected. Determines whether to shoplift. Therefore, the shoplifting detection process is performed by focusing on the person who is likely to perform the shoplifting action by performing the process of determining whether or not the shoplifting action has been performed on the person whose behavior is not normal. be able to.
- the configuration of the present embodiment can be applied to the information processing system 100 of each of the above-described embodiments, and the same effect can be obtained even when applied to the information processing system 100 of each of the embodiments.
- a discrimination model for discriminating whether or not the person in the captured image is performing shoplifting, and whether or not the person (employee) in the captured image is performing internal pulling
- a discriminant model for discriminating, a discriminant model for discriminating whether or not a person in the photographed image is committing violence, and a discriminant model for discriminating whether or not the behavior of the person in the photographed image is normal.
- the discriminant model may be separately provided. Further, the discriminant model (shoplifting discriminant model 121) may be configured such that the respective discriminant processes can be collectively output by one discriminant model.
- a discrimination model for determining whether or not an act of opening a product is performed a discrimination model for determining whether or not an act of opening a beverage bottle and drinking is performed, etc. May be separately provided, or the discriminant model may be configured such that the respective discriminant processes can be collectively output as one discriminant model.
- Warning processing unit 10 server 11 control unit 12 storage unit 20 camera 30 warning device 41 first display device 42 second display device 100 information processing system 101 image acquisition unit 102 shoplifting detection unit 103 tracking processing unit 104 tracking unit 105 action detection unit 106 position detection unit 107 Warning processing unit
Landscapes
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Emergency Management (AREA)
- Alarm Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Burglar Alarm Systems (AREA)
Abstract
複数の撮像装置及び複数の警告装置が店舗内に分散配置されている。サーバは、画像データが入力された場合に画像データ中に撮像された人が窃盗行為を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、複数の撮像装置がそれぞれ取得した画像データに基づいて、窃盗行為が行われたか否かを判定する。サーバは、窃盗行為が行われたと判定した場合、窃盗行為を行った人の近傍に配置された警告装置を用いて警告を行う。
Description
本開示は、情報処理システム、情報処理方法及びプログラムに関する。
万引き行為の発生を検出するシステムが提案されている。例えば特許文献1には、店舗に設けられた監視カメラで撮影された画像データに基づいて、撮影された人物が万引き疑い行為を行ったか否かを検出するシステムが提案されている。特許文献1に開示されたシステムは、万引き疑い行為の発生を検出した場合に、店舗内の店員の携帯端末に通知し、通知を受けた店員が万引きの疑いのある人物に声掛け等を行うことにより、万引き行為を未然に防止することができる。
特許文献1に開示されたシステムでは、万引き行為を未然に防止するために、通知を受けた店員が万引きの疑いのある人物に声掛け等を行う必要があるので、店員の負担が増大する虞がある。
本開示は、このような事情に鑑みてなされたものであり、その目的とするところは、店員等の負担を増大させることなく、万引き行為の発生を抑制することが可能な情報処理システム等を提供することにある。
本開示の一態様に係る情報処理システムは、店舗内に分散配置された複数の撮像装置及び複数の警告装置と、画像データが入力された場合に、前記画像データ中に撮像された人が窃盗行為を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、前記複数の撮像装置が取得した画像データに基づいて、窃盗行為が行われたか否かを判定する窃盗判定部と、窃盗行為が行われたと判定した場合、窃盗行為を行った人の近傍に配置された前記警告装置にて警告を行う警告処理部とを備える。
本開示にあっては、店員等の負担を増大させることなく、万引き行為の発生を防止することができる。
以下に、本開示の情報処理システム、情報処理方法及びプログラムについて、その実施形態を示す図面に基づいて詳述する。
(実施形態1)
商店や店舗等において万引き行為(窃盗行為)の発生を抑制する情報処理システムに適用した実施形態について説明する。図1は情報処理システムの構成例を示す模式図である。本実施形態の情報処理システム100は、例えば店舗内に設けられており、サーバ10、複数のカメラ20、複数の警告装置30及び2つの表示装置(第1表示装置41及び第2表示装置42)を含む。これらの各装置は、例えば店舗内に設けられたLAN(Local Area Network)に接続されており、LANを介して情報の送受信を行う。なお、これらの各装置は、インターネット等のネットワークに接続され、ネットワークを介して情報の送受信を行う構成でもよい。
商店や店舗等において万引き行為(窃盗行為)の発生を抑制する情報処理システムに適用した実施形態について説明する。図1は情報処理システムの構成例を示す模式図である。本実施形態の情報処理システム100は、例えば店舗内に設けられており、サーバ10、複数のカメラ20、複数の警告装置30及び2つの表示装置(第1表示装置41及び第2表示装置42)を含む。これらの各装置は、例えば店舗内に設けられたLAN(Local Area Network)に接続されており、LANを介して情報の送受信を行う。なお、これらの各装置は、インターネット等のネットワークに接続され、ネットワークを介して情報の送受信を行う構成でもよい。
図2は、店舗内に設置されたカメラ20、警告装置30及び表示装置41,42の配置例を示す模式図である。カメラ20は、レンズ及び撮像素子等を有する撮像装置であり、レンズを介して入射した光を撮像素子にて光電変換して画像データを取得する。カメラ20は、撮影によって取得した画像データ(撮影画像)を順次サーバ10へ送信する。カメラ20は、商品を陳列する陳列棚の前に居る人が商品を手に取る様子を撮影できるように、例えば陳列棚の上部や天井等に設置されている。図2に示す例では、それぞれの陳列棚の両端に1つずつカメラ20が設けられているが、店舗内の全領域を撮影できるように各カメラ20が分散配置されていればよく、図2に示す例に限定されない。
警告装置30のそれぞれは、例えば表示装置、発光装置及び音声出力装置のいずれか又は複数を含み、表示装置、発光装置又は音声出力装置にて警告(注意喚起)を行う。表示装置は、例えば液晶ディスプレイ、有機ELディスプレイ等であり、サーバ10から表示用データを受信した場合に、受信した表示用データを表示することにより警告を行う。発光装置は、例えばランプ、回転灯等であり、サーバ10から点灯又は点滅の実行指示を受信した場合に点灯又は点滅することにより警告を行う。音声出力装置は、例えばスピーカ、ブザー等であり、サーバ10から出力用の音声データを受信した場合に、受信した音声データを音声出力することにより警告を行う。なお、音声出力装置は、サーバ10から音声出力の実行指示を受信した場合に、所定の音又は音声を出力することにより警告を行う構成でもよい。よって、警告装置30は、表示装置が警告用のデータを表示し、発光装置が点灯又は点滅し、音声出力装置が警告用の音声を出力することにより、警告を行う。なお、警告装置30が表示装置、発光装置及び音声出力装置のうちの複数の装置で構成される場合、複数の装置が一体として構成された警告装置30を用いてもよいし、別体で構成された複数の装置をまとめて警告装置30として用いてもよい。
警告装置30は、陳列棚の前に居る人に警告を発することができるように適宜の位置に設置されている。例えば警告装置30が表示装置又は発光装置である場合、表示装置の表示画面や発光装置の点灯又は点滅状態を把握できるように、陳列棚の前に立つ人の目線の位置に設置される。また警告装置30が音声出力装置である場合、音声出力装置からの音声が陳列棚の前に居る人に届くように、例えば陳列棚の上部や天井等に設置される。図2に示す例では、それぞれの陳列棚の中央部に1つずつ警告装置30が設けられているが、店舗内に居る人に警告できるように各警告装置30が分散配置されていればよく、図2に示す例に限定されない。また、各警告装置30は、店舗内の設置位置に応じて表示装置、発光装置及び音声出力装置のいずれか又は複数を選択して設置してもよい。即ち、設置位置に応じて異なる装置で警告を行うように構成することができる。
第1表示装置41及び第2表示装置42は、例えば液晶ディスプレイ、有機ELディスプレイ等であり、サーバ10から送信された表示用データを受信し、受信した表示用データを表示する。よって、第1表示装置41及び第2表示装置42は、サーバ10から警告用のデータを受信して表示する場合、警告装置としても機能する。第1表示装置41は、例えば店舗内のレジカウンタ又はレジカウンタの近傍に設置されており、レジカウンタに並ぶ人又はレジカウンタの先頭に並ぶ人が視認できるように設けられている。第2表示装置42は、例えば出入口(出口)の近傍に設置されており、出入口から店舗の外に出ようとする人が視認できるように設けられている。
サーバ10は、図2では図示していないが、店舗内のいずれの箇所に設けられていてもよいし、サーバ10が他の機器20,30,41,42とネットワークを介して接続される場合、店舗内に設けられていなくてもよい。サーバ10は、サーバコンピュータ又はパーソナルコンピュータ等の情報処理装置であり、複数台設けられてもよいし、1台のサーバ内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバを用いて実現されてもよい。サーバ10は、各カメラ20から順次送信されてくる画像データを蓄積する処理、画像データに基づいて万引き行為の発生を検知する処理、万引き行為の発生を検知した場合に警告装置30に警告情報を出力する処理等、種々の情報処理を行う。
図3は、サーバ10の構成例を示すブロック図である。サーバ10は、制御部11、記憶部12、通信部13、表示部14、入力部15、読み取り部16等を含み、これらの各部はバスを介して相互に接続されている。制御部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)又はGPU(Graphics Processing Unit)等の1又は複数のプロセッサを含む。制御部11は、記憶部12に記憶してある制御プログラム12Pを適宜実行することにより、サーバ10が行うべき種々の情報処理、制御処理等を行う。
記憶部12は、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク、SSD(Solid State Drive)等を含む。記憶部12は、制御部11が実行する制御プログラム12P及び制御プログラム12Pの実行に必要な各種のデータ等を予め記憶している。また記憶部12は、制御部11が制御プログラム12Pを実行する際に発生するデータ等を一時的に記憶する。更に記憶部12は、例えば機械学習処理によって構築されたニューラルネットワークである万引き判別モデル121を記憶している。万引き判別モデル121は、人を撮影して得られた画像データ(撮像画像)と、撮影画像中の人が万引き行為を行ったか否かを示す情報とを含む教師データを用いて、画像データが入力された場合に、画像データ中に撮影された人が万引き行為(窃盗行為)を行ったか否かを示す情報を出力するように学習された学習済モデルである。なお、学習済モデルは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部12にはこの演算を規定する関数の係数や閾値等のデータが、万引き判別モデル121として記憶される。更に記憶部12は、カメラDB(データベース)12a及び警告装置DB12bを記憶する。カメラDB12a及び警告装置DB12bは、サーバ10に接続された外部の記憶装置に記憶されていてもよく、ネットワークを介してサーバ10と通信可能な記憶装置に記憶されていてもよい。
通信部13は、有線通信又は無線通信によってネットワークに接続するためのインタフェースであり、ネットワークを介して外部装置との間で情報の送受信を行う。表示部14は、液晶ディスプレイ又は有機ELディスプレイ等であり、制御部11からの指示に従って各種の情報を表示する。入力部15は、マウス及びキーボード等を含み、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部11へ送出する。なお、表示部14及び入力部15は、一体として構成されたタッチパネルであってもよい。
読み取り部16は、CD(Compact Disc)-ROM又はDVD(Digital Versatile Disc)-ROMを含む可搬型記憶媒体1aに記憶された情報を読み取る。記憶部12に予め記憶される制御プログラム及びデータは、制御部11が読み取り部16を介して可搬型記憶媒体1aから読み取って記憶部12に記憶してもよい。また、記憶部12に予め記憶される制御プログラム及びデータは、制御部11が通信部13を介してネットワーク経由で外部装置からダウンロードして記憶部12に記憶してもよい。更に、半導体メモリ1bから、制御部11が制御プログラム及びデータを読み出してもよい。
図4は、万引き判別モデル121の構成例を示す模式図である。万引き判別モデル121は、深層学習アルゴリズムを用いて学習した深層学習モデルであり、例えば図4に示すように畳み込みニューラルネットワーク(CNN:Convolution Neural Network)モデルで構成されている。万引き判別モデル121は、CNNモデルのほかに、リカレントニューラルネットワーク(RNN:Recurrent Neural Network)モデルで構成されていてもよい。また、万引き判別モデル121は、図4に示すように多層のニューラルネットワーク(深層学習)に限定されるものではなく、他の機械学習のアルゴリズムを用いて構成されていてもよい。
図4に示す万引き判別モデル121は、入力層、中間層及び出力層から構成されている。中間層は畳み込み層、プーリング層及び全結合層を含む。本実施形態の万引き判別モデル121では、入力層を介して画像データが入力される。入力層の各ノードを介して入力された画像データは中間層に入力され、中間層において、畳み込み層でフィルタ処理等によって画像特徴量が抽出されて特徴マップが生成され、プーリング層で圧縮されて情報量を削減される。畳み込み層及びプーリング層は複数層繰り返し設けられており、複数の畳み込み層及びプーリング層によって生成された特徴マップは、全結合層に入力される。全結合層は複数層(図4では2層)設けられており、入力された特徴マップに基づいて、各種の関数や閾値等を用いて各層のノードの出力値を算出し、算出した出力値を順次後の層のノードに入力する。全結合層は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に出力層の各ノードにそれぞれの出力値を与える。畳み込み層、プーリング層及び全結合層のそれぞれの層数は図4に示す例に限定されない。本実施形態の万引き判別モデル121では、出力層は2つのノードを有しており、例えばノード0は、入力された画像データ中に撮影されている人が万引き行為を行ったと判別すべき確率を出力し、ノード1は、万引き行為を行っていない(通常行為を行っている)と判別すべき確率を出力する。出力層の各ノードの出力値は例えば0~1.0の値であり、2つのノードから出力された確率の合計が1.0(100%)となる。なお、本実施形態の万引き判別モデル121では、万引き行為を行っていないと判別される状況は、例えば撮影画像中の人が手に取った商品を買い物カゴに入れる行為を含む。また、万引き行為を行ったと判別される状況は、商品を鞄や衣服のポケットに入れる行為のほかに、商品を開封したり飲料ボトルを開けたりする行為も含む。
万引き判別モデル121は、例えば商品棚から手に取った商品を自身の鞄や衣服のポケット等に入れる動作を行った人を撮影して得られた画像データ(撮影画像)と、撮影画像中の人が万引き行為を行ったことを示す情報(正解ラベル)とを1セットとした教師データを用いて学習する。また万引き判別モデル121は、例えば商品棚から手に取った商品を開封する動作を行った人や、商品の飲料ボトルを開封して飲む動作を行った人等を撮影して得られた撮影画像と、撮影画像中の人が万引き行為を行ったことを示す情報(正解ラベル)とを1セットとした教師データを用いて学習する。万引き判別モデル121は、教師データに含まれる撮影画像が入力された場合に、万引き行為を行ったと判別すべき確率が出力されるノード0からの出力値が1.0に近づき、他方のノード1からの出力値が0に近づくように学習する。これにより、商品棚から手に取った商品を自身の鞄や衣服のポケット等に入れる動作を行った人、手に取った商品を開封する動作を行った人、商品の飲料ボトルを開封して飲む動作を行った人等の撮影画像が入力された場合に、ノード0からの出力値(万引き行為を行ったと判別すべき確率)が1.0に近い値となる万引き判別モデル121を生成できる。
また万引き判別モデル121は、例えば商品棚から手に取った商品を、店舗に用意された買い物カゴに入れる動作を行った人を撮影して得られた画像データ(撮影画像)と、撮影画像中の人が万引き行為を行っていないことを示す情報(正解ラベル)とを1セットとした教師データを用いて学習してもよい。この場合、万引き判別モデル121は、教師データに含まれる撮影画像が入力された場合に、万引き行為を行っていないと判別すべき確率が出力されるノード1からの出力値が1.0に近づき、他方のノード0からの出力値が0に近づくように学習する。これにより、商品棚から手に取った商品を買い物カゴに入れる動作を行った人の撮影画像が入力された場合に、ノード1からの出力値(万引き行為を行っていないと判別すべき確率)が1.0に近い値となる万引き判別モデル121を生成できる。なお、学習処理において万引き判別モデル121は、入力値に対して行う所定の演算を規定する各種の関数の係数や閾値等のデータを最適化する。これにより、画像データに基づいて、画像データ中に撮影された人が万引き行為を行ったか否かを示す情報を出力するように学習された学習済みの万引き判別モデル121が得られる。万引き判別モデル121は、サーバ10で学習が行われてもよいし、異なる学習装置で学習された後にサーバ10の記憶部12に記憶されてもよい。
図5A及び図5Bは、サーバ10に記憶されるDB12a~12bの構成例を示す模式図である。図5AはカメラDB12aを、図5Bは警告装置DB12bをそれぞれ示す。カメラDB12aは、店舗内に分散配置された各カメラ20の情報を記憶している。図5Aに示すカメラDB12aは、カメラID列、設置場所列、撮影画像列等を含む。カメラID列は、各カメラ20に予め割り当てられた識別情報を記憶する。設置場所列は、各カメラ20の設置場所を示す情報を記憶する。設置場所の情報は、例えばカメラ20の設置場所から最も近い陳列棚の識別情報や、店舗内の任意の位置を基準として規定される座標系で表される座標値等、設置場所を特定できる情報を用いる。撮影画像列は、各カメラ20で撮影されて取得された画像データ(撮影画像)を記憶する。なお、撮影画像は、カメラDB12aに記憶されるほかに、記憶部12の所定領域又はサーバ10に接続された外部の記憶装置に記憶されてもよい。この場合、撮影画像列は、記憶部12の所定領域又は外部の記憶装置から撮影画像を読み出すための情報(例えば画像データの記憶場所を示すファイル名)を記憶する。カメラDB12aに記憶されるカメラID及び設置場所は、店舗内に新たなカメラ20が設置された場合に店舗の従業員等によって入力部15を介して入力され、制御部11によって記憶される。カメラDB12aに記憶される撮影画像は、通信部13が各カメラ20から取得する都度、制御部11によって記憶される。カメラDB12aの記憶内容は図5Aに示す例に限定されず、カメラ20に関する各種の情報を記憶してもよい。例えばカメラ20が設置された日、点検された日、修理された日等が記憶されていてもよい。
警告装置DB12bは、店舗内に分散配置された各警告装置30の情報を記憶している。図5Bに示す警告装置DB12bは、警告装置ID列、設置場所列、設置機器列等を含む。警告装置ID列は、各警告装置30に予め割り当てられた識別情報を記憶する。設置場所列は、各警告装置30の設置場所を示す情報を記憶する。なお、警告装置DB12bに記憶される設置場所の情報は、設置場所を特定できる情報であればどのような情報を用いてもよいが、カメラDB12aに記憶される設置場所の情報と同じものを用いることが好ましい。設置機器列は、各警告装置30として設置されている機器を示す情報を記憶する。例えば設置されている機器が表示装置であるのか、発光装置であるのか、音声出力装置であるのかを示す情報が記憶される。なお、警告装置30が表示装置、発光装置及び音声出力装置のうちの複数の装置を一体として構成された装置である場合、警告装置30に含まれる各装置を示す情報が、設置機器列に記憶されてもよい。また、別体で構成された各装置が同一の設置場所に設置される場合、各装置を示す情報がまとめて設置機器列に記憶されてもよい。警告装置DB12bに記憶される各情報は、店舗内に新たな警告装置30が設置された場合に店舗の従業員等によって入力部15を介して入力され、制御部11によって記憶される。警告装置DB12bの記憶内容は図5Bに示す例に限定されず、警告装置30に関する各種の情報を記憶してもよい。例えば警告装置30による警告処理の実行履歴、警告装置30が設置された日、点検された日、修理された日等が記憶されていてもよい。
次に、サーバ10の制御部11が制御プログラム12Pを実行することによって実現される機能について説明する。図6は、サーバ10の制御部11によって実現される機能を示すブロック図、図7及び図8A~図8Cは、サーバ10が行う処理を説明するための模式図、図9A~図9Dは、警告画面例を示す模式図である。サーバ10の制御部11は、記憶部12に記憶してある制御プログラム12Pを実行した場合、画像取得部101、万引き検知部102、追跡処理部103、警告処理部107の各機能を実現する。また追跡処理部103は、追跡部104、行動検知部105及び位置検知部106を含む。本実施形態では、これらの各機能を制御部11が制御プログラム12Pを実行することにより実現するが、これらの一部を専用のハードウェア回路で実現してもよい。
画像取得部101は、各カメラ20が撮影して得た画像データを、各カメラ20から順次取得する。画像取得部101は、各カメラ20から取得した画像データ(撮影画像)を逐次カメラDB12aに記憶すると共に万引き検知部102へ送出する。万引き検知部(窃盗判定部)102は、万引き判別モデル121を用いて、各カメラ20で取得された撮影画像(画像データ)に基づいて、撮影画像中に撮影されている人が万引き行為を行ったか否かを検知する。具体的には、万引き検知部102は、万引き判別モデル121に対して、画像取得部101が取得した各カメラ20の撮影画像を入力し、万引き判別モデル121からの出力値を取得する。万引き判別モデル121の出力値は、出力層のノード0から、入力された撮影画像中の人が万引き行為を行ったと判別すべき確率が出力され、出力層のノード1から、万引き行為を行っていない(通常行為を行っている)と判別すべき確率が出力される。
万引き検知部102は、万引き判別モデル121からの出力値に基づいて、万引き行為が発生したか否かを判定する。例えば万引き検知部102は、万引き判別モデル121の出力層のノード0からの出力値(万引き行為を行ったと判別すべき確率)が、所定値(例えば0.8)以上であった場合に、万引き行為が発生したと判定する。なお、万引き検知部102は、万引き判別モデル121の出力層のノード0からの出力値が、出力層のノード1からの出力値(万引き行為を行っていないと判別すべき確率)を上回った場合、又は所定値以上上回った場合に、万引き行為が発生したと判定してもよい。万引き検知部102は、店舗内のカメラ20の数だけ設けられ、それぞれの万引き検知部102が、対応するカメラ20の撮影画像に基づく万引き検知処理を行う構成としてもよい。また、1つの万引き検知部102が、複数のカメラ20の撮影画像に基づく万引き検知処理を順次切り替えて行う構成としてもよい。
また、万引き判別モデル121を、出力層のノード0の代わりに、入力された撮影画像中の人が商品を鞄に入れる行為を行ったと判別すべき確率を出力するノードと、撮影画像中の人が商品を衣服のポケットに入れる行為を行ったと判別すべき確率を出力するノードとを有する構成としてもよい。このような構成とした場合、万引き検知部102は、入力された撮影画像中の人が商品を鞄に入れる行為を行ったのか、衣服のポケットに入れる行為を行ったのかを判別できる。なお、万引き検知部102は、このような2つのノードのいずれかからの出力値が所定値(例えば0.8)以上であった場合に、万引き行為が発生したと判定してもよい。また、万引き判別モデル121を、出力層のノード1の代わりに、入力された撮影画像中の人が商品を手に取っていないと判別すべき確率を出力するノードと、撮影画像中の人が商品を店舗の買い物カゴに入れる行為を行ったと判別すべき確率を出力するノードとを有する構成としてもよい。このような構成とした場合、万引き検知部102は、入力された撮影画像中の人が商品を手に取っていない状況であるのか、商品を買い物カゴに入れる行為を行ったのかを判別できる。なお、万引き検知部102は、このような2つのノードのいずれかからの出力値が所定値(例えば0.5)以上であった場合に、万引き行為が発生していないと判定してもよい。
追跡処理部103は、万引き検知部102が万引き行為の発生を検知した場合に、万引き行為を行った人の移動を追跡する処理を行う。なお、追跡処理の対象となった人を追跡対象者と呼ぶ。追跡部104は、各カメラ20の撮影画像に基づいて追跡対象者の移動を追跡する。図7は追跡対象者を撮影した撮影画像の例を示す。追跡部104は、撮影画像において、例えば追跡対象者を含む矩形の領域を追跡領域Rに設定し、追跡領域Rにおいて、例えば追跡対象者の着衣や持ち物等の色等の特徴量を特定する。そして追跡部104は、特定した追跡領域Rにおける特徴量に基づいて、各カメラ20が時系列的に順次取得する撮影画像に追跡領域Rが含まれるか否かを判断し、追跡領域Rが含まれる撮影画像に基づいて追跡領域Rの移動を追跡する。なお、追跡対象者が複数のカメラ20の撮影範囲内に居る場合、複数のカメラ20の撮影画像に基づく追跡処理を行う。これにより、追跡対象者の追跡を失敗して追跡対象者を見失うことを抑制できる。
行動検知部(追跡判定部)105は、各カメラ20が追跡対象者を撮影した撮影画像に基づいて、追跡対象者が万引き行為によって例えば自身の鞄や衣服のポケットに入れた商品を陳列棚に戻す行動(動作)を行ったか否かを検知する。例えば行動検知部105は、追跡部104が順次追跡する追跡領域Rに基づいて、商品が商品棚に戻されたか否かを検知する。例えば追跡対象者が、図8A、図8B、図8Cに示すような動作を行って商品を陳列棚に戻した場合、行動検知部105は、追跡領域Rに基づく追跡対象者の動作を検知し、商品が陳列棚に戻されたことを検知する。
また、例えば、万引き判別モデル121を、入力された撮影画像中の人が万引き行為を行ったか否かの判別確率のほかに、入力された撮影画像中の人が例えば自身の鞄や衣服のポケットから商品を取りだして陳列棚に戻す行動を行ったか否かの判別確率も出力するように構成することができる。このような万引き判別モデル121を用いることにより、行動検知部105は、追跡対象者の撮影画像に基づいて、追跡対象者が商品を陳列棚に戻す行動を行ったか否かを検知できる。また行動検知部105は、万引き判別モデル121とは別に、撮影画像が入力された場合に、撮影画像中の人が自身の鞄や衣服のポケットから商品を取り出して陳列棚に戻す行動を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、追跡対象者の撮影画像に基づいて、追跡対象者が商品を陳列棚に戻す行動を行ったか否かを検知してもよい。なお、万引き判別モデル121又は別の学習済モデルを用いて検知する場合、行動検知部105は、万引き判別モデル121又は別の学習済モデルに対して、各カメラ20が追跡対象者を撮影した撮影画像を入力し、万引き判別モデル121又は別の学習済モデルからの出力値を取得する。行動検知部105は、万引き判別モデル121又は別の学習済モデルからの出力値に基づいて、追跡対象者が商品を陳列棚に戻す行動を行ったか否かを検知する。
位置検知部106は、追跡対象者の位置を検知し、位置を示す位置情報を取得する。位置情報は、例えば追跡対象者から最も近い陳列棚、カメラ20、警告装置30の識別情報や、店舗内の任意の位置を基準として規定される座標系で表される座標値等、店舗内の位置を特定できる情報を用いる。なお、位置情報にカメラ20の識別情報を用いる場合、位置検知部106は、例えば追跡対象者を撮影したカメラ20のうちで、撮影画像中の追跡対象者の領域が最大であるカメラ20を特定し、このカメラ20のカメラIDを追跡対象者の位置情報として取得する。また位置検知部(検出部)106は、例えば追跡対象者がレジカウンタから所定範囲内に居るか否か、出入口から所定範囲内に居るか否か等を検知し、レジカウンタ又は出入口から所定範囲内に居る場合に、追跡対象者の位置として、レジカウンタ又は出入口の識別情報を取得してもよい。
追跡処理部103は、上述した各部の処理により、万引き検知部102が検知した万引き行為を行った追跡対象者の店舗内の移動を追跡でき、追跡対象者の位置をリアルタイムで把握できる。また追跡処理部103は、追跡対象者が万引き行為によって自身の鞄や衣服のポケット等に入れた商品を陳列棚に戻したか否かを把握できる。なお、追跡対象者が商品を陳列棚に戻したことが検知された場合、追跡処理部103は、この追跡対象者に対する追跡処理を終了する。なお、追跡処理部103は、追跡対象者に対する追跡処理を終了する際に、この追跡対象者に最も近い警告装置30によって、万引き行為を思い止まったことに対するメッセージを出力してもよい。例えば、追跡処理部103は、表示装置の警告装置30に対して、「商品を戻して頂きありがとうございます」のようなメッセージの表示指示を送信して警告装置30に表示させてもよい。また追跡処理部103は、音声出力装置の警告装置30に対して、「商品を戻して頂きありがとうございます」のような音声メッセージの出力指示を送信して警告装置30に音声出力させてもよい。
警告処理部107は、万引き検知部102によって万引き行為を行ったと検知され、追跡処理部103によって追跡処理が行われている追跡対象者に対して警告を行う。なお、警告処理部107は、警告装置DB12bに登録されている各警告装置30の設置場所と、位置検知部106が検知した追跡対象者の位置とに基づいて、追跡対象者に最も近い設置場所の警告装置30を特定する。ここでの警告装置30には第1表示装置41及び第2表示装置42も含まれる。警告処理部107は、特定した警告装置30に警告処理を行わせるために警告処理の実行指示(警告指示、警告情報)を送信する。具体的には、警告処理部107は、警告装置30が表示装置であれば、表示用の警告データとこの警告データの表示指示(警告指示、警告情報)を警告装置30へ送信する。表示装置である警告装置30は、サーバ10から表示指示を受信した場合、受信した警告データに基づいて警告画面を表示する。
図9Aは警告画面例を示しており、警告画面は、「万引きは犯罪です」のような警告メッセージや、「商品を戻して下さい」のように万引き行為の実行を思い止まらせるためのメッセージ等を表示する。また警告画面は、図9Aに示すように、万引き検知部102が万引き行為の発生を検知した際の撮影画像を表示してもよい。なお、警告画面は、個人を特定できないように、例えば図9Bに示すように、撮影画像中の追跡対象者の顔の領域にモザイク処理を施した領域Pを重畳表示させて撮影画像を表示してもよく、図9Cに示すように、撮影画像中の追跡対象者の全部の領域にモザイク処理を施した領域Pを重畳表示させてもよい。また、図9Dに示すように、撮影画像中の追跡対象者の顔の領域にキャラクタ画像の領域Pを重畳表示させてもよい。なお、警告画面は、万引き行為によって取られた商品、例えば追跡対象者が自身の鞄や衣服のポケットに入れた商品の画像を表示してもよい。この場合、サーバ10は、各商品のパッケージの画像を予め記憶部12に記憶しておき、万引き行為によって取られた商品を撮影画像に基づいて特定し、特定した商品の画像を記憶部12から読み出して警告装置30に表示させる。
また警告処理部107は、警告装置30が発光装置であれば、点灯又は点滅の実行指示(警告指示、警告情報)を警告装置30へ送信する。この場合、発光装置である警告装置30は、サーバ10から点灯又は点滅の実行指示を受信し、受信した実行指示に基づいて点灯又は点滅する。更に警告処理部107は、警告装置30が音声出力装置であれば、音声出力用の警告データとこの警告データの音声出力指示(警告指示、警告情報)を警告装置30へ送信する。この場合、音声出力装置である警告装置30は、サーバ10から音声出力指示を受信し、受信した警告データに基づいて音声を出力する。なお、警告装置30がブザーや所定の音声を出力する音声出力装置であれば、警告処理部107は、音声の出力指示(警告指示、警告情報)を警告装置30へ送信し、この場合、警告装置30は、サーバ10から受信した出力指示に基づいて所定の音声を出力する。なお、音声出力装置である警告装置30は、例えば「商品を鞄に入れていませんか」、「レジでお支払いお願いします」、「ご来店ありがとうございます。購入品はレジにてご精算ください。ただいま万引きAI作動中です。」等の音声メッセージを出力する。
次に、情報処理システム100の各装置による万引き行為の監視処理について説明する。図10は、情報処理システム100による万引き行為の監視処理の手順を示すフローチャートである。図10では左側にカメラ20が行う処理を、中央にサーバ10が行う処理を、右側に警告装置30が行う処理をそれぞれ示す。店舗内における万引き行為の監視処理を行う情報処理システム100において、カメラ20は、所定のタイミングで画像データを取得し(S11)、取得した画像データを逐次サーバ10へ送信する(S12)。なお、カメラ20は例えば1秒間に20~30フレームの画像データを取得するが、このフレーム数に限定されない。
サーバ10は、カメラ20から送信されてくる画像データを順次受信する(S13)。サーバ10は、受信した画像データをカメラDB12aに記憶すると共に、受信した画像データに基づいて、万引き行為の発生を検知する検知処理を行う(S14)。検知処理においてサーバ10は、万引き判別モデル121に対して、受信した画像データ(撮影画像)を入力し、万引き判別モデル121からの出力値を取得する。そしてサーバ10は、万引き判別モデル121からの出力値に基づいて、万引き行為が発生したか否かを判定し、万引き行為の発生を検知したか否かを判断する(S15)。例えば万引き判別モデル121の出力層のノード0からの出力値(万引き行為が発生したと判別すべき確率)が、所定値(例えば0.8)以上であった場合、又は出力層のノード1からの出力値(万引き行為が発生していないと判別すべき確率)を所定値以上上回った場合に、サーバ10は、万引き行為が発生したことを検知する。
万引き行為の発生を検知していないと判断する場合(S15:NO)、サーバ10は、ステップS13の処理に戻り、ステップS13~S15の処理を繰り返す。万引き行為の発生を検知したと判断した場合(S15:YES)、サーバ10は、検知した万引き行為を行った人(追跡対象者)の追跡処理を開始する(S16)。具体的には、サーバ10は、各カメラ20の撮影画像において、追跡対象者の撮影領域(追跡領域R)が含まれるか否かを判断し、追跡領域Rを含む撮影画像(この撮影画像を撮影したカメラ20の位置)に基づいて追跡領域Rの移動を追跡する。
サーバ10は、各カメラ20が追跡対象者を撮影した撮影画像に基づいて、追跡対象者が万引き行為によって例えば自身の鞄に入れた商品を陳列棚に戻す行動(動作)を行ったか否かを判断する(S17)。例えばサーバ10は、順次追跡する追跡領域Rに基づいて、追跡領域R中に撮影された追跡対象者の動作を検知し、追跡対象者が万引き行為によって取得した商品を商品棚に戻したか否かを検知する。なお、サーバ10は、万引き判別モデル121又は別の学習済モデル(撮影画像が入力された場合に、撮影画像中の人が自身の鞄や衣服のポケットから商品を取り出して陳列棚に戻す行動を行ったか否かを示す情報を出力するように学習された学習済モデル)を用いて、追跡対象者が商品を陳列棚に戻したか否かを判断してもよい。追跡対象者が商品を陳列棚に戻したと判断した場合(S17:YES)、サーバ10は、ステップS16で開始した追跡処理を終了し(S18)、ステップS13の処理に戻る。これにより、例えば追跡対象者が万引き行為によって自身の鞄等に入れた商品を陳列棚に戻した場合、追跡対象者の追跡処理が終了され、警告装置30による警告処理が終了される。
追跡対象者が商品を陳列棚に戻していないと判断した場合(S17:NO)、サーバ10は、追跡対象者の現在位置を検知する処理を行う(S19)。ここでは、サーバ10は、例えば追跡対象者を撮影したカメラ20のうちで、撮影画像中の追跡対象者の撮影領域(追跡領域R)が最大であるカメラ20を特定し、このカメラ20のカメラIDを追跡対象者の現在位置を示す情報として取得する。なお、サーバ10は、追跡対象者がレジカウンタ又は出入口から所定範囲内に居ることを検知した場合、レジカウンタ又は出入口の識別情報を追跡対象者の現在位置を示す情報として取得してもよい。
サーバ10は、検知した追跡対象者の現在位置と、警告装置DB12bに登録されている各警告装置30の設置場所とに基づいて、警告処理を行うべき警告装置を特定する(S20)。例えばサーバ10は、追跡対象者の現在位置に最も近い位置に設置されている警告装置30を特定する。なお、警告装置30は第1表示装置41及び第2表示装置42を含む。そしてサーバ10は、特定した警告装置30に対して、警告処理の実行指示を出力する(S21)。例えばサーバ10は、警告装置30が表示装置であれば、表示用の警告データの表示指示を警告装置30へ送信し、警告装置30が発光装置であれば、点灯又は点滅の実行指示を警告装置30へ送信する。またサーバ10は、警告装置30が音声出力装置であれば、音声出力用の警告データの音声出力指示又は所定音声の出力指示を警告装置30へ送信する。なお、サーバ10は、特定した警告装置30の位置に応じて、それぞれの警告装置30に異なる警告処理を行わせてもよい。例えば2つの警告装置30が共に表示装置であっても、サーバ10は、警告装置30の設置位置に応じて異なる表示用の警告データを各警告装置30へ送信してもよい。これにより、警告装置30の設置位置に応じた警告を行うことができる。
警告装置30は、サーバ10から取得した実行指示に従って警告処理を行う(S22)。なお、警告装置30が表示装置であれば、サーバ10から受信した表示用の警告データに基づいて警告画面を表示し、警告装置30が発光装置であれば、サーバ10から受信した実行指示に基づいて点灯又は点滅する。また、警告装置30が音声出力装置であれば、サーバ10から音声出力用の警告データを受信した場合、受信した警告データに基づいて音声出力を行い、サーバ10から所定音声の出力指示を受信した場合、受信した出力指示に基づいて所定音声の出力を行う。
サーバ10は、ステップS21の処理後、ステップS17の処理に戻り、追跡対象者が商品を陳列棚に戻すまでステップS19~S21の処理を繰り返す。上述した処理により、万引き行為の発生を検知した場合に、万引き行為を行った可能性の高い人(追跡対象者)の近傍の警告装置30にて警告処理を行うことができる。よって、万引き行為が行われた直後や万引き行為が行われてから定期的に追跡対象者に警告及び注意喚起することができる。例えば、追跡対象者に、万引き行為が発覚していることを警告できると共に、万引き行為の実行を思い止まらせるようなメッセージを通知することができる。これにより、万引き行為を行ってしまった追跡対象者に、商品を陳列棚に戻して万引き行為をやめるように促すことが期待できる。また、追跡対象者が万引き行為によって自身の鞄等に入れた商品を陳列棚に戻した場合、この追跡対象者に対する追跡処理が終了され、警告装置30による警告処理も終了される。よって、店舗の従業員等の負担を増大させることなく、万引き行為の発生を抑制できる。なお、サーバ10は、追跡対象者に対する追跡処理を終了する際に、この追跡対象者に最も近い警告装置30によって、「商品を戻して頂きありがとうございます」等のメッセージを出力(表示、音声出力)させてもよい。
本実施形態の情報処理システム100は、警告装置30及び表示装置41,42によって追跡対象者に対して警告を発するだけでなく、追跡対象者を検知した場合にサーバ10が警察署や警備会社等に通報するように構成してもよい。例えばサーバ10の制御部11は、同一の追跡対象者に対する追跡処理部103による追跡処理を所定時間(例えば5分間、10分間等)継続して行ったか否かを判断し、所定時間継続して行った場合に、所定の警備会社の端末に通報情報を出力する構成を有してもよい。またサーバ10の制御部11は、追跡処理部103による追跡処理によって追跡対象者が店舗外に出たか否かを判断し、店舗外に出た場合に、警察署の端末に通報情報を出力する構成を有してもよい。警備会社の端末及び警察署の端末は、サーバ10から通報情報を取得した場合、例えばランプを点灯又は点滅させたり、所定の音声メッセージを出力することによって、警備会社の警備員や警察署の警察官に万引き行為の通報があったことを通知する。このような構成を備えることにより、例えば万引き行為を行った追跡対象者が所定時間商品を持ったまま店舗内に滞在している場合に警備会社に通報することができ、また追跡対象者が店舗外に出た場合に警察署に通報することができる。警備会社又は警察署では、サーバ10からの通報を受けた場合に、万引き行為に対する対応を行うことができる。なお、警備会社に通報するタイミングや警察署に通報するタイミングは上述したタイミングに限定されない。
また、サーバ10は、警察署や警備会社のほかに、店舗の本社や店舗を管轄する本部等に追跡対象者を検知したことを通報するようにしてもよい。例えばサーバ10の制御部11は、同一の追跡対象者に対する追跡処理を所定時間継続して行った場合や、追跡対象者が店舗外に出た場合に、店舗の本社や本部の端末に通報情報を出力してもよい。この場合でも、店舗の本社や本部の端末は、例えばランプを点灯又は点滅させたり、所定の音声メッセージを出力することによって、本社や本部の担当者に万引き行為の通報があったことを通知する。このような構成を備えることにより、万引き行為の発生を店舗の本社や本部においても把握できる。警備会社、警察署、店舗の本社や本部に通報するタイミングは適宜設定変更可能である。例えば、同一の追跡対象者に対する追跡処理の継続時間だけでなく、追跡中の追跡対象者に対する警告処理の実行回数に応じたタイミングで通報するようにしてもよい。即ち、追跡処理を所定時間継続して行った場合や追跡対象者に対する警告処理を所定回数行った場合、この追跡対象者は商品を陳列棚に戻さずに退店する可能性が高いとして、警察署等に通報する構成としてもよい。
本実施形態では、店舗内に設けられたカメラ20の撮影画像に基づいて万引き行為が発生したか否かを検知する処理をAI(Artificial Intelligence:人工知能)を用いて行うことができる。よって、店舗の従業員等がカメラ20の撮影画像を監視する必要がない。また人が全ての撮影画像を目視で確認することは非常に困難であるが、サーバ10は全ての撮影画像に基づいて万引き行為の検知を行うので、撮影画像を有効に利用できる。
本実施形態において、カメラ20で撮影した画像データに基づいて万引き行為が行われたか否かを検知する機能を、カメラ20に設けてもよい。例えば、カメラ20は撮影処理を行い、取得した画像データに基づいて万引き行為の検知処理を行い、万引き行為が行われたことを検知した場合に、サーバ10に通知するように構成される。この場合、サーバ10は、カメラ20から万引き行為が行われたことを通知された後に、追跡対象者の追跡処理を行うように構成される。このような構成とした場合であっても、上述した実施形態1と同様の効果が得られる。
(実施形態2)
店舗内の人(顧客)が商品を手に取ったか否かを検知する処理を行い、商品を手に取ったことを検知した場合に、万引き行為が行われたか否かを検知する処理を行う情報処理システム100について説明する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100の各装置と同じ装置によって構成される。図11は、実施形態2のサーバ10の制御部11によって実現される機能を示すブロック図、図12は、実施形態2のサーバ10が行う処理を説明するための模式図、図13及び図14A及び図14Bは、実施形態2の万引き判別モデル121の構成例を示す模式図である。
店舗内の人(顧客)が商品を手に取ったか否かを検知する処理を行い、商品を手に取ったことを検知した場合に、万引き行為が行われたか否かを検知する処理を行う情報処理システム100について説明する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100の各装置と同じ装置によって構成される。図11は、実施形態2のサーバ10の制御部11によって実現される機能を示すブロック図、図12は、実施形態2のサーバ10が行う処理を説明するための模式図、図13及び図14A及び図14Bは、実施形態2の万引き判別モデル121の構成例を示す模式図である。
本実施形態の情報処理システム100において、サーバ10の制御部11は、記憶部12に記憶してある制御プログラム12Pを実行した場合、図6に示す各機能に加えて把持検知部108の機能を実現する。把持検知部108は、画像取得部101が各カメラ20から取得した画像データ(撮影画像)に基づいて、撮影画像中に撮影されている人が商品を手に取ったか否か(把持したか否か)を検知する。例えば店舗内で販売されている商品のパッケージの画像を予め記憶部12に記憶しておき、把持検知部108は、各カメラ20が撮影した画像データと、記憶部12に記憶してある各商品のパッケージの画像とに基づいて、撮影画像中の人がいずれかの商品を手にしたか否かを検知する。例えば把持検知部108は、順次取得される撮影画像において商品の撮影領域を検出し、商品の撮影領域が移動する場合、この商品は顧客の手に取られているものと判断する。また把持検知部108は、順次取得される撮影画像において商品の撮影領域と人の手の撮影領域とを検出し、商品の撮影領域が人の手の撮影領域と重なった場合に、この商品は顧客の手に取られたと判断してもよい。なお、把持検知部108によって撮影画像中の人が商品を手に取ったか否かを検知する処理は、これらに限らない。
本実施形態の万引き検知部102は、把持検知部108によって、撮影画像中の人が商品を手に取ったことを検知された場合に、万引き判別モデル121を用いて、撮影画像中の人が万引き行為を行ったか否かを検知する。本実施形態の万引き判別モデル121は、実施形態1の万引き判別モデル121と同様の構成である。なお、実施形態1の万引き判別モデル121ではカメラ20による撮影画像(画像データ)が入力データであったが、本実施形態の万引き判別モデル121では、撮影画像から抽出された顧客領域R1が入力データとなる。
万引き検知部102は、把持検知部108によって撮影画像中の人が商品を手に取ったことを検知された場合、図12に示すように、撮影画像から、検知された人を含む顧客領域R1を抽出する。そして、万引き検知部102は、図13に示すように、顧客領域R1を、入力層を介して万引き判別モデル121に入力する。なお、本実施形態の万引き判別モデル121は、例えば図14A及び図14Bに示すように、把持検知部108によって顧客が手に取っていると検知された商品を含む商品領域R2を、入力層を介して万引き判別モデル121に入力する構成としてもよい。このような構成とした場合であっても、万引き検知部102は、商品を手に取った人が万引き行為を行ったか否かを検知できる。
図15は、実施形態2の情報処理システム100による万引き行為の監視処理の手順を示すフローチャートである。図15には左側にカメラ20が行う処理を、右側にサーバ10が行う処理をそれぞれ示す。図15に示す処理は、図10に示す処理において、ステップS13,S14の間にステップS31~S32の処理を追加したものである。よって、図10と同様のステップについては説明を省略する。また図15では、図10中のステップS15~S22の図示を省略する。
本実施形態の情報処理システム100において、サーバ10は、カメラ20から送信されてくる画像データを受信した場合(S13)、受信した画像データをカメラDB12aに記憶すると共に、受信した画像データに基づいて、画像データ(撮影画像)中に撮影された人(店舗内の顧客)が商品を手に取ったか否かを検知する把持検知処理を行う(S31)。サーバ10は、把持検知処理によって、撮影画像中の人が商品を手に取ったか否かを判断し(S32)、撮影画像中の人が商品を手に取っていないと判断した場合(S32:NO)、ステップS13の処理に戻る。サーバ10は、撮影画像中の人が商品を手に取ったと判断した場合(S32:YES)、ステップS14に処理を進め、受信した画像データに基づいて、万引き行為の発生を検知する検知処理を行う(S14)。なお、このときサーバ10は、撮影画像から、商品を手に取ったと検知された人の撮影領域(顧客領域R1)を抽出し、抽出した顧客領域R1に基づいて、万引き行為の検知処理を行う。
本実施形態では、実施形態1と同様の効果が得られる。また、本実施形態では、カメラ20で取得された撮影画像から、商品を手に取った人の撮影領域(顧客領域R)を抽出し、顧客領域Rに基づいて万引き判別モデル121による判別処理を行う。よって、少ないデータ量の顧客領域R1を用いるので、効率良く且つ精度の高い判別処理を行うことができる。
(実施形態3)
警告装置30が設置位置に応じて異なる警告処理を行う情報処理システム100について説明する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100の各装置と同じ装置によって構成される。なお、第1表示装置41及び第2表示装置42は警告装置30の1つと見なすので、第1表示装置41及び第2表示装置42の情報も警告装置DB12bに記憶されている。本実施形態の情報処理システム100において、サーバ10の制御部11は、記憶部12に記憶してある制御プログラム12Pを実行した場合、図6に示す各機能と同様の機能を実現する。なお、本実施形態では、警告処理部107が行う処理が、実施形態1と若干異なるので、異なる処理についてのみ説明する。
警告装置30が設置位置に応じて異なる警告処理を行う情報処理システム100について説明する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100の各装置と同じ装置によって構成される。なお、第1表示装置41及び第2表示装置42は警告装置30の1つと見なすので、第1表示装置41及び第2表示装置42の情報も警告装置DB12bに記憶されている。本実施形態の情報処理システム100において、サーバ10の制御部11は、記憶部12に記憶してある制御プログラム12Pを実行した場合、図6に示す各機能と同様の機能を実現する。なお、本実施形態では、警告処理部107が行う処理が、実施形態1と若干異なるので、異なる処理についてのみ説明する。
本実施形態の警告処理部107は、実施形態1と同様に、追跡処理部103によって追跡処理が行われている追跡対象者に対して、追跡対象者に近い位置に設置されている警告装置30によって警告を行う。ここで、本実施形態の警告処理部107は、追跡対象者に近い警告装置30が第1表示装置41又は第2表示装置42である場合、他の警告装置30(表示装置である警告装置30)とは異なる警告画面を表示して警告を行う。具体的には、警告処理部107は、追跡対象者に最も近い設置場所の警告装置30を特定した場合、特定した警告装置30が第1表示装置41又は第2表示装置42であるか否かを判断する。そして警告処理部107は、特定した警告装置30が第1表示装置41及び第2表示装置42でないと判断した場合、即ち、追跡対象者がレジカウンタ又は出入口の近傍に居ない場合、店舗内の追跡対象者の近傍の警告装置30にて警告を行う。ここでの警告装置30が表示装置である場合、例えば「レジでお支払いお願いします」のような警告メッセージを表示させる。また警告処理部107は、特定した警告装置30が第1表示装置41であると判断した場合、即ち、追跡対象者がレジカウンタの近傍に居る場合、第1表示装置41に例えば「万引きになるので、レジでお支払いお願いします」のような警告メッセージを表示させる(第1警告処理を行う)。更に警告処理部107は、特定した警告装置30が第2表示装置42であると判断した場合、即ち、追跡対象者が出入口の近傍に居る場合、第2表示装置42に例えば図9A又は図9Bに示すような警告画面を表示させる(第2警告処理を行う)。このように第1表示装置41と第2表示装置42とにおいて異なる警告画面を表示することにより、警告レベルが異なる警告処理を行うことができる。なお、表示装置である警告装置30及び表示装置41,42に表示される警告メッセージは、上述のメッセージに限定されず、例えば「万引き防止AIが作動中です」「万引きは犯罪です」等の警告メッセージや、キャラクタが話す吹き出しに警告メッセージが表示された警告画面であってもよい。またこのような警告メッセージや警告画面を記載した貼り紙やステッカー等をレジカウンタや出入口の近傍、店舗内の壁等に貼付しておいてもよい。
追跡対象者は、店舗内の陳列棚の前等で万引き行為を行った後、出入口から店舗外に出ていく場合と、店舗内で万引き行為を行いつつ一部の商品についてレジカウンタで支払いを行った後、出入口から店舗外に出ていく場合とが考えられる。本実施形態では、このような追跡対象者に対してまず陳列棚の近傍で警告を行い、警告に応じず商品を陳列棚に戻さない場合はレジカウンタの近傍で警告を行い、それでも商品を陳列棚に戻さない場合は出入口の近傍で警告を行うことができる。このように追跡対象者の移動に伴い警告装置30を切り替えつつ注意喚起することができる。また、本実施形態では、追跡対象者が陳列棚の近傍に居る場合と、レジカウンタの近傍に居る場合と、出入口の近傍に居る場合とにおいて、警告画面に表示される内容を変更することにより、追跡対象者が居る場所に応じた警告を行うことができる。例えば、追跡対象者が陳列棚の近傍に居る場合と、追跡対象者がレジカウンタに来た場合と、追跡対象者が出入口に来た場合とにおいて、順に警告レベルを上げた警告メッセージを表示させることができる。
図16は、実施形態3の情報処理システム100による万引き行為の監視処理の手順を示すフローチャートである。図16には左側から順にサーバ10、第1表示装置41、第2表示装置42及び警告装置30が行う処理を示す。図16に示す処理は、図10に示す処理において、ステップS20,S21の間にステップS41~S46の処理を追加したものである。よって、図10と同様のステップについては説明を省略する。また図16では、図10中のステップS11~S16及びS18の図示を省略する。
本実施形態の情報処理システム100において、サーバ10は、ステップS20で警告装置30を特定した後、特定した警告装置30が第1表示装置41であるか否かを判断する(S41)。特定した警告装置30が第1表示装置41であると判断した場合(S41:YES)、サーバ10は、第1表示装置41に対して、表示用の第1警告データを送信する(S42)。第1表示装置41は、サーバ10から送信された第1警告データを受信し、受信した第1警告データに基づく警告画面を表示する(S43)。
特定した警告装置30が第1表示装置41でないと判断した場合(S41:NO)、サーバ10は、特定した警告装置30が第2表示装置42であるか否かを判断する(S44)。特定した警告装置30が第2表示装置42であると判断した場合(S44:YES)、サーバ10は、第2表示装置42に対して、表示用の第2警告データを送信する(S45)。第2表示装置42は、サーバ10から送信された第2警告データを受信し、受信した第2警告データに基づく警告画面を表示する(S46)。特定した警告装置30が第2表示装置42でないと判断した場合(S44:NO)、サーバ10は、ステップS21に処理を移行する。
サーバ10は、ステップS42,S45又はS21の処理後、ステップS17の処理に戻り、追跡対象者が商品を陳列棚に戻すまでステップS19~S21,S41~S42,S44~S45の処理を繰り返す。上述した処理により、万引き行為の発生を検知した場合に、万引き行為を行った可能性の高い人(追跡対象者)の近傍の警告装置30にて警告を行うことができると共に、追跡対象者がレジカウンタ又は出入口の近傍に来た場合に所定の警告メッセージにて警告を行うことができる。
本実施形態では、例えば万引き行為を行った直後に、万引き行為を行った人(追跡対象者)に警告及び注意喚起することができる。また、追跡対象者がレジカウンタに来た場合や出入口に来た場合にそれぞれ第1表示装置41及び第2表示装置42に所定の警告画面を表示させることにより、追跡対象者の場所及び状況に応じた警告を行うことができる。また、店舗内に分散配置された各警告装置30において、例えば万引き行為を行ってからの経過時間が長くなるほど、警告レベルが高い警告処理を行うようにしてもよい。例えば、万引き行為を行った直後は、発光装置である警告装置30によって光を点灯又は点滅させることによる警告を行い、その後商品を陳列棚に戻さない場合には、表示装置である警告装置30に警告画面を表示させて警告を行い、それでも商品を陳列棚に戻さない場合には、音声出力装置である警告装置30に警告メッセージを音声出力させて警告を行うようにしてもよい。
本実施形態において、レジカウンタに設けられた第1表示装置41の近傍に発光装置の警告装置30を設け、追跡対象者がレジカウンタに来た場合に、この警告装置30にて光の点灯又は点滅を行うことにより、レジカウンタに居る従業員に追跡対象者の存在を通知するようにしてもよい。また、出入口に設けられた第2表示装置42の近傍に発光装置や音声出力装置の警告装置30を設け、追跡対象者が店舗外に出ようとした場合に、この警告装置30による警告処理を行い、店舗の従業員に追跡対象者が店舗外に出ようとしていることを通知するようにしてもよい。これにより、店舗の従業員等は追跡対象者の存在を把握することができ、追跡対象者が店舗外に出た時点で追跡対象者の身柄を確保することができる。
本実施形態において、追跡対象者がレジカウンタ又は出入口の近傍に来たか否かは、例えば、レジカウンタに並んだ人又は出入口から店舗外に出ようとする人を撮影するカメラによる撮影画像に基づいて検知するようにしてもよい。例えば、サーバ10の追跡処理部103によって追跡対象者の撮影画像(撮影領域R)を取得しておく。そして、レジカウンタに並んでいる人又は出入口から店舗外に出ようとしている人の撮影画像から、追跡対象者の撮影領域Rを含む撮影画像を検索する。追跡対象者の撮影領域Rを含む撮影画像が検索できた場合に、追跡対象者がレジカウンタに並んでいる又は出入口から店舗外に出ようとしていると検知してもよい。
また、本実施形態の情報処理システム100において、サーバ10は、警告装置30及び表示装置41,42による警告処理を行うと共に、予め登録されているスマートフォンや携帯端末に追跡対象者の存在を通知してもよい。例えば万引き行為の発生を検知した時点や、追跡対象者がレジカウンタ又は出入口の近傍に来た場合に、店舗の店長が管理するスマートフォンや携帯端末に追跡対象者の存在を通知してもよい。これにより、店舗の店長や従業員は追跡対象者の行動を監視できる。また、サーバ10は、万引き行為の発生を検知した撮影画像を、例えば店舗内の従業員控室に設けられている表示装置に表示して、従業員控室に居る従業員等に通知してもよい。
(実施形態4)
万引き行為だけでなく、店舗の従業員(店員)による内引き行為(窃盗行為)も監視する情報処理システム100について説明する。図17は、実施形態4の情報処理システム100の各装置の配置例を示す模式図である。本実施形態の情報処理システム100は、図2に示す実施形態1の情報処理システム100の各装置に加え、店舗内のバックヤードに設けられたカメラ50及び警告装置30と、店長や従業員の控室に設けられた控室用表示装置43とを含む。バックヤードに設けられたカメラ50及び警告装置30も、控室に設けられた控室用表示装置43も、例えば店舗内に設けられたLAN又はインターネット等のネットワークに接続されている。バックヤードは例えば店頭に陳列されていない商品を保管する倉庫、部屋、冷蔵庫等であり、控室は例えば従業員が休憩する部屋等である。
万引き行為だけでなく、店舗の従業員(店員)による内引き行為(窃盗行為)も監視する情報処理システム100について説明する。図17は、実施形態4の情報処理システム100の各装置の配置例を示す模式図である。本実施形態の情報処理システム100は、図2に示す実施形態1の情報処理システム100の各装置に加え、店舗内のバックヤードに設けられたカメラ50及び警告装置30と、店長や従業員の控室に設けられた控室用表示装置43とを含む。バックヤードに設けられたカメラ50及び警告装置30も、控室に設けられた控室用表示装置43も、例えば店舗内に設けられたLAN又はインターネット等のネットワークに接続されている。バックヤードは例えば店頭に陳列されていない商品を保管する倉庫、部屋、冷蔵庫等であり、控室は例えば従業員が休憩する部屋等である。
バックヤードに設けられるカメラ50は、バックヤード内に居る人が商品を手に取る様子を撮影できるように、例えば天井に設置されている。図17に示す例では、バックヤード内に2つのカメラ50が設けられているが、バックヤード内の全領域を撮影できればカメラ50の個数は2つに限定されない。また図17に示す例では、バックヤード内に1つの警告装置30が設けられているが、2つ以上の警告装置30が設けられていてもよい。また、バックヤードに隣接して設けられる陳列棚が、顧客が商品を取り出すためのドアを前方に有し、店舗の従業員が商品を補充するための商品投入口を後方に有するウォークイン冷蔵庫である場合、後方の商品投入口にカメラ50を設けてもよい。この場合、カメラ50は、商品投入口の近傍に居る従業員を撮影できるように設置される。
本実施形態の情報処理システム100において、サーバ10の制御部11は、記憶部12に記憶してある制御プログラム12Pを実行した場合、図6に示す各機能と同様の機能を実現する。なお、本実施形態では、警告処理部107が行う処理が、実施形態1と若干異なるので、異なる処理についてのみ説明する。
本実施形態の警告処理部107は、実施形態1と同様に、追跡処理部103によって追跡処理が行われている追跡対象者に対して、追跡対象者に近い位置に設置されている警告装置30によって警告を行う。ここで、本実施形態の警告処理部107は、追跡対象者が店舗の従業員であるか否かを判断する。例えば各従業員の顔の撮影画像を予めサーバ10の記憶部12に登録しておき、警告処理部(特定部)107は、追跡処理部103が追跡する追跡対象者の撮影領域Rと、各従業員の顔の撮影画像とに基づいて、追跡対象者が従業員のうちの誰であるかを特定する。本実施形態の警告処理部107は、追跡対象者が店舗の従業員でないと判断した場合、即ち、万引き行為が行われた場合、実施形態1と同様の処理を行う。一方、本実施形態の警告処理部107は、追跡対象者が店舗の従業員であると判断した場合、即ち、内引き行為が行われた場合、実施形態1と同様に追跡対象者(店舗の従業員)に対して警告処理を行いつつ、控室用表示装置43に通知画面を表示する。これにより、内引き行為を行った従業員に警告を行うと共に、控室に居る店長等に内引き行為の発生を通知できる。なお、バックヤードに設けられたカメラ20で撮影された撮影画像に基づいて万引き行為の発生が検知された場合に、内引き行為が発生したと判断して、追跡対象者が従業員のうちの誰であるかを特定してもよい。追跡対象者が店舗の従業員であるか否かの判断は、万引き検知部102が万引き行為の発生を検知した場合に、万引き検知部102によって行われてもよい。
図18は、実施形態4の情報処理システム100による万引き行為の監視処理の手順を示すフローチャートである。図18には左側にサーバ10が行う処理を、中央に控室用表示装置43が行う処理を、右側に警告装置30が行う処理をそれぞれ示す。図18に示す処理は、図10に示す処理において、ステップS21の処理の後にステップS51~S54の処理を追加したものである。よって、図10と同様のステップについては説明を省略する。また図18では、図10中のステップS11~S16及びS18の図示を省略する。
本実施形態の情報処理システム100において、サーバ10は、ステップS21で追跡対象者の現在位置に最も近い位置の警告装置30に対して警告処理の実行指示を出力した後、この追跡対象者が店舗の従業員であるか否かを判断する。即ち、サーバ10は、ステップS14で検知された万引き行為が従業員による内引き行為であるか否かを判断する(S51)。例えばサーバ10は、予め記憶部12に登録してある各従業員の顔の撮影画像と、追跡対象者をカメラ20,50で撮影した撮影画像(撮影領域R)とに基づいて、追跡対象者が従業員の中にいるか否かを判断する。サーバ10は、追跡対象者が店舗の従業員であると判断した場合、即ち、内引き行為が行われたと判断した場合(S51:YES)、内引き行為を行った追跡対象者を従業員の中から特定する(S52)。
サーバ10は、追跡対象者に特定した従業員を通知するための通知データを生成して控室用表示装置43に対して送信する(S53)。控室用表示装置43は、サーバ10から送信された通知データを受信し、受信した通知データに基づく通知画面を表示する(S54)。これにより、内引き行為が行われた場合に、控室に居る店長等に通知することができる。サーバ10は、追跡対象者が店舗の従業員の中にいないと判断した場合、即ち、内引き行為ではないと判断した場合(S51:NO)、又はステップS53の処理後、ステップS17の処理に戻り、追跡対象者が商品を陳列棚又はバックヤード内の所定位置に戻すまでステップS19~S21,S51~S53の処理を繰り返す。上述した処理により、万引き行為又は内引き行為を行った追跡対象者に対して警告を行うことができると共に、控室に居る店長等に内引き行為の発生を通知できる。控室用表示装置43の代わりに、例えば店舗の店長のみが使用するスマートフォンや携帯端末に内引き行為の発生を通知してもよい。
本実施形態では、店舗の売り場内で発生する万引き行為だけでなく、例えば店舗のバックヤード内で発生する内引き行為についても監視及び警告できる。よって、内引き行為を行った可能性の高い追跡対象者(店舗の従業員)に対して警告及び注意喚起することにより、追跡対象者に、追跡対象者が行っている行為は内引き行為であることを警告でき、内引き行為の実行をやめるように促すことができる。また、内引き行為を行った追跡対象者についても、内引き行為によって取得した商品を例えば元の位置に戻すことにより、この追跡対象者に対する追跡処理が終了され、警告装置30による警告処理が終了される。
本実施形態において、内引き行為の発生が検知された場合に、内引き行為が行われたと判定された撮影画像を、内引き行為を行ったと特定された従業員の従業員IDに対応付けて記憶部12に記憶してもよい。この場合、内引き行為の発生履歴を撮影画像に基づいて確認することができる。また、各従業員が退店(帰宅)する際に、例えば各従業員のIDカードを読み取り機にて読み取らせる等、退店作業を行う場合がある。このように読み取り機にて従業員IDが読み取られた際に、読み取られた従業員IDが、内引き行為を行った従業員の従業員IDに一致する場合に警告処理を行うようにしてもよい。例えば、読み取り機の近傍に表示装置を設けておき、この表示装置に、図9A又は図9Bに示すような警告画面を表示させて従業員に警告してもよい。これにより、従業員は、自身の行為が内引き行為であり、内引き行為を行ったことが発覚していることを把握できるので、内引き行為を行ったことに対する対応を行うことができる。
本実施形態の構成は、実施形態2,3の情報処理システム100にも適用でき、実施形態2,3の情報処理システム100に適用した場合であっても、同様の効果が得られる。
(実施形態5)
万引き行為の発生を検知していない場合に、表示装置である警告装置30に所定の画面を表示させる情報処理システム100について説明する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100の各装置と同じ装置によって構成される。本実施形態の情報処理システム100において、サーバ10の制御部11は、記憶部12に記憶してある制御プログラム12Pを実行した場合、図6に示す各機能を実現する。なお、本実施形態の情報処理システム100では、サーバ10は、カメラ20によって取得する画像データに基づいて万引き行為の発生を検知していない場合、広告用の画像(動画)や万引き行為を抑制するためのアナウンス画像等を表示装置の警告装置30に表示する処理を行う。広告用の画像を表示するための画像データ(広告用データ)及びアナウンス画像を表示するための画像データ(アナウンス用データ)は、予めサーバ10の記憶部12に記憶してあってもよいし、サーバ10がネットワーク経由で外部装置から受信して記憶部12に記憶してもよい。
万引き行為の発生を検知していない場合に、表示装置である警告装置30に所定の画面を表示させる情報処理システム100について説明する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100の各装置と同じ装置によって構成される。本実施形態の情報処理システム100において、サーバ10の制御部11は、記憶部12に記憶してある制御プログラム12Pを実行した場合、図6に示す各機能を実現する。なお、本実施形態の情報処理システム100では、サーバ10は、カメラ20によって取得する画像データに基づいて万引き行為の発生を検知していない場合、広告用の画像(動画)や万引き行為を抑制するためのアナウンス画像等を表示装置の警告装置30に表示する処理を行う。広告用の画像を表示するための画像データ(広告用データ)及びアナウンス画像を表示するための画像データ(アナウンス用データ)は、予めサーバ10の記憶部12に記憶してあってもよいし、サーバ10がネットワーク経由で外部装置から受信して記憶部12に記憶してもよい。
図19は、実施形態5の情報処理システム100による万引き行為の監視処理の手順を示すフローチャートである。図19に示す処理は、図10に示す処理において、サーバ10が行うステップS13の前にステップS61~S65の処理を追加したものである。よって、図10と同様のステップについては説明を省略する。また図19では、図10中のステップS19~S22の図示を省略する。
本実施形態の情報処理システム100において、サーバ10は、例えば記憶部12に記憶してある広告用の画像を表示するための画像データ(広告用データ)を読み出し、表示装置である警告装置30へ送信する(S61)。表示装置である警告装置30は、サーバ10から順次送信されてくる広告用データを受信し、受信した広告用データに基づいて広告画面を表示する(S62)。サーバ10は、表示装置である警告装置30に広告画面を表示させつつ、アナウンス画像を表示する所定のタイミングが到来したか否かを判断する(S63)。アナウンス画像を表示するタイミングは例えば30分毎、1時間毎等とすることができる。サーバ10は、表示装置である警告装置30に広告画面を表示させてから所定時間が経過したか否か、又は前回アナウンス画像を表示させてから所定時間が経過したか否かを判断し、経過していた場合、アナウンス画像を表示するタイミングが到来したと判断する。
アナウンス画像を表示するタイミングが到来したと判断した場合(S63:YES)、サーバ10は、例えば記憶部12に記憶してあるアナウンス画像を表示するための画像データ(アナウンス用データ)を読み出し、表示装置である警告装置30へ送信する(S64)。表示装置である警告装置30は、サーバ10から送信されたアナウンス用データを受信し、受信したアナウンス用データに基づいてアナウンス画面を表示する(S65)。アナウンス画面は例えば「万引きは犯罪です」、「見つけしだい通報します」等の警告メッセージを表示する。サーバ10は、表示装置である警告装置30に広告画面又はアナウンス画面を表示させつつ、カメラ20から送信されてくる画像データを受信した場合(S13)、受信した画像データに基づいて、万引き行為の発生を検知する検知処理を行う(S14)。なお、本実施形態のサーバ10は、万引き行為の発生検知していない場合(S15:NO)、及び追跡処理を終了した場合(S18)、ステップS61の処理に戻る。
上述した処理により、サーバ10が万引き行為の発生を検知していない場合や、追跡対象者が商品を陳列棚に戻した後は、広告画面や万引き行為を抑制するためのアナウンス画面を警告装置30(表示装置)に表示できる。よって、万引き行為が発生していない場合には、広告画面を表示させることにより、店舗の顧客の購買意欲を向上させることができ、アナウンス画面を表示させることにより、万引き行為を行わないように注意喚起を行うことができる。またサーバ10が万引き行為の発生を検知した場合、警告画面を警告装置30(表示装置)に表示して追跡対象者に警告を発することができる。なお、警告画面は、万引き行為を行った追跡対象者の近くの警告装置30(表示装置)に表示されるので、その他の警告装置30(表示装置)には引き続き広告画面やアナウンス画面を表示させてもよい。広告画面や万引き行為を抑制するためのアナウンス画面を表示する時間(即ち、動画の再生時間)は適宜変更可能である。これにより、万引き行為が行われていない通常状態では、広告画面やアナウンス画面が表示される情報処理システム100において、万引き行為が行われた場合に、万引き行為を行った人の近くの警告装置30に警告画面を表示して警告を発することができる。
本実施形態の構成は、実施形態2~4の情報処理システム100にも適用でき、実施形態2~4の情報処理システム100に適用した場合であっても、同様の効果が得られる。
(実施形態6)
上述した各実施形態の情報処理システム100において、万引き判別モデル121の代わりに、又は万引き判別モデル121と共に、画像データが入力された場合に、画像データ中に撮影された人が暴力行為を行ったか否かを示す情報を出力するように学習された暴力行為判別モデルを用いてもよい。暴力行為判別モデルは、人の撮影画像と、撮影画像中の人が暴力行為を行ったか否かを示す情報とを含む教師データを用いて学習された学習済モデルである。図20は、暴力行為判別モデルの学習用の撮影画像の例を示す模式図である。暴力行為判別モデルは、図20に示すように暴力行為を行いそうな人や暴力行為を行っている人を撮影して得られた画像データ(撮影画像)と、撮影画像中の人が暴力行為を行ったことを示す情報(正解ラベル)とを1セットとした教師データを用いて学習する。これにより、上述した各実施形態の情報処理システム100において、各カメラ20で取得した撮影画像を暴力行為判別モデルに入力した場合に、撮影画像中の人が暴力行為を行っているか否かを示す情報(判別確率)が出力される。
上述した各実施形態の情報処理システム100において、万引き判別モデル121の代わりに、又は万引き判別モデル121と共に、画像データが入力された場合に、画像データ中に撮影された人が暴力行為を行ったか否かを示す情報を出力するように学習された暴力行為判別モデルを用いてもよい。暴力行為判別モデルは、人の撮影画像と、撮影画像中の人が暴力行為を行ったか否かを示す情報とを含む教師データを用いて学習された学習済モデルである。図20は、暴力行為判別モデルの学習用の撮影画像の例を示す模式図である。暴力行為判別モデルは、図20に示すように暴力行為を行いそうな人や暴力行為を行っている人を撮影して得られた画像データ(撮影画像)と、撮影画像中の人が暴力行為を行ったことを示す情報(正解ラベル)とを1セットとした教師データを用いて学習する。これにより、上述した各実施形態の情報処理システム100において、各カメラ20で取得した撮影画像を暴力行為判別モデルに入力した場合に、撮影画像中の人が暴力行為を行っているか否かを示す情報(判別確率)が出力される。
このように学習させた暴力行為判別モデルをサーバ10の記憶部12に記憶しておき、制御部(暴力判定部)11が、暴力行為判別モデルを用いて、各カメラ20で取得された撮影画像(画像データ)に基づいて、撮影画像中に撮影されている人が暴力行為を行ったか否かを検知する。また、制御部(報知部)11は、撮影画像中に撮影されている人が暴力行為を行っていることを検知した場合、例えば店舗内に設けられた警告装置30を用いて暴力行為の発生を報知してもよい。このような構成とした場合、万引き行為又は内引き行為が行われたことを検知できるだけでなく、店舗内に暴力行為が行われたことも検知でき警告できる。なお、万引き判別モデル121を、万引き行為が行われたか否かを判別するだけでなく、暴力行為が行われたか否かも判別するように構成してもよい。このように暴力行為の発生を検知できる学習済モデルを用いる場合、店舗に限らず、例えば役所や警察署等の窓口で暴力行為の発生を検知して警告するシステムにも適用できる。
また、本実施形態の情報処理システム100において、サーバ10は、暴力行為の発生を検知した時点で警察署や警備会社、店舗の本社や本部等に通報する構成を有してもよい。例えばサーバ10の制御部11は、暴力行為判別モデルを用いて各カメラ20で取得された撮影画像中の人が暴力行為を行ったことを検知した場合に、警察署、所定の警備会社、店舗の本社や本部等における端末に通報情報を出力する構成を有する。警備会社の端末、警察署の端末、店舗の本社や本部の端末は、サーバ10から通報情報を取得した場合、例えばランプを点灯又は点滅させたり、所定の音声メッセージを出力することによって、警備会社の警備員、警察署の警察官、本社や本部の担当者等に暴力行為の通報があったことを通知する。このような構成を備えることにより、例えば暴力行為が行われた場合に早期に警備会社、警察署、店舗の本社や本部に通報することができ、それぞれの担当者は暴力行為の発生を把握できる。警備会社、警察署、店舗の本社や本部では、サーバ10からの通報を受けた場合に、暴力行為に対する対応を行うことができる。
(実施形態7)
万引き行為だけでなく、店舗の従業員による内引き行為も監視する情報処理システム100において、内引き行為が発生した場合は警告処理を行わずに、例えば店長が使用する端末装置に内引き行為が発生したことを通知する構成について説明する。本実施形態の情報処理システム100は、実施形態1,4の情報処理システム100の各装置と同じ装置によって構成される。なお、本実施形態の情報処理システム100は、図17に示す実施形態4の情報処理システム100において、バックヤード内に警告装置30が設けられている必要はない。
万引き行為だけでなく、店舗の従業員による内引き行為も監視する情報処理システム100において、内引き行為が発生した場合は警告処理を行わずに、例えば店長が使用する端末装置に内引き行為が発生したことを通知する構成について説明する。本実施形態の情報処理システム100は、実施形態1,4の情報処理システム100の各装置と同じ装置によって構成される。なお、本実施形態の情報処理システム100は、図17に示す実施形態4の情報処理システム100において、バックヤード内に警告装置30が設けられている必要はない。
本実施形態の情報処理システム100において、サーバ10の制御部11は、記憶部12に記憶してある制御プログラム12Pを実行した場合、図6に示す各機能と同様の機能を実現する。なお、本実施形態では、万引き検知部102が行う処理が、実施形態1,4と若干異なるので、異なる処理についてのみ説明する。
本実施形態の万引き検知部102は、実施形態1,4と同様に、万引き判別モデル121を用いて、各カメラ20で取得された撮影画像(画像データ)に基づいて、撮影画像中に撮影されている人が万引き行為を行ったか否かを検知する。そして、本実施形態の万引き検知部102は、万引き行為の発生を検知した場合に、万引き行為を行った人が店舗の従業員であるか(即ち、内引き行為であるか)、従業員以外の顧客であるか(即ち、万引き行為であるか)を判断する。なお、万引き行為を行った人が店舗の従業員であるか否かの判断は、実施形態4の警告処理部107が、追跡対象者が店舗の従業員であるか否かを判断する処理と同様の処理である。具体的には、各従業員の顔の撮影画像を予めサーバ10の記憶部12に登録しておき、万引き検知部102(特定部)は、万引き行為を行った人の撮影領域と、各従業員の顔の撮影画像とに基づいて、万引き行為を行った人が従業員のうちの誰であるかを特定する。また、バックヤードに設けられたカメラ20で撮影された撮影画像に基づいて万引き行為の発生が検知された場合に、内引き行為が発生したと判断してもよく、内引き行為が発生したと判断した後に、内引き行為を行った従業員が誰であるかを特定してもよい。
本実施形態の追跡処理部103は、万引き検知部102によって万引き行為を行った人が店舗の従業員でないと判断された場合、即ち、万引き行為が行われた場合、実施形態1,4と同様に万引き行為を行った人(顧客)を追跡する処理を行う。一方、万引き検知部102によって万引き行為を行った人が店舗の従業員であると判断された場合、即ち、内引き行為が行われた場合、本実施形態のサーバ10(制御部11)は、追跡処理部103による追跡処理及び警告処理部107による警告処理を行わずに、内引き行為を行った従業員をリストに追加する。これにより、内引き行為が行われた場合は、内引き行為を行った従業員に警告せず、内引き行為を行った従業員リストにリストアップしておく。このように内引き行為を行った従業員のリストを作成しておくことにより、後に店長等に内引き行為の発生を報告できる。
図21は、実施形態7の情報処理システム100による万引き行為の監視処理の手順を示すフローチャートである。図21には左側にカメラ20が行う処理を、右側にサーバ10が行う処理をそれぞれ示す。図21に示す処理は、図10に示す処理において、ステップS15のYESとステップS16との間にステップS71~S73の処理を追加したものである。よって、図10と同様のステップについては説明を省略する。また図21では、図10中のステップS17~S22の図示を省略する。
本実施形態の情報処理システム100において、サーバ10は、ステップS15で万引き行為の発生を検知したと判断した場合(S15:YES)、検知した万引き行為が従業員による内引き行為であるか否かを判断する(S71)。例えばサーバ10は、万引き行為の発生を検知した画像データが、バックヤードに設けられたカメラ20で撮影された撮影画像であるか否かを判断し、バックヤードのカメラ20で撮影された撮影画像であると判断した場合、内引き行為であると判断する。また、サーバ10は、万引き行為の発生を検知した画像データ(撮影画像)を、予め記憶部12に登録してある各従業員の顔の撮影画像と照合し、万引き行為を行った人が従業員の中にいるか否かを判断し、従業員の中にいると判断した場合、内引き行為が発生したと判断してもよい。サーバ10は、検知した万引き行為が内引き行為ではないと判断した場合(S71:NO)、即ち、顧客による万引き行為が行われた場合、ステップS16の処理に移行し、実施形態1と同様にステップS16以降の処理を行う。
一方、検知した万引き行為が内引き行為であると判断した場合(S71:YES)、即ち、従業員による内引き行為が行われた場合、サーバ10は、内引き行為を行った従業員を特定する(S72)。そしてサーバ10は、特定した従業員(内引き行為を行った従業員)を、内引き行為を行った従業員リスト(通知情報)に追加する(S73)。具体的には制御部11は、例えば内引き行為が発生した日時、特定した従業員の情報(例えば氏名)、内引き行為の発生を検知した画像データ(撮影画像)を対応付けて記憶部12に記憶しておく。これにより、記憶部12に記憶した情報に基づいて、内引き行為を行った従業員のリストを作成することができる。図22は、内引き行為を行った従業員のリストの例を示す模式図である。図22に示すように、制御部11は、内引き行為が発生した日時、従業員の情報、撮影画像を対応付けて表示したリストを作成することができる。サーバ10の制御部11(送信部)は、作成したリストを、例えば店長が使用する端末装置、控室に設けられた控室用表示装置43等の所定の端末に送信する。これにより、内引き行為を行った従業員のリストを所定の端末で表示させることができ、店長等は内引き行為の発生を把握することができる。サーバ10の制御部11は、ステップS73の処理後、ステップS13の処理に戻り、カメラ20から逐次送信されてくる画像データを受信し(S13)、受信した画像データに基づいて、ステップS14以降の処理を行う。
上述した処理により、本実施形態では、店舗の従業員が内引き行為を行った場合に、警告処理は行わずに、内引き行為を行った従業員リストにリストアップすることができる。なお、サーバ10が記憶部12に記憶した情報に基づいて、内引き行為を行った従業員のリストを作成することができ、作成したリストによって、従業員による内引き行為の発生履歴を店長等に通知(報告)できる。
本実施形態の構成は、上述した各実施形態の情報処理システム100に適用でき、各実施形態の情報処理システム100に適用した場合であっても、同様の効果が得られる。また、上述した実施形態4の情報処理システム100においても、内引き行為が発生した場合に、内引き行為を行った従業員の情報を蓄積しておくことにより、内引き行為を行った従業員のリストを作成するように構成できる。このような構成とした場合、内引き行為が発生した場合に、内引き行為を行った従業員を店長等に通知できると共に、内引き行為を行った従業員をリストアップしておくことができ、後日確認することができる。
(実施形態8)
店舗内の人の挙動を検知する処理を行い、挙動が正常でない人を検知した場合に、万引き行為が行われたか否かを検知する処理を行う情報処理システム100について説明する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100の各装置と同じ装置によって構成される。図23は、実施形態8のサーバ10の制御部11によって実現される機能を示すブロック図である。
店舗内の人の挙動を検知する処理を行い、挙動が正常でない人を検知した場合に、万引き行為が行われたか否かを検知する処理を行う情報処理システム100について説明する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100の各装置と同じ装置によって構成される。図23は、実施形態8のサーバ10の制御部11によって実現される機能を示すブロック図である。
本実施形態の情報処理システム100において、サーバ10の制御部11は、記憶部12に記憶してある制御プログラム12Pを実行した場合、図6に示す各機能に加えて挙動検知部109の機能を実現する。挙動検知部109は、画像取得部101が各カメラ20から取得した画像データ(撮影画像)に基づいて、撮影画像中に撮影されている人の挙動が正常であるか否かを検知する。挙動検知部109は、例えば挙動判別モデル122を用いて、撮影画像中の人の挙動が正常であるか否かを検知する。挙動判別モデル122は、万引き判別モデル121と同様の構成を有し、人を撮影して得られた画像データ(撮影画像)と、撮影画像中の人の挙動が正常であるか正常でないかを示す情報(正解ラベル)とを1セットとした教師データを用いて学習された学習済モデルである。挙動が正常でない状態とは、例えばキョロキョロ周囲を見回す行動、店舗内をウロウロ歩く行動等を行っている状態である。このような挙動判別モデル122に、各カメラ20で取得した撮影画像を入力することにより、撮影画像中の人の挙動が正常であるか正常でないかを示す情報(判別確率)が出力される。なお、挙動判別モデル122は、サーバ10で学習が行われてもよいし、異なる学習装置で学習された後にサーバ10の記憶部12に記憶されてもよい。
挙動検知部109は、挙動判別モデル122に対して、画像取得部101が取得した各カメラ20の撮影画像を入力し、挙動判別モデル122からの出力値に基づいて、撮影画像中の人の挙動が正常であるか否かを判定する。例えば挙動検知部109は、挙動判別モデル122から、挙動が正常であると判別すべき確率として出力された出力値が所定値(例えば0.8)以上であった場合に、撮影画像中の人の挙動が正常であると判定する。本実施形態の万引き検知部102は、挙動検知部109によって撮影画像中の人の挙動が正常でないことが検知された場合に、万引き判別モデル121を用いて、撮影画像中の人が万引き行為を行ったか否かを検知する。
図24は、実施形態8の情報処理システム100による万引き行為の監視処理の手順を示すフローチャートである。図24には左側にカメラ20が行う処理を、右側にサーバ10が行う処理をそれぞれ示す。図24に示す処理は、図10に示す処理において、ステップS13,S14の間にステップS81~S82の処理を追加したものである。よって、図10と同様のステップについては説明を省略する。また図24では、図10中のステップS15~S22の図示を省略する。
本実施形態の情報処理システム100において、サーバ10は、カメラ20から送信されてくる画像データを受信した場合(S13)、受信した画像データをカメラDB12aに記憶すると共に、受信した画像データに基づいて、画像データ(撮影画像)中に撮影された人(店舗内の顧客)の挙動が正常であるか否かを検知する挙動検知処理を行う(S81)。サーバ10は、挙動検知処理によって、撮影画像中の人の挙動が正常であるか否かを判断し(S82)、撮影画像中の人の挙動が正常であると判断した場合(S82:YES)、ステップS13の処理に戻る。サーバ10は、撮影画像中の人の挙動が正常でないと判断した場合(S82:NO)、ステップS14に処理を進め、受信した画像データに基づいて、万引き行為の発生を検知する検知処理を行う(S14)。ステップS14以降の処理は実施形態1で説明した処理と同様である。
本実施形態では、上述した各実施形態と同様の効果が得られる。また、本実施形態では、カメラ20で取得された撮影画像に基づいて店舗内での挙動が正常でない人の有無を検知し、店舗内での挙動が正常でない人を検知した場合に、この人が万引き行為を行うか否かを判別する。よって、挙動が正常でない人に対して万引き行為を行ったか否かの判別処理を行うことにより、万引き行為を行う可能性の高い人に注目して万引き検知処理を行うので、効率よく処理を行うことができる。本実施形態の構成は、上述した各実施形態の情報処理システム100に適用でき、各実施形態の情報処理システム100に適用した場合であっても、同様の効果が得られる。
上述した各実施形態において、撮影画像中の人が万引き行為を行っているか否かを判別するための判別モデルと、撮影画像中の人(従業員)が内引き行為を行っているか否かを判別するための判別モデルと、撮影画像中の人が暴力行為を行っているか否かを判別するための判別モデルと、撮影画像中の人の挙動が正常であるか否かを判別するための判別モデルとを各別に設けてもよい。また、それぞれの判別処理をまとめて1つの判別モデルで出力できるように判別モデル(万引き判別モデル121)を構成してもよい。また、万引き行為及び内引き行為において、商品を開封する行為を行っているか否かを判別するための判別モデル、飲料ボトルを開けて飲む行為を行っているか否かを判別するための判別モデル等を各別に設けてもよいし、それぞれの判別処理をまとめて1つの判別モデルで出力できるように判別モデルを構成してもよい。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本開示の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
10 サーバ
11 制御部
12 記憶部
20 カメラ
30 警告装置
41 第1表示装置
42 第2表示装置
100 情報処理システム
101 画像取得部
102 万引き検知部
103 追跡処理部
104 追跡部
105 行動検知部
106 位置検知部
107 警告処理部
11 制御部
12 記憶部
20 カメラ
30 警告装置
41 第1表示装置
42 第2表示装置
100 情報処理システム
101 画像取得部
102 万引き検知部
103 追跡処理部
104 追跡部
105 行動検知部
106 位置検知部
107 警告処理部
Claims (12)
- 店舗内に分散配置された複数の撮像装置及び複数の警告装置と、
画像データが入力された場合に、前記画像データ中に撮像された人が窃盗行為を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、前記複数の撮像装置が取得した画像データに基づいて、窃盗行為が行われたか否かを判定する窃盗判定部と、
窃盗行為が行われたと判定した場合、窃盗行為を行った人の近傍に配置された前記警告装置にて警告を行う警告処理部と
を備える情報処理システム。 - 前記警告装置は表示装置を含み、
前記警告処理部は、前記窃盗行為によって取られた商品の画像を前記表示装置に表示して警告を行う
請求項1に記載の情報処理システム。 - 前記警告装置は発光装置又は音声出力装置を含み、
前記警告処理部は、前記発光装置に光を点灯又は点滅させ、或いは、前記音声出力装置に所定の音声を出力させて警告を行う
請求項1又は2に記載の情報処理システム。 - 前記警告装置は表示装置を含み、
前記警告処理部は、前記窃盗行為が行われたと判定された画像データを前記表示装置に表示して警告を行う
請求項1から3までのいずれかひとつに記載の情報処理システム。 - 前記警告装置は、前記店舗内のレジカウンタ及び出口の近傍を含む複数箇所に配置してあり、
前記窃盗行為を行った人が前記レジカウンタ又は出口の近傍に居るか否かを検出する検出部を更に備え、
前記警告処理部は、前記窃盗行為を行った人が前記レジカウンタの近傍に居ることを検出した場合、前記レジカウンタの近傍に配置された前記警告装置にて第1警告処理を行い、前記窃盗行為を行った人が前記出口の近傍に居ることを検出した場合、前記出口の近傍に配置された前記警告装置にて、前記第1警告処理とは異なる第2警告処理を行う
請求項1から4までのいずれかひとつに記載の情報処理システム。 - 前記窃盗判定部にて窃盗行為が行われたと判定した場合、前記撮像装置が取得する画像データに基づいて、前記窃盗行為を行った人を追跡する追跡部と、
前記追跡部が追跡する人を前記撮像装置が撮像して取得した画像データに基づいて、前記窃盗行為によって取られた商品が陳列棚に戻されたか否かを判定する追跡判定部とを更に備え、
前記追跡部は、前記窃盗行為によって取られた商品が陳列棚に戻されたと判定した場合、追跡処理を終了する
請求項1から5までのいずれかひとつに記載の情報処理システム。 - 前記撮像装置は、前記店舗内のバックヤード内の箇所を含む複数箇所に配置してあり、
前記バックヤード内に配置された前記撮像装置が取得した画像データに基づいて窃盗行為が行われたと前記窃盗判定部が判定した場合、前記窃盗行為を行った人を、複数の従業員の中から特定する特定部を更に備える
請求項1から6までのいずれかひとつに記載の情報処理システム。 - 画像データが入力された場合に、前記画像データ中に撮像された人が暴力行為を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、前記複数の撮像装置が取得した画像データに基づいて、暴力行為が行われたか否かを判定する暴力判定部と、
暴力行為が行われたと判定した場合、報知する報知部と
を更に備える請求項1から7までのいずれかひとつに記載の情報処理システム。 - 窃盗行為が行われたと前記窃盗判定部が判定した場合、前記窃盗行為が行われたと判定された画像データを、前記店舗内の従業員控室内に配置された表示装置に表示する表示部を更に備える請求項1から8までのいずれかひとつに記載の情報処理システム。
- 店舗のバックヤード内に配置された撮像装置と、
画像データが入力された場合に、前記画像データ中に撮像された人が窃盗行為を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、前記撮像装置が取得した画像データに基づいて、窃盗行為が行われたか否かを判定する窃盗判定部と、
窃盗行為が行われたと判定した場合、窃盗行為を行った人を複数の従業員の中から特定する特定部と、
特定した従業員を通知する通知情報を所定の装置へ送信する送信部と
を備える情報処理システム。 - 情報処理装置が、
画像データが入力された場合に、前記画像データ中に撮像された人が窃盗行為を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、店舗内に分散配置された複数の撮像装置が取得した画像データに基づいて、窃盗行為が行われたか否かを判定し、
窃盗行為が行われたと判定した場合、前記店舗内に分散配置された複数の警告装置のうちの前記窃盗行為を行った人の近傍に配置された前記警告装置にて警告を行う
処理を実行する情報処理方法。 - コンピュータに、
画像データが入力された場合に、前記画像データ中に撮像された人が窃盗行為を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、店舗内に分散配置された複数の撮像装置が取得した画像データに基づいて、窃盗行為が行われたか否かを判定し、
窃盗行為が行われたと判定した場合、前記店舗内に分散配置された複数の警告装置のうちの前記窃盗行為を行った人の近傍に配置された前記警告装置へ警告情報を出力する
処理を実行させるプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-230320 | 2018-12-07 | ||
JP2018230320A JP6573185B1 (ja) | 2018-12-07 | 2018-12-07 | 情報処理システム、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020116482A1 true WO2020116482A1 (ja) | 2020-06-11 |
Family
ID=67909601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/047305 WO2020116482A1 (ja) | 2018-12-07 | 2019-12-04 | 情報処理システム、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6573185B1 (ja) |
WO (1) | WO2020116482A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6981463B2 (ja) * | 2017-03-06 | 2021-12-15 | 日本電気株式会社 | 商品監視装置、商品監視システム、出力先装置、商品監視方法、表示方法及びプログラム |
JP7455542B2 (ja) | 2019-09-27 | 2024-03-26 | キヤノン株式会社 | 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム |
JP6795667B1 (ja) * | 2019-10-24 | 2020-12-02 | 日本金銭機械株式会社 | ネットワークシステム、不審者検知装置、および不審者検知方法 |
JP6801902B1 (ja) * | 2019-10-26 | 2020-12-16 | Assest株式会社 | 子供***兆候判別プログラム及びシステム |
JP2021093649A (ja) * | 2019-12-11 | 2021-06-17 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
WO2023181328A1 (ja) * | 2022-03-25 | 2023-09-28 | 日本電気株式会社 | 情報処理装置、情報処理装置の制御方法、及び、情報処理装置の制御プログラムが格納された記録媒体 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10154279A (ja) * | 1996-11-21 | 1998-06-09 | Fujitsu Ten Ltd | 盗難防止装置 |
JP2005347905A (ja) * | 2004-06-01 | 2005-12-15 | Oki Electric Ind Co Ltd | 防犯支援システム |
JP2006318313A (ja) * | 2005-05-13 | 2006-11-24 | Omron Corp | 撮影制御装置、撮影制御方法、制御プログラム、制御プログラムを記録した記録媒体、撮影制御システム、および情報処理システム |
JP2007200239A (ja) * | 2006-01-30 | 2007-08-09 | Sato Corp | 不正持出し警告システム |
JP2009122996A (ja) * | 2007-11-15 | 2009-06-04 | Hitachi Kokusai Electric Inc | 監視カメラシステム |
WO2016147770A1 (ja) * | 2015-03-19 | 2016-09-22 | 日本電気株式会社 | 監視システム及び監視方法 |
JP2018093283A (ja) * | 2016-11-30 | 2018-06-14 | マクセル株式会社 | 監視情報収集システム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010287198A (ja) * | 2009-06-15 | 2010-12-24 | Tofit Corp | 車載機器の盗難防止装置 |
JP2013258650A (ja) * | 2012-06-14 | 2013-12-26 | Sharp Corp | 盗難防止対応通信端末およびシステム |
-
2018
- 2018-12-07 JP JP2018230320A patent/JP6573185B1/ja active Active
-
2019
- 2019-12-04 WO PCT/JP2019/047305 patent/WO2020116482A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10154279A (ja) * | 1996-11-21 | 1998-06-09 | Fujitsu Ten Ltd | 盗難防止装置 |
JP2005347905A (ja) * | 2004-06-01 | 2005-12-15 | Oki Electric Ind Co Ltd | 防犯支援システム |
JP2006318313A (ja) * | 2005-05-13 | 2006-11-24 | Omron Corp | 撮影制御装置、撮影制御方法、制御プログラム、制御プログラムを記録した記録媒体、撮影制御システム、および情報処理システム |
JP2007200239A (ja) * | 2006-01-30 | 2007-08-09 | Sato Corp | 不正持出し警告システム |
JP2009122996A (ja) * | 2007-11-15 | 2009-06-04 | Hitachi Kokusai Electric Inc | 監視カメラシステム |
WO2016147770A1 (ja) * | 2015-03-19 | 2016-09-22 | 日本電気株式会社 | 監視システム及び監視方法 |
JP2018093283A (ja) * | 2016-11-30 | 2018-06-14 | マクセル株式会社 | 監視情報収集システム |
Also Published As
Publication number | Publication date |
---|---|
JP6573185B1 (ja) | 2019-09-11 |
JP2020091812A (ja) | 2020-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020116482A1 (ja) | 情報処理システム、情報処理方法及びプログラム | |
US9911294B2 (en) | Warning system and method using spatio-temporal situation data | |
US9135499B2 (en) | Predictive theft notification for the prevention of theft | |
JP2022002399A (ja) | 監視システム及び監視方法 | |
US20030107650A1 (en) | Surveillance system with suspicious behavior detection | |
JP6402219B1 (ja) | 防犯システム、防犯方法、及びロボット | |
TW200841737A (en) | Video analytics for banking business process monitoring | |
JP6440327B2 (ja) | 防犯システム、防犯方法、及びロボット | |
JP7416165B2 (ja) | 情報処理装置 | |
JP2008257487A (ja) | 顔認証応用万引き検知システム | |
KR102182660B1 (ko) | 시공간 특징을 이용한 폭력 감지 시스템, 방법 및 상기 방법을 수행하도록 하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 | |
JP5903557B2 (ja) | セキュリティシステム | |
JP6836173B2 (ja) | 万引き防止システム及びそれに使用される店舗側装置並びにセンタ側装置 | |
TWI671701B (zh) | 交易行為偵測系統及其方法 | |
JP6707774B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP7138547B2 (ja) | 店舗装置 | |
JP2003169320A (ja) | 監視方法及び監視システム | |
JP2017027568A (ja) | 万引防止牽制システム | |
JP6739119B6 (ja) | 危険度判別プログラム及びシステム | |
Abraham et al. | Future predicting intelligent camera security system | |
Vrskova et al. | Violent Behavioral Activity Classification Using Artificial Neural Network | |
JP7310834B2 (ja) | 情報処理装置 | |
Dijk et al. | Intelligent sensor networks for surveillance | |
JP3212615U (ja) | 特定者表示システム | |
Mahmood Ali et al. | Strategies and tools for effective suspicious event detection from video: a survey perspective (COVID-19) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19893309 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19893309 Country of ref document: EP Kind code of ref document: A1 |