WO2019181499A1 - 店舗管理装置および店舗管理方法 - Google Patents

店舗管理装置および店舗管理方法 Download PDF

Info

Publication number
WO2019181499A1
WO2019181499A1 PCT/JP2019/008808 JP2019008808W WO2019181499A1 WO 2019181499 A1 WO2019181499 A1 WO 2019181499A1 JP 2019008808 W JP2019008808 W JP 2019008808W WO 2019181499 A1 WO2019181499 A1 WO 2019181499A1
Authority
WO
WIPO (PCT)
Prior art keywords
store
visitor
information
product
management
Prior art date
Application number
PCT/JP2019/008808
Other languages
English (en)
French (fr)
Inventor
晋哉 山崎
瑞人 関根
誉典 江原
彩加 後藤
有香 菅野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to CN201980020016.XA priority Critical patent/CN111868773A/zh
Priority to US16/981,638 priority patent/US20210027318A1/en
Priority to JP2020508164A priority patent/JP7371614B2/ja
Publication of WO2019181499A1 publication Critical patent/WO2019181499A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions

Definitions

  • the present invention relates to a store management device and a store management method.
  • Patent Document 1 discloses an information processing system using face authentication, and can manage store visitor information on a data table. Specifically, in Patent Document 1, member registration information and store visitor face information are associated with each other and recorded as store visitor information in the store visitor database (paragraph 0060). Is deleted from the store visitor database (paragraph 0071).
  • the above-mentioned store visitor database proves that the store visitor exists in the store by storing information about the store visitor, but the store visitor information can be applied to automatic processing of store management.
  • store visitor information can be used for merchandise management and settlement within the store.
  • the present invention has been made in view of the above-described problems, and an object of the present invention is to provide a store management apparatus and a store management method capable of applying store visitor information to store management automatic processing.
  • the store management device exits from the store after completion of the predetermined process, and a store visitor table generation unit that generates a store visitor table that records information on store visitors who visit the store. And a store visitor table management unit that deletes store visitor information from the store visitor table.
  • the store management method generates a store visitor table that records information of store visitors who visit the store, and stores the information of the store customers leaving the store after completing the predetermined processing. Delete from the user table
  • the predetermined processing is, for example, settlement of merchandise purchase by a store visitor.
  • the store visitor table is used for determining whether to leave the store when the store exits the store.
  • FIG. 1 is an external view of a store management system including a store management device according to an embodiment of the present invention. It is a perspective view showing the state where a plurality of merchandise shelves are arranged in a store to which the store management system is applied.
  • It is a hardware block diagram of the store management apparatus by one Embodiment of this invention. It is a functional block diagram of the store management apparatus by one Embodiment of this invention. It is a flowchart of a visitor table production
  • FIG. 1 is an external view of a store management system 100 including a store management apparatus 1 according to an embodiment of the present invention.
  • the store management device 1 is communicatively connected to various devices provided in the store 20.
  • An entrance / exit gate 2 is installed at the entrance of the store 20.
  • a plurality of product shelves 21 are installed in the store 20. Various products are displayed on the product shelf 21.
  • a visitor enters or exits through the entrance / exit gate 2 of the store 20.
  • the entrance / exit gate 2 is provided with an entrance / exit camera 24, which captures a face of a customer entering the store through the entrance / exit gate 2 and transmits the face image to the store management device 1.
  • an entrance / exit gate 2 is assumed to be installed in the store 20, the entrance gate and the exit gate may be installed at different positions in the store 20.
  • the store 20 is not limited to a manned store where a store clerk is resident, and may be an unmanned store where a store clerk is not resident.
  • a POS terminal may be installed in the store 20, and a store clerk may manually operate the POS terminal to settle a product purchased by a customer and taken out of the store 20.
  • a sensing device such as a camera may be installed in the store 20, and automatic payment may be made for a product that a visitor purchases and takes out of the store 20.
  • the customer touches the product displayed on the product shelf 21, picks up the product from the product shelf 21, puts the product into the cart, etc. Exit through entrance gate 2.
  • a sensing device such as a photographing device or a motion sensor installed in the store 20 until the store visitor enters the store 20 through the entrance / exit gate 2 and then exits the store.
  • Sensing information for determining product identification information, position information, and the like taken by the customer is acquired and transmitted to the store management device 1.
  • the store management apparatus 1 executes predetermined processing such as automatic settlement of purchased products, processing for presenting a list of recommended products to the store visitor, and storage processing for products that the store visitor has put in the cart.
  • the store management device 1 records information related to the store visitor (store visitor information) in the database when executing the above-described predetermined processing.
  • the store visitor information certifies that the store visitor exists in the store 20, but the store management device 1 performs appropriate store management automatic processing using the store visitor information.
  • FIG. 2 is a perspective view showing a state in which a plurality of product shelves 21 are arranged in the store 20, and shows how a store visitor selects a product from the product shelf 21 and picks it up.
  • the first camera 3 that captures the face image of the store visitor is provided at the top of the product shelf 21, but a plurality of first cameras 3 may be provided.
  • a motion sensor 4 that senses the motion of a visitor (customer) is installed above the product shelf 21.
  • a second camera 5 that captures an image of a product picked up by a visitor or a product returned to the product shelf 21 is installed above the product shelf 21.
  • the first camera 3 and the second camera 5 do not need to be installed on the product shelf 21 and may be installed at other locations such as the ceiling or floor of the store 20.
  • the first camera 3 may be installed at a position where the face image of the visitor can be photographed
  • the second camera 5 is located at a position where the image of the product picked up by the visitor or the product returned to the product shelf 21 can be photographed.
  • the product shelf 21 is provided with a store installation terminal 22.
  • FIG. 3 is a hardware configuration diagram of the store management apparatus 1.
  • the store management device 1 includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, an HDD (Hard Disk Drive) 104, an interface 105, and a communication module 106.
  • the HDD 104 may be an SDD (Solid State Drive).
  • FIG. 4 is a functional block diagram of the store management apparatus 1.
  • the CPU 101 of the store management apparatus 1 implements the functional unit shown in FIG. 4 by reading and executing a store management program stored in advance in the ROM 102, the HDD 104, or the like. That is, the store management device 1 includes a control unit 10, a visitor table generation unit 11, a first position information acquisition unit 12, a second position information acquisition unit 13, an action detection unit 14, a process target person specifying unit 15, and a visitor table.
  • a management unit 16, a sales management unit 17, a settlement management unit 18, and a store leaving permission unit 19 are provided.
  • the store management device 1 is connected to the database 40.
  • the store management device 1 is connected to various devices installed in the store 20 via the first communication network 8, and specifically, the entrance / exit gate 2, the first camera 3, the motion The sensor 4, the second camera 5, the commodity detection sensor 6, the gate device 23, and the entrance / exit camera 24 are communicatively connected.
  • the first communication network 8 is, for example, a dedicated network that connects the store management device 1 and various devices installed in the store 20.
  • the store management device 1 is communicatively connected to a terminal 7 carried by the visitor via the second communication network 9.
  • the second communication network 9 is, for example, a mobile phone network, a wireless communication network, the Internet, or the like. When a visitor enters the store 20, the terminal 7 may be connected to the first communication network 8 instead of the second communication network 9.
  • the control unit 10 controls the other functional units 11-19.
  • the store visitor table generation unit 11 stores store visitor information, and generates a store visitor table that is used to determine whether or not to leave the store.
  • the visitor information is, for example, the facial feature amount of the visitor, the visitor ID, and the address of the terminal 7 carried by the visitor.
  • the first position information acquisition unit 12 obtains the first position information indicating the position of the biometric feature information of the visitor approaching the product displayed on the product shelf 21 based on the face image of the visitor photographed by the first camera 3. get.
  • the first camera 3 is used for detecting biometric feature information of a person shown in the imaging range. For example, the first camera 3 is installed on the product shelf 21 and photographs the face of a person located in front of the product shelf 21.
  • the biometric feature information may be, for example, human face feature information, human eye iris feature information, or the like.
  • the first position information acquisition unit 12 may acquire first position information indicating the position of the biometric feature information of the visitor based on the face image of the visitor acquired from the entrance / exit camera 24.
  • the second position information acquisition unit 13 acquires second position information indicating the position of the target person who has reached the product among the persons approaching the product shelf 21.
  • the motion sensor 4 is installed, for example, on the ceiling above the product shelf 21, and detects a target person below when viewed from the ceiling.
  • the act detection unit 14 detects an act of moving a product or an act of a visitor. For example, the act of moving the product is detected based on the image of the second camera 5 that captures the product displayed on the product shelf 21 and the product detection information by the product detection sensor 6.
  • the act of moving a product means an act of a customer picking up a product, an act of returning the product to the product shelf 21, an act of contacting the product by the customer, an act of putting the product into a cart by the customer.
  • the action detection unit 14 detects whether or not a product has been delivered to the store visitor in the store 20. Furthermore, the action detection unit 14 tracks the position of the store visitor who moves in the store 20.
  • the processing target person specifying unit 15 obtains the biometric feature information of the target person who performed the moving action on the product based on the ID and position of the product on which the moving action was performed, and the positional relationship between the first position information and the second position information.
  • the identification and the ID of the person corresponding to the biometric feature information are read from the store visitor table.
  • the store visitor table management unit 16 deletes the store visitor information from the store visitor table or updates the store visitor information in the store visitor table after completing the settlement of the purchased product of the store visitor.
  • the sales management unit 17 generates a sales management table that stores information (product information) of products that the store visitor takes and carries.
  • the settlement management unit 18 performs settlement for the merchandise purchased by the store visitor and determines whether or not the settlement has been completed. For example, when the store visitor information exists in the store visitor table and the product information of the unsettled purchase product is stored in the sales management table, the settlement management unit 18 displays a message prompting the settlement of the purchase product. The information is transmitted to a device in the vicinity of the customer (for example, the customer's terminal 7). When the store visitor information regarding the store visitor leaving the store 20 has been deleted from the store visitor table, the store exit permission unit 19 outputs the store exit permission to a predetermined device. In addition, the store leaving permission unit 19 outputs a store leave permission to a predetermined device when the product information regarding the unsettled purchased product of the visitor is not recorded in the sales management table.
  • FIG. 5 is a flowchart of the store visitor table generation process (steps S101 to S105).
  • the store visitor table generation unit 11 acquires a store visitor's face image from the entrance / exit camera 24 (S101).
  • the store visitor table generation unit 11 compares the feature amount of the face image of the store visitor with the feature amount of the face image of a large number of customers (hereinafter referred to as registered users) stored in advance in the database 40.
  • the feature amount of the registered user who can be recognized as the same person as the store visitor is selected from the database 40 (S102).
  • the store visitor table generation unit 11 reads the registered user ID associated with the feature amount of the registered user from the database 40, and acquires the address of the registered user terminal 7 recorded in the database 40 in association with the registered user ID. (S103).
  • the visitor table generation unit 11 transmits the identity confirmation information to the visitor's terminal 7 (S104).
  • the visitor table generation unit 11 records the registered user ID, the feature amount of the visitor's face image, and the address of the visitor's terminal 7 in the visitor table (S105). Thereby, a store visitor table is generated for store visitors who entered the store 20.
  • the store visitor table generation unit 11 uses the store visitor's face image acquired by the first camera 3 installed in the store 20 instead of the store visitor's face image acquired from the entrance / exit camera 24.
  • the store visitor table may be generated by executing steps S101 to S105.
  • the store visitor table described above is also used for detecting the movement of goods by the store management apparatus 1. Specifically, using the information recorded in the store visitor table, the store visitor who picked up the product from the product shelf 21 is specified, and the store visitor carrying the product is specified. Further, the store visitor table is also used for other processing of the store management device 1. For example, using the information recorded in the store visitor table, it is possible to specify a store visitor who will settle the purchased product, and to specify a store visitor who leaves the store 20.
  • the first camera 3 captures a person such as a visitor located in front of the product shelf 21 from the product shelf 21 side, and transmits the captured still image or moving image to the store management device 1.
  • the motion sensor 4 senses a store visitor located below the product shelf 21 such as the ceiling of the store 20 and transmits the sensing information to the store management device 1.
  • the sensing information of the motion sensor 4 for example, a distance image obtained by converting a distance to the position of an object obtained by infrared rays into an image may be used.
  • the commodity detection sensor 6 is installed for each commodity displayed on the commodity shelf 21.
  • the product detection sensor 6 has a sheet-like shape laid under the product, and is a pressure sensor that detects pressure due to the weight of the product or a weight sensor that detects the weight of the product. There may be.
  • the product detection sensor 6 includes a product acquisition signal including the sensor ID and the coordinates in the store 20 assigned to the product on the product shelf 21. Is transmitted to the store management apparatus 1.
  • the processing target person specifying unit 15 includes the correspondence relationship between the time when the coordinates indicating the position of the feature information and the skeleton information of the person acquired from the first camera 3, the motion sensor 4, and the second camera 5 are detected, and the product detection sensor 6.
  • the store visitor ID is specified from the store visitor table based on the product ID stored in association with the acquired sensor ID and the correspondence between the times when the coordinates are detected. In this way, the processing target person specifying unit 15 specifies the processing target person.
  • FIG. 6 is a flowchart of the store visitor ID specifying process (steps S1101 to S1111).
  • the first position information acquisition unit 12 captures several to several tens of images per second from each of the plurality of first cameras 3 installed so as to be able to photograph a customer who is located in front of the product shelf 21. get.
  • the first position information acquisition unit 12 detects the biometric feature information of the store visitor reflected in the image acquired from the first camera 3 (S1101).
  • the biometric feature information may be human face feature information, eye iris feature information, or the like.
  • the first position information acquisition unit 12 calculates the spatial coordinates from which the biometric feature information is acquired. For example, when the three-dimensional imaging space area based on the angle of view and the imaging direction is determined in advance, the first position information acquisition unit 12 acquires the three-dimensional imaging space area by the first camera 3 from the database 40, and 3 in the three-dimensional imaging space area where the biometric feature information appears based on a predetermined calculation formula based on the three-dimensional imaging space area, the coordinates of the biometric feature information that appeared in the image, the size of the biometric feature information, and the like. Dimensional coordinates are calculated.
  • the first position information acquisition unit 12 uses the conversion formula from the three-dimensional coordinates in the three-dimensional imaging space area of the first camera 3 to the three-dimensional coordinates in the shop space area, and the store space area where the biometric feature information appears.
  • the three-dimensional coordinates are calculated (S1102).
  • the first position information acquisition unit 12 can acquire the biometric feature information from the image, the ID of the first camera 3 that transmitted the image, the detection time, the biometric feature information, and the store where the biometric feature information has appeared.
  • the three-dimensional coordinates in the space area are associated with each other and recorded in the first processing table (S1103).
  • the second position information acquisition unit 13 is installed on the ceiling above the product shelf 21 and is capable of photographing a store visitor located in front of the product shelf 21 from the upper side to the lower side in a second. Obtain several to dozens of distance images.
  • the second position information acquisition unit 13 analyzes the image of the visitor reflected in the distance image of the motion sensor 4, and the skeleton such as the position of the visitor's head in the image and the axis of the arm that the visitor extends toward the product. Information is detected (S1104).
  • the skeletal information includes, for example, vectors and coordinates indicating the linear part of the visitor's arm axis obtained by analyzing the distance image, the coordinates of the tip of the visitor's hand, and the like.
  • the skeleton information includes at least coordinates and vectors for specifying the position of the head, arm, hand tip, etc. as viewed from above, and an expression representing the axis of the arm.
  • the second position information acquisition unit 13 calculates the spatial coordinates of the visitor's arm and the tip of the hand from the skeleton information. To do. Similar to the first position information acquisition unit 12, the second position information acquisition unit 13 stores a three-dimensional imaging space area based on the angle of view and the imaging direction in advance.
  • the second position information acquisition unit 13 acquires the three-dimensional imaging space area for the motion sensor 4 from the database 40, the three-dimensional imaging space area, the in-image coordinates of the skeleton information that appeared in the image, and the motion sensor 4. Based on the distance or the like, the three-dimensional coordinates in the three-dimensional imaging space region where the skeleton information appears are calculated by a predetermined calculation formula. In addition, the second position information acquisition unit 13 uses the conversion formula from the three-dimensional coordinates in the three-dimensional imaging space area to the three-dimensional coordinates in the shop space area, and the three-dimensional coordinates in the store space area where the skeleton information appears. Is calculated (S1105).
  • the second position information acquisition unit 13 can acquire the skeleton information from the image, the ID of the motion sensor 4 that transmitted the image, the detection time, the skeleton information, and the store space area in which the skeleton information appears.
  • the three-dimensional coordinates are associated and recorded in the second processing table (S1106).
  • the product detection sensor 6 detects, for example, the weight of the product or the pressure due to the weight of the product, and transmits predetermined information to the store management device 1 according to the increase or decrease of the weight or pressure of the product.
  • product acquisition action information including a flag indicating the reduction, the sensor ID, the display position of the product, and the detection time of the product acquisition action is transmitted to the store management device 1.
  • the merchandise detection sensor 6 has merchandise return action information including an increase flag, a sensor ID, a merchandise display position, and a merchandise return action detection time when an increase in the weight or pressure of the merchandise is greater than or equal to a threshold value. Is transmitted to the merchandise management apparatus 1.
  • the action detection unit 14 acquires product acquisition action information and product return action information from the product detection sensor 6 (S1107).
  • the action detection unit 14 acquires that a product corresponding to the product ID is acquired from the product shelf 21 by acquiring a product ID recorded in association with the sensor ID included in the product acquisition action information. .
  • the action detection part 14 acquires that the goods corresponding to the goods ID were returned to the goods shelf 21 by acquiring the goods ID linked and stored with the sensor ID included in the goods return action information. To detect.
  • the action detection unit 14 sends the product ID related to the sensor ID included in the product acquisition action information or the product return action information, the display position of the product, and the action detection time to the processing target person specifying unit 15.
  • the processing target person specifying unit 15 determines from the three-dimensional coordinates of the store space region corresponding to the display position of the product. It is determined whether or not skeleton information that includes coordinates close to each other within a distance and is associated with a detection time within a predetermined time difference from the action detection time is recorded in the second processing table.
  • the process target person identification unit 15 includes coordinates that are close to each other within a predetermined distance from the three-dimensional coordinates of the product on which the movement action has been performed, and the skeleton information associated with the detection time within the predetermined time difference from the action detection time.
  • the skeleton information is acquired (S1108).
  • the skeleton information includes, for example, the three-dimensional coordinates of the tip of the visitor's hand. If the 3D coordinates of the product and the 3D coordinates of the tip of the visitor's hand are close to each other at approximately the same time, the processing target person specifying unit 15 includes the 3D coordinates of the tip of the visitor's hand. Information is presumed to be the skeletal information of the customer who picked up the product. Therefore, the process target person specifying unit 15 acquires the three-dimensional coordinates of the head of the visitor and the detection time of the skeleton information included in the skeleton information acquired based on the three-dimensional coordinates of the product for which the moving action has been performed ( S1109).
  • the process target person specifying unit 15 associates the feature information of the face of the store visitor with the detection time within the predetermined time difference with the 3D coordinate within the predetermined distance from the 3D coordinate of the visitor's head. (S1110).
  • the processing target person specifying unit 15 specifies the position (second position information) indicated by the skeleton information of the customer who has reached the product based on the position of the product for which the moving action has been performed, and based on the position indicated by the skeleton information.
  • the processing target person specifying unit 15 refers to the store visitor table.
  • the store visitor ID is detected using the feature information of the visitor's face acquired from the skeleton information (S1111). As described above, the store management device 1 can specify the visitor ID from the biometric feature information and the skeleton information of the visitor based on the information acquired from the above-described sensing device.
  • the sales management unit 17 updates the sales management table recorded in the data table of the database 40 in association with the store visitor ID and the product ID specified from the image taken by the second camera 5.
  • the sales management unit 17 may display the sales management table on a display device arranged in the vicinity of the store visitor. Thereby, the visitor can check a list of products that he / she picks up from the product shelf 21 and puts it in the cart.
  • the product detection sensor 6 sends product return action information including position information such as sensor ID and coordinates of the product on the product shelf 21 in the store 20 to the store management device 1.
  • the sales management unit 17 is recorded in the sales management table on the basis of the product ID, position information, person characteristic information, and skeleton information stored in association with the sensor ID of the product detection sensor 6 indicated by the product return action information.
  • the association between the existing visitor ID and the product ID is released.
  • the process target person specifying unit 15 specifies the process target visitor ID from the visitor table even when the association between the store visitor ID and the product ID is cancelled.
  • the action detection unit 14 is based on the image obtained from the second camera 5 instead of the sensing information of the product detection sensor 6, and the product ID that the visitor has picked up from the product shelf 21 and the product shelf 21. You may detect the coordinate in the store 20 of goods. Further, the action detection unit 14 detects the ID of the product returned to the product shelf 21 by the visitor and the coordinates of the product on the product shelf 21 in the store 20 based on the image obtained from the second camera 5. May be. That is, the action detection unit 14 may detect the movement action of the product by the visitor based on at least one of the sensing information of the product detection sensor 6 and the image of the second camera 5.
  • the sales management unit 17 can store information on which product the customer has picked up on the product shelf 21 and which product has been returned to the product shelf 21.
  • the entrance / exit camera 24 takes a face image of the visitor, and the visitor table generation unit 11 displays the face image.
  • the store visitor ID specified based on the feature amount is deleted from the store visitor table.
  • the sales management unit 17 can perform automatic payment using the store visitor ID, the product ID, and the credit card number for the payment of the purchase product of the store visitor recorded in the database 40.
  • FIG. 7 is a flowchart of the first store management process (steps S201 to S208).
  • the store management device 1 executes the first store management process.
  • the action detecting unit 14 detects the position of the store visitor based on the first position information and tracks the store visitor. Specifically, when a visitor walks in the store 20 and is located in front of a predetermined product shelf 21 and picks up a desired product, the first position information acquisition unit 12 is a person approaching the product.
  • the first position information indicating the three-dimensional coordinates in the store space area corresponding to the facial feature amount is specified based on the image acquired from the first camera 3.
  • the action detection unit 14 records the three-dimensional coordinates of the store visitor in the store space area in the store visitor table in association with the feature amount of the store visitor's face image. Note that the process of recording the three-dimensional coordinates of the store visitor in the store space area is repeatedly performed based on images taken by the first camera 3 installed at a plurality of positions in the store 20. Thereby, the action detection part 14 tracks the store visitor who moves in the store 20 (S201).
  • the second position information acquisition unit 13 uses the second position information indicating the three-dimensional coordinates of the tip of the visitor's hand reaching for the product among the persons approaching the product on the product shelf 21 as a motion sensor. 4 based on the sensing information.
  • the action detection part 14 shows the goods position information which shows the three-dimensional coordinate of the goods located in the front-end
  • the action detection unit 14 sends product acquisition action information indicating that the store visitor has taken the product on the product shelf 21 to the processing target person specifying unit 15.
  • the processing target person specifying unit 15 specifies a visitor who picked up the product based on the product acquisition action information, the first position information, the second position information, and the product position information, and stores the visitor ID in the visitor table. Read from.
  • the process target person specifying unit 15 sends the store visitor ID and the product acquisition action information to the sales management unit 17.
  • the action detection unit 14 sends the product return action information to the processing target person specifying unit 15. To do.
  • the processing target person specifying unit 15 specifies the visitor who has performed the product return action based on the product return action information, the first position information, the second position information, and the product position information, and stores the visitor ID in the visitor table. Read from. The process target person specifying unit 15 sends the store visitor ID and the merchandise return action information to the sales management unit 17.
  • the sales management unit 17 performs an action of the visitor performed on the product on the product shelf 21 based on the action information (that is, the product acquisition action information or the product return action information) obtained from the processing target person specifying unit 15. Is determined (S203).
  • the sales management unit 17 determines whether the store visitor ID is recorded in the sales management table when the action information obtained from the processing target person specifying unit 15 indicates the product acquisition action information.
  • the store management unit 17 records the store visitor ID in the sales management table.
  • the ID of the product obtained by the visitor in association with the visitor ID is recorded in the sales management table.
  • the sales management unit 17 obtains product acquisition action information from the processing target person specifying unit 15 and the store visitor ID is recorded in the sales management table, the store visitor ID is associated with the store visitor ID. Record the ID of the product picked up in the sales management table.
  • the sales management unit 17 increases the purchase quantity recorded in association with the ID of the product picked up by the visitor. Note that when the ID of a specific product is recorded in the sales management table for the first time in association with the store visitor ID in the store visitor table, the sales management unit 17 sets the purchase quantity of the product taken by the store visitor to 1 To do.
  • sales management information including at least a visitor ID, a product ID, and a purchase quantity is recorded in the sales management table. The product ID and purchase quantity included in the sales management information correspond to the shopping list of the store visitor.
  • the sales management unit 17 determines whether or not the sales management information needs to be updated based on the action information obtained from the processing target person specifying unit 15 (S204).
  • the sales management unit 17 determines that the sales management information needs to be updated when the product return action information is obtained from the processing target person specifying unit 15, and sets the purchase quantity corresponding to the product ID recorded in the sales management table to 1 Reduce. If the purchase quantity corresponding to the product ID recorded in the sales management table associated with the store visitor ID is “1”, the sales management unit 17 deletes the product ID from the sales management table. Thereby, the sales management unit 17 updates the sales management information recorded in the sales management table (S205).
  • a visitor selects a desired product, puts it in a cart (or a product basket), and moves in the store 20.
  • the visitor moves to the POS terminal installed in the checkout counter of the store 20 or moves to the entrance / exit gate 2.
  • the store management apparatus 1 performs payment for purchased products in cooperation with the POS terminal and the entrance / exit camera 24. For example, a customer's face is photographed by a camera provided in the POS terminal.
  • the POS terminal acquires product information and purchase quantity related to product purchase via an optical reading device or an RFID (Radio Frequency Identification) antenna, and stores a payment request including product information, purchase quantity and a visitor's face image.
  • the store management device 1 receives the settlement request (S206).
  • the processing target person specifying unit 15 specifies a visitor ID for making a payment for product purchase based on the feature amount of the face image of the visitor and the feature amount of the face image recorded in the visitor table.
  • the payment management unit 18 acquires a credit number recorded in the database 40 in association with the store visitor ID, and transmits the credit number and the total amount to the payment server.
  • the settlement management unit 18 determines whether or not the settlement relating to the merchandise purchase by the store visitor is completed (S207). When the payment management unit 18 receives a payment completion notification from the payment server, the payment management unit 18 determines that the payment related to the product purchase of the visitor is completed.
  • the store management device 1 may make a payment for product purchase according to the following procedure.
  • the entrance / exit camera 24 captures the face of the store visitor and transmits the face image to the store management apparatus 1.
  • the processing target person specifying unit 15 specifies a visitor ID for settlement of product purchase based on the feature amount of the face image of the visitor and the feature amount of the face image of the visitor recorded in the visitor table.
  • the settlement management unit 18 calculates the total amount based on the product information and purchase quantity recorded in the visitor table in association with the visitor ID. Thereafter, in the same manner as described above, the payment is made via the payment server.
  • the payment management unit 18 When the payment management unit 18 completes the payment for the product purchase, the payment management unit 18 sends a delete request for the record including the visitor ID for which the payment for the product purchase has been completed to the customer table management unit 16 and the sales management unit 17.
  • the store visitor table management unit 16 Upon receiving the delete request, the store visitor table management unit 16 deletes information associated with the store visitor ID included in the delete request from the store visitor table (S208).
  • the sales management unit 17 deletes the sales management information associated with the visitor ID included in the deletion request from the sales management table.
  • the store management device 1 deletes the information regarding the store visitor who has completed the payment for the product purchase from the store visitor table and the sales management table. In this way, by deleting store visitor information related to payment completion, the amount of information recorded in the store visitor table and the sales management table can be reduced. In addition, since the number of store visits using the store visitor table and the number of sales management searches using the sales management table can be reduced, the load of the search process can be reduced.
  • FIG. 8 is a flowchart of the second store management process (steps S301 to S308).
  • the entrance / exit camera 24 takes a picture of the visitor's face and exits the store including the face image.
  • the store management device 1 transmits a determination request.
  • the store exit permitting unit 19 inquires of the store visitor table managing unit 16 whether the feature quantity of the face image is recorded in the store visitor table.
  • the store visitor table management unit 16 determines whether or not the feature amount of the face image related to the store exit determination request is included in the store visitor table (S302).
  • the store visitor table management unit 16 sends a determination result indicating that there is a feature amount including the visitor ID corresponding to the feature amount to the store leaving permission unit 19. To do.
  • a determination result indicating that there is no feature amount is sent to the store leaving permission unit 19. If the determination result is that there is no feature quantity, the store leaving permission unit 19 determines that the payment for the product purchase by the store visitor has been completed, and permits the store visitor to leave the store (S303).
  • the store leaving permission unit 19 determines the visitor ID from the determination result.
  • the sales management section 17 is inquired whether the sales management information associated with the store visitor ID is recorded in the sales management table.
  • the sales management unit 17 determines whether or not sales management information associated with the visitor ID is included in the sales management table (S304).
  • the sales management unit 17 sends a determination result indicating the presence / absence of sales management information in the sales management table to the store leaving permission unit 19.
  • the store leaving permission unit 19 determines that the payment relating to the product purchase by the store visitor has been completed, and permits the store visitor to leave the store (S305). In this case, the store exit permission unit 19 transmits store exit permission to the entrance / exit gate 2 (S306). Thereby, the entrance / exit gate of the store 20 opens.
  • the store leaving permission unit 19 determines that the payment related to the product purchase of the store visitor is not completed, and does not permit the store visitor to leave the store. (S307).
  • the store exit permitting unit 19 transmits the store disapproval permission to the entrance / exit gate 2 and the gate device 23 installed in the vicinity of the entrance / exit gate 2 (S308).
  • the operation of opening the entrance / exit gate 2 is stopped in accordance with the store disapproval.
  • the gate device 23 displays on the monitor screen information that prompts the store visitor to check whether the payment for the product purchase has been completed. As a result, it is possible to prevent a store visitor who has not completed payment for product purchase from leaving the store 20 illegally. Further, the store management device 1 can urge the store visitor to check whether payment has been completed.
  • FIG. 9 is a flowchart of the third store management process (steps S2501 to 2504). Even after the payment for the product purchase by the visitor is completed, the product displayed on the product shelf 21 in the store 20 may be purchased again for payment. In this case, since the visitor information is deleted from the visitor table by the first settlement, it is necessary to add the visitor information to the visitor table again. Such processing will be described below.
  • step S205 of the first store management process shown in FIG. 7 after the sales management unit 17 starts updating the sales management information, the sales management unit 17 indicates that the store visitor ID obtained from the processing target person specifying unit 15 is the store visitor ID. Whether it is included in the user table.
  • the visitor table management unit 16 determines whether or not the visitor ID is included in the visitor table (S2501).
  • the visitor table management unit 16 sends a determination result indicating the presence or absence of a visitor ID in the visitor table to the sales management unit 17.
  • the sales management unit 17 updates the sales management information based on the action information acquired from the processing subject specifying unit 15 (S2502).
  • the sales management unit 17 stores the store visitor ID and the feature amount of the store visitor face image recorded in the database 40 in association with the store visitor ID. And the address of the terminal 7 carried by the customer are recorded in the customer table (S2503). Thereafter, the sales management unit 17 updates the sales management information based on the action information acquired from the processing target person specifying unit 15 (S2504).
  • the information on the store visitor who makes another settlement is recorded in the store visitor table. Thereafter, payment is performed again for the product purchase of the visitor by using the visitor ID included in the visitor table.
  • FIG. 10 is a flowchart of the fourth store management process (steps S201 to S208, S401 to S403).
  • the customer group When there are other customers who accompany the customers who enter the store 20, the number of payments for product purchases is only one for a group including these customers (hereinafter referred to as the customer group). Is assumed. In this case, it is preferable to delete all the information of all the customers included in the customer group from the customer table after the settlement. Such processing will be described below.
  • the store visitor table management unit 16 acquires the store visitor's three-dimensional coordinates in the store space area from the action detection unit 14. The visitor table management unit 16 compares a distance based on the three-dimensional coordinates of the store visitor for a predetermined period up to a predetermined time with the current time as a reference for each store visitor ID, and a plurality of store visitors are accompanied. A group of visitor IDs that can be estimated as is specified.
  • the store table management unit 16 determines that these store visitors are accompanied and the same Accompanying group ID (namely, ID of the same visitor group) is given.
  • the visitor table management unit 16 records the same accompanying group ID in the visitor table in association with the IDs of a plurality of visitors determined to accompany the store 20 when visiting the store 20. For example, when visiting a store 20 as a family, a plurality of visitors constituting the family are specified as one group.
  • the visitor selects a desired product from the product shelf 21, puts it in the cart (or product basket), and moves in the store 20.
  • the visitor moves to the POS terminal or the entrance / exit gate 2 installed in the checkout counter.
  • the settlement management unit 18 determines whether the settlement relating to the merchandise purchase by the store visitor has been completed (S207).
  • the payment management unit 18 sends a deletion request including the customer ID for which payment has been completed to the customer table management unit 16 and the sales management unit 17.
  • the store visitor table management unit 16 determines whether or not the accompanying group ID is linked to the store visitor ID recorded in the store visitor table (S401).
  • the visitor table management unit 16 determines that the accompanying person exists for the visitor when the accompanying group ID is associated with the visitor ID in the visitor table. In that case, the store visitor table management unit 16 obtains another store visitor ID associated with the accompanying group ID from the store visitor table.
  • the other store visitor ID is an ID of another store visitor who accompanies the store visitor who is the target of the payment for the product purchase.
  • the visitor table management unit 16 inquires of the sales management unit 17 whether or not sales management information associated with another visitor ID indicating the accompanying customer of the payment target visitor is recorded in the sales management table.
  • the sales management unit 17 determines whether the sales management table includes sales management information associated with another visitor ID (S402).
  • the sales management unit 17 sends a determination result indicating the presence / absence of sales management information for all the visitor IDs associated with the same accompanying group to the visitor table management unit 16.
  • the store visitor table management unit 16 includes the store visitor ID included in the deletion request received from the payment management unit 18 and other members included in the same accompanying group as the store visitor ID.
  • the information associated with the store visitor ID is deleted from the store visitor table (S403).
  • the store visitor table management unit 16 ends the process related to the deletion request without deleting the store visitor ID and the like from the store visitor table. Further, if it is determined in step S401 that the accompanying group ID is not associated with the visitor ID, the visitor table management unit 16 deletes the information associated with the visitor ID from the visitor table (S208).
  • step S402 sales management information associated with another visitor ID indicating the accompanying person is included in the sales management table
  • sales management of other visitor IDs included in the accompanying group is performed. The information will not be deleted.
  • step S304 it is determined that the sales management information is included in the sales management table.
  • other store visitors are not permitted to leave.
  • FIG. 11 is a flowchart of the fifth store management process (steps S201 to S208, S401 to S403, and S501 to S503).
  • FIG. 11 includes steps S201 to S208 and S401 to S403 shown in FIG. 10, and the description thereof will be omitted as appropriate.
  • the action detection unit 14 tracks a store visitor who moves within the store 20 (S201). The action detection unit 14 recognizes which visitor has acquired which product based on the relationship between the first location information, the second location information, and the product location information (S202). Thereafter, after the execution of steps S203 to S205 described with reference to FIG. 7, the action detection unit 14 determines whether or not the product picked up by the customer has been delivered to another customer (S501).
  • the position of the biometric feature information of the visitor is the first position information
  • the position of the tip of the visitor's hand is the second position information
  • the position of the biometric feature information of the other visitor (accompanying person) is the third position.
  • Information and the position of the tip of the hand of another visitor are referred to as fourth position information.
  • the second position information indicating the three-dimensional coordinates of the tip of the visitor's hand
  • the product position information indicating the three-dimensional coordinates of the product
  • the hand of another visitor it is determined whether it is within a predetermined distance for recognizing that the fourth position information indicating the three-dimensional coordinates of the tip is close.
  • the action detection unit 14 determines the three-dimensional coordinates of the product.
  • the distance between the product position information to be displayed and the fourth position information indicating the three-dimensional coordinates of the tips of the hands of the other shoppers is within a predetermined distance that can be recognized as holding the product, and the product position is Determine if you are moving. If the distance between the product position information and the fourth position information is within a predetermined distance where the grip of the product can be recognized and the product position is moving, the action detection unit 14 receives the product from the store visitor to another store visitor. It is determined that it was delivered to.
  • the action detection unit 14 sends action information indicating that the product has been delivered from the visitor to another visitor (accompanying person) to the processing target person specifying unit 15.
  • the action information includes the second position information indicating the tip position of the visitor's hand, the first position information indicating the position of the visitor's face, the product position information indicating the position of the product, and the other visitor's face information.
  • Third position information indicating the position, fourth position information indicating the tip position of the hand of another visitor, and an identifier indicating that the product has been delivered from the visitor to another visitor are included.
  • the process target person specifying unit 15 When the process target person specifying unit 15 acquires the action information, the process target person specifying unit 15 extracts the feature amount of the face of the visitor who delivered the product and the other visitor from the photographed image based on the first position information and the third position information. .
  • the processing target person specifying unit 15 specifies two visitor IDs in the visitor table based on the feature amount of the face of the visitor and other visitor.
  • the processing target person specifying unit 15 sends delivery information including two store visitor IDs corresponding to the store visitor who delivered the product and the other store visitor to the sales management unit 17.
  • the sales management unit 17 Upon receiving the delivery information, the sales management unit 17 reads the two store visitor IDs included in the delivery information. The sales management unit 17 determines whether two sales management information associated with two store visitor IDs exists in the sales management table (S502). For convenience of explanation, the first sales management information is associated with the ID of the store visitor who is the delivery source of the product, and the second sales management information is associated with the IDs of other store visitors who are the delivery destination of the product. It is assumed that When the sales management table 17 includes two sales management information associated with two store visitor IDs, the sales management unit 17 integrates the first sales management information and the second sales management information. Judge that.
  • the sales management unit 17 specifies the visitor ID related to the face position (third position information) of another visitor corresponding to the fourth position information indicating the delivery destination of the product, and associates the visitor ID with the store visitor ID. Then, the first sales management information associated with the ID of the store visitor who delivers the product is integrated into the second sales management information (S503). In addition, when the same accompanying group ID is given to a plurality of visitor IDs, the sales management unit 17 purchases the most product among the plurality of sales management information associated with the visitor IDs belonging to the accompanying group ID. The sales management information associated with other visitor IDs belonging to the accompanying group ID is integrated into the sales management information of the store visitor IDs with many.
  • step S207 that is, S207, S401 to S403, S208
  • step S403 the visitor table management unit 16 includes the visitor ID included in the deletion request received from the settlement management unit 18. And the information associated with other store visitor IDs included in the same accompanying group are deleted from the store visitor table.
  • FIG. 12 is a block diagram showing a basic configuration of the store management apparatus 1 according to one embodiment of the present invention.
  • the store management device 1 includes at least a store visitor table generation unit 11 and a store visitor table management unit 16.
  • the store visitor table generation unit 11 records store visitor information that visits the store 20 and generates a store visitor table that is used to determine whether or not to leave the store.
  • the store visitor table management unit 16 deletes store visitor information from the store visitor table after the payment for the purchase of the product by the store visitor is completed.
  • the store management apparatus 1 has a computer system therein, and the above-described processing steps are stored in a computer-readable recording medium as a computer program, and the computer reads out and executes the computer program.
  • the processing procedure shown in FIGS. 5 to 11 is realized.
  • the computer-readable recording medium refers to a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, and the like.
  • the computer program may be distributed to the computer through a communication line so that the computer executes the computer program.
  • the above-described computer program may be for realizing a part of the function of the store management apparatus 1. Moreover, the difference program (difference file) which can implement
  • the present invention automatically records the information of the customers who visit the store in the store table and uses it for settlement of product purchase, store management, store permission determination, etc., but is limited to store management applications. It can be applied to the use of observing and managing user behavior in public facilities such as railway stations and airports.

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

店舗管理装置は、店舗に来店する来店者の情報を記録する来店者テーブルを生成し、所定処理完了後に、店舗から退店する来店者の情報を来店者テーブルから削除する。所定処理とは、例えば、来店者の商品購入の決済である。また、来店者テーブルは、来店者が店舗を退店するときの退店許可の判定に利用される。

Description

店舗管理装置および店舗管理方法
　本発明は、店舗管理装置および店舗管理方法に関する。
店舗において、顔認証を用いて顧客管理を行う技術が知られている。また、店舗の来店者が購入した商品を自動的に特定して自動決済を行う技術が開発されている。購入商品について自動決済を行う場合には、商品と、商品を手に取った来店者と、来店者が商品をレジカウンタに持ち運ぶ状態を自動的に特定する必要がある。すなわち、来店者の情報を保持するデータテーブルや、来店者が持ち運ぶ商品の情報を保持するデータテーブルを、コンピュータ上で作成する必要がある。特許文献１は、顔認証を用いた情報処理システムを開示しており、来店者情報をデータテーブル上で管理することができる。具体的には、特許文献１には、会員の登録情報と来店者の顔情報とを対応付けて来店者情報として来店者データベースに記録すること（段落００６０）、退店した顧客の来店者情報を来店者データベースから削除すること（段落００７１）が記載されている。
特開２０１６－１２６７４９号公報
上述の来店者データベースは、来店者に関する情報を記憶することにより、来店者が店舗内に存在することを証明するものであるが、来店者情報を店舗管理の自動処理に適用することができる。例えば、来店者情報を店舗内における商品管理や決済に用いることができる。このように、来店者情報を応用する技術の開発が求められている。
　本発明は、上述の課題に鑑みてなされたものであり、来店者情報を店舗管理の自動処理に適用することができる店舗管理装置および店舗管理方法を提供することを目的とする。
　本発明の第一の態様によれば、店舗管理装置は、店舗に来店する来店者の情報を記録する来店者テーブルを生成する来店者テーブル生成部と、所定処理完了後に、店舗から退店する来店者の情報を来店者テーブルから削除する来店者テーブル管理部と、を具備する。
　本発明の第二の態様によれば、店舗管理方法は、店舗に来店する来店者の情報を記録する来店者テーブルを生成し、所定処理完了後に、店舗から退店する来店者の情報を来店者テーブルから削除する。
　上記において、所定処理とは、例えば、来店者の商品購入の決済である。また、来店者テーブルは、来店者が店舗を退店するときの退店許可の判定に利用される。
　本発明によれば、来店者が店舗内に存在することを証明する来店者情報を店舗管理の自動処理に適用することができる。
本発明の一実施形態による店舗管理装置を備えた店舗管理システムの外観図である。 店舗管理システムが適用される店舗内において複数の商品棚が配列されている状態を示す斜視図である。 本発明の一実施形態による店舗管理装置のハードウェア構成図である。 本発明の一実施形態による店舗管理装置の機能ブロック図である。 本発明の一実施形態による店舗管理方法における来店者テーブル生成処理のフローチャートである。 本発明の一実施形態による店舗管理方法における来店者ＩＤ特定処理のフローチャートである。 本発明の一実施形態による店舗管理方法における第一の店舗管理処理のフローチャートである。 本発明の一実施形態による店舗管理方法における第二の店舗管理処理のフローチャートである。 本発明の一実施形態による店舗管理方法における第三の店舗管理処理のフローチャートである。 本発明の一実施形態による店舗管理方法における第四の店舗管理処理のフローチャートである。 本発明の一実施形態による店舗管理方法における第五の店舗管理処理のフローチャートである。 本発明の一実施形態に係る店舗管理装置１の基本構成を示すブロック図である。
　本発明に係る店舗管理装置および店舗管理方法について、添付図面を参照して説明する。まず、本発明の一実施形態による店舗管理装置１について説明する。
　図１は、本発明の一実施形態に係る店舗管理装置１を備えた店舗管理システム１００の外観図である。店舗管理装置１は、店舗２０内に設けられた各種の装置と通信接続される。店舗２０の出入口には、入退ゲート２が設置される。店舗２０内には、複数の商品棚２１が設置される。商品棚２１には、各種の商品が陳列されている。
　店舗管理システム１００において、来店者は、店舗２０の入退ゲート２を通って入店又は退店する。入退ゲート２には、入退口カメラ２４が設置され、入退ゲート２を通って入店する来店者の顔を撮影し、その顔画像を店舗管理装置１へ送信する。なお、店舗２０には一つの入退ゲート２が設置されるものとしたが、入店ゲートと退店ゲートとを店舗２０の異なる位置に設置してもよい。
　なお、店舗２０は、店員が常駐している有人店舗に限定されるものではなく、店員が常駐していない無人店舗であってもよい。また、店舗２０にはＰＯＳ端末が設置され、店員が手動でＰＯＳ端末を操作して、来店者が購入して店舗２０外に持ち出す商品の決済を行ってもよい。或いは、店舗２０にカメラなどのセンシング装置を設置し、来店者が購入して店舗２０外に持ち出す商品について自動決済を行ってもよい。通常、来店者は、入退ゲート２を通って店舗２０に来店した際、商品棚２１に陳列される商品に触れ、商品棚２１から商品を手に取り、カートに商品を入れるなどした後に、入退ゲート２を通って退店する。来店者が入退ゲート２を通って店舗２０に来店してから退店するまでの間、店舗２０に設置された撮影装置やモーションセンサなどのセンシング装置が、来店者の特徴情報や位置情報、来店者が手に取った商品の識別情報や位置情報などを判定するためのセンシング情報を取得して、店舗管理装置１へ送信する。店舗管理装置１は、センシング情報に基づいて、購入商品の自動決済、来店者に対する推奨品の一覧の提示処理、来店者がカートに入れた商品の記憶処理などの所定処理を実行する。
　店舗管理装置１は、上述の所定処理を実行するにあたり、来店者に関連する情報（来店者情報）をデータベースに記録する。来店者情報は、来店者が店舗２０内に存在することを証明するものであるが、店舗管理装置１は、来店者情報を用いて適切な店舗管理の自動処理を行う。
　図２は、店舗２０内において複数の商品棚２１が配列された状態を示す斜視図であり、来店者が商品棚２１から商品を選択して手に取る様子を示している。商品棚２１の上部には、来店者の顔画像を撮影する第一カメラ３が設けられているが、複数個の第一カメラ３を設けてもよい。また、来店者（顧客）のモーションをセンシングするモーションセンサ４が商品棚２１の上方に設置されている。さらに、来店者が手に取った商品や、商品棚２１に返却した商品の画像を撮影する第二カメラ５が商品棚２１の上部に設置されている。なお、第一カメラ３や第二カメラ５を商品棚２１に設置する必要はなく、店舗２０の天井や床などの他の場所に設置してもよい。すなわち、第一カメラ３は来店者の顔画像を撮影できる位置に設置すればよく、第二カメラ５は来店者が手に取った商品や商品棚２１に返却した商品の画像を撮影できる位置に設置すればよい。また、商品棚２１には、店舗設置端末２２が設けられる。
　図３は、店舗管理装置１のハードウェア構成図である。店舗管理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０３、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１０４、インタフェース１０５、及び通信モジュール１０６を具備している。なお、ＨＤＤ１０４は、ＳＤＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）としてもよい。
　図４は、店舗管理装置１の機能ブロック図である。店舗管理装置１のＣＰＵ１０１は、ＲＯＭ１０２やＨＤＤ１０４などに予め記憶される店舗管理プログラムを読み出して実行することにより、図４に示す機能部を実現している。すなわち、店舗管理装置１は、制御部１０、来店者テーブル生成部１１、第一位置情報取得部１２、第二位置情報取得部１３、行為検出部１４、処理対象者特定部１５、来店者テーブル管理部１６、販売管理部１７、決済管理部１８、及び退店許可部１９を具備する。
　店舗管理装置１は、データベース４０と接続されている。また、店舗管理装置１は、第一通信ネットワーク８を経由して、店舗２０に設置される各種の装置と通信接続されており、具体的には、入退ゲート２、第一カメラ３、モーションセンサ４、第二カメラ５、商品検知センサ６、ゲート装置２３、および入退口カメラ２４と通信接続されている。第一通信ネットワーク８は、例えば、店舗管理装置１と店舗２０に設置される各種の装置とを繋ぐ専用ネットワークである。店舗管理装置１は、第二通信ネットワーク９を経由して、来店者の携帯する端末７と通信接続される。第二通信ネットワーク９は、例えば、携帯電話網、無線通信網、インターネットなどである。なお、来店者が店舗２０に入店したときに、端末７が第二通信ネットワーク９ではなく、第一通信ネットワーク８と通信接続されてもよい。
　店舗管理装置１において、制御部１０は他の機能部１１～１９を制御する。来店者テーブル生成部１１は、来店者情報を記憶して、来店者の退店許可の判定に利用される来店者テーブルを生成する。来店者情報は、例えば、来店者の顔特徴量、来店者ＩＤ、来店者の携帯する端末７のアドレスなどである。第一位置情報取得部１２は、第一カメラ３が撮影した来店者の顔画像に基づいて、商品棚２１に陳列される商品に近づく来店者の生体特徴情報の位置を示す第一位置情報を取得する。第一カメラ３は、撮像範囲に映る人物の生体特徴情報の検出に用いられるものであり、例えば、商品棚２１に設置されて、商品棚２１の前に位置する人物の顔を撮影する。生体特徴情報として、例えば、人物の顔特徴情報、人物の眼の虹彩の特徴情報などであってもよい。なお、第一位置情報取得部１２は、入退口カメラ２４から取得した来店者の顔画像に基づいて、来店者の生体特徴情の位置を示す第一位置情報を取得してもよい。
　第二位置情報取得部１３は、モーションセンサ４から取得したセンシング情報に基づいて、商品棚２１に接近する人物のうち商品に手を伸ばした対象人物の位置を示す第二位置情報を取得する。モーションセンサ４は、例えば、商品棚２１の上方の天井に設置され、天井から見て下方の対象人物を検出する。
　行為検出部１４は、商品を移動する行為や来店者の行為を検出する。例えば、商品棚２１に陳列された商品を撮影する第二カメラ５の画像や、商品検知センサ６による商品の検知情報に基づいて、商品を移動する行為を検出する。商品の移動行為とは、来店者が商品を手に取った行為、商品を商品棚２１に返却した行為、来店者による商品の接触行為、来店者が商品をカートに入れる行為などを意味する。また、行為検出部１４は、店舗２０内において来店者に対して商品の受け渡しがあったか否かを検出する。さらに、行為検出部１４は、店舗２０内において移動する来店者の位置を追跡する。
　処理対象者特定部１５は、移動行為がなされた商品のＩＤや位置、第一位置情報と第二位置情報との位置関係に基づいて、商品に対する移動行為を行った対象人物の生体特徴情報を特定し、その生体特徴情報に対応する人物のＩＤを来店者テーブルから読み出す。
　来店者テーブル管理部１６は、来店者の購入商品の決済完了後に、来店者テーブルから来店者情報を削除するか、或いは、来店者テーブルにおける来店者情報を更新する。販売管理部１７は、来店者が手に取って持ち運んでいる商品の情報（商品情報）を記憶する販売管理テーブルを生成する。
　決済管理部１８は、来店者の購入商品に対する決済を行うとともに、その決済が完了したか否か判定する。例えば、来店者テーブルに来店者情報が存在し、かつ、未決済の購入商品の商品情報が販売管理テーブルに記憶されている場合には、決済管理部１８は、購入商品の決済を促すメッセージを来店者の近傍の装置（例えば、来店者の端末７など）に送信する。退店許可部１９は、店舗２０を退店する来店者に関する来店者情報が来店者テーブルから削除されている場合には、退店許可を所定の装置へ出力する。また、退店許可部１９は、来店者の未決済の購入商品に関する商品情報が販売管理テーブルに記録されていない場合に、退店許可を所定の装置へ出力する。
　次に、本発明の一実施形態による店舗管理方法について図５乃至図１１を参照して説明する。
　図５は、来店者テーブル生成処理のフローチャートである（ステップＳ１０１～Ｓ１０５）。まず、来店者テーブル生成部１１は、来店者の顔画像を入退口カメラ２４から取得する（Ｓ１０１）。来店者テーブル生成部１１は、来店者の顔画像の特徴量と、データベース４０に予め記憶されている多数の顧客（以下、登録ユーザと称する）の顔画像の特徴量とを比較して、両者の特徴量の差が許容範囲内にあり、来店者と同一人物であると認定できる登録ユーザの特徴量をデータベース４０から選択する（Ｓ１０２）。来店者テーブル生成部１１は、登録ユーザの特徴量に紐づく登録ユーザＩＤをデータベース４０から読み取り、その登録ユーザＩＤに紐づいてデータベース４０に記録されている登録ユーザの端末７のアドレスを取得する（Ｓ１０３）。来店者テーブル生成部１１は、本人確認情報を来店者の端末７へ送信する（Ｓ１０４）。来店者テーブル生成部１１は、登録ユーザＩＤと、来店者の顔画像の特徴量と、来店者の端末７のアドレスとを紐づけて来店者テーブルに記録する（Ｓ１０５）。これにより、店舗２０に入店した来店者について来店者テーブルが生成される。
　なお、来店者テーブル生成部１１は、入退口カメラ２４から取得した来店者の顔画像の代わりに、店舗２０に設置された第一カメラ３により取得した来店者の顔画像を用いて、上記のステップＳ１０１～Ｓ１０５を実行して来店者テーブルを生成してもよい。
　上述の来店者テーブルは、店舗管理装置１による商品の移動行為の検出にも利用される。具体的には、来店者テーブルに記録された情報を用いて、商品棚２１から商品を手に取った来店者を特定し、商品を持ち歩いている来店者を特定する。また、来店者テーブルは、店舗管理装置１の他の処理にも利用される。例えば、来店者テーブルに記録された情報を用いて、購入商品の決済を行う来店者を特定し、店舗２０から退店する来店者を特定することができる。
　上記の来店者特定処理において、第一カメラ３が商品棚２１の前に位置する来店者などの人物を商品棚２１側から撮影し、その撮影した静止画像又は動画像を店舗管理装置１へ送信する。また、モーションセンサ４は、店舗２０の天井などの商品棚２１の上方から見て下方に位置する来店者をセンシングし、そのセンシング情報を店舗管理装置１へ送信する。モーションセンサ４のセンシング情報として、例えば、赤外線により得られた物体の位置までの距離を画像に変換した距離画像であってもよい。商品検知センサ６は、商品棚２１に陳列した商品毎に設置されている。商品検知センサ６は、具体的には、商品の下に敷かれたシート状の形状をしており、商品の重量による圧力を検出する圧力センサ、或いは、商品の重量を検出する重量センサなどであってもよい。来店者が商品棚２１から商品を手に取った場合には、商品検知センサ６は、そのセンサＩＤと、商品棚２１上の商品について付与された店舗２０内の座標と、を含む商品取得信号を店舗管理装置１へ送信する。
　処理対象者特定部１５は、第一カメラ３、モーションセンサ４、第二カメラ５から取得した人物の特徴情報や骨格情報の位置を示す座標を検出した時刻の対応関係と、商品検知センサ６あら取得したセンサＩＤに紐づけて記憶された商品ＩＤと座標を検出した時刻の対応関係とに基づいて、来店者テーブルから来店者ＩＤを特定する。このようにして、処理対象者特定部１５は、処理対象者を特定する。
　次に、商品棚２１から商品を手に取った来店者の来店者ＩＤを特定する処理について説明する。図６は、来店者ＩＤ特定処理のフローチャートである（ステップＳ１１０１～Ｓ１１１１）。
　第一位置情報取得部１２は、商品棚２１の前に位置する来店者を撮影できるように設置された複数の第一カメラ３のそれぞれから、１秒間に数枚乃至数十枚程度の画像を取得する。第一位置情報取得部１２は、第一カメラ３から取得した画像に映る来店者の生体特徴情報を検出する（Ｓ１１０１）。生体特徴情報は、人物の顔の特徴情報や眼の虹彩の特徴情報などであってもよい。第一位置情報取得部１２は、画像から来店者の生体特徴情報を取得できた場合、その生体特徴情報を取得した空間座標を算出する。例えば、予め画角や撮影方向に基づく３次元撮影空間領域が決定されている場合、第一位置情報取得部１２は、第一カメラ３による３次元撮影空間領域をデータベース４０から取得し、その３次元撮影空間領域と、画像に出現した生体特徴情報の画像内座標と、その生体特徴情報の大きさなどに基づいて、所定の計算式により、生体特徴情報が出現する３次元撮影空間領域における３次元座標を算出する。また、第一位置情報取得部１２は、第一カメラ３の３次元撮影空間領域における３次元座標から店舗空間領域における３次元座標への変換式を用いて、生体特徴情報が出現する店舗空間領域内での３次元座標を算出する（Ｓ１１０２）。第一位置情報取得部１２は、画像から生体特徴情報を取得できた場合、その画像を送信した第一カメラ３のＩＤと、その検出時刻と、生体特徴情報と、生体特徴情報が出現した店舗空間領域内の３次元座標と、を対応付けて第一処理テーブルに記録する（Ｓ１１０３）。
　第二位置情報取得部１３は、商品棚２１の上方の天井などに設置されて商品棚２１の前に位置する来店者を上方から下方に向けて撮影できる複数のモーションセンサ４から、１秒間に数枚乃至数十枚程度の距離画像を取得する。第二位置情報取得部１３は、モーションセンサ４の距離画像に映る来店者の画像を解析し、画像における来店者の頭部の位置、来店者が商品に向けて伸ばした腕の軸などの骨格情報を検出する（Ｓ１１０４）。骨格情報には、例えば、距離画像を解析して得られた来店者の腕の軸の直線部分を示すベクトルや座標、来店者の手の先端の座標などが含まれる。なお、骨格情報には、来店者を上方から見た頭部、腕、手の先端などの位置を特定するための座標やベクトル、腕の軸を表す式などが少なくとも含まれる。上記の距離画像から来店者の腕の軸や手の先端を表す骨格情報を取得できた場合、第二位置情報取得部１３は、骨格情報から来店者の腕や手の先端の空間座標を算出する。第一位置情報取得部１２と同様に、第二位置情報取得部１３は、予め画角や撮影方向に基づく３次元撮影空間領域を記憶している。第二位置情報取得部１３は、モーションセンサ４について３次元撮影空間領域をデータベース４０から取得し、その３次元撮影空間領域と、画像において出現した骨格情報の画像内座標と、モーションセンサ４からの距離などに基づいて、所定の計算式により骨格情報が出現する３次元撮影空間領域における３次元座標を算出する。また、第二位置情報取得部１３は、３次元撮影空間領域における３次元座標から店舗空間領域の３次元座標への変換式を用いて、骨格情報が出現する店舗空間領域内での３次元座標を算出する（Ｓ１１０５）。第二位置情報取得部１３は、画像から骨格情報を取得できた場合、その画像を送信したモーションセンサ４のＩＤと、検出時刻と、骨格情報と、その骨格情報が出現した店舗空間領域内の３次元座標と、を対応付けて第二処理テーブルに記録する（Ｓ１１０６）。
　商品検知センサ６は、例えば、商品の重量や商品の重量による圧力を検知しており、商品の重量や圧力の増減に応じて、所定の情報を店舗管理装置１へ送信する。商品の重量や圧力の減少が閾値以上の場合、減少を示すフラグと、センサＩＤと、商品の陳列位置と、商品取得行為の検出時刻とを含む商品取得行為情報が店舗管理装置１へ送信される。一方、商品検知センサ６は、商品の重量や圧力の増加が閾値以上の場合、増加を示すフラグと、センサＩＤと、商品の陳列位置と、商品返却行為の検出時刻とを含む商品返却行為情報を商品管理装置１へ送信する。その後、行為検出部１４は、商品検知センサ６から商品取得行為情報や商品返却行為情報を取得する（Ｓ１１０７）。行為検出部１４は、商品取得行為情報に含まれるセンサＩＤに紐づいて記録されている商品ＩＤを取得することで、その商品ＩＤに対応する商品が商品棚２１から取得されたことを検出する。また、行為検出部１４は、商品返却行為情報に含まれるセンサＩＤに紐づいて記憶されている商品ＩＤを取得することで、その商品ＩＤに対応する商品が商品棚２１に戻されたことを検出する。行為検出部１４は、商品取得行為情報又は商品返却行為情報に含まれるセンサＩＤに関連する商品ＩＤ、商品の陳列位置、行為検出時刻を処理対象者特定部１５へ送出する。
　処理対象者特定部１５は、移動行為がなされた商品の商品ＩＤ、商品陳列位置、行為検出時刻を行為検出部１４から取得すると、商品の陳列位置に相当する店舗空間領域の３次元座標から所定距離以内に近接した座標を含み、かつ、行為検出時刻と所定時間差以内の検出時刻に紐づく骨格情報が第二処理テーブルに記録されているか判定する。処理対象者特定部１５は、移動行為がなされた商品の３次元座標から所定距離以内に近接した座標を含み、かつ、行為検出時刻と所定時間差以内の検出時刻に紐づく骨格情報が第二処理テーブルに記録されている場合、その骨格情報を取得する（Ｓ１１０８）。骨格情報には、例えば、来店者の手の先端の３次元座標が含まれている。処理対象者特定部１５は、商品の３次元座標と来店者の手の先端の３次元座標がほぼ同時刻に近接している場合には、来店者の手の先端の３次元座標を含む骨格情報を、商品を手に取った来店者の骨格情報と推定して取得する。従って、処理対象者特定部１５は、移動行為がなされた商品の３次元座標に基づいて取得した骨格情報に含まれる来店者の頭部の３次元座標と骨格情報の検出時刻とを取得する（Ｓ１１０９）。処理対象者特定部１５は、来店者の頭部の３次元座標から所定距離以内の３次元座標に紐づき、かつ、検出時刻が所定時間差以内の来店者の顔の特徴情報を第一処理テーブルから取得する（Ｓ１１１０）。処理対象者特定部１５は、移動行為がなされた商品の位置に基づいて商品に手を伸ばした来店者の骨格情報が示す位置（第二位置情報）を特定し、骨格情報が示す位置に基づいて位置関係が有意な来店者の顔の特徴情報が出現する位置（第一位置情報）を検出する処理の一態様を実現するものである。店舗管理装置１が予め来店者の顔の特徴情報と来店者ＩＤとを紐づけてデータベース４０内の来店者テーブルに記憶している場合、処理対象者特定部１５は、来店者テーブルを参照して、骨格情報から取得した来店者の顔の特徴情報を用いて、来店者ＩＤを検出する（Ｓ１１１１）。このように、店舗管理装置１は、上述のセンシング装置から取得した情報に基づいて、来店者の生体特徴情報や骨格情報から来店者ＩＤを特定することができる。
　販売管理部１７は、来店者ＩＤと第二カメラ５が撮影した画像から特定された商品ＩＤと紐づけてデータベース４０のデータテーブルに記録される販売管理テーブルを更新する。販売管理部１７は、販売管理テーブルを来店者の近傍に配置される表示装置に表示してもよい。これにより、来店者は、自身が商品棚２１から手に取ってカートに入れた商品の一覧を確認することができる。
　来店者が商品を商品棚２１に戻した場合、商品検知センサ６は、センサＩＤや商品棚２１上の商品の店舗２０内の座標などの位置情報を含む商品返品行為情報を店舗管理装置１へ送信する。販売管理部１７は、商品返品行為情報が示す商品検知センサ６のセンサＩＤに紐づけて記憶する商品のＩＤや位置情報、人物の特徴情報や骨格情報に基づいて、販売管理テーブルに記録されている来店者ＩＤと商品ＩＤとの紐づけを解除する。処理対象者特定部１５は、来店者ＩＤと商品ＩＤとの紐づけを解除する場合でも、処理対象となる来店者ＩＤを来店者テーブルから特定する。
　行為検出部１４は、商品検知センサ６のセンシング情報の代わりに、第二カメラ５から得た画像に基づいて、来店者が商品棚２１から手に取った商品のＩＤと、商品棚２１上の商品の店舗２０内の座標とを検出してもよい。また、行為検出部１４は、第二カメラ５から得た画像に基づいて、来店者が商品棚２１に戻した商品のＩＤと、商品棚２１上の商品の店舗２０内の座標とを検出してもよい。つまり、行為検出部１４は、商品検知センサ６のセンシング情報と第二カメラ５の画像の少なくとも一方に基づいて、来店者による商品の移動行為を検出すればよい。
　上述の処理により、販売管理部１７は、来店者が商品棚２１上のどの商品を手に取って、どの商品を商品棚２１に戻したかの情報を記憶することができる。また、来店者が店舗２０を退店するときに入退ゲート２を通過する際に、入退口カメラ２４が来店者の顔画像を撮影しており、来店者テーブル生成部１１は、顔画像の特徴量に基づいて特定した来店者ＩＤを来店者テーブルから削除する。販売管理部１７は、データベース４０に記録されている来店者ＩＤと、商品ＩＤと、来店者の購入商品の決済用のクレジットカード番号などを用いて、自動決済を行うことができる。
　次に、店舗管理装置１により実施される店舗管理処理について図７乃至図１１を参照して説明する。図７は、第一の店舗管理処理のフローチャートである（ステップＳ２０１～Ｓ２０８）。上述のように、来店者テーブル生成部１１が来店者テーブルを生成した後、店舗管理装置１は、第一の店舗管理処理を実行する。まず、行為検出部１４は、第一位置情報に基づいて、来店者の位置を検出して来店者を追跡する。具体的には、来店者が店舗２０内を歩いて所定の商品棚２１の前に位置して、所望の商品を手に取った場合、第一位置情報取得部１２は、商品に接近する人物の顔の特徴量に対応する店舗空間領域内の３次元座標を示す第一位置情報を第一カメラ３から取得した画像に基づいて特定する。行為検出部１４は、来店者の顔画像の特徴量に紐づけて、店舗空間領域における来店者の３次元座標を来店者テーブルに記録する。なお、店舗空間領域内の来店者の３次元座標の記録処理は、店舗２０内の複数の位置に設置された第一カメラ３により撮影された画像に基づいて、繰り返し行われる。これにより、行為検出部１４は、店舗２０内において移動する来店者を追跡する（Ｓ２０１）。
　また、第二位置情報取得部１３は、商品棚２１上の商品へ接近する人物のうち、商品に手を伸ばした来店者の手の先端の３次元座標を示す第二位置情報を、モーションセンサ４のセンシング情報に基づいて検出する。そして、行為検出部１４は、来店者の手の先端に位置する商品の３次元座標を示す商品位置情報を、商品検知センサ６により検知された商品に対する移動行為を示す移動情報と、商品棚２１上の商品の店舗２０内の座標とに基づいて検出する。行為検出部１４は、第一位置情報、第二位置情報、及び商品の位置情報との関係に基づいて、どの来店者がどの商品を手に取ったかを認識する（Ｓ２０２）。行為検出部１４は、来店者が商品棚２１上の商品を手に取る行為があったことを示す商品取得行為情報を処理対象者特定部１５へ送出する。処理対象者特定部１５は、商品取得行為情報、第一位置情報、第二位置情報、及び商品位置情報に基づいて、商品を手に取った来店者を特定し、来店者ＩＤを来店者テーブルから読み出す。処理対象者特定部１５は、来店者ＩＤと商品取得行為情報とを販売管理部１７へ送出する。商品検知センサ６のセンシング情報に基づく商品の移動情報により、来店者が商品を商品棚２１に戻したことを示す場合、行為検出部１４は、商品返却行為情報を処理対象者特定部１５へ送出する。処理対象者特定部１５は、商品返却行為情報、第一位置情報、第二位置情報、及び商品位置情報に基づいて、商品返却行為を行った来店者を特定し、来店者ＩＤを来店者テーブルから読み出す。処理対象者特定部１５は、来店者ＩＤと商品返却行為情報とを販売管理部１７へ送出する。
　販売管理部１７は、処理対象者特定部１５から得た行為情報（すなわち、商品取得行為情報又は商品返却行為情報）に基づいて、商品棚２１上の商品に対して行われた来店者の行為を判定する（Ｓ２０３）。販売管理部１７は、処理対象者特定部１５から得た行為情報が商品取得行為情報を示す場合、来店者ＩＤが販売管理テーブルに記録されているか判定する。そして、販売管理部１７は、処理対象者特定部１５から商品取得行為情報を得ているものの、販売管理テーブルに来店者ＩＤが記録されていない場合、来店者ＩＤを販売管理テーブルに記録するとともに、来店者ＩＤに紐づけて来店者が手に取った商品のＩＤを販売管理テーブルに記録する。一方、販売管理部１７は、処理対象者特定部１５から商品取得行為情報を得ており、かつ、販売管理テーブルに来店者ＩＤが記録されている場合、来店者ＩＤに紐づけて来店者が手に取った商品のＩＤを販売管理テーブルに記録する。また、販売管理部１７は、処理対象者特定部１５から商品取得行為情報を得た場合、来店者が手に取った商品のＩＤに紐づけて記録されている購入数量を１増加する。なお、特定の商品のＩＤが来店者テーブルの来店者ＩＤに紐づけて初めて販売管理テーブルに記録される場合、販売管理部１７は、来店者が手に取った商品の購入数量を１に設定する。これにより、少なくとも来店者ＩＤ、商品ＩＤ、購入数量を含む販売管理情報が販売管理テーブルに記録される。なお、販売管理情報に含まれる商品ＩＤや購入数量は、来店者の買物リストに相当する。
　販売管理部１７は、処理対象者特定部１５から得た行為情報に基づいて販売管理情報の更新が必要か否かを判定する（Ｓ２０４）。販売管理部１７は、処理対象者特定部１５から商品返却行為情報を得た場合、販売管理情報の更新が必要と判定し、販売管理テーブルに記録されている商品ＩＤに対応する購入数量を１減じる。販売管理部１７は、来店者ＩＤに紐づいて販売管理テーブルに記録されている商品ＩＤに対応する購入数量が「１」であった場合、その商品ＩＤを販売管理テーブルから削除する。これにより、販売管理部１７は、販売管理テーブルに記録される販売管理情報を更新する（Ｓ２０５）。
　来店者は、所望の商品を選択してカート（又は、商品カゴ）に入れて店舗２０内を移動する。来店者は、所望の商品をカートに入れ終わると、店舗２０のレジカウンタに設置されているＰＯＳ端末へ移動するか、或いは、入退ゲート２へ移動する。店舗管理装置１は、ＰＯＳ端末や入退口カメラ２４との連携により購入商品の決済を行う。例えば、ＰＯＳ端末に備えられるカメラにより来店者の顔を撮影する。ＰＯＳ端末は、商品購入に係る商品情報と購入数量を光学読取装置やＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）アンテナを介して取得し、商品情報や購入数量と来店者の顔画像を含む決済要求を店舗管理装置１へ送信する。店舗管理装置１は、決済要求を受信する（Ｓ２０６）。処理対象者特定部１５は、来店者の顔画像の特徴量と、来店者テーブルに記録される顔画像の特徴量とに基づいて、商品購入の決済を行う来店者ＩＤを特定する。決済管理部１８は、商品購入の決済を行う来店者ＩＤに紐づいて来店者テーブルに記録される商品情報や購入数量と、ＰＯＳ端末から取得した商品情報と購入数量とが一致した場合には、決済を行う。商品購入の決済において、決済管理部１８は、来店者ＩＤに紐づいてデータベース４０に記録されているクレジット番号を取得し、クレジット番号と合計金額とを決済サーバへ送信する。決済管理部１８は、来店者の商品購入に係る決済が完了したか否かを判定する（Ｓ２０７）。決済管理部１８は、決済サーバから決済完了の通知を受信すると、来店者の商品購入に係る決済が完了したと判定する。
　店舗管理装置１は、下記の手順で商品購入の決済を行ってもよい。例えば、入退口カメラ２４が来店者の顔を撮影し、その顔画像を店舗管理装置１へ送信する。処理対象者特定部１５は、来店者の顔画像の特徴量と来店者テーブルに記録される来店者の顔画像の特徴量とに基づいて、商品購入の決済を行う来店者ＩＤを特定する。決済管理部１８は、来店者ＩＤに紐づいて来店者テーブルに記録される商品情報や購入数量に基づいて合計金額を算出する。その後、上記と同様に、決済サーバを経由して決済を行う。
　決済管理部１８は、商品購入の決済を完了すると、来店者テーブル管理部１６と販売管理部１７に対して、商品購入の決済が完了した来店者ＩＤを含むレコードの削除要求を送出する。来店者テーブル管理部１６は、削除要求を受信すると、削除要求に含まれる来店者ＩＤに紐づく情報を来店者テーブルから削除する（Ｓ２０８）。販売管理部１７は、削除要求を受信すると、削除要求に含まれる来店者ＩＤに紐づく販売管理情報を販売管理テーブルから削除する。
　上記のように、店舗管理装置１は、商品購入の決済が完了した来店者に関する情報を来店者テーブルと販売管理テーブルから削除する。このように、決済完了に係る来店者の情報を削除することにより、来店者テーブルと販売管理テーブルに記録される情報量を低減することができる。また、来店者テーブルを用いた来店者の検索数と、販売管理テーブルを用いた販売管理の検索数を低減できるため、検索処理の負荷を軽減することができる。
　図８は、第二の店舗管理処理のフローチャートである（ステップＳ３０１～Ｓ３０８）。上述のように、商品購入について決済が完了して、来店者が入退ゲート２を通って退店するとき、入退口カメラ２４が来店者の顔を撮影して、顔画像を含む退店判定要求を店舗管理装置１が送信される。店舗管理装置１が退店判定要求を受信すると（Ｓ３０１）、退店許可部１９は、顔画像の特徴量が来店者テーブルに記録されているかを来店者テーブル管理部１６に問い合わせる。来店者テーブル管理部１６は、退店判定要求に係る顔画像の特徴量が来店者テーブルに含まれているか否かを判定する（Ｓ３０２）。来店者テーブル管理部１６は、来店者テーブルに顔画像の特徴量が含まれている場合には、特徴量に対応する来店者ＩＤを含む特徴量有りの判定結果を退店許可部１９へ送出する。来店者テーブルに顔画像の特徴量が含まれていない場合には、特徴量無しの判定結果を退店許可部１９へ送出する。退店許可部１９は、判定結果が特徴量無しの場合には、来店者の商品購入の決済が完了していると判定して、来店者の退店を許可する（Ｓ３０３）。
　来店者テーブル管理部１６の判定結果が特徴量無しの場合には、来店者の商品購入の決済が完了していない可能性が有るため、退店許可部１９は、判定結果から来店者ＩＤを読み取り、来店者ＩＤに紐づく販売管理情報が販売管理テーブルに記録されているかを販売管理部１７に問い合わせる。販売管理部１７は、販売管理テーブルに来店者ＩＤに紐づく販売管理情報が含まれているか否かを判定する（Ｓ３０４）。販売管理部１７は、販売管理テーブルにおいて販売管理情報の有無を示す判定結果を退店許可部１９へ送出する。判定結果が販売管理情報の無いことを示す場合、退店許可部１９は、来店者の商品購入に係る決済が完了していると判定して、来店者の退店を許可する（Ｓ３０５）。この場合、退店許可部１９は、入退ゲート２に退店許可を送信する（Ｓ３０６）。これにより、店舗２０の入退ゲートが開く。
　販売管理部１７の判定結果が販売管理情報の有ることを示す場合、退店許可部１９は、来店者の商品購入に係る決済が完了していないと判定して、来店者を退店不許可とする（Ｓ３０７）。この場合、退店許可部１９は、退店不許可を入退ゲート２や入退ゲート２の近傍に設置されているゲート装置２３へ送信する（Ｓ３０８）。退店不許可に従って、入退ゲート２を開く動作を停止する。また、ゲート装置２３は、来店者に商品購入の決済が完了していないかを確認することを促す画面情報をモニタに表示する。これにより、商品購入の決済が完了していない来店者が不正に店舗２０の外に退店することを防止することができる。また、店舗管理装置１は、来店者に対して決済が完了していないかを確認するよう促すことができる。
　図９は、第三の店舗管理処理のフローチャートである（ステップＳ２５０１～２５０４）。来店者の商品購入の決済が完了した後であっても、再度、店舗２０内の商品棚２１に陳列されている商品を購入して決済を行う場合がある。この場合、１回目の決済により、来店者の情報が来店者テーブルから削除されているため、来店者の情報を来店者テーブルに再度追加する必要がある。このような処理について、以下に説明する。
　図７に示す第一の店舗管理処理のステップＳ２０５において、販売管理部１７が販売管理情報の更新を開始した後、販売管理部１７は、処理対象者特定部１５から得た来店者ＩＤが来店者テーブルに含まれているか問い合わせる。来店者テーブル管理部１６は、来店者ＩＤが来店者テーブルに含まれているか否か判定する（Ｓ２５０１）。来店者テーブル管理部１６は、来店者テーブルにおける来店者ＩＤの有無を示す判定結果を販売管理部１７へ送出する。販売管理部１７は、判定結果が来店者テーブルに来店者ＩＤのあることを示す場合、処理対象者特定部１５から取得した行為情報に基づいて販売管理情報を更新する（Ｓ２５０２）。判定結果が来店者テーブルに来店者ＩＤの無いことを示す場合、販売管理部１７は、来店者ＩＤと、来店者ＩＤに紐づいてデータベース４０に記録されている来店者の顔画像の特徴量と、来店者の携帯する端末７のアドレスとを紐づけて来店者テーブルに記録する（Ｓ２５０３）。その後、販売管理部１７は、処理対象者特定部１５から取得した行為情報に基づいて販売管理情報を更新する（Ｓ２５０４）。
　このようにして、再度の決済を行う来店者の情報が来店者テーブルに記録される。その後、来店者テーブルに含まれる来店者ＩＤを用いて、来店者の商品購入について決済が再度行われる。
　図１０は、第四の店舗管理処理のフローチャートである（ステップＳ２０１～Ｓ２０８、Ｓ４０１～Ｓ４０３）。店舗２０に入店する来店者に同行する他の来店者が存在する場合、それらの来店者を含むグループ（以下、来店者グループと称する）について、商品購入の決済回数が１回のみであることが想定される。この場合、決済終了後、来店者グループに含まれる全ての来店者の情報を一括して来店者テーブルから削除することが好ましい。このような処理について、以下に説明する。
　図７と同様に、図１０にはステップＳ２０１～Ｓ２０８が含まれているため、その説明を適宜割愛する。ステップＳ２０１～Ｓ２０６の実行時に、来店者テーブル管理部１６は、店舗空間領域における来店者の３次元座標を行為検出部１４から取得する。来店者テーブル管理部１６は、現在時刻を基準として、所定時間前までの所定期間における来店者の３次元座標に基づく距離を来店者ＩＤ毎に比較して、複数の来店者が同行していると推定できる来店者ＩＤのグループを特定する。例えば、複数の来店者の３次元座標に基づく距離が所定期間において所定割合以上である場合には、来店者テーブル管理部１６は、それらの来店者が同行していると判定して、同一の同行グループＩＤ（すなわち、同一の来店者グループのＩＤ）を付与する。来店者テーブル管理部１６は、店舗２０への来店時に同行していると判定した複数の来店者のＩＤに紐づけて同一の同行グループＩＤを来店者テーブルに記録する。例えば、家族で店舗２０に来店する場合、家族を構成する複数の来店者が一つのグループとして特定される。
　来店者は、商品棚２１から所望の商品を選択してカート（又は、商品カゴ）に入れて、店舗２０内を移動する。来店者は、所望の商品をカートに入れ終わると、レジカウンタに設置されているＰＯＳ端末や入退ゲート２へ移動する。決済管理部１８は、来店者の商品購入に係る決済が完了したか判定する（Ｓ２０７）。決済管理部１８は、決済が完了すると、来店者テーブル管理部１６と販売管理部１７に決済の完了した来店者ＩＤを含む削除要求を送出する。
　来店者テーブル管理部１６は、削除要求を受信すると、来店者テーブルに記録されている来店者ＩＤに同行グループＩＤが紐づいているか否かを判定する（Ｓ４０１）。来店者テーブル管理部１６は、来店者テーブルにおいて来店者ＩＤに同行グループＩＤが紐づいている場合、来店者に対して同行者が存在すると判定する。その場合、来店者テーブル管理部１６は、同行グループＩＤに紐づく他の来店者ＩＤを来店者テーブルから取得する。他の来店者ＩＤは、商品購入の決済の対象となった来店者に同行する他の来店者のＩＤである。来店者テーブル管理部１６は、決済対象の来店者の同行者を示す他の来店者ＩＤに紐づく販売管理情報が販売管理テーブルに記録されているかを販売管理部１７に問い合わせる。販売管理部１７は、販売管理テーブルに他の来店者ＩＤに紐づく販売管理情報が含まれているか否かを判定する（Ｓ４０２）。
　販売管理部１７は、同一の同行グループに紐づく全ての来店者ＩＤについて販売管理情報の有無を示す判定結果を来店者テーブル管理部１６へ送出する。判定結果が販売管理情報の無いことを示す場合、来店者テーブル管理部１６は、決済管理部１８から受信した削除要求に含まれる来店者ＩＤと、来店者ＩＤと同一の同行グループに含まれる他の来店者ＩＤとに紐づく情報を来店者テーブルから削除する（Ｓ４０３）。判定結果が販売管理情報の有ることを示す場合、来店者テーブル管理部１６は、来店者テーブルから来店者ＩＤなどを削除することなく、削除要求に係る処理を終了する。また、来店者テーブル管理部１６は、ステップＳ４０１において、来店者ＩＤに同行グループＩＤが紐づいていない判定した場合、その来店者ＩＤに紐づく情報を来店者テーブルから削除する（Ｓ２０８）。
　上述の処理により、商品購入の決済の対象となった来店者に同行者が存在する場合、同行者グループに含まれる全ての来店者の情報を来店者テーブルから一括して削除することができる。これにより、来店者テーブルにおける同行グループに含まれる他の来店者の検索数を低減することができ、店舗管理装置１の検索処理の負荷を軽減することができる。なお、ステップＳ４０２において、同行者を示す他の来店者ＩＤに紐づく販売管理情報が販売管理テーブルに含まれると判定された場合には、その同行グループに含まれる他の来店者ＩＤの販売管理情報は削除されないこととなる。この場合、図８に示すステップＳ３０４で、他の来店者が店舗２０を退店するときに、販売管理テーブルに販売管理情報が含まれると判定されるため、ステップＳ３０７において退店許可部１９は、他の来店者の退店不許可と判定する。
　図１１は、第五の店舗管理処理のフローチャートである（ステップＳ２０１～Ｓ２０８、Ｓ４０１～Ｓ４０３、Ｓ５０１～Ｓ５０３）。来店者が商品棚２１から商品を手に取った後に、同行者である他の来店者に商品を手渡す可能性が想定される。その場合、店舗管理装置１は、実際に商品を購入する来店者に対して適切に決済を行う必要がある。このような処理手順について、以下に説明する。
　図１１には、図１０に示すステップＳ２０１～Ｓ２０８、Ｓ４０１～Ｓ４０３が含まれているため、その説明を適宜割愛する。図１１において、行為検出部１４は、店舗２０内を移動する来店者を追跡する（Ｓ２０１）。行為検出部１４は、第一位置情報と第二位置情報と商品位置情報との関係に基づいて、どの来店者がどの商品を取得したか認識する（Ｓ２０２）。その後、図７において説明したステップＳ２０３～Ｓ２０５の実行後、行為検出部１４は、来店者が手に取った商品を他の来店者に受け渡したか否かを判定する（Ｓ５０１）。
　説明の便宜上、来店者の生体特徴情報の位置を第一位置情報、来店者の手の先端の位置を第二位置情報、他の来店者（同行者）の生体特徴情報の位置を第三位置情報、他の来店者の手の先端の位置を第四位置情報と称する。上述のステップＳ５０１について、具体的には、来店者の手の先端の３次元座標を示す第二位置情報と商品の３次元座標を示す商品位置情報と、他の来店者（同行者）の手の先端の３次元座標を示す第四位置情報とが近接していると認識するための所定距離以内であるかを判定する。来店者の手の先端位置と他の来店者の手の先端位置が近接していると判定される場合（ステップＳ５０１の判定結果「ＹＥＳ」）、行為検出部１４は、商品の３次元座標を示す商品位置情報と他の来店者の手の先端の３次元座標を示す第四位置情報との間の距離が、商品を把持していると認識できる所定距離以内であり、かつ、商品位置が移動しているかを判定する。行為検出部１４は、商品位置情報と第四位置情報との距離が商品の把持を認識できる所定距離以内であり、かつ、商品位置が移動している場合、商品が来店者から他の来店者へ受け渡されたと判定する。
　行為検出部１４は、来店者から他の来店者（同行者）に商品が受け渡されたことを示す行為情報を処理対象者特定部１５へ送出する。行為情報には、来店者の手の先端位置を示す第二位置情報と来店者の顔の位置を示す第一位置情報と、商品の位置を示す商品位置情報と、他の来店者の顔の位置を示す第三位置情報と、他の来店者の手の先端位置を示す第四位置情報と、来店者から他の来店者へ商品が受け渡されたことを示す識別子と、が含まれる。処理対象者特定部１５は、行為情報を取得すると、第一位置情報と第三位置情報とに基づいて、商品を受け渡した来店者と他の来店者の顔の特徴量を撮影画像から抽出する。処理対象者特定部１５は、来店者と他の来店者の顔の特徴量に基づいて、２つの来店者ＩＤを来店者テーブルにて特定する。処理対象者特定部１５は、商品の受け渡しを行った来店者と他の来店者に対応する２つの来店者ＩＤを含む受渡情報を販売管理部１７へ送出する。
　販売管理部１７は、受渡情報を受信すると、受渡情報に含まれる２つの来店者ＩＤを読み取る。販売管理部１７は、２つの来店者ＩＤに紐づく２つの販売管理情報が販売管理テーブルに存在するか判定する（Ｓ５０２）。説明の便宜上、商品の受渡元となる来店者のＩＤには第１の販売管理情報が紐づけられ、商品の受渡先となる他の来店者のＩＤには第２の販売管理情報が紐づけられているものとする。販売管理部１７は、２つの来店者ＩＤに紐づく２つの販売管理情報が販売管理テーブルに含まれる場合、販売管理部１７は、第一の販売管理情報と第２の販売管理情報とを統合すると判定する。例えば、販売管理部１７は、商品の受渡先を示す第四位置情報に対応する他の来店者の顔の位置（第三位置情報）に係る来店者ＩＤを特定し、その来店者ＩＤに紐づく第２の販売管理情報に、商品の受渡元である来店者のＩＤに紐づく第１の販売管理情報を統合する（Ｓ５０３）。また、販売管理部１７は、複数の来店者ＩＤに同じ同行グループＩＤが付与されている場合、その同行グループＩＤに属する来店者ＩＤに紐づく複数の販売管理情報の中で、最も商品購入数が多い来店者ＩＤの販売管理情報に、同行グループＩＤに属する他の来店者ＩＤに紐づく販売管理情報を統合する。
　そして、店舗管理装置１が決済要求を受信すると（Ｓ２０６）、図１０に示した第四の店舗管理処理と同様に、ステップＳ２０７以降の手順（すなわち、Ｓ２０７、Ｓ４０１～Ｓ４０３、Ｓ２０８）が実施される。この場合、来店者に対して他の来店者（同行者）が同行しているため、ステップＳ４０３において、来店者テーブル管理部１６は、決済管理部１８から受信した削除要求に含まれる来店者ＩＤと、同一の同行グループに含まれる他の来店者ＩＤとに紐づく情報を来店者テーブルから削除する。
　上述のように、来店者と他の来店者との間で商品が受け渡された場合でも、その商品の受け渡しと受け取りを行った来店者同士を同行者と認定して、同行者で一つの販売管理情報を管理することができる。これにより、商品購入について漏れの無い決済を行うことができる。
　図１２は、本発明の一実施形態に係る店舗管理装置１の基本構成を示すブロック図である。店舗管理装置１は、少なくとも来店者テーブル生成部１１と、来店者テーブル管理部１６と、を備える。来店者テーブル生成部１１は、店舗２０に来店する来店者の情報を記録し、退店許可の判定に利用される来店者テーブルを生成する。来店者テーブル管理部１６は、来店者の商品購入の決済完了後に、来店者テーブルから来店者の情報を削除する。
　店舗管理装置１は、内部にコンピュータシステムを有しており、上述の処理過程は、コンピュータプログラムとしてコンピュータ読取可能な記録媒体に記憶されており、コンピュータがコンピュータプログラムを読み出して実行することにより、図５乃至図１１に示される処理手順を実現する。ここで、コンピュータ読取可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどをいう。また、コンピュータプログラムを通信回線によってコンピュータに配信し、コンピュータがコンピュータプログラムを実行するようにしてもよい。
　上述のコンピュータプログラムは、店舗管理装置１の機能の一部を実現するためのものであってもよい。また、店舗管理装置１の機能をコンピュータシステムに既に記録されているプリインストールプログラムとの組み合わせで実現できる差分プログラム（差分ファイル）であってもよい。
　最後に、本発明は、上述の実施形態に限定されるものではなく、添付した特許請求の範囲に規定される発明の範囲内における種々の改造や設計変更をも包含するものである。
　本願は、２０１８年３月２０日に、日本国に出願された特願２０１８－５３２１５号に基づき優先権を主張し、その内容をここに援用する。
　本発明は、店舗に来店する来店者の情報を自動的に来店者テーブルに記録し、商品購入の決済、店舗管理、退店許可判定などに利用するものであるが、店舗管理用途に限定されるものではなく、鉄道の駅や空港などの公共施設において利用者の行動を観察して管理する用途にも適用できる。
１　店舗管理装置
２　入退ゲート
３　第一カメラ
４　モーションセンサ
５　第二カメラ
６　商品検知センサ
７　端末
１０　制御部
１１　来店者テーブル生成部
１２　第一位置情報取得部
１３　第二位置情報取得部
１４　行為検出部
１５　処理対象者特定部
１６　来店者テーブル管理部
１７　販売管理部
１８　決済管理部
１９　退店許可部
２０　店舗
２１　商品棚
２３　ゲート装置
２４　入退口カメラ
４０　データベース

Claims (10)

  1. 　店舗に来店する来店者の情報を記録する来店者テーブルを生成する来店者テーブル生成部と、
    　所定処理完了後に、前記店舗から退店する前記来店者の情報を前記来店者テーブルから削除する来店者テーブル管理部と、
    　を具備する店舗管理装置。
  2. 　前記来店者と、前記来店者が有する商品に係る商品情報とを含む販売管理情報を記録する販売管理テーブルを生成する販売管理部を更に具備した請求項１に記載の店舗管理装置。
  3. 　前記来店者テーブル管理部により、前記来店者の情報が前記来店者テーブルから削除されている場合に、前記来店者の退店許可を判定する退店許可部を更に具備した請求項２に記載の店舗管理装置。
  4. 　前記所定処理は前記来店者の商品購入の決済であり、前記退店許可部は、前記販売管理テーブルに未決済の商品情報が記録されている場合に、前記来店者の退店不許可を判定する請求項２に記載の店舗管理装置。
  5. 　前記来店者テーブルに前記来店者の情報が存在し、かつ、前記販売管理テーブルに未決済の商品情報が記録されている場合に、決済要求を行う決済管理部を更に具備した請求項２に記載の店舗管理装置。
  6. 　前記来店者テーブル管理部は、前記来店者が有する商品に係る商品情報を前記販売管理テーブルに記録するときに、前記来店者の情報が前記来店者テーブルに存在しない場合、前記来店者の情報を前記来店者テーブルに記録する、請求項２に記載の店舗管理装置。
  7. 　前記来店者テーブル管理部は、複数の来店者が同一の同行グループに属すると判定した場合、前記複数の来店者の情報を関連付けて前記来店者テーブルに記録する、請求項２に記載の店舗管理装置。
  8. 　前記所定処理は前記来店者の商品購入の決済であって、当該決済完了後に、前記来店者の情報を前記来店者テーブルから削除するとともに、前記来店者と同一の同行グループに属する他の来店者の情報を前記来店者テーブルから削除する、請求項７に記載の店舗管理装置。
  9. 　前記来店者が有する商品を同一の同行グループに属する他の来店者に受け渡したかを判定する行為検出部を更に具備し、前記販売管理部は、前記来店者の販売管理情報を前記他の来店者の販売管理情報に統合して前記販売管理テーブルに記録する、請求項７に記載の店舗管理装置。
  10. 　店舗に来店する来店者の情報を記録する来店者テーブルを生成し、
    　所定処理完了後に、前記店舗から退店する前記来店者の情報を前記来店者テーブルから削除する、店舗管理方法。
PCT/JP2019/008808 2018-03-20 2019-03-06 店舗管理装置および店舗管理方法 WO2019181499A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980020016.XA CN111868773A (zh) 2018-03-20 2019-03-06 商店管理设备及商店管理方法
US16/981,638 US20210027318A1 (en) 2018-03-20 2019-03-06 Store management device and store management method
JP2020508164A JP7371614B2 (ja) 2018-03-20 2019-03-06 店舗管理装置および店舗管理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018053215 2018-03-20
JP2018-053215 2018-03-20

Publications (1)

Publication Number Publication Date
WO2019181499A1 true WO2019181499A1 (ja) 2019-09-26

Family

ID=67987840

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008808 WO2019181499A1 (ja) 2018-03-20 2019-03-06 店舗管理装置および店舗管理方法

Country Status (5)

Country Link
US (1) US20210027318A1 (ja)
JP (1) JP7371614B2 (ja)
CN (1) CN111868773A (ja)
TW (1) TWI800613B (ja)
WO (1) WO2019181499A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021149220A1 (ja) * 2020-01-23 2021-07-29 日本電気株式会社 処理装置、処理方法及びプログラム
JP2021124912A (ja) * 2020-02-04 2021-08-30 Ｆｃｎｔ株式会社 認証処理装置、認証処理方法及び認証処理プログラム
WO2021192716A1 (ja) * 2020-03-27 2021-09-30 日本電気株式会社 支払処理システム、支払処理方法、及び、記録媒体
WO2021214986A1 (ja) * 2020-04-24 2021-10-28 日本電気株式会社 処理装置、処理方法及びプログラム
WO2022254958A1 (ja) * 2021-06-03 2022-12-08 クラスメソッド株式会社 無人店舗の商品を管理する管理システム、管理方法及びプログラム
JP7440627B2 (ja) 2019-10-25 2024-02-28 セブン－イレブン インコーポレイテッド 実店舗で客のショッピングセッションの映像に基づき仮想ショッピングカートをポピュレートするシステム及び方法
JP7467400B2 (ja) 2021-09-22 2024-04-15 Kddi株式会社 移動店舗管理システム、移動店舗管理装置、移動店舗管理方法及びコンピュータプログラム
US12002263B2 (en) 2019-10-25 2024-06-04 7-Eleven, Inc. Feedback and training for a machine learning algorithm configured to determine customer purchases during a shopping session at a physical store
JP7507390B2 (ja) 2020-03-23 2024-06-28 パナソニックＩｐマネジメント株式会社 行動観察システム及びその行動観察方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10643059B2 (en) * 2018-01-10 2020-05-05 Trax Technology Solutions Pte Ltd. Inspecting store shelf capacity
US11558539B2 (en) * 2019-03-13 2023-01-17 Smart Supervision System LLC Systems and methods of detecting and identifying an object
CN110942311A (zh) * 2019-11-28 2020-03-31 中国建设银行股份有限公司 支付方法、装置、设备及介质
TWI771790B (zh) * 2020-11-03 2022-07-21 財團法人工業技術研究院 智慧商店系統及智慧商店方法
TWI787674B (zh) * 2020-11-25 2022-12-21 國立勤益科技大學 智能貨架管控系統
CN115443475A (zh) * 2021-04-06 2022-12-06 株式会社希力卡·装备Nq 管理装置、管理方法以及程序
JP7290842B2 (ja) * 2021-09-06 2023-06-14 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理システムの制御方法、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009009231A (ja) * 2007-06-26 2009-01-15 Toshiba Corp セキュリティ管理システムおよびセキュリティ管理方法
WO2016088401A1 (ja) * 2014-12-01 2016-06-09 Ｌｙｋａｏｎ株式会社 防犯システム
JP2016126749A (ja) * 2014-12-29 2016-07-11 東芝テック株式会社 情報処理システムおよび情報処理プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2470987A (en) * 2007-11-08 2010-12-15 Wal Mart Stores Inc Method and apparatus for automated shopper checkout using radio frequency identification technology
WO2012097285A2 (en) * 2011-01-14 2012-07-19 Suarez Corporation Industries Social shopping apparatus, system and method
CA2915663A1 (en) * 2013-07-18 2015-01-22 Paypal, Inc. Reverse showrooming and merchant-customer engagement system
CN105741451B (zh) * 2014-12-29 2019-02-05 东芝泰格有限公司 信息处理***及信息处理方法
US10062100B2 (en) * 2015-09-24 2018-08-28 Adobe Systems Incorporated Methods and systems for identifying visitors to real-world shopping venues as belonging to a group
US11348085B2 (en) * 2016-07-13 2022-05-31 Afterpay Pty Ltd Payment system
CN107480994A (zh) * 2017-06-23 2017-12-15 阿里巴巴集团控股有限公司 一种结算方法、入口控制方法及装置
CN107622436A (zh) * 2017-09-06 2018-01-23 上海金荣翔企业发展有限公司 一种无人商店的售货***及售货方法
CN107730783A (zh) * 2017-10-19 2018-02-23 安徽小豆网络科技有限公司 基于自助收银机的无人便利店运营***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009009231A (ja) * 2007-06-26 2009-01-15 Toshiba Corp セキュリティ管理システムおよびセキュリティ管理方法
WO2016088401A1 (ja) * 2014-12-01 2016-06-09 Ｌｙｋａｏｎ株式会社 防犯システム
JP2016126749A (ja) * 2014-12-29 2016-07-11 東芝テック株式会社 情報処理システムおよび情報処理プログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7440627B2 (ja) 2019-10-25 2024-02-28 セブン－イレブン インコーポレイテッド 実店舗で客のショッピングセッションの映像に基づき仮想ショッピングカートをポピュレートするシステム及び方法
US12002263B2 (en) 2019-10-25 2024-06-04 7-Eleven, Inc. Feedback and training for a machine learning algorithm configured to determine customer purchases during a shopping session at a physical store
JPWO2021149220A1 (ja) * 2020-01-23 2021-07-29
WO2021149220A1 (ja) * 2020-01-23 2021-07-29 日本電気株式会社 処理装置、処理方法及びプログラム
US12014370B2 (en) 2020-01-23 2024-06-18 Nec Corporation Processing apparatus, processing method, and non-transitory storage medium
JP7338706B2 (ja) 2020-01-23 2023-09-05 日本電気株式会社 処理装置、処理方法及びプログラム
JP2021124912A (ja) * 2020-02-04 2021-08-30 Ｆｃｎｔ株式会社 認証処理装置、認証処理方法及び認証処理プログラム
JP7507390B2 (ja) 2020-03-23 2024-06-28 パナソニックＩｐマネジメント株式会社 行動観察システム及びその行動観察方法
WO2021192716A1 (ja) * 2020-03-27 2021-09-30 日本電気株式会社 支払処理システム、支払処理方法、及び、記録媒体
JP7428241B2 (ja) 2020-04-24 2024-02-06 日本電気株式会社 処理装置、処理方法及びプログラム
WO2021214986A1 (ja) * 2020-04-24 2021-10-28 日本電気株式会社 処理装置、処理方法及びプログラム
WO2022254958A1 (ja) * 2021-06-03 2022-12-08 クラスメソッド株式会社 無人店舗の商品を管理する管理システム、管理方法及びプログラム
JP7467400B2 (ja) 2021-09-22 2024-04-15 Kddi株式会社 移動店舗管理システム、移動店舗管理装置、移動店舗管理方法及びコンピュータプログラム

Also Published As

Publication number Publication date
JP7371614B2 (ja) 2023-10-31
JPWO2019181499A1 (ja) 2021-03-11
CN111868773A (zh) 2020-10-30
TWI800613B (zh) 2023-05-01
TW201941141A (zh) 2019-10-16
US20210027318A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
WO2019181499A1 (ja) 店舗管理装置および店舗管理方法
US20210312772A1 (en) Storefront device, storefront management method, and program
JP7028305B2 (ja) 店舗装置、店舗システム、店舗管理方法、プログラム
JP5704279B1 (ja) 関連付プログラム及び情報処理装置
EP4075399A1 (en) Information processing system
JP7092354B2 (ja) 商品情報管理装置、商品情報管理方法およびプログラム
JP7298594B2 (ja) 店舗管理装置および店舗管理方法、プログラム
JP7140223B2 (ja) 決済処理装置、方法およびプログラム
JP2024015277A (ja) 情報提供装置及びその制御プログラム
JP7416594B2 (ja) 店舗管理装置、店舗管理システム及び店舗管理方法
JP7237871B2 (ja) 対象検出方法
JP5962747B2 (ja) 関連付プログラム及び情報処理装置
JP2020077275A (ja) 商品決済システム、商品運搬カート及び商品決済方法
JP7337625B2 (ja) 購買行動データ収集システム、及び購買行動データ収集プログラム
JP6798529B2 (ja) 情報処理装置、情報処理システム、販売促進方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19772131

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020508164

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19772131

Country of ref document: EP

Kind code of ref document: A1