WO2015140853A1 - Ｐｏｓ端末装置、ｐｏｓシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents

Ｐｏｓ端末装置、ｐｏｓシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2015140853A1
WO2015140853A1 PCT/JP2014/005548 JP2014005548W WO2015140853A1 WO 2015140853 A1 WO2015140853 A1 WO 2015140853A1 JP 2014005548 W JP2014005548 W JP 2014005548W WO 2015140853 A1 WO2015140853 A1 WO 2015140853A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
customer
flow line
image
shelf
Prior art date
Application number
PCT/JP2014/005548
Other languages
English (en)
French (fr)
Inventor
和記 土持
英路 村松
道生 永井
信一 阿南
準 小林
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2016508314A priority Critical patent/JP6172380B2/ja
Priority to US15/120,825 priority patent/US20170068945A1/en
Publication of WO2015140853A1 publication Critical patent/WO2015140853A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Definitions

  • the present invention relates to a POS (Point Of Sales) terminal device, a POS system, a product recognition method and a non-transitory computer readable medium storing a program, and in particular, stores a POS system, a product recognition method and a program for settlement of a product.
  • POS Point Of Sales
  • POS terminals installed at payment locations (charge payment offices: cash registers), such as convenience stores, supermarkets, and mass retailers
  • charge payment offices cash registers
  • the store clerk inputs products with barcodes using a barcode input device.
  • the store clerk inputs merchandise data using the keyboard.
  • a big difference arises in the input time of the goods to which the barcode is not attached depending on the skill level of the store clerk.
  • a store clerk has added a bar code for a store in advance to a product without a bar code, it leads to an increase in work time.
  • self-checkout in which customers directly operate POS terminal devices themselves, is increasing. Since it takes time for the customer to determine at which position of the product the barcode is attached, the time required for operating the POS terminal device further increases.
  • Patent Document 1 discloses an information processing apparatus that can simplify the determination of a product corresponding to an imaged target and can perform it more efficiently.
  • the information processing apparatus according to Patent Document 1 indicates how similar a capturing unit that captures an image captured by an imaging unit, an object image captured by the imaging unit, and a reference image of each product.
  • the imaged product corresponds to the reference image that satisfies the condition And an informing means for informing that it has been confirmed.
  • the number of products displayed in the store is enormous. Therefore, when recognizing a product using the image recognition technology, if all the products in the store are matched with the product to be settled, the product recognition process will take an enormous amount of time. In addition, if all the products in the store are matched with the product to be settled, products similar to the product to be settled are also displayed in the store, so there is a risk of erroneous recognition of similar products. is there.
  • the information processing apparatus according to Patent Literature 1 described above calculates the similarity between the reference image of all the products displayed in the store and the image of the object imaged by the imaging unit. Therefore, the processing time is enormous. Furthermore, since the reference images of all products displayed in the store are targeted for processing, there is a risk of erroneous recognition of similar products. Therefore, product recognition could not be performed efficiently.
  • the present invention has been made to solve such a problem, and is a non-temporary storage in which a POS terminal device, a POS system, a product recognition method, and a program capable of efficiently performing product recognition are stored. It is to provide a computer readable medium.
  • the POS terminal device uses a flow line detecting means for detecting a flow line of a customer in a store using an image captured by at least one imaging means, and a customer for identifying the customer who is going to settle a product.
  • the POS system attempts to settle a product by using at least one imaging device, a flow line detection unit that detects a flow line of a customer in a store, using an image captured by the imaging device.
  • Customer identification means for identifying the customer; and recognition processing means for performing recognition processing of the product to be settled with a product displayed at a position corresponding to the flow line detected for the identified customer as a candidate.
  • recognition processing means for performing recognition processing of the product to be settled with a product displayed at a position corresponding to the flow line detected for the identified customer as a candidate.
  • the product recognition method detects a customer's flow line in a store using an image captured by at least one imaging means, identifies the customer who intends to settle the product, and identifies the customer Further, the product displayed at the position corresponding to the detected flow line for the customer is used as a candidate for recognition processing of the product to be settled.
  • the program according to the present invention includes a flow line detection step for detecting a flow line of a customer in a store using an image captured by at least one imaging means, and a customer for identifying the customer who is going to settle a product.
  • the computer is caused to execute an identification step and a recognition processing step for performing recognition processing of the product to be settled, with a product displayed at a position corresponding to the detected flow line for the identified customer as a candidate.
  • a non-transitory computer-readable medium storing a POS terminal device, a POS system, a product recognition method, and a program capable of efficiently performing product recognition.
  • FIG. 1 is a diagram illustrating a POS system according to a first embodiment. It is a figure which illustrates the store where the POS system concerning Embodiment 1 is applied.
  • 1 is a side view showing an external appearance of a POS terminal device according to a first embodiment
  • 2 is a diagram illustrating a hardware configuration of a POS terminal device according to a first embodiment
  • FIG. 2 is a functional block diagram of a POS terminal device according to a first embodiment
  • FIG. It is a figure which illustrates the flow line information stored in a flow line information storage part. It is a figure which illustrates goods shelf information stored in a goods shelf information storage part.
  • FIG. 3 is a flowchart showing processing of the POS terminal device according to the first exemplary embodiment; It is a figure which illustrates the store where the POS system concerning Embodiment 2 is applied.
  • FIG. 4 is a functional block diagram of a POS terminal device according to a second embodiment. 10 is a flowchart showing flow line detection processing according to the second exemplary embodiment; 10 is a flowchart illustrating a product recognition process according to the second embodiment. It is a figure which illustrates the store where the POS system concerning Embodiment 3 is applied.
  • FIG. 6 is a functional block diagram of a POS terminal device according to a third embodiment. 10 is a flowchart showing flow line detection processing according to the third exemplary embodiment; 10 is a flowchart illustrating a product recognition process according to the third embodiment.
  • FIG. 1 is a diagram showing an outline of a POS terminal device 1 according to an embodiment of the present invention.
  • the POS terminal device 1 includes a flow line detection unit 2 (flow line detection unit), a settlement customer identification unit 4 (customer identification unit), and a product recognition processing unit 6 (recognition processing unit).
  • flow line detection unit 2 flow line detection unit
  • settlement customer identification unit 4 customer identification unit
  • product recognition processing unit 6 recognition processing unit
  • the flow line detection unit 2 detects a customer's flow line in the store using an image captured by at least one imaging device (imaging means).
  • the settlement customer identification unit 4 identifies a customer who intends to settle a product.
  • the merchandise recognition processing unit 6 performs merchandise recognition processing with the merchandise displayed at a position corresponding to the flow line detected for the customer identified by the settlement customer identification unit 4 as a candidate.
  • FIG. 2 is a diagram illustrating the POS system 10 according to the first embodiment.
  • FIG. 3 is a diagram illustrating a store 50 to which the POS system 10 according to the first embodiment is applied.
  • the POS system 10 includes a POS terminal device 100 and at least one flow line imaging device 20.
  • the POS terminal device 100 and the flow line imaging device 20 are connected to be communicable. The communication between the two may be either wired communication or wireless communication, and various communication standards can be applied.
  • the POS terminal device 100 and the flow line imaging device 20 may be connected to each other via a network (for example, a wireless LAN (Local Area Network) or the Internet). Further, the POS terminal device 100 and the flow line imaging device 20 may communicate with each other by infrared communication or a short-range wireless communication method such as Bluetooth (registered trademark).
  • product shelves A to F are installed, and products are displayed on each product shelf. Further, for example, customers A to C are moving in the store 50.
  • the POS terminal device 100 is placed on a counter table 52 installed in the store 50.
  • a customer settlement customer
  • customer A is a settlement customer.
  • the flow line imaging device 20 is used to detect flow lines in the stores 50 of the customers A to C. As a result, the POS terminal device 100 detects the flow lines of the customers A to C.
  • the flow line imaging device 20 is an imaging device (camera) such as a CCD (Charge-Coupled Device), for example, and performs a process of reading an image (still image or moving image) in the store 50. Specifically, the flow line imaging device 20 captures an image of the store 50 and generates a color image or a monochrome image (flow line image) including the image in the store 50.
  • image also means “image data indicating an image” as a processing target in information processing.
  • the flow line imaging device 20 is installed at any position in the store 50 and images the customers A to C.
  • the flow line imaging device 20 transmits a flow line image obtained by imaging to the POS terminal device 100.
  • FIG. 4 is a side view showing an appearance of the POS terminal device 100 according to the first embodiment.
  • FIG. 5 is a diagram illustrating a hardware configuration of the POS terminal apparatus 100 according to the first embodiment.
  • the POS terminal device 100 includes a store clerk display operation unit 102, a customer display unit 104, an information processing device 110, and a product imaging unit 130. As described above, the POS terminal device 100 is placed on the counter table 52, for example, and the customer faces the left side of FIG.
  • the store clerk display operation unit 102 is, for example, a touch panel, an LCD (Liquid Crystal Display), or a keyboard.
  • the clerk display operation unit 102 displays information necessary for the clerk and receives operations of the clerk under the control of the information processing apparatus 110.
  • the customer display unit 104 is, for example, a touch panel or an LCD.
  • the customer display unit 104 displays information necessary for the customer under the control of the information processing apparatus 110.
  • the customer display unit 104 may have an input device, and may accept a customer operation as necessary.
  • the information processing apparatus 110 is a computer, for example.
  • the information processing apparatus 110 includes a control unit 112 such as a CPU (Central Processing Unit), a storage unit 114 such as a memory or a hard disk, and a communication device 116.
  • the information processing apparatus 110 controls the operations of the store clerk display operation unit 102, the customer display unit 104, and the product imaging unit 130. Further, the information processing apparatus 110 performs necessary processing in accordance with the operation received by the store clerk display operation unit 102.
  • the information processing apparatus 110 performs necessary processing such as image processing in accordance with the image information read by the product imaging unit 130.
  • the communication device 116 performs processing necessary to communicate with the flow line imaging device 20 and a management device such as a server connected via a network.
  • the product imaging unit 130 reads an image (settlement product image) of the product X (settlement product) to be settled received by the store clerk from the settlement customer. As a result, the POS terminal apparatus 100 performs a process for recognizing the settlement product X. Details will be described later.
  • the product imaging unit 130 is an imaging device (camera) such as a CCD, for example, and performs a process of reading an image of the settlement product X. Specifically, the product imaging unit 130 captures the settlement product X and generates an image (color image or monochrome image) including the image of the settlement product X.
  • FIG. 6 is a functional block diagram of the POS terminal apparatus 100 according to the first embodiment.
  • the POS terminal device 100 according to the first embodiment includes a settlement processing unit 200.
  • the payment processing unit 200 includes a flow line detection unit 202, a flow line information storage unit 204, a payment customer identification unit 210, a product image acquisition unit 220, a product recognition processing unit 230, a product shelf information storage unit 232, A standard product information storage unit 234.
  • the settlement processing unit 200 can be realized by executing a program under the control of the control unit 112, for example. More specifically, the settlement processing unit 200 is realized by causing a program stored in the storage unit 114 to be executed under the control of the control unit 112.
  • Each component of the settlement processing unit 200 is not limited to being realized by software by a program, and may be realized by any combination of hardware, firmware, and software.
  • Each component of the settlement processing unit 200 may be realized by using an integrated circuit that can be programmed by the user, such as an FPGA (field-programmable gate array) or a microcomputer. In this case, this integrated circuit may be used to realize a program composed of the above-described components. The same applies to the settlement processing unit in other embodiments described later.
  • the flow line detection unit 202 receives a flow line image from the flow line imaging device 20 via the communication device 116.
  • the flow line detection unit 202 analyzes the flow line image and identifies each customer imaged in the flow line image. Then, the flow line detection unit 202 generates a customer identifier corresponding to each identified customer.
  • the flow line detection unit 202 assigns the generated customer identifier to each customer in the flow line image.
  • the flow line detection unit 202 analyzes the flow line image, and detects a flow line indicating how each customer assigned with a customer identifier has moved in the store 50. Specifically, the flow line detection unit 202 detects which position in the store 50 each customer has visited. More specifically, the flow line detection unit 202 detects which product shelves in the store 50 each customer has visited. Then, the flow line detection unit 202 generates flow line information indicating which merchandise shelf the customer has visited, and stores it in the flow line information storage unit 204.
  • the customer visits the product shelf is a concept including, for example, the customer picking up the product displayed on the product shelf.
  • the customer visits the product shelf does not necessarily mean that the customer needs to pick up the product, the customer reaches for the product displayed on the product shelf, and the customer simply This is a concept including general purchasing activities until the customer is interested in the product displayed on the product shelf and selects the product, such as viewing the product displayed on the screen.
  • FIG. 7 is a diagram illustrating the flow line information stored in the flow line information storage unit 204.
  • the flow line information includes a customer identifier and an identifier of the product shelf visited by the customer corresponding to the customer identifier (product shelf identifier). That is, in the flow line information, the customer identifier and the product shelf identifier are associated with each other.
  • the customer A visits the product shelves C, B, A
  • the customer B visits the product shelves E, C
  • the customer C visits the product shelves D, E, F. It is shown.
  • “customer A” indicates a customer identifier corresponding to customer A.
  • product shelf A indicates a product shelf identifier corresponding to the product shelf A.
  • the flow line detection unit 202 may identify each customer by analyzing the flow line image. For example, the flow line detection unit 202 may generate face data corresponding to a customer by performing a face recognition process on the customer captured in the flow line image. Then, the flow line detection unit 202 may use the generated face data as a customer identifier, or may use an identifier generated using the face data as a customer identifier. Further, for example, the flow line detection unit 202 may extract information (customer characteristic information) indicating customer characteristics captured in the flow line image and use the customer characteristic information as a customer identifier. For example, the flow line detection unit 202 may analyze customer's clothes color, customer's height, customer's age, sex, and the like, and use customer feature information indicating these features as a customer identifier.
  • the flow line detection unit 202 may analyze the flow line image and detect the product shelves visited by each customer. For example, the flow line detection unit 202 may determine that the customer has visited the product shelf when the customer imaged in the flow line image stays for a certain time in front of the product shelf. Further, for example, when the flow line detection unit 202 detects that the customer imaged in the flow line image has approached the product shelf within a certain distance, the flow line detection unit 202 determines that the customer has visited the product shelf. Also good. The flow line detection unit 202 may determine that the customer has visited the product shelf when detecting that the customer captured in the flow line image has reached the product shelf. Further, the flow line detection unit 202 may determine that the customer visited the product shelf when the customer imaged in the flow line image simply passes in front of the product shelf. The same applies to other embodiments described later.
  • the flow line information may include the time (time information) when each customer visits each product shelf. Further, the flow line information may include a time (time information) when each customer enters the store 50. That is, the flow line detection unit 202 detects the flow line of each customer in association with the time when each customer visited each product shelf.
  • the flow line information regarding the customer A includes time information when the customer A enters the store, time information when the customer A visits the product shelf C, time information when the customer A visits the product shelf B, and customer A May include information on the time at which the product shelf A is visited.
  • the time when each customer visits each product shelf may be the time when the flow line detection unit 202 determines that the customer visited the product shelf.
  • the settlement customer identification unit 210 determines that there is a settlement customer in front of the POS terminal device 100. Further, the settlement customer identification unit 210 performs settlement customer identification processing. Further, the settlement customer identification unit 210 generates a settlement customer identifier indicating the settlement customer, and outputs the generated settlement customer identifier to the product recognition processing unit 230. A specific method by which the settlement customer identifying unit 210 determines that a settlement customer exists before the POS terminal device 100 will be described in an embodiment described later. Further, the settlement customer identification unit 210 generates a settlement customer identifier in the same manner as the flow line detection unit 202 generates a customer identifier.
  • the settlement customer identifier may indicate face data or may be an identifier generated using face data.
  • the settlement customer identifier may indicate customer characteristic information.
  • the product image acquisition unit 220 controls the product imaging unit 130 to image the product directed to the product imaging unit 130. Then, the product image acquisition unit 220 acquires the settlement product image generated by the product imaging unit 130 and outputs it to the product recognition processing unit 230.
  • the product shelf information storage unit 232 stores product shelf information indicating the relationship between each product shelf and the products displayed on the product shelf.
  • the product shelf information includes a product shelf identifier and an identifier (product identifier) of a product displayed on the product shelf corresponding to the product shelf identifier. That is, in the product shelf information, the product shelf identifier and the product identifier are associated with each other.
  • FIG. 8 is a diagram illustrating product shelf information stored in the product shelf information storage unit 232.
  • the products A1, A2, and A3 are displayed on the product shelf A.
  • products B1, B2, and B3 are displayed on the product shelf B
  • products C1, C2, and C3 are displayed on the product shelf C
  • products D1, D2, and D3 are displayed on the product shelf D.
  • products E1, E2, and E3 are displayed on the product shelf E
  • products F1, F2, and F3 are displayed on the product shelf F.
  • “product shelf A” indicates a product shelf identifier corresponding to the product shelf A.
  • product A1 indicates a product identifier corresponding to the product A1.
  • the reference product information storage unit 234 stores the product name of each product (product A1, product B1, etc.) and information related to the product (reference product information) in association with each other.
  • This reference product information is used in the product recognition process in the product recognition processing unit 230.
  • the reference product information may be an image (reference product image) that serves as a reference for the product.
  • the reference product information may be data (product feature data) indicating a feature that is a reference of the product.
  • the product feature data includes, for example, information indicating the shape of the product, information indicating the color of the product, information indicating the texture of the product (such as gloss), information indicating character information and a pattern attached to the package of the product, May be included.
  • the product recognition processing unit 230 performs a product recognition process using the settlement product image extracted by the product image acquisition unit 220. Specifically, the product recognition processing unit 230 searches the reference product information stored in the reference product information storage unit 234, and performs pattern matching between the settlement product image and the reference product information.
  • the POS terminal device 100 uses the product information obtained by the product recognition processing by the product recognition processing unit 230 to perform settlement processing for the product.
  • the product information is information for identifying the product, and may include, for example, a product name, a product manufacturer name, a product price, and the like.
  • the product recognition processing unit 230 compares the settlement product image with the reference product image corresponding to each product stored in the reference product information storage unit 234 for each product. To do. Then, the product recognition processing unit 230 associates the settlement product with the product name corresponding to the reference product image when the similarity between the two satisfies the allowable value. Further, for example, when the reference product information is product feature data, the product recognition processing unit 230 extracts the feature of the image from the settlement product image. Then, the product recognition processing unit 230 collates the extracted image feature with the product feature data corresponding to each product stored in the reference product information storage unit 234 for each product. Then, the product recognition processing unit 230 associates the settlement product with the product name corresponding to the product feature data when the similarity between the two satisfies an allowable value.
  • the merchandise recognition processing unit 230 performs merchandise recognition processing of a settlement product with candidates for the merchandise displayed on the merchandise shelf visited by the settlement customer. Specifically, for example, the product recognition processing unit 230 sets a product displayed on a product shelf visited by a settlement customer as a search target in the product recognition process. Then, the merchandise recognition processing unit 230 performs a settlement merchandise recognition process by searching for a settlement merchandise from the merchandise to be searched. That is, the product recognition processing unit 230 acquires the reference product information corresponding to the product displayed on the product shelf visited by the settlement customer from the reference product information storage unit 234. Then, the product recognition processing unit 230 performs a settlement product recognition process using the acquired reference product information. Specific processing will be described later.
  • FIG. 9 is a flowchart showing processing of the POS terminal apparatus 100 according to the first embodiment.
  • the POS terminal device 100 detects the flow line of each customer (S100). Specifically, as described above, the flow line detection unit 202 acquires a flow line image from the flow line imaging device 20. The flow line detection unit 202 generates a customer identifier for each customer captured in the flow line image. Further, the flow line detection unit 202 detects which product shelf (which position) in the store 50 each customer has visited. Then, the flow line detection unit 202 generates flow line information for each customer and stores it in the flow line information storage unit 204. The process of S100 can always be performed.
  • the POS terminal apparatus 100 determines whether or not a settlement customer exists in front of the POS terminal apparatus 100 (S102). Specifically, for example, the settlement customer identification unit 210 detects that a settlement customer has been imaged by an imaging device installed in the vicinity of the POS terminal device 100, so that the settlement customer is in front of the POS terminal device 100. It may be determined that it exists. In addition, for example, the settlement customer identification unit 210 receives a flow line image from the flow line imaging device 20 and analyzes the flow line image, whereby a settlement customer exists in front of the POS terminal device 100. You may determine that.
  • the settlement customer identification unit 210 identifies the settlement customer (S104). Specifically, as described above, the settlement customer identification unit 210 identifies a settlement customer by performing face recognition processing or customer feature information extraction processing. Then, the settlement customer identification unit 210 generates a settlement customer identifier.
  • the product recognition processing unit 230 acquires product shelf information associated with the settlement customer from the flow line information storage unit 204 (S106). Specifically, the merchandise recognition processing unit 230 receives a payment customer identifier from the payment customer identification unit 210. The merchandise recognition processing unit 230 searches a customer identifier corresponding to the settlement customer identifier from the flow line information stored in the flow line information storage unit 204. Furthermore, the product recognition processing unit 230 acquires a product shelf identifier associated with the searched customer identifier. Then, the product recognition processing unit 230 acquires product shelf information corresponding to the acquired product shelf identifier from the product shelf information storage unit 232.
  • the product recognition processing unit 230 determines the product corresponding to the product shelves C, B, and A associated with the customer A from the flow line information illustrated in FIG. Get shelf identifier. Then, the product recognition processing unit 230 acquires product shelf information corresponding to each of the product shelves C, B, and A from the product shelf information storage unit 232.
  • the merchandise recognition processing unit 230 sets the merchandise corresponding to the obtained merchandise shelf information as a settlement merchandise candidate (S108). Specifically, the product recognition processing unit 230 sets the reference product information related to the product corresponding to the acquired product shelf information as an image search target. In the above-described example, the product recognition processing unit 230 obtains the products C1, C2, and C3 associated with the product shelf C as illustrated in FIG. 8 because the acquired product shelf information corresponds to the product shelf C. The search target. Similarly, since the acquired product shelf information corresponds to the product shelf B, the product recognition processing unit 230 sets the products B1, B2, and B3 associated with the product shelf B as search targets. Similarly, since the acquired product shelf information corresponds to the product shelf A, the product recognition processing unit 230 sets the products A1, A2, and A3 associated with the product shelf A as search targets.
  • the POS terminal device 100 captures an image of the settlement product (S110). Specifically, the product image acquisition unit 220 controls the product imaging unit 130 to image a settlement product directed to the product imaging unit 130. Then, the product image acquisition unit 220 acquires the settlement product image generated by the product imaging unit 130.
  • the merchandise recognition processing unit 230 performs merchandise recognition processing using the standard merchandise information of the merchandise that is a candidate (searched) in the process of S108 (S112). Specifically, the merchandise recognition processing unit 230 performs pattern matching between the reference merchandise information of the merchandise to be searched in the process of S108 and the settlement merchandise image. Then, the product recognition processing unit 230 determines that the settlement product is a product corresponding to the reference product image when the similarity between the two satisfies an allowable value.
  • the search target products are the products C1, C2, C3, the products B1, B2, B3, and the products A1, A2, A3.
  • the product recognition processing unit 230 performs pattern matching between the reference product information of the products C1, C2, C3, the products B1, B2, and B3 and the products A1, A2, and A3 and the settlement product image. Then, the product recognition processing unit 230 determines that the payment product is the product A1 when the similarity between the payment product image and the reference product information corresponding to the product A1 satisfies an allowable value.
  • the settlement product to be settled by the settlement customer is usually taken out of the product displayed on the product shelf by the settlement customer. Therefore, in the first embodiment, in the product recognition process, the search target is narrowed down to products related to the product shelf visited by the settlement customer.
  • the product recognition processing unit 230 needs to perform product recognition processing (pattern matching processing) for all the information stored in the reference product information storage unit 234. . If the information stored in the reference product information storage unit 234 is enormous, the product recognition process will take an enormous amount of time.
  • the POS terminal device 100 allows the product recognition process (pattern matching process) only for the reference product information corresponding to the product related to the product shelf visited by the settlement customer. Can be done. As a result, the number of products to be searched is reduced, so that the time required for the product recognition process can be reduced. Therefore, the POS terminal device 100 according to the present embodiment can perform product recognition efficiently.
  • the POS terminal device 100 sets apples as search targets and does not search tomatoes as search targets when performing product recognition processing. Therefore, the POS terminal device 100 does not misrecognize the settlement product as a tomato during the product recognition process. Therefore, the POS terminal apparatus 100 according to the present embodiment can suppress erroneous recognition and can efficiently perform product recognition.
  • the second embodiment shows an example in which the flow line imaging device 20 in the first embodiment is provided corresponding to each product shelf. Note that components that are substantially the same as those of the first embodiment are denoted by the same reference numerals, and description thereof is omitted (the same applies to other embodiments described later).
  • FIG. 10 is a diagram illustrating a store 50 to which the POS system 300 according to the second embodiment is applied.
  • the POS system 300 includes a POS terminal device 100, a flow line imaging device A20A to a flow line imaging device F20F, and a settlement customer imaging device 302.
  • the hardware configuration of the POS terminal apparatus 100 according to the second embodiment is substantially the same as that of the POS terminal apparatus 100 according to the first embodiment.
  • the flow line imaging device A20A to the flow line imaging device F20F have the same functions as the flow line imaging device 20. That is, the flow line imaging device A20A to the flow line imaging device F20F are communicably connected to the POS terminal device 100.
  • the flow line imaging device A20A is installed in the vicinity of the product shelf A and images customers visiting the product shelf A.
  • the flow line imaging device B20B is installed in the vicinity of the product shelf B, and images customers visiting the product shelf B.
  • the flow line imaging device C20C is installed in the vicinity of the product shelf C, and images customers visiting the product shelf C.
  • the flow line imaging device D20D is installed in the vicinity of the product shelf D, and images customers visiting the product shelf D.
  • the flow line imaging device E20E is installed in the vicinity of the product shelf E, and images customers visiting the product shelf E.
  • the flow line imaging device F20F is installed in the vicinity of the product shelf F, and images customers visiting the product shelf F.
  • the settlement customer imaging device 302 is installed in the vicinity of the POS terminal device 100.
  • the settlement customer imaging device 302 is connected to the POS terminal device 100 so as to be communicable similarly to the flow line imaging device 20.
  • the payment customer imaging device 302 is an image pickup device (camera) such as a CCD, for example, and performs processing for reading an image (still image or moving image) of the payment customer.
  • the payment customer imaging apparatus 302 images the payment customer and generates a color image or a monochrome image (payment customer image) including the image of the payment customer.
  • the settlement customer imaging device 302 transmits a settlement customer image obtained by imaging to the POS terminal device 100.
  • FIG. 11 is a functional block diagram of the POS terminal apparatus 100 according to the second embodiment.
  • the POS terminal device 100 according to the second embodiment includes a settlement processing unit 310.
  • the payment processing unit 310 includes a flow line detection unit 312, a flow line information storage unit 204, a payment customer identification unit 320, a product image acquisition unit 220, a product recognition processing unit 230, a product shelf information storage unit 232, A standard product information storage unit 234.
  • the flow line detection unit 312 receives the flow line images captured by the flow line imaging devices A20A to F20F from the flow line imaging devices A20A to F20F, respectively.
  • the flow line detection unit 312 analyzes the received flow line image and identifies a customer who has visited for each of the product shelves A to F. Similar to the flow line detection unit 202, flow line information indicating which product shelves each customer has visited is generated and stored in the flow line information storage unit 204. Specific processing of the flow line detection unit 312 will be described later.
  • the settlement customer identification unit 320 receives the settlement customer image captured by the settlement customer imaging device 302.
  • the settlement customer identification unit 320 analyzes the settlement customer image and determines that there is a settlement customer in front of the POS terminal device 100. Further, the settlement customer identification unit 320 analyzes the settlement customer image and performs a settlement customer identification process. Further, the settlement customer identification unit 320 generates a settlement customer identifier indicating the settlement customer, and outputs the generated settlement customer identifier to the product recognition processing unit 230. Specific processing of the settlement customer identification unit 320 will be described later.
  • FIG. 12 is a flowchart of the flow line detection process according to the second embodiment.
  • FIG. 12 shows the flow line detection process for the product shelf A, but the same processing is performed for the product shelves B to F.
  • the flow line detection unit 312 acquires a flow line image obtained by imaging the front of the product shelf A from the flow line imaging device A20A (S202). Specifically, the flow line imaging device A 20 ⁇ / b> A images the front of the commodity shelf A and transmits the obtained flow line image to the POS terminal device 100. Thereby, the flow line detection unit 312 acquires a flow line image corresponding to the product shelf A from the flow line imaging device A20A.
  • the flow line detection unit 312 determines whether a customer exists in front of the product shelf A (S204). Specifically, the flow line detection unit 312 analyzes a flow line image corresponding to the product shelf A and determines whether or not a human image is included in the flow line image. As a method for determining whether or not a human image is included in the flow line image, for example, a face recognition process can be cited, but the method is not limited thereto. When the face recognition process is used, the flow line detection unit 312 determines that there is a customer in front of the product shelf A when it is determined that the human line image is included in the flow line image.
  • the flow line detection unit 312 determines whether the customer stays in front of the product shelf A for a predetermined time T1 or more. Is determined (S206). Specifically, the flow line detection unit 312 analyzes the flow line image corresponding to the product shelf A, and the image of the customer (person) is included in the flow line image captured during the time T1. When it continues, it determines with the customer staying in front of the goods shelf A more than time T1.
  • the flow line detection unit 312 performs the identification process on the customer who stays in front of the product shelf A. Perform (S208).
  • the identification processing method includes the method described above. For example, the flow line detection unit 312 analyzes a flow line image corresponding to the product shelf A, performs face recognition processing on the customer imaged in the flow line image, and performs face data corresponding to the customer. Is generated. Then, the flow line detection unit 312 generates a customer identifier using the generated face data. Accordingly, the flow line detection unit 312 determines that the customer X captured in the flow line image has visited the product shelf A (S210).
  • the flow line detection unit 312 performs the processing shown in FIG. 12 for the product shelves B to F. As in the first embodiment, the flow line detection unit 312 generates the flow line information illustrated in FIG. 7 and stores the generated flow line information in the flow line information storage unit 204.
  • FIG. 10 illustrates a locus Ta that the customer A has moved.
  • the customer A moves in front of the merchandise shelf C, in front of the merchandise shelf D, in front of the merchandise shelf B, in front of the merchandise shelf A, and moves to the front of the POS terminal device 100 to settle the merchandise. Is going to do.
  • the flow line detection unit 312 determines that the customer A has visited the product shelf C.
  • the flow line detection unit 312 determines that the customer A has visited the product shelf B.
  • the flow line detection unit 312 determines that the customer A has visited the product shelf A. On the other hand, if customer A simply passes in front of product shelf D and does not stay for more than time T1 in front of product shelf D, flow line detection unit 312 indicates that customer A has not visited product shelf D. judge.
  • FIG. 13 is a flowchart of the product recognition process according to the second embodiment.
  • the settlement customer identification unit 320 acquires a settlement customer image obtained by imaging the front of the POS terminal device 100 from the settlement customer imaging device 302 (S220). Specifically, the settlement customer imaging device 302 captures an image of the front of the POS terminal device 100 and transmits the obtained settlement customer image to the POS terminal device 100. As a result, the settlement customer identification unit 320 acquires a settlement customer image from the settlement customer imaging device 302.
  • the settlement customer identification unit 320 determines whether or not a settlement customer exists in front of the POS terminal device 100 (S222). Specifically, the settlement customer identification unit 320 analyzes the settlement customer image captured by the settlement customer imaging device 302 and determines whether or not a person image is included in the settlement customer image. As a method for determining whether or not a person image is included in the settlement customer image, for example, face recognition processing may be mentioned, but the method is not limited thereto. When the face recognition process is used, the settlement customer identification unit 320 determines that a settlement customer exists in front of the POS terminal device 100 when it is determined that the settlement customer image includes a human face image.
  • the settlement customer identification unit 320 identifies the settlement customer (S224).
  • the identification processing method includes the method described above. For example, the settlement customer identification unit 320 performs face recognition processing, for example, and generates face data corresponding to the settlement customer. Then, the settlement customer identification unit 320 generates a settlement customer identifier using the generated face data.
  • the product recognition processing unit 230 acquires the product shelf information associated with the settlement customer from the flow line information storage unit 204, similarly to the processing of S106 (S226). Specifically, the product recognition processing unit 230 receives a payment customer identifier from the payment customer identification unit 320. The merchandise recognition processing unit 230 searches a customer identifier corresponding to the settlement customer identifier from the flow line information stored in the flow line information storage unit 204. Furthermore, the product recognition processing unit 230 acquires a product shelf identifier associated with the searched customer identifier. Then, the product recognition processing unit 230 acquires product shelf information corresponding to the acquired product shelf identifier from the product shelf information storage unit 232.
  • the product recognition processing unit 230 sets the reference product information related to the product corresponding to the acquired product shelf information as the target of the image search, similarly to the processing of S108 (S228).
  • the POS terminal apparatus 100 captures an image of the settlement product, similar to the process of S110 (S230).
  • the product image acquisition unit 220 controls the product imaging unit 130 to image a payment product directed to the product imaging unit 130 and acquires a payment product image.
  • the merchandise recognition processing unit 230 performs merchandise recognition processing using the standard merchandise information of the merchandise that is the search target in the processing of S228, similarly to the processing of S112 (S232). Specifically, the merchandise recognition processing unit 230 performs pattern matching between the reference merchandise information of the merchandise that is the search target in the process of S228 and the settlement merchandise image. Then, the product recognition processing unit 230 determines that the settlement product is a product corresponding to the reference product image when the similarity between the two satisfies an allowable value.
  • the POS terminal device 100 by narrowing down the search target as in the first embodiment, the POS terminal device 100 allows only the reference product information corresponding to the product related to the product shelf visited by the settlement customer.
  • Product recognition processing pattern matching processing
  • the time required for the product recognition process can be reduced. Therefore, the POS terminal device 100 according to the second embodiment can efficiently perform product recognition.
  • Embodiment 2 since the customer who visited the product shelf is imaged using the imaging device provided corresponding to each product shelf, which product shelf the customer has visited is more reliably determined. It becomes possible to detect. Therefore, the POS terminal device 100 according to the second embodiment can more reliably narrow down the search target to the products displayed on the product shelf visited by the settlement customer. As a result, it is possible to prevent the settlement product from leaking from the search target. Therefore, the POS terminal device 100 according to the second embodiment can efficiently perform product recognition.
  • Embodiment 3 shows an example in which the flow line imaging device 20 in the first embodiment is not provided corresponding to each product shelf.
  • the third embodiment an example is described in which there is one flow line imaging device 20, but the number of flow line imaging devices 20 is arbitrary.
  • FIG. 14 is a diagram illustrating a store 50 to which the POS system 400 according to the third embodiment is applied.
  • the POS system 400 includes the POS terminal device 100 and the flow line imaging device 20.
  • the hardware configuration of the POS terminal apparatus 100 according to the third embodiment is substantially the same as that of the POS terminal apparatus 100 according to the first embodiment.
  • the flow line imaging device 20 is communicably connected to the POS terminal device 100.
  • the flow line imaging device 20 captures each customer moving in the store 50 and obtains a flow line image.
  • the flow line imaging device 20 is installed at a position where a customer existing in front of each of the product shelves A to F can be imaged. That is, the flow line imaging device 20 images customers visiting each of the product shelves A to F. Further, the flow line imaging device 20 may have a wide-angle lens in order to capture a wide range in the store 50.
  • FIG. 15 is a functional block diagram of the POS terminal apparatus 100 according to the third embodiment.
  • the POS terminal device 100 according to the third embodiment includes a settlement processing unit 410.
  • the payment processing unit 410 includes a flow line detection unit 412, a flow line information storage unit 204, a payment customer identification unit 420, a product image acquisition unit 220, a product recognition processing unit 230, a product shelf information storage unit 232, A standard product information storage unit 234.
  • the flow line detection unit 412 receives the flow line image captured by the flow line imaging device 20 from the flow line imaging device 20.
  • the flow line detection unit 412 analyzes the received flow line image and tracks the movement (flow line) of each of the customers A to C.
  • the flow line detection unit 412 analyzes the received flow line image and detects the product shelves visited by each of the customers A to C, thereby identifying the visited customer for each of the product shelves A to F. . Similar to the flow line detection unit 202, flow line information indicating which product shelves each customer has visited is generated and stored in the flow line information storage unit 204. Specific processing of the flow line detection unit 412 will be described later.
  • the settlement customer identification unit 420 receives the flow line image captured by the flow line imaging device 20.
  • the settlement customer identification unit 420 analyzes the flow line image, determines that there is a customer in front of the POS terminal device 100, and identifies the customer as a settlement customer. Further, the settlement customer identification unit 420 generates a settlement customer identifier indicating the settlement customer, and outputs the generated settlement customer identifier to the product recognition processing unit 230. Specific processing of the settlement customer identification unit 420 will be described later.
  • FIG. 16 is a flowchart of flow line detection processing according to the third embodiment.
  • FIG. 16 shows a flow line detection process for customer A, but the same process is performed for customers B and C.
  • the flow line detection unit 412 analyzes the flow line image generated by the flow line imaging device 20 and tracks the flow line of the customer A (S302). Specifically, the flow line detection unit 412 detects that a customer has entered from the entrance 54 of the store 50 in the flow line image. The position of the image of the entrance 54 in the flow line image can be fixed regardless of each time. Accordingly, when the flow line detection unit 412 analyzes the flow line image and detects that there is a human image at a position corresponding to the entrance 54 in the flow line image, the flow line detection unit 412 designates the person as “customer A”. Identify. Further, the flow line detection unit 412 generates a customer identifier indicating the “customer A”.
  • the flow line detection unit 412 may extract the customer characteristic information about the customer A and generate a customer identifier using the customer characteristic information. Further, the flow line detection unit 412 may generate a customer identifier using the face data as long as the face of the customer A can be recognized in the flow line image.
  • the flow line detection unit 412 tracks how the person identified as “customer A” moves through the store 50. In other words, the flow line detection unit 412 tracks the flow line in the store 50 of the person identified as “customer A”.
  • the image in the store 50 in the flow line image can be fixed regardless of each time. Therefore, for example, the flow line detection unit 412 tracks to which position in the image of the store 50 the image of the person identified as “customer A” moves in the flow line image.
  • the flow line detection unit 412 may sequentially generate trajectory data indicating the time and the position information (coordinate data or the like) of the customer A at that time. Thereby, the flow line detection unit 412 can generate trajectory data indicating the trajectory Ta (shown in FIG. 14) that the customer A has moved.
  • the flow line detection unit 412 determines whether or not the customer A exists before the product shelf X (product shelf A to F) (S304). Specifically, the flow line detection unit 412 has the customer A in a predetermined area X (areas A to F; indicated by a one-dot chain line in FIG. 14) before the merchandise shelf X (the merchandise shelves A to F). It is determined whether or not to do. More specifically, the flow line detection unit 412 analyzes the flow line image and determines whether or not there is an image of a person identified as “customer A” in the region X in the flow line image. When there is an image of a person identified as “customer A” in the region X in the flow line image, the flow line detection unit 412 determines that the customer A exists in front of the product shelf X.
  • the flow line detection unit 412 determines whether the customer A stays in front of the product shelf X for a predetermined time T1 or more. Is determined (S306). Specifically, the flow line detection unit 412 analyzes the flow line image, and when the image of the customer A is continuously included in the area X in the flow line image captured during the time T1, It is determined that the customer A remains before the product shelf X for the time T1 or more.
  • the flow line detection unit 412 determines that the customer A is the product shelf X (any one of the product shelves A to F). ) Is determined to have been visited (S310).
  • the flow line detection unit 412 performs the processing shown in FIG. 16 for the customers B and C as well. Then, as in the first embodiment, the flow line detection unit 412 generates the flow line information illustrated in FIG. 7 and stores the generated flow line information in the flow line information storage unit 204.
  • the flow line information may include the trajectory data for each of the customers A to C described above.
  • FIG. 14 illustrates a locus Ta that the customer A has moved.
  • the customer A moves in front of the merchandise shelf C, in front of the merchandise shelf D, in front of the merchandise shelf B, in front of the merchandise shelf A, and moves to the front of the POS terminal device 100 to settle the merchandise. Is going to do.
  • the flow line detection unit 412 enters the store from the entrance 54, moves in front of the product shelf C, before the product shelf D, before the product shelf B, and before the product shelf A.
  • the trajectory that has moved to the front of the terminal device 100 is sequentially tracked.
  • the flow line detection unit 412 determines that the customer A has visited the product shelf C. Similarly, when the customer A stays in the area B before the product shelf B for the time T1 or more, the flow line detection unit 412 determines that the customer A has visited the product shelf B. When the customer A stays in the area A in front of the product shelf A for the time T1 or more, the flow line detection unit 412 determines that the customer A has visited the product shelf A. On the other hand, when the customer A simply passes in front of the product shelf D and does not stay in the area D in front of the product shelf D for the time T1 or more, the flow line detection unit 412 visits the product shelf D by the customer A. Judge that it did not.
  • FIG. 17 is a flowchart of the product recognition process according to the third embodiment.
  • the product recognition process for customer A is shown, but the same process is performed for customers B and C.
  • the settlement customer identification unit 420 determines whether or not the customer A exists in front of the POS terminal device 100 (S322). Specifically, the settlement customer identification unit 420 determines whether or not the customer A exists in a predetermined area Y (indicated by a one-dot chain line in FIG. 14) of the POS terminal device 100. The position of the image of the POS terminal device 100 in the flow line image can be fixed regardless of each time. Therefore, the flow line detection unit 412 analyzes the flow line image and determines whether or not there is an image of a person identified as “customer A” in the region Y in the flow line image. When there is an image of a person identified as “customer A” in the area Y in the flow line image, the flow line detection unit 412 determines that the customer A exists in front of the POS terminal device 100.
  • the process of S320 is repeated.
  • the settlement customer identification unit 420 identifies the customer A as a settlement customer (S324).
  • the product recognition processing unit 230 acquires the product shelf information associated with the settlement customer (customer A) from the flow line information storage unit 204, similarly to the processing of S106 (S326). Specifically, the merchandise recognition processing unit 230 receives a settlement customer identifier indicating the customer A from the settlement customer identification unit 420. The merchandise recognition processing unit 230 searches for the customer identifier (of the customer A) corresponding to the settlement customer identifier from the flow line information stored in the flow line information storage unit 204. Furthermore, the product recognition processing unit 230 acquires a product shelf identifier associated with the searched customer identifier. Then, the product recognition processing unit 230 acquires product shelf information corresponding to the acquired product shelf identifier from the product shelf information storage unit 232.
  • the merchandise recognition processing unit 230 sets the reference merchandise information related to the merchandise corresponding to the obtained merchandise shelf information as the target of the image search (S328).
  • the POS terminal apparatus 100 images the settlement product in the same manner as the process of S110 (S330).
  • the product image acquisition unit 220 controls the product imaging unit 130 to image a payment product directed to the product imaging unit 130 and acquires a payment product image.
  • the merchandise recognition processing unit 230 performs merchandise recognition processing using the standard merchandise information of the merchandise that is the search target in the processing of S328, similarly to the processing of S112 (S332). Specifically, the merchandise recognition processing unit 230 performs pattern matching between the reference merchandise information of the merchandise that is the search target in the process of S328 and the settlement merchandise image. Then, the product recognition processing unit 230 determines that the settlement product is a product corresponding to the reference product image when the similarity between the two satisfies an allowable value.
  • the POS terminal device 100 by narrowing down the search target in the same manner as in the first embodiment, the POS terminal device 100 allows only the reference product information corresponding to the product related to the product shelf visited by the settlement customer.
  • Product recognition processing pattern matching processing
  • the number of products to be searched is reduced, so that the time required for the product recognition process can be reduced. Therefore, the POS terminal device 100 according to the third embodiment can efficiently recognize a product.
  • Embodiment 3 it is not necessary to provide an imaging device corresponding to each product shelf. Therefore, it is possible to reduce the number of imaging devices installed in the store 50.
  • the configuration of the third embodiment can be applied when the area of the store 50 is relatively small, and when the imaging device cannot be installed for each product shelf.
  • the number of product shelves is six, but the number of product shelves is arbitrary.
  • the number of customers is three, but the number of customers is arbitrary.
  • the number of products displayed on each product shelf is also arbitrary.
  • the flow line imaging device 20 is provided for each product shelf, but the configuration is not limited thereto. That is, in the second embodiment, the number of flow line imaging devices 20 may not be the same as the number of product shelves. If the flow line detection unit 312 can determine which product shelf the customer has visited, the number of flow line imaging devices 20 may be smaller than the number of product shelves. For example, in FIG. 10, the flow line imaging device 20 may be installed between the product shelf A and the product shelf B. In the third embodiment, one flow line imaging device 20 is provided. However, the configuration is not limited to this. Two or more flow line imaging devices 20 may be provided.
  • the flow line detection unit 312 determines that the customer who visited the product shelf A has visited the product shelf A when the customer existing in front of the product shelf A stays for the time T1 or more. It is not limited to a simple configuration. For example, the flow line detection unit 312 may determine that the customer has visited the product shelf A when detecting that the customer has approached the product shelf A within a predetermined distance. For example, the flow line detection unit 312 may determine that the customer has visited the product shelf A when detecting that the customer has reached the product shelf A. The same applies to the third embodiment.
  • the flow line imaging device may capture a three-dimensional image. With this configuration, the position in the depth direction can be detected more accurately. Further, in this case, the flow line detection unit may detect which position (for example, the upper stage / lower stage) of the product shelf has reached the hand. In this case, the product shelf information may indicate which product is displayed at which position of the product shelf. By configuring in this way, it is possible to further narrow down the products to be searched. Thereby, it is possible to further reduce the time required for the product recognition process.
  • each customer is assumed to be independent from each other, but is not limited to such a configuration. That is, each “customer” is not limited to one person, and “customer” may be a group composed of a plurality of persons.
  • the flow line detection unit may recognize a group composed of a plurality of persons and detect the flow line of each member of the group. At this time, when it is detected that a plurality of persons are present at the entrance of the store, the flow line detection unit may recognize the plurality of persons as a group.
  • the settlement customer identification unit may detect that at least one of the groups is going to settle.
  • the product recognition processing unit uses the flow line information about all the members of the group. The product shelf information may be extracted.
  • the representative of the group may settle the product together. Even in such a case, the POS terminal device according to the present embodiment can narrow down the search target while suppressing the settlement product from leaking from the search target.
  • the product is displayed on a product shelf visited by the payment customer.
  • the sold product is a search target in the image recognition process
  • the present invention is not limited to such a configuration.
  • the concept of “making a product displayed on a product shelf visited by a settlement customer a candidate” includes not only narrowing down the search target but also raising the priority of the reference product information.
  • This concept also includes performing product recognition processing by preferentially using reference product information related to products displayed on a product shelf visited by a settlement customer. Thereby, it becomes possible to recognize goods efficiently.
  • the payment product cannot be searched using the standard product information related to the product displayed on the product shelf visited by the payment customer, the product displayed on the product shelf that the payment customer did not visit. You may search for payment goods using standard goods information.
  • the flow line detection process according to the present embodiment is not limited to the method described above, and may be performed using various existing methods.
  • the POS terminal apparatus performs the flow line detection process.
  • the present invention is not limited to such a configuration.
  • Another device that can communicate with the POS terminal device may generate the flow line information by analyzing the flow line image and transmit it to the POS terminal device. That is, the “flow line detection” includes that the flow line analysis process is performed by another apparatus and the analysis result (flow line information or the like) is received by the POS terminal apparatus.
  • the customer identification process according to the present embodiment is not limited to the method described above, and may be performed using various existing methods.
  • the POS terminal device identifies the customer.
  • Another device that can communicate with the POS terminal device may analyze the flow line image or the settlement customer image to identify the customer, and transmit the identification result to the POS terminal device. That is, “identifying a customer” includes that another device performs customer identification processing and the POS terminal device receives the identification result.
  • the POS terminal device 100 uses the merchandise displayed on the merchandise shelf visited by the settlement customer within a predetermined time before the merchandise is settled in the merchandise recognition process. It may be a search target.
  • the customer A may enter the store 50 multiple times. At this time, the customer A visits the product shelf E when he / she entered the store last time, but when he / she enters the store this time, he / she visits only the product shelf A and does not visit the product shelf E / 100. If the flow line information generated when the customer A enters the store 50 last time, there is a risk that the product displayed on the product shelf E will be the search target.
  • the POS terminal device 100 can be accessed by the customer A this time by making the products displayed on the product shelves visited by the settlement customer within a predetermined time from when the product is settled into the search target in the product recognition process. Only the products in the product shelf A that have been selected can be searched. Therefore, the POS terminal apparatus 100 can more appropriately narrow down the search target, so that product recognition can be performed more efficiently.
  • this “predetermined time before settlement” can be set in consideration of the time during which the customer normally stays in the store. For example, when the store is a convenience store, the products displayed on the product shelves visited by the payment customer during the 30 minutes before the payment may be used as the search target in the product recognition process. Further, for example, when the store is a mass retailer, products displayed on the product shelves visited by the settlement customer during the five hours before the settlement may be set as search targets in the product recognition process.
  • an imaging device that images the entrance of the store 50 may be installed, and a customer who enters the store from the entrance may be imaged by the imaging device to perform face recognition processing. Then, the flow line from the customer entrance may be tracked by the flow line imaging device. Furthermore, the customer (settlement customer) may be imaged by a settlement customer imaging device installed in the vicinity of the POS terminal device, and face recognition processing may be performed.
  • the POS terminal device and the POS system according to the present embodiment also include such a configuration.
  • the merchandise is displayed on the merchandise shelf, but it is not limited to such a configuration. That is, the product shelf is not indispensable, and it is only necessary to identify which product is displayed at which “position” in the store in the product shelf information.
  • the flow line detection unit may detect the “position” visited by the customer.
  • the product recognition processing unit may perform the product recognition process of the settlement product with the product displayed at the “position” visited by the settlement customer as a candidate.
  • the POS terminal device and the POS system according to the present embodiment also include such a configuration.
  • the configuration according to the present embodiment is applied to the POS terminal device, it is not limited thereto.
  • the present invention can be applied to a general object recognition device such as an object recognition device used for sorting packages in a warehouse or the like, and a system including the object recognition device.
  • the POS terminal device 100 according to the present embodiment can be applied to, for example, a self-checkout.
  • a self-checkout When the customer uses the POS terminal as in the self-checkout, the customer is not accustomed to having the reading device read the barcode attached to the product. For this reason, self-checkout requires a method that does not use a barcode, that is, a method that allows a product to be read directly. Therefore, by applying the POS terminal device 100 according to the present embodiment to the self-registration, the problem caused by causing the commodity to be read directly as described above is solved.
  • Non-transitory computer readable media include various types of tangible storage media (tangible storage medium).
  • Examples of non-transitory computer-readable media include magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable ROM), flash ROM, RAM (random access memory)) are included.
  • the program may also be supplied to the computer by various types of temporary computer-readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the flow line detection step detects a product shelf visited by the customer, The program according to claim 6, wherein the recognition processing step performs a recognition process of the product to be settled, using a product displayed on the product shelf detected as a visit of the identified customer as a candidate.
  • the flow line detection step detects the flow line in association with a time when the customer visited each position corresponding to the flow line,
  • the recognition processing step performs the recognition processing of the product to be settled by using as a candidate a product displayed at a position visited by the customer within a predetermined time before the product to be settled is settled.
  • the program according to any one of 6 to 9.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

　効率的に商品認識を行うことが可能なＰＯＳ端末装置、ＰＯＳシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供する。ＰＯＳ端末装置（１）は、動線検出部（２）と、決済顧客識別部（４）と、商品認識処理部（６）とを有する。動線検出部（２）は、少なくとも１つの撮像装置で撮像された画像を用いて、店舗内における顧客の動線を検出する。決済顧客識別部（４）は、商品を決済しようとする顧客を識別する。商品認識処理部（６）は、決済顧客識別部（４）によって識別された顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の商品の認識処理を行う。

Description

ＰＯＳ端末装置、ＰＯＳシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体
　本発明は、ＰＯＳ（Point Of Sales）端末装置、ＰＯＳシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関し、特に商品の決済を行うＰＯＳシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
　コンビニエンスストア、スーパマーケット又は量販店等の決済場所（料金支払所：レジ）に設置するＰＯＳ（Point Of Sales）端末においては、バーコードの付いた商品については、店員がバーコード入力装置によって入力を行い、バーコードの付けられない商品については、店員がキーボードによって商品のデータを入力している。このため、店員の熟練度により、バーコードが付けられていない商品の入力時間に大きな差が生じる。店員が、バーコードが付されていない商品に予め店舗用のバーコードを付すことも行われているが、作業時間の増大につながっている。さらに、近年は、顧客が自分で直接ＰＯＳ端末装置を操作するセルフレジも増加している。顧客は、商品のどの位置にバーコードが付されているかの判断に時間がかかるため、ＰＯＳ端末装置の操作に要する時間はさらに増大する。
　そのため、ＰＯＳ端末装置に内蔵されたカメラ等で商品を撮像して、得られた画像データから、画像認識技術を用いて商品を認識する技術が提案されている。この技術に関連して、特許文献１には、撮像された対象物に対応する商品の確定を簡便化して、より効率的に行うことが可能な情報処理装置が開示されている。特許文献１にかかる情報処理装置は、撮像手段が撮像した画像を取り込む取込手段と、前記撮像手段で撮像された物体の画像と、各商品の基準画像とがどの程度類似しているかを示す類似度が、前記撮像された商品を前記基準画像に対応する商品のうち一の商品として確定する条件を満たした場合に、前記撮像された商品が前記条件を満たした前記基準画像に対応する商品として確定されたことを報知する報知手段とを備える。
特開２０１３－　８９０８５号公報
　店舗内に陳列される商品の数は膨大である。したがって、画像認識技術を用いて商品を認識する際に、店舗内の全ての商品と決済対象の商品とをマッチングさせると、商品の認識処理に膨大な時間を要してしまう。さらに、店舗内の全ての商品と決済対象の商品とをマッチングさせた場合、店舗内には決済対象の商品と類似した商品も陳列されることから、類似商品との誤認識が発生するおそれがある。上述した特許文献１にかかる情報処理装置は、店舗内に陳列された全商品の基準画像と、撮像手段で撮像された物体の画像との類似度を算出している。したがって、その処理時間は膨大なものとなる。さらに、店舗内に陳列された全商品の基準画像を処理対象とすることから、類似商品との誤認識を発生させるおそれがある。したがって、効率的に商品認識を行うことができなかった。
　本発明は、このような課題を解決するためになされたものであり、効率的に商品認識を行うことが可能なＰＯＳ端末装置、ＰＯＳシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することにある。
　本発明にかかるＰＯＳ端末装置は、少なくとも１つの撮像手段で撮像された画像を用いて、店舗における顧客の動線を検出する動線検出手段と、商品を決済しようとする前記顧客を識別する顧客識別手段と、前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う認識処理手段とを有する。
　また、本発明にかかるＰＯＳシステムは、少なくとも１つの撮像装置と、前記撮像装置で撮像された画像を用いて、店舗における顧客の動線を検出する動線検出手段と、商品を決済しようとする前記顧客を識別する顧客識別手段と、前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う認識処理手段とを有する。
　また、本発明にかかる商品認識方法は、少なくとも１つの撮像手段で撮像された画像を用いて、店舗における顧客の動線を検出し、商品を決済しようとする前記顧客を識別し、前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う。
　また、本発明にかかるプログラムは、少なくとも１つの撮像手段で撮像された画像を用いて、店舗における顧客の動線を検出する動線検出ステップと、商品を決済しようとする前記顧客を識別する顧客識別ステップと、前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う認識処理ステップとをコンピュータに実行させる。
　本発明によれば、効率的に商品認識を行うことが可能なＰＯＳ端末装置、ＰＯＳシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供できる。
本発明の実施の形態にかかるＰＯＳ端末装置の概要を示す図である。 実施の形態１にかかるＰＯＳシステムを示す図である。 実施の形態１にかかるＰＯＳシステムが適用される店舗を例示する図である。 実施の形態１にかかるＰＯＳ端末装置の外観を示す側面図である。 実施の形態１にかかるＰＯＳ端末装置のハードウェア構成を示す図である。 実施の形態１にかかるＰＯＳ端末装置の機能ブロック図である。 動線情報格納部に格納される動線情報を例示する図である。 商品棚情報格納部に格納される商品棚情報を例示する図である。 実施の形態１にかかるＰＯＳ端末装置の処理を示すフローチャートである。 実施の形態２にかかるＰＯＳシステムが適用される店舗を例示する図である。 実施の形態２にかかるＰＯＳ端末装置の機能ブロック図である。 実施の形態２にかかる動線検出処理を示すフローチャートである。 実施の形態２にかかる商品認識処理を示すフローチャートである。 実施の形態３にかかるＰＯＳシステムが適用される店舗を例示する図である。 実施の形態３にかかるＰＯＳ端末装置の機能ブロック図である。 実施の形態３にかかる動線検出処理を示すフローチャートである。 実施の形態３にかかる商品認識処理を示すフローチャートである。
（本発明にかかる実施の形態の概要）
　実施の形態の説明に先立って、本発明にかかる実施の形態の概要を説明する。図１は、本発明の実施の形態にかかるＰＯＳ端末装置１の概要を示す図である。図１に示すように、ＰＯＳ端末装置１は、動線検出部２（動線検出手段）と、決済顧客識別部４（顧客識別手段）と、商品認識処理部６（認識処理手段）とを有する。
　動線検出部２は、少なくとも１つの撮像装置（撮像手段）で撮像された画像を用いて、店舗内における顧客の動線を検出する。決済顧客識別部４は、商品を決済しようとする顧客を識別する。商品認識処理部６は、決済顧客識別部４によって識別された顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の商品の認識処理を行う。このような構成により、本発明の実施の形態にかかるＰＯＳ端末装置１は、効率的に商品認識を行うことが可能となる。また、上記ＰＯＳ端末装置１を有するＰＯＳシステム、上記処理を実行する商品認識方法及びプログラムについても、効率的に商品認識を行うことが可能となる。
（実施の形態１）
　以下、図面を参照して本発明の実施の形態について説明する。
　図２は、実施の形態１にかかるＰＯＳシステム１０を示す図である。また、図３は、実施の形態１にかかるＰＯＳシステム１０が適用される店舗５０を例示する図である。
　ＰＯＳシステム１０は、ＰＯＳ端末装置１００と、少なくとも１つの動線用撮像装置２０とを有する。ＰＯＳ端末装置１００と、動線用撮像装置２０とは、通信可能に接続されている。両者間の通信は、有線通信又は無線通信のいずれであってもよく、様々な通信規格が適用されうる。ＰＯＳ端末装置１００と、動線用撮像装置２０とは、ネットワーク（例えば、無線ＬＡＮ（Local Area Network）又はインターネット等）を介して互いに接続されていてもよい。また、ＰＯＳ端末装置１００と、動線用撮像装置２０とは、赤外線通信又はＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信方式によって互いに通信してもよい。
　図３に例示するように、店舗５０には、例えば商品棚Ａ～Ｆが設置されており、各商品棚に商品が陳列されている。また、店舗５０内を、例えば顧客Ａ～Ｃが移動している。ＰＯＳ端末装置１００は、店舗５０に設置されたカウンタ台５２の上に載置されている。ＰＯＳ端末装置１００を挟んで、商品を決済しようとする顧客（決済顧客）と、店員（図示せず）が対峙する。図３の例では、顧客Ａが決済顧客である。
　動線用撮像装置２０は、顧客Ａ～Ｃの店舗５０における動線を検出するために用いられる。これによって、ＰＯＳ端末装置１００は、顧客Ａ～Ｃの動線を検出する。動線用撮像装置２０は、例えばＣＣＤ（Charge-Coupled Device）等の撮像素子（カメラ）であって、店舗５０内の画像（静止画又は動画）を読み取る処理を行う。具体的には、動線用撮像装置２０は、店舗５０内を撮像して、その店舗５０内の画像を含むカラー画像又はモノクロ画像（動線用画像）を生成する。なお、以下、用語「画像」は、情報処理における処理対象としての、「画像を示す画像データ」も意味する。動線用撮像装置２０は、店舗５０のいずれかの位置に設置され、顧客Ａ～Ｃを撮像する。動線用撮像装置２０は、撮像して得られた動線用画像を、ＰＯＳ端末装置１００に対して送信する。
　図４は、実施の形態１にかかるＰＯＳ端末装置１００の外観を示す側面図である。また、図５は、実施の形態１にかかるＰＯＳ端末装置１００のハードウェア構成を示す図である。ＰＯＳ端末装置１００は、店員用表示操作部１０２と、顧客用表示部１０４と、情報処理装置１１０と、商品撮像部１３０とを有する。上述したように、ＰＯＳ端末装置１００は、例えばカウンタ台５２に載置され、ＰＯＳ端末装置１００を挟んで、図４の左側に顧客が、右側に店員が対峙する。
　店員用表示操作部１０２は、例えばタッチパネル、ＬＣＤ（Liquid Crystal Display）、又はキーボード等である。店員用表示操作部１０２は、情報処理装置１１０の制御によって、店員に必要な情報を表示し、店員の操作を受け付ける。
　顧客用表示部１０４は、例えばタッチパネル又はＬＣＤ等である。顧客用表示部１０４は、情報処理装置１１０の制御によって、顧客に必要な情報を表示する。また、顧客用表示部１０４は、入力装置を有してもよく、必要に応じて顧客の操作を受け付けてもよい。
　情報処理装置１１０は、例えばコンピュータである。情報処理装置１１０は、例えばＣＰＵ（Central Processing Unit）等の制御部１１２と、例えばメモリ又はハードディスク等の記憶部１１４と、通信装置１１６とを有する。情報処理装置１１０は、店員用表示操作部１０２、顧客用表示部１０４及び商品撮像部１３０の動作を制御する。また、情報処理装置１１０は、店員用表示操作部１０２によって受け付けられた操作に応じて必要な処理を行う。また、情報処理装置１１０は、商品撮像部１３０によって読み取られた画像情報に応じて、画像処理等の必要な処理を行う。通信装置１１６は、ネットワークを介して接続された動線用撮像装置２０及びサーバ等の管理装置と通信を行うために必要な処理を行う。
　商品撮像部１３０は、店員が決済顧客から受け取った決済対象の商品Ｘ（決済商品）の画像（決済商品画像）を読み取る。これによって、ＰＯＳ端末装置１００は、決済商品Ｘの認識処理を行う。詳しくは後述する。商品撮像部１３０は、例えばＣＣＤ等の撮像素子（カメラ）であって、決済商品Ｘの画像を読み取る処理を行う。具体的には、商品撮像部１３０は、決済商品Ｘを撮像して、その決済商品Ｘの画像を含む画像（カラー画像又はモノクロ画像）を生成する。
　図６は、実施の形態１にかかるＰＯＳ端末装置１００の機能ブロック図である。実施の形態１にかかるＰＯＳ端末装置１００は、決済処理部２００を有する。決済処理部２００は、動線検出部２０２と、動線情報格納部２０４と、決済顧客識別部２１０と、商品画像取得部２２０と、商品認識処理部２３０と、商品棚情報格納部２３２と、基準商品情報格納部２３４とを有する。
　なお、決済処理部２００は、例えば、制御部１１２の制御によって、プログラムを実行させることによって実現できる。より具体的には、決済処理部２００は、制御部１１２の制御により、記憶部１１４に格納されたプログラムを実行させることによって実現される。また、決済処理部２００の各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、決済処理部２００の各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このことは、後述する他の実施の形態における決済処理部についても同様である。
　動線検出部２０２は、通信装置１１６を介して、動線用撮像装置２０から動線用画像を受信する。動線検出部２０２は、動線用画像を解析して、動線用画像に撮像された各顧客を識別する。そして、動線検出部２０２は、その識別された各顧客に対応する顧客識別子を生成する。また、動線検出部２０２は、動線用画像における各顧客に対し、生成された顧客識別子を割り当てる。また、動線検出部２０２は、動線用画像を解析して、顧客識別子を割り当てられた各顧客が、店舗５０内をどう移動したかを示す動線を検出する。具体的には、動線検出部２０２は、各顧客が店舗５０内のどの位置を訪問したかを検出する。さらに具体的には、動線検出部２０２は、各顧客が店舗５０内のどの商品棚を訪問したかを検出する。そして、動線検出部２０２は、顧客がどの商品棚を訪問したかを示す動線情報を生成して、動線情報格納部２０４に格納する。
　なお、「顧客が商品棚を訪問する」とは、例えば、顧客がその商品棚に陳列された商品を手に取ることを含む概念である。但し、「顧客が商品棚を訪問する」とは、必ずしも顧客が商品を手に取る必要はなく、顧客がその商品棚に陳列された商品に手を伸ばすこと、及び、単に顧客がその商品棚に陳列された商品を見ること等の、顧客が商品棚に陳列された商品に興味を持ち、その商品を選択するまでの、一般的な購買活動をも含む概念である。
　図７は、動線情報格納部２０４に格納される動線情報を例示する図である。動線情報は、顧客識別子と、その顧客識別子に対応する顧客が訪問した商品棚の識別子（商品棚識別子）とを含む。つまり、動線情報において、顧客識別子と商品棚識別子とが対応付けられている。図７の例においては、顧客Ａが、商品棚Ｃ，Ｂ，Ａを訪問し、顧客Ｂが、商品棚Ｅ，Ｃを訪問し、顧客Ｃが、商品棚Ｄ，Ｅ，Ｆを訪問したことが、示されている。図７において、例えば「顧客Ａ」とは、顧客Ａに対応する顧客識別子を示す。また、例えば「商品棚Ａ」とは、商品棚Ａに対応する商品棚識別子を示す。
　なお、動線検出部２０２が動線用画像を解析して各顧客を識別する方法として、既存の様々な方法が挙げられる。例えば、動線検出部２０２は、動線用画像に撮像された顧客に対して顔認識処理を行って、その顧客に対応する顔データを生成してもよい。そして、動線検出部２０２は、生成された顔データを、顧客識別子としてもよいし、顔データを用いて生成された識別子を、顧客識別子としてもよい。また、例えば、動線検出部２０２は、動線用画像に撮像された顧客の特徴を示す情報（顧客特徴情報）を抽出し、その顧客特徴情報を、顧客識別子としてもよい。例えば、動線検出部２０２は、顧客の服装の色、顧客の身長、顧客の年齢及び性別等を解析して、これらの特徴を示す顧客特徴情報を、顧客識別子としてもよい。
　また、動線検出部２０２が動線用画像を解析して各顧客が訪問した商品棚を検出する方法として、既存の様々な方法が挙げられる。例えば、動線検出部２０２は、動線用画像に撮像された顧客が商品棚の前に一定時間留まった場合に、その顧客がその商品棚を訪問したと判定してもよい。また、例えば、動線検出部２０２は、動線用画像に撮像された顧客が一定距離以内に商品棚に近づいたことを検出した場合に、その顧客がその商品棚を訪問したと判定してもよい。また、動線検出部２０２は、動線用画像に撮像された顧客が商品棚に手を伸ばしたことを検出した場合に、その顧客がその商品棚を訪問したと判定してもよい。さらに、動線検出部２０２は、動線用画像に撮像された顧客が単に商品棚の前を通過した場合に、その顧客がその商品棚を訪問したと判定してもよい。このことは、後述する他の実施の形態においても同様である。
　また、動線情報は、各顧客が各商品棚を訪問した時刻（時刻情報）を含んでもよい。さらに、動線情報は、各顧客が店舗５０に入店した時刻（時刻情報）を含んでもよい。つまり、動線検出部２０２は、各顧客の動線を、各顧客が各商品棚を訪問した時刻と対応付けて検出する。図７の例では、顧客Ａに関する動線情報は、顧客Ａが入店した時刻情報、顧客Ａが商品棚Ｃを訪問した時刻情報、顧客Ａが商品棚Ｂを訪問した時刻情報、及び顧客Ａが商品棚Ａを訪問した時刻情報を含んでもよい。なお、各顧客が各商品棚を訪問した時刻とは、動線検出部２０２が、その顧客がその商品棚を訪問したと判定した時刻であってもよい。
　決済顧客識別部２１０は、ＰＯＳ端末装置１００の前に決済顧客が存在することを判定する。また、決済顧客識別部２１０は、決済顧客の識別処理を行う。さらに、決済顧客識別部２１０は、決済顧客を示す決済顧客識別子を生成して、生成された決済顧客識別子を、商品認識処理部２３０に対して出力する。なお、決済顧客識別部２１０がＰＯＳ端末装置１００の前に決済顧客が存在ことを判定する具体的な方法は、後述する実施の形態で説明する。また、決済顧客識別部２１０は、動線検出部２０２が顧客識別子を生成する方法と同様の方法で、決済顧客識別子を生成する。例えば、動線検出部２０２が顔認識処理を行う場合、決済顧客識別子は、顔データを示してもよいし、顔データを用いて生成された識別子でもよい。また、動線検出部２０２が顧客特徴情報を抽出する場合、決済顧客識別子は、顧客特徴情報を示してもよい。
　商品画像取得部２２０は、商品撮像部１３０を制御して、商品撮像部１３０に向けられた商品を撮像させる。そして、商品画像取得部２２０は、商品撮像部１３０によって生成された決済商品画像を取得し、商品認識処理部２３０に対して出力する。
　商品棚情報格納部２３２は、各商品棚と、その商品棚に陳列された商品との関係を示す商品棚情報を格納する。商品棚情報は、商品棚識別子と、その商品棚識別子に対応する商品棚に陳列される商品の識別子（商品識別子）とを含む。つまり、商品棚情報において、商品棚識別子と商品識別子とが対応付けられている。
　図８は、商品棚情報格納部２３２に格納される商品棚情報を例示する図である。図８の例においては、商品棚Ａには、商品Ａ１，Ａ２，Ａ３が陳列されていることが、示されている。同様に、商品棚Ｂには、商品Ｂ１，Ｂ２，Ｂ３が陳列され、商品棚Ｃには、商品Ｃ１，Ｃ２，Ｃ３が陳列され、商品棚Ｄには、商品Ｄ１，Ｄ２，Ｄ３が陳列され、商品棚Ｅには、商品Ｅ１，Ｅ２，Ｅ３が陳列され、商品棚Ｆには、商品Ｆ１，Ｆ２，Ｆ３が陳列されていることが、示されている。図８において、例えば「商品棚Ａ」とは、商品棚Ａに対応する商品棚識別子を示す。また、例えば「商品Ａ１」とは、商品Ａ１に対応する商品識別子を示す。
　基準商品情報格納部２３４は、各商品（商品Ａ１，商品Ｂ１等）の商品名とその商品に関する情報（基準商品情報）とを対応付けて記憶している。この基準商品情報は、商品認識処理部２３０における商品認識処理で用いられる。例えば、基準商品情報は、商品の基準となる画像（基準商品画像）であってもよい。また、例えば、基準商品情報は、商品の基準となる特徴を示すデータ（商品特徴データ）であってもよい。商品特徴データは、例えば、商品の形状を示す情報と、商品の色を示す情報と、商品の質感（つや等）を示す情報と、商品のパッケージに付された文字情報及び模様を示す情報との少なくとも１つを含んでもよい。
　商品認識処理部２３０は、商品画像取得部２２０によって抽出された決済商品画像を用いて、商品認識処理を行う。具体的には、商品認識処理部２３０は、基準商品情報格納部２３４に記憶された基準商品情報を検索して、決済商品画像と基準商品情報とのパターンマッチングを行う。ＰＯＳ端末装置１００は、商品認識処理部２３０による商品認識処理によって得られた商品情報を用いて、その商品の決済処理等を行う。ここで、商品情報は、商品を識別するための情報であって、例えば、商品名、商品メーカ名、商品の価格等を含んでもよい。
　例えば、基準商品情報が基準商品画像である場合、商品認識処理部２３０は、決済商品画像と、基準商品情報格納部２３４に格納された各商品に対応する基準商品画像とを、商品ごとに照合する。そして、商品認識処理部２３０は、両者の類似度が許容値を満たす場合に、決済商品を、その基準商品画像に対応する商品名と対応付ける。また、例えば、基準商品情報が商品特徴データである場合、商品認識処理部２３０は、決済商品画像から、その画像の特徴を抽出する。そして、商品認識処理部２３０は、抽出された画像の特徴と、基準商品情報格納部２３４に格納された各商品に対応する商品特徴データとを、商品ごとに照合する。そして、商品認識処理部２３０は、両者の類似度が許容値を満たす場合に、決済商品を、その商品特徴データに対応する商品名と対応付ける。
　ここで、本実施の形態にかかる商品認識処理部２３０は、決済顧客が訪問した商品棚に陳列された商品を候補として、決済商品の商品認識処理を行う。具体的には、例えば、商品認識処理部２３０は、決済顧客が訪問した商品棚に陳列された商品を商品認識処理における検索対象とする。そして、商品認識処理部２３０は、検索対象とされた商品から決済商品を検索することによって、決済商品の認識処理を行う。つまり、商品認識処理部２３０は、基準商品情報格納部２３４から、決済顧客が訪問した商品棚に陳列された商品に対応する基準商品情報を取得する。そして、商品認識処理部２３０は、取得された基準商品情報を用いて、決済商品の認識処理を行う。具体的な処理については後述する。
　図９は、実施の形態１にかかるＰＯＳ端末装置１００の処理を示すフローチャートである。ＰＯＳ端末装置１００は、各顧客の動線を検出する（Ｓ１００）。具体的には、上述したように、動線検出部２０２は、動線用撮像装置２０から、動線用画像を取得する。動線検出部２０２は、動線用画像に撮像された各顧客について顧客識別子を生成する。また、動線検出部２０２は、各顧客が店舗５０内のどの商品棚（どの位置）を訪問したかを検出する。そして、動線検出部２０２は、各顧客について動線情報を生成して、動線情報格納部２０４に格納する。このＳ１００の処理は、常に行われ得る。
　ＰＯＳ端末装置１００は、決済顧客がＰＯＳ端末装置１００の前に存在するか否かを判定する（Ｓ１０２）。具体的には、例えば、決済顧客識別部２１０は、ＰＯＳ端末装置１００の近傍に設置された撮像装置によって決済顧客が撮像されたことを検出することによって、ＰＯＳ端末装置１００の前に決済顧客が存在することを判定してもよい。また、例えば、決済顧客識別部２１０は、動線用撮像装置２０からの動線用画像を受け付けて、その動線用画像を解析することによって、ＰＯＳ端末装置１００の前に決済顧客が存在することを判定してもよい。
　決済顧客がＰＯＳ端末装置１００の前に存在しないと判定された場合（Ｓ１０２のＮＯ）、Ｓ１００及びＳ１０２の処理が繰り返される。一方、決済顧客がＰＯＳ端末装置１００の前に存在すると判定された場合（Ｓ１０２のＹＥＳ）、決済顧客識別部２１０は、決済顧客を識別する（Ｓ１０４）。具体的には、決済顧客識別部２１０は、上述したように、顔認識処理又は顧客特徴情報の抽出処理を行うことによって、決済顧客を識別する。そして、決済顧客識別部２１０は、決済顧客識別子を生成する。
　商品認識処理部２３０は、動線情報格納部２０４から、決済顧客に対応付けられた商品棚情報を取得する（Ｓ１０６）。具体的には、商品認識処理部２３０は、決済顧客識別部２１０から、決済顧客識別子を受け付ける。商品認識処理部２３０は、動線情報格納部２０４に格納された動線情報から、その決済顧客識別子に対応する顧客識別子を検索する。さらに、商品認識処理部２３０は、検索された顧客識別子に対応付けられた商品棚識別子を取得する。そして、商品認識処理部２３０は、取得された商品棚識別子に対応する商品棚情報を、商品棚情報格納部２３２から取得する。
　例えば、決済顧客識別子が顧客Ａを示すものである場合、商品認識処理部２３０は、図７に例示する動線情報から、顧客Ａに対応付けられた商品棚Ｃ，Ｂ，Ａに対応する商品棚識別子を取得する。そして、商品認識処理部２３０は、商品棚Ｃ，Ｂ，Ａそれぞれに対応する商品棚情報を、商品棚情報格納部２３２から取得する。
　商品認識処理部２３０は、取得された商品棚情報に対応する商品を、決済商品の候補とする（Ｓ１０８）。具体的には、商品認識処理部２３０は、取得された商品棚情報に対応する商品に関する基準商品情報を、画像検索の対象とする。上述した例では、商品認識処理部２３０は、取得された商品棚情報が商品棚Ｃに対応するので、図８に例示するように、商品棚Ｃに対応付けられた商品Ｃ１，Ｃ２，Ｃ３を、検索対象とする。同様に、商品認識処理部２３０は、取得された商品棚情報が商品棚Ｂに対応するので、商品棚Ｂに対応付けられた商品Ｂ１，Ｂ２，Ｂ３を、検索対象とする。同様に、商品認識処理部２３０は、取得された商品棚情報が商品棚Ａに対応するので、商品棚Ａに対応付けられた商品Ａ１，Ａ２，Ａ３を、検索対象とする。
　ＰＯＳ端末装置１００は、決済商品を撮像する（Ｓ１１０）。具体的には、商品画像取得部２２０は、商品撮像部１３０を制御して、商品撮像部１３０に向けられた決済商品を撮像させる。そして、商品画像取得部２２０は、商品撮像部１３０によって生成された決済商品画像を取得する。
　次に、商品認識処理部２３０は、Ｓ１０８の処理で候補とされた（検索対象とされた）商品の基準商品情報を用いて、商品認識処理を行う（Ｓ１１２）。具体的には、商品認識処理部２３０は、Ｓ１０８の処理で検索対象とされた商品の基準商品情報と、決済商品画像とのパターンマッチングを行う。そして、商品認識処理部２３０は、両者の類似度が許容値を満たす場合に、その決済商品を、その基準商品画像に対応する商品と判定する。上述した例では、検索対象の商品は、商品Ｃ１，Ｃ２，Ｃ３、商品Ｂ１，Ｂ２，Ｂ３及び商品Ａ１，Ａ２，Ａ３である。したがって、商品認識処理部２３０は、商品Ｃ１，Ｃ２，Ｃ３、商品Ｂ１，Ｂ２，Ｂ３及び商品Ａ１，Ａ２，Ａ３それぞれの基準商品情報と、決済商品画像とのパターンマッチングを行う。そして、商品認識処理部２３０は、決済商品画像と商品Ａ１に対応する基準商品情報との類似度が許容値を満たす場合に、決済商品を、商品Ａ１であると判定する。
　決済顧客が決済しようとする決済商品は、通常、決済顧客によって商品棚に陳列された商品から持ち出されたものである。したがって、実施の形態１においては、商品認識処理において、決済顧客が訪問した商品棚に関する商品に検索対象を絞り込む。
　本実施の形態のように検索対象の絞り込みを行わないと、商品認識処理部２３０は、基準商品情報格納部２３４に格納された情報全てについて、商品認識処理（パターンマッチング処理）を行う必要がある。基準商品情報格納部２３４に格納された情報が膨大である場合、商品認識処理に膨大な時間を要してしまう。
　一方、本実施の形態のように検索対象の絞り込みを行うことによって、ＰＯＳ端末装置１００は、決済顧客が訪問した商品棚に関する商品に対応する基準商品情報のみについて、商品認識処理（パターンマッチング処理）を行えばよい。これによって、検索対象の商品の数が削減されるので、商品認識処理に要する時間を削減することが可能となる。したがって、本実施の形態にかかるＰＯＳ端末装置１００は、効率的に商品認識を行うことが可能となる。
　また、本実施の形態のように、決済顧客が訪問した商品棚に陳列された商品を候補として商品認識処理を行うことにより、誤認識を抑制することが可能となる。例えば、決済商品がリンゴであって、リンゴは商品棚Ａに陳列されているとする。また、リンゴと外観が類似するトマトが、商品棚Ｅに陳列されているとする。また、決済顧客は、商品棚Ａを訪問したが商品棚Ｅを訪問していないとする。このとき、本実施の形態にかかるＰＯＳ端末装置１００は、商品認識処理を行う際に、リンゴを検索対象とし、トマトを検索対象としない。したがって、ＰＯＳ端末装置１００は、商品認識処理の際に、決済商品をトマトと誤認識しない。したがって、本実施の形態にかかるＰＯＳ端末装置１００は、誤認識を抑制することが可能となり、効率的に商品認識を行うことが可能となる。
（実施の形態２）
　次に、実施の形態２について説明する。実施の形態２は、実施の形態１における、動線用撮像装置２０が商品棚ごとに対応して設けられている例を示す。なお、実施の形態１と実質的に同様の構成部分については同じ符号を付し、説明を省略する（後述する他の実施の形態についても同様）。
　図１０は、実施の形態２にかかるＰＯＳシステム３００が適用される店舗５０を例示する図である。ＰＯＳシステム３００は、ＰＯＳ端末装置１００と、動線用撮像装置Ａ２０Ａ～動線用撮像装置Ｆ２０Ｆと、決済顧客撮像装置３０２とを有する。実施の形態２にかかるＰＯＳ端末装置１００のハードウェア構成は、実施の形態１にかかるＰＯＳ端末装置１００と実質的に同一である。また、動線用撮像装置Ａ２０Ａ～動線用撮像装置Ｆ２０Ｆは、動線用撮像装置２０と同様の機能を有する。つまり、動線用撮像装置Ａ２０Ａ～動線用撮像装置Ｆ２０Ｆは、ＰＯＳ端末装置１００と通信可能に接続されている。
　動線用撮像装置Ａ２０Ａは、商品棚Ａの近傍に設置され、商品棚Ａを訪問する顧客を撮像する。同様に、動線用撮像装置Ｂ２０Ｂは、商品棚Ｂの近傍に設置され、商品棚Ｂを訪問する顧客を撮像する。動線用撮像装置Ｃ２０Ｃは、商品棚Ｃの近傍に設置され、商品棚Ｃを訪問する顧客を撮像する。動線用撮像装置Ｄ２０Ｄは、商品棚Ｄの近傍に設置され、商品棚Ｄを訪問する顧客を撮像する。動線用撮像装置Ｅ２０Ｅは、商品棚Ｅの近傍に設置され、商品棚Ｅを訪問する顧客を撮像する。動線用撮像装置Ｆ２０Ｆは、商品棚Ｆの近傍に設置され、商品棚Ｆを訪問する顧客を撮像する。
　決済顧客撮像装置３０２は、ＰＯＳ端末装置１００の近傍に設置される。決済顧客撮像装置３０２は、動線用撮像装置２０と同様に、ＰＯＳ端末装置１００と通信可能に接続されている。決済顧客撮像装置３０２は、例えばＣＣＤ等の撮像素子（カメラ）であって、決済顧客の画像（静止画又は動画）を読み取る処理を行う。具体的には、決済顧客撮像装置３０２は、決済顧客を撮像して、その決済顧客の画像を含むカラー画像又はモノクロ画像（決済顧客画像）を生成する。決済顧客撮像装置３０２は、撮像して得られた決済顧客画像を、ＰＯＳ端末装置１００に対して送信する。
　図１１は、実施の形態２にかかるＰＯＳ端末装置１００の機能ブロック図である。実施の形態２にかかるＰＯＳ端末装置１００は、決済処理部３１０を有する。決済処理部３１０は、動線検出部３１２と、動線情報格納部２０４と、決済顧客識別部３２０と、商品画像取得部２２０と、商品認識処理部２３０と、商品棚情報格納部２３２と、基準商品情報格納部２３４とを有する。
　動線検出部３１２は、動線用撮像装置Ａ２０Ａ～動線用撮像装置Ｆ２０Ｆそれぞれによって撮像された動線用画像を、動線用撮像装置Ａ２０Ａ～動線用撮像装置Ｆ２０Ｆそれぞれから受信する。動線検出部３１２は、受信された動線用画像を解析して、商品棚Ａ～Ｆそれぞれについて、訪問した顧客を識別する。そして、動線検出部２０２と同様に、各顧客がどの商品棚を訪問したかを示す動線情報を生成して、動線情報格納部２０４に格納する。動線検出部３１２の具体的な処理については後述する。
　決済顧客識別部３２０は、決済顧客撮像装置３０２によって撮像された決済顧客画像を受信する。決済顧客識別部３２０は、決済顧客画像を解析して、ＰＯＳ端末装置１００の前に決済顧客が存在することを判定する。また、決済顧客識別部３２０は、決済顧客画像を解析して、決済顧客の識別処理を行う。さらに、決済顧客識別部３２０は、決済顧客を示す決済顧客識別子を生成して、生成された決済顧客識別子を、商品認識処理部２３０に対して出力する。決済顧客識別部３２０の具体的な処理については後述する。
　図１２は、実施の形態２にかかる動線検出処理を示すフローチャートである。なお、図１２には、商品棚Ａについての動線検出処理が示されているが、商品棚Ｂ～Ｆについても同様の処理がなされる。
　動線検出部３１２は、商品棚Ａの前を撮像されて得られた動線用画像を、動線用撮像装置Ａ２０Ａから取得する（Ｓ２０２）。具体的には、動線用撮像装置Ａ２０Ａは、商品棚Ａの前を撮像し、得られた動線用画像を、ＰＯＳ端末装置１００に送信する。これによって、動線検出部３１２は、商品棚Ａに対応する動線用画像を、動線用撮像装置Ａ２０Ａから取得する。
　動線検出部３１２は、商品棚Ａの前に顧客が存在するか否かを判定する（Ｓ２０４）。具体的には、動線検出部３１２は、商品棚Ａに対応する動線用画像を解析して、動線用画像に人の画像が含まれているか否かを判定する。動線用画像に人の画像が含まれているか否かを判定する方法としては、例えば顔認識処理が挙げられるが、これに限られない。顔認識処理を用いる場合、動線検出部３１２は、動線用画像に人の顔の画像が含まれていると判定した場合に、商品棚Ａの前に顧客が存在すると判定する。
　商品棚Ａの前に顧客が存在しないと判定された場合（Ｓ２０４のＮＯ）、Ｓ２０２及びＳ２０４の処理が繰り返される。一方、商品棚Ａの前に顧客が存在すると判定された場合（Ｓ２０４のＹＥＳ）、動線検出部３１２は、商品棚Ａの前にその顧客が予め定められた時間Ｔ１以上留まっているか否かを判定する（Ｓ２０６）。具体的には、動線検出部３１２は、商品棚Ａに対応する動線用画像を解析して、時間Ｔ１の間に撮像された動線用画像にその顧客（人）の画像が含まれ続けた場合に、商品棚Ａの前にその顧客が時間Ｔ１以上留まっていると判定する。
　商品棚Ａの前に時間Ｔ１以上顧客が留まっていなかったと判定された場合（Ｓ２０６のＮＯ）、Ｓ２０２からＳ２０６の処理が繰り返される。一方、商品棚Ａの前に時間Ｔ１以上顧客が留まっていると判定された場合（Ｓ２０６のＹＥＳ）、動線検出部３１２は、その商品棚Ａの前に留まっている顧客について、識別処理を行う（Ｓ２０８）。識別処理の方法については、上述した方法がある。例えば、動線検出部３１２は、商品棚Ａに対応する動線用画像を解析して、動線用画像に撮像された顧客に対して顔認識処理を行って、その顧客に対応する顔データを生成する。そして、動線検出部３１２は、生成された顔データを用いて、顧客識別子を生成する。これによって、動線検出部３１２は、動線用画像に撮像された顧客Ｘが商品棚Ａを訪問したと判定する（Ｓ２１０）。
　また、動線検出部３１２は、商品棚Ｂ～Ｆについても、図１２に示された処理を行う。そして、実施の形態１と同様に、動線検出部３１２は、図７に例示された動線情報を生成し、生成された動線情報を、動線情報格納部２０４に格納する。
　図１０において、顧客Ａが移動した軌跡Ｔａが例示されている。この例において、顧客Ａは、商品棚Ｃの前、商品棚Ｄの前、商品棚Ｂの前、商品棚Ａの前の順に移動し、ＰＯＳ端末装置１００の前まで移動して、商品の決済を行おうとしている。商品棚Ｃの前の位置ｃに顧客Ａが時間Ｔ１以上留まった場合、動線検出部３１２は、顧客Ａが商品棚Ｃを訪問したと判定する。同様に、商品棚Ｂの前の位置ｂに顧客Ａが時間Ｔ１以上留まった場合、動線検出部３１２は、顧客Ａが商品棚Ｂを訪問したと判定する。また、商品棚Ａの前の位置ａに顧客Ａが時間Ｔ１以上留まった場合、動線検出部３１２は、顧客Ａが商品棚Ａを訪問したと判定する。一方、顧客Ａが商品棚Ｄの前を単に通過したのみであって商品棚Ｄの前に時間Ｔ１以上留まらなかった場合、動線検出部３１２は、顧客Ａが商品棚Ｄを訪問しなかったと判定する。
　図１３は、実施の形態２にかかる商品認識処理を示すフローチャートである。
　決済顧客識別部３２０は、ＰＯＳ端末装置１００の前を撮像されて得られた決済顧客画像を、決済顧客撮像装置３０２から取得する（Ｓ２２０）。具体的には、決済顧客撮像装置３０２は、ＰＯＳ端末装置１００の前を撮像し、得られた決済顧客画像を、ＰＯＳ端末装置１００に送信する。これによって、決済顧客識別部３２０は、決済顧客画像を、決済顧客撮像装置３０２から取得する。
　決済顧客識別部３２０は、決済顧客がＰＯＳ端末装置１００の前に存在するか否かを判定する（Ｓ２２２）。具体的には、決済顧客識別部３２０は、決済顧客撮像装置３０２によって撮像された決済顧客画像を解析して、決済顧客画像に人の画像が含まれているか否かを判定する。決済顧客画像に人の画像が含まれているか否かを判定する方法としては、例えば顔認識処理が挙げられるが、これに限られない。顔認識処理を用いる場合、決済顧客識別部３２０は、決済顧客画像に人の顔の画像が含まれていると判定した場合に、ＰＯＳ端末装置１００の前に決済顧客が存在すると判定する。
　決済顧客がＰＯＳ端末装置１００の前に存在しないと判定された場合（Ｓ２２２のＮＯ）、Ｓ２２０及びＳ２２２の処理が繰り返される。一方、決済顧客がＰＯＳ端末装置１００の前に存在すると判定された場合（Ｓ２２２のＹＥＳ）、決済顧客識別部３２０は、決済顧客を識別する（Ｓ２２４）。識別処理の方法については、上述した方法がある。例えば、決済顧客識別部３２０は、例えば顔認識処理を行って、決済顧客に対応する顔データを生成する。そして、決済顧客識別部３２０は、生成された顔データを用いて、決済顧客識別子を生成する。
　商品認識処理部２３０は、Ｓ１０６の処理と同様に、動線情報格納部２０４から、決済顧客に対応付けられた商品棚情報を取得する（Ｓ２２６）。具体的には、商品認識処理部２３０は、決済顧客識別部３２０から、決済顧客識別子を受け付ける。商品認識処理部２３０は、動線情報格納部２０４に格納された動線情報から、その決済顧客識別子に対応する顧客識別子を検索する。さらに、商品認識処理部２３０は、検索された顧客識別子に対応付けられた商品棚識別子を取得する。そして、商品認識処理部２３０は、取得された商品棚識別子に対応する商品棚情報を、商品棚情報格納部２３２から取得する。
　商品認識処理部２３０は、Ｓ１０８の処理と同様に、取得された商品棚情報に対応する商品に関する基準商品情報を、画像検索の対象とする（Ｓ２２８）。ＰＯＳ端末装置１００は、Ｓ１１０の処理と同様に、決済商品を撮像する（Ｓ２３０）。具体的には、商品画像取得部２２０は、商品撮像部１３０を制御して、商品撮像部１３０に向けられた決済商品を撮像させ、決済商品画像を取得する。
　次に、商品認識処理部２３０は、Ｓ１１２の処理と同様に、Ｓ２２８の処理で検索対象とされた商品の基準商品情報を用いて、商品認識処理を行う（Ｓ２３２）。具体的には、商品認識処理部２３０は、Ｓ２２８の処理で検索対象とされた商品の基準商品情報と、決済商品画像とのパターンマッチングを行う。そして、商品認識処理部２３０は、両者の類似度が許容値を満たす場合に、その決済商品を、その基準商品画像に対応する商品と判定する。
　上述したように、実施の形態２においても、実施の形態１と同様に検索対象の絞り込みを行うことによって、ＰＯＳ端末装置１００は、決済顧客が訪問した商品棚に関する商品に対応する基準商品情報のみについて、商品認識処理（パターンマッチング処理）を行えばよい。これによって、商品認識処理に要する時間を削減することが可能となる。したがって、実施の形態２にかかるＰＯＳ端末装置１００は、効率的に商品認識を行うことが可能となる。
　さらに、実施の形態２においては、商品棚ごとに対応して設けられた撮像装置を用いてその商品棚を訪問した顧客を撮像するので、顧客がどの商品棚を訪問したかを、より確実に検出することが可能となる。したがって、実施の形態２にかかるＰＯＳ端末装置１００は、より確実に、決済顧客が訪問した商品棚に陳列された商品に検索対象を絞り込むことが可能となる。これによって、検索対象から決済商品が漏れることを抑制することが可能となる。したがって、実施の形態２にかかるＰＯＳ端末装置１００は、効率的に商品認識を行うことが可能となる。
（実施の形態３）
　次に、実施の形態３について説明する。実施の形態３は、実施の形態１における、動線用撮像装置２０が商品棚ごとに対応して設けられていない例を示す。なお、実施の形態３においては、動線用撮像装置２０が１つである例が挙げられているが、動線用撮像装置２０の数は任意である。
　図１４は、実施の形態３にかかるＰＯＳシステム４００が適用される店舗５０を例示する図である。ＰＯＳシステム４００は、ＰＯＳ端末装置１００と、動線用撮像装置２０とを有する。実施の形態３にかかるＰＯＳ端末装置１００のハードウェア構成は、実施の形態１にかかるＰＯＳ端末装置１００と実質的に同一である。動線用撮像装置２０は、ＰＯＳ端末装置１００と通信可能に接続されている。
　動線用撮像装置２０は、店舗５０内を移動する各顧客を撮像して、動線用画像を得る。動線用撮像装置２０は、商品棚Ａ～Ｆそれぞれの前に存在する顧客を撮像可能な位置に設置されている。つまり、動線用撮像装置２０は、商品棚Ａ～Ｆそれぞれを訪問する顧客を撮像する。また、動線用撮像装置２０は、店舗５０内の広い範囲を撮像するため、広角レンズを有してもよい。
　図１５は、実施の形態３にかかるＰＯＳ端末装置１００の機能ブロック図である。実施の形態３にかかるＰＯＳ端末装置１００は、決済処理部４１０を有する。決済処理部４１０は、動線検出部４１２と、動線情報格納部２０４と、決済顧客識別部４２０と、商品画像取得部２２０と、商品認識処理部２３０と、商品棚情報格納部２３２と、基準商品情報格納部２３４とを有する。
　動線検出部４１２は、動線用撮像装置２０によって撮像された動線用画像を、動線用撮像装置２０から受信する。動線検出部４１２は、受信された動線用画像を解析して、各顧客Ａ～Ｃそれぞれの動き（動線）を追跡する。動線検出部４１２は、受信された動線用画像を解析して、各顧客Ａ～Ｃそれぞれが訪問した商品棚を検出することによって、商品棚Ａ～Ｆそれぞれについて、訪問した顧客を識別する。そして、動線検出部２０２と同様に、各顧客がどの商品棚を訪問したかを示す動線情報を生成して、動線情報格納部２０４に格納する。動線検出部４１２の具体的な処理については後述する。
　決済顧客識別部４２０は、動線用撮像装置２０によって撮像された動線用画像を受信する。決済顧客識別部４２０は、動線用画像を解析して、ＰＯＳ端末装置１００の前に顧客が存在することを判定し、その顧客を、決済顧客であると識別する。さらに、決済顧客識別部４２０は、決済顧客を示す決済顧客識別子を生成して、生成された決済顧客識別子を、商品認識処理部２３０に対して出力する。決済顧客識別部４２０の具体的な処理については後述する。
　図１６は、実施の形態３にかかる動線検出処理を示すフローチャートである。なお、図１６には、顧客Ａについての動線検出処理が示されているが、顧客Ｂ，Ｃについても同様の処理がなされる。
　動線検出部４１２は、動線用撮像装置２０によって生成された動線用画像を解析して、顧客Ａの動線を追跡する（Ｓ３０２）。具体的には、動線検出部４１２は、動線用画像において、店舗５０の入口５４から顧客が進入したことを検出する。動線用画像における入口５４の画像の位置は各時刻によらず固定され得る。したがって、動線検出部４１２は、動線用画像を解析して、動線用画像において入口５４に対応する位置に人物の画像があることを検出した場合に、その人を「顧客Ａ」と識別する。さらに、動線検出部４１２は、その「顧客Ａ」を示す顧客識別子を生成する。そのとき、動線検出部４１２は、顧客Ａについての顧客特徴情報を抽出して、その顧客特徴情報を用いて顧客識別子を生成してもよい。また、動線検出部４１２は、動線用画像において顧客Ａの顔を認識することが可能であれば、顔データを用いて顧客識別子を生成してもよい。
　さらに、動線検出部４１２は、「顧客Ａ」と識別した人物が、店舗５０をどのように移動するかを追跡する。言い換えると、動線検出部４１２は、「顧客Ａ」と識別した人物の店舗５０における動線を追跡する。動線用画像における店舗５０内の画像は各時刻によらず固定され得る。したがって、例えば、動線検出部４１２は、動線用画像において、「顧客Ａ」と識別した人物の画像が店舗５０の画像のどの位置に移動するかを追跡する。さらに、動線検出部４１２は、時刻とその時刻における顧客Ａの位置情報（座標データ等）とを示す軌跡データを、逐次、生成してもよい。これにより、動線検出部４１２は、顧客Ａの移動した軌跡Ｔａ（図１４に示す）を示す軌跡データを生成することができる。
　動線検出部４１２は、商品棚Ｘ（商品棚Ａ～Ｆ）の前に顧客Ａが存在するか否かを判定する（Ｓ３０４）。具体的には、動線検出部４１２は、商品棚Ｘ（商品棚Ａ～Ｆ）の前の予め定められた領域Ｘ（領域Ａ～Ｆ；図１４に一点鎖線で示す）に顧客Ａが存在するか否かを判定する。さらに具体的には、動線検出部４１２は、動線用画像を解析して、動線用画像における領域Ｘに、「顧客Ａ」と識別した人物の画像があるか否かを判定する。動線用画像における領域Ｘに「顧客Ａ」と識別した人物の画像がある場合に、動線検出部４１２は、商品棚Ｘの前に顧客Ａが存在すると判定する。
　商品棚Ｘの前に顧客Ａが存在しないと判定された場合（Ｓ３０４のＮＯ）、Ｓ３０２及びＳ３０４の処理が繰り返される。一方、商品棚Ｘの前に顧客Ａが存在すると判定された場合（Ｓ３０４のＹＥＳ）、動線検出部４１２は、商品棚Ｘの前に顧客Ａが予め定められた時間Ｔ１以上留まっているか否かを判定する（Ｓ３０６）。具体的には、動線検出部４１２は、動線用画像を解析して、時間Ｔ１の間に撮像された動線用画像において、領域Ｘに顧客Ａの画像が含まれ続けた場合に、商品棚Ｘの前に顧客Ａが時間Ｔ１以上留まっていると判定する。
　商品棚Ｘの前に時間Ｔ１以上顧客Ａが留まっていなかったと判定された場合（Ｓ３０６のＮＯ）、Ｓ３０２からＳ３０６の処理が繰り返される。一方、商品棚Ｘの前に時間Ｔ１以上顧客Ａが留まっていると判定された場合（Ｓ３０６のＹＥＳ）、動線検出部４１２は、顧客Ａが商品棚Ｘ（商品棚Ａ～Ｆのいずれか）を訪問したと判定する（Ｓ３１０）。
　また、動線検出部４１２は、顧客Ｂ，Ｃについても、図１６に示された処理を行う。そして、実施の形態１と同様に、動線検出部４１２は、図７に例示された動線情報を生成し、生成された動線情報を、動線情報格納部２０４に格納する。なお、動線情報には、上述した、顧客Ａ～Ｃそれぞれについての軌跡データが含まれてもよい。
　図１４において、顧客Ａが移動した軌跡Ｔａが例示されている。この例において、顧客Ａは、商品棚Ｃの前、商品棚Ｄの前、商品棚Ｂの前、商品棚Ａの前の順に移動し、ＰＯＳ端末装置１００の前まで移動して、商品の決済を行おうとしている。このとき、動線検出部４１２は、顧客Ａが入口５４から入店して、商品棚Ｃの前、商品棚Ｄの前、商品棚Ｂの前、商品棚Ａの前の順に移動し、ＰＯＳ端末装置１００の前まで移動した軌跡を、逐次、追跡する。
　商品棚Ｃの前の領域Ｃに顧客Ａが時間Ｔ１以上留まった場合、動線検出部４１２は、顧客Ａが商品棚Ｃを訪問したと判定する。同様に、商品棚Ｂの前の領域Ｂに顧客Ａが時間Ｔ１以上留まった場合、動線検出部４１２は、顧客Ａが商品棚Ｂを訪問したと判定する。また、商品棚Ａの前の領域Ａに顧客Ａが時間Ｔ１以上留まった場合、動線検出部４１２は、顧客Ａが商品棚Ａを訪問したと判定する。一方、顧客Ａが商品棚Ｄの前を単に通過したのみであって商品棚Ｄの前の領域Ｄに時間Ｔ１以上留まらなかった場合、動線検出部４１２は、顧客Ａが商品棚Ｄを訪問しなかったと判定する。
　図１７は、実施の形態３にかかる商品認識処理を示すフローチャートである。なお、図１７には、顧客Ａについての商品認識処理が示されているが、顧客Ｂ，Ｃについても同様の処理がなされる。
　決済顧客識別部４２０は、顧客ＡがＰＯＳ端末装置１００の前に存在するか否かを判定する（Ｓ３２２）。具体的には、決済顧客識別部４２０は、ＰＯＳ端末装置１００の予め定められた領域Ｙ（図１４に一点鎖線で示す）に顧客Ａが存在するか否かを判定する。動線用画像におけるＰＯＳ端末装置１００の画像の位置は各時刻によらず固定され得る。したがって、動線検出部４１２は、動線用画像を解析して、動線用画像における領域Ｙに「顧客Ａ」と識別した人物の画像があるか否かを判定する。動線用画像における領域Ｙに「顧客Ａ」と識別した人物の画像がある場合に、動線検出部４１２は、ＰＯＳ端末装置１００の前に顧客Ａが存在すると判定する。
　顧客ＡがＰＯＳ端末装置１００の前に存在しないと判定された場合（Ｓ３２２のＮＯ）、Ｓ３２０の処理が繰り返される。一方、顧客ＡがＰＯＳ端末装置１００の前に存在すると判定された場合（Ｓ３２２のＹＥＳ）、決済顧客識別部４２０は、顧客Ａを決済顧客であると識別する（Ｓ３２４）。
　商品認識処理部２３０は、Ｓ１０６の処理と同様に、動線情報格納部２０４から、決済顧客（顧客Ａ）に対応付けられた商品棚情報を取得する（Ｓ３２６）。具体的には、商品認識処理部２３０は、決済顧客識別部４２０から、顧客Ａを示す決済顧客識別子を受け付ける。商品認識処理部２３０は、動線情報格納部２０４に格納された動線情報から、その決済顧客識別子に対応する（顧客Ａの）顧客識別子を検索する。さらに、商品認識処理部２３０は、検索された顧客識別子に対応付けられた商品棚識別子を取得する。そして、商品認識処理部２３０は、取得された商品棚識別子に対応する商品棚情報を、商品棚情報格納部２３２から取得する。
　商品認識処理部２３０は、Ｓ１０８の処理と同様に、取得された商品棚情報に対応する商品に関する基準商品情報を、画像検索の対象とする（Ｓ３２８）。ＰＯＳ端末装置１００は、Ｓ１１０の処理と同様に、決済商品を撮像する（Ｓ３３０）。具体的には、商品画像取得部２２０は、商品撮像部１３０を制御して、商品撮像部１３０に向けられた決済商品を撮像させ、決済商品画像を取得する。
　次に、商品認識処理部２３０は、Ｓ１１２の処理と同様に、Ｓ３２８の処理で検索対象とされた商品の基準商品情報を用いて、商品認識処理を行う（Ｓ３３２）。具体的には、商品認識処理部２３０は、Ｓ３２８の処理で検索対象とされた商品の基準商品情報と、決済商品画像とのパターンマッチングを行う。そして、商品認識処理部２３０は、両者の類似度が許容値を満たす場合に、その決済商品を、その基準商品画像に対応する商品と判定する。
　上述したように、実施の形態３においても、実施の形態１と同様に検索対象の絞り込みを行うことによって、ＰＯＳ端末装置１００は、決済顧客が訪問した商品棚に関する商品に対応する基準商品情報のみについて、商品認識処理（パターンマッチング処理）を行えばよい。これによって、検索対象の商品の数が削減されるので、商品認識処理に要する時間を削減することが可能となる。したがって、実施の形態３にかかるＰＯＳ端末装置１００は、効率的に商品認識を行うことが可能となる。
　さらに、実施の形態３においては、各商品棚に対応した撮像装置を設ける必要がない。したがって、店舗５０に設置する撮像装置の数を削減することが可能となる。特に、店舗５０の面積が比較的狭い場合、及び、商品棚ごとに撮像装置を設置することができない場合等に、実施の形態３の構成を適用することができる。
（変形例）
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおける処理の順序は、適宜、変更可能である。また、上述したフローチャートにおける複数の処理の少なくとも１つは、なくても構わない。例えば、図９において、Ｓ１１０の処理は、Ｓ１０２～Ｓ１０８の任意の処理の後で行われてもよいし、Ｓ１０２～Ｓ１０８の処理と同時に行われてもよい。図１３及び図１７においても同様である。
　また、上述した実施の形態において、商品棚の数を６個としたが、商品棚の数は任意である。また、上述した実施の形態において、顧客の数を３人としたが、顧客の数は任意である。同様に、各商品棚に陳列される商品の数も任意である。
　また、実施の形態２において、動線用撮像装置２０は、商品棚ごとに設けられているとしたが、このような構成に限られない。つまり、実施の形態２において、動線用撮像装置２０の数は、商品棚の数と同じでなくてもよい。動線検出部３１２において顧客がどの商品棚を訪問したかを判別可能であれば、動線用撮像装置２０の数は、商品棚の数よりも少なくてよい。例えば、図１０において、動線用撮像装置２０は、商品棚Ａと商品棚Ｂとの間に設置されてもよい。また、実施の形態３において、動線用撮像装置２０は、１つ設けられているとしたが、このような構成に限られない。動線用撮像装置２０は、２つ以上設けられてもよい。
　また、実施の形態２において、動線検出部３１２は、商品棚Ａの前に存在する顧客が時間Ｔ１以上留まっている場合、その顧客が商品棚Ａを訪問したと判定するとしたが、このような構成に限られない。例えば、動線検出部３１２は、顧客が予め定められた距離以内に商品棚Ａに近づいたことを検出した場合に、その顧客が商品棚Ａを訪問したと判定してもよい。また、例えば、動線検出部３１２は、顧客が商品棚Ａに向けて手を伸ばしたことを検出した場合に、その顧客が商品棚Ａを訪問したと判定してもよい。このことは、実施の形態３においても同様である。
　また、動線用撮像装置は、３次元画像を撮像してもよい。このように構成することによって、奥行き方向の位置をより正確に検出することが可能となる。また、この場合、動線検出部は、商品棚のどの位置（例えば上段／下段等）に手を伸ばしたかを検出してもよい。この場合、商品棚情報は、商品棚のどの位置にどの商品が陳列されるかを示してもよい。このように構成することによって、さらに検索対象とする商品を絞り込むことが可能となる。これにより、商品認識処理に要する時間をさらに削減することが可能となる。
　また、上述した実施の形態においては、各顧客は互いに独立しているとしたが、このような構成に限られない。つまり、各「顧客」は１人に限られず、「顧客」を複数の人物から構成されるグループとしてもよい。この場合、動線検出部は、複数の人物から構成されるグループを認識し、そのグループの構成員それぞれの動線を検出してもよい。このとき、動線検出部は、複数の人物が店舗の入口に存在すると検出された場合に、それらの複数の人物をグループであると認識してもよい。また、決済顧客識別部は、グループのうちの少なくとも１人が決済しようとすることを検出してもよく、この場合、商品認識処理部は、グループの構成員全員についての動線情報を用いて、商品棚情報を抽出してもよい。
　グループで購買活動を行う場合、構成員それぞれが個別に商品棚を訪問して商品を手に取り、決済するときは、グループの代表者がまとめてそれらの商品を決済することがある。そのような場合でも、本実施の形態にかかるＰＯＳ端末装置は、検索対象から決済商品が漏れることを抑制しつつ、検索対象を絞り込むことが可能となる。
　また、上述した実施の形態において、「決済顧客が訪問した商品棚に陳列された商品を候補として、決済商品の商品認識処理を行う」ことの具体例として、決済顧客が訪問した商品棚に陳列された商品を、画像認識処理における検索対象とするとしたが、このような構成に限られない。例えば、上記「決済顧客が訪問した商品棚に陳列された商品を候補とする」という概念は、検索対象の絞り込みだけでなく、基準商品情報の優先度を上げることをも包含する。また、この概念は、決済顧客が訪問した商品棚に陳列された商品に関する基準商品情報を優先的に用いて、商品認識処理を行うことをも包含する。これにより、効率的に商品認識を行うことが可能となる。なお、この場合、決済顧客が訪問した商品棚に陳列された商品に関する基準商品情報を用いても決済商品を検索できなかった場合に、決済顧客が訪問しなかった商品棚に陳列された商品に関する基準商品情報を用いて、決済商品を検索してもよい。
　本実施の形態にかかる動線検出処理は、上述した方法に限られず、既存の様々な方法を用いて行われてもよい。また、上述した実施の形態において、ＰＯＳ端末装置が動線検出処理を行うとしたが、このような構成に限られない。ＰＯＳ端末装置と通信可能な他の装置が、動線用画像を解析して動線情報を生成し、ＰＯＳ端末装置に送信してもよい。つまり、「動線検出」とは、動線の解析処理を他の装置が行って、その解析結果（動線情報等）をＰＯＳ端末装置が受信することも包含する。
　本実施の形態にかかる顧客識別処理は、上述した方法に限られず、既存の様々な方法を用いて行われてもよい。また、上述した実施の形態において、ＰＯＳ端末装置が顧客を識別するとしたが、このような構成に限られない。ＰＯＳ端末装置と通信可能な他の装置が、動線用画像又は決済顧客画像を解析して顧客を識別し、その識別結果をＰＯＳ端末装置に送信してもよい。つまり、「顧客を識別する」とは、顧客の識別処理を他の装置が行って、その識別結果をＰＯＳ端末装置が受信することも包含する。
　また、動線情報に時刻情報が含まれる場合、ＰＯＳ端末装置１００は、商品を決済するとき以前の予め定められた時間以内に決済顧客が訪問した商品棚に陳列された商品を商品認識処理における検索対象としてもよい。例えば、顧客Ａは、店舗５０に複数回入店する可能性がある。このとき、顧客Ａが、前回入店したときには商品棚Ｅを訪問したが、今回入店したときには商品棚Ａのみを訪問し商品棚Ｅを訪問していない場合であっても、ＰＯＳ端末装置１００は、前回顧客Ａが店舗５０に入店したときに生成された動線情報を用いると、商品棚Ｅに陳列された商品を検索対象としてしまうおそれがある。したがって、商品を決済するときから予め定められた時間以内に決済顧客が訪問した商品棚に陳列された商品を商品認識処理における検索対象とすることにより、ＰＯＳ端末装置１００は、今回顧客Ａが訪問した商品棚Ａの商品のみを検索対象とすることができる。したがって、ＰＯＳ端末装置１００は、より適切に検索対象の絞り込みを行うことが可能となるので、さらに効率的に商品認識を行うことが可能となる。
　なお、この「決済するとき以前の予め定められた時間」は、その店舗に顧客が通常滞在する時間を考慮して設定され得る。例えば、店舗がコンビニエンスストアである場合は、決済のとき以前の３０分の間に決済顧客が訪問した商品棚に陳列された商品を、商品認識処理における検索対象としてもよい。また、例えば、店舗が量販店である場合は、決済のとき以前の５時間の間に決済顧客が訪問した商品棚に陳列された商品を、商品認識処理における検索対象としてもよい。
　また、実施の形態２の構成要素及び実施の形態３の構成要素を組み合わせることも可能である。例えば、店舗５０の入口を撮像する撮像装置を設置して、その撮像装置で入口から入店した顧客を撮像して顔認識処理を行ってもよい。そして、動線用撮像装置でその顧客の入口からの動線を追跡してもよい。さらに、ＰＯＳ端末装置の近傍に設置された決済顧客撮像装置でその顧客（決済顧客）を撮像して顔認識処理を行ってもよい。本実施の形態にかかるＰＯＳ端末装置及びＰＯＳシステムは、このような構成をも包含する。
　また、上述した実施の形態においては、商品は商品棚に陳列されるとしたが、このような構成に限られない。つまり、商品棚は必須ではなく、商品棚情報において、店舗内のどの「位置」にどの商品が陳列されているかが特定できればよい。この場合、動線検出部は、顧客が訪問した「位置」を検出してもよい。また、商品認識処理部は、決済顧客が訪問した「位置」に陳列された商品を候補として、決済商品の商品認識処理を行うようにしてもよい。本実施の形態にかかるＰＯＳ端末装置及びＰＯＳシステムは、このような構成をも包含する。
　また、本実施の形態にかかる構成は、ＰＯＳ端末装置に適用されるとしたが、これに限られない。例えば、倉庫等で荷物の仕分けをするために用いられる物体認識装置等の一般的な物体認識装置、及び、この物体認識装置を含むシステムにおいても適用可能である。
　また、本実施の形態にかかるＰＯＳ端末装置１００は、例えば、セルフレジにも適用可能である。セルフレジのように、顧客がＰＯＳ端末を使用する場合、顧客は、商品に付されたバーコードを読取装置に読み取らせることに慣れていない。そのため、セルフレジにおいては、バーコードを使用しない方法、つまり、商品を直接読み取らせる方法が求められる。したがって、セルフレジについて本実施の形態にかかるＰＯＳ端末装置１００を適用することで、上述したような、商品を直接読み取らせることに起因する問題が解決される。
　また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
（付記）
　以上の実施の形態に関し、更に以下の付記を開示する。
（付記１）
　少なくとも１つの撮像手段で撮像された画像を用いて、店舗における顧客の動線を検出し、
　商品を決済しようとする前記顧客を識別し、
　前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う
　商品認識方法。
（付記２）
　前記顧客が訪問した商品棚を検出し、
　前記識別された顧客が訪問したと検出された前記商品棚に陳列される商品を候補として、前記決済対象の商品の認識処理を行う
　付記１に記載の商品認識方法。
（付記３）
　前記識別された顧客が訪問したと検出された前記商品棚に陳列される商品を検索対象とし、当該検索対象とされた商品から前記決済対象の商品を検索することによって、前記決済対象の商品の認識処理を行う
　付記２に記載の商品認識方法。
（付記４）
　複数の前記商品棚に対応して設けられた複数の撮像手段が前記顧客を撮像することによって、当該顧客が当該商品棚を訪問したことを検出する
　付記２又は３に記載の商品認識方法。
（付記５）
　前記動線を、前記顧客が当該動線に対応する各位置を訪問した時刻と対応付けて検出し、
　前記商品を決済するとき以前の予め定められた時間以内に前記顧客が訪問した位置に陳列される商品を候補として、前記決済対象の商品の認識処理を行う
　付記１から４のいずれか１項に記載の商品認識方法。
（付記６）
　少なくとも１つの撮像手段で撮像された画像を用いて、店舗における顧客の動線を検出する動線検出ステップと、
　商品を決済しようとする前記顧客を識別する顧客識別ステップと、
　前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う認識処理ステップと
　をコンピュータに実行させるプログラム。
（付記７）
　前記動線検出ステップは、前記顧客が訪問した商品棚を検出し、
　前記認識処理ステップは、前記識別された顧客が訪問したと検出された前記商品棚に陳列される商品を候補として、前記決済対象の商品の認識処理を行う
　付記６に記載のプログラム。
（付記８）
　前記認識処理ステップは、前記識別された顧客が訪問したと検出された前記商品棚に陳列される商品を検索対象とし、当該検索対象とされた商品から前記決済対象の商品を検索することによって、前記決済対象の商品の認識処理を行う
　付記７に記載のプログラム。
（付記９）
　前記動線検出ステップは、複数の前記商品棚に対応して設けられた複数の撮像手段が前記顧客を撮像することによって、当該顧客が当該商品棚を訪問したことを検出する
　付記７又は８に記載のプログラム。
（付記１０）
　前記動線検出ステップは、前記動線を、前記顧客が当該動線に対応する各位置を訪問した時刻と対応付けて検出し、
　前記認識処理ステップは、前記決済対象の商品を決済するとき以前の予め定められた時間以内に前記顧客が訪問した位置に陳列される商品を候補として、前記決済対象の商品の認識処理を行う
　付記６から９のいずれか１項に記載のプログラム。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１４年３月２０日に出願された日本出願特願２０１４－０５８１０７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１　ＰＯＳ端末装置
２　動線検出部
４　決済顧客識別部
６　商品認識処理部
１０　ＰＯＳシステム
２０　動線用撮像装置
５０　店舗
１００　ＰＯＳ端末装置
１１０　情報処理装置
１１２　制御部
１１４　記憶部
１１６　通信装置
１３０　商品撮像部
２００　決済処理部
２０２　動線検出部
２０４　動線情報格納部
２１０　決済顧客識別部
２２０　商品画像取得部
２３０　商品認識処理部
２３２　商品棚情報格納部
２３４　基準商品情報格納部
３００　ＰＯＳシステム
３０２　決済顧客撮像装置
３１０　決済処理部
３１２　動線検出部
３２０　決済顧客識別部
４００　ＰＯＳシステム
４１０　決済処理部
４１２　動線検出部
４２０　決済顧客識別部

Claims (9)

  1. 　少なくとも１つの撮像手段で撮像された画像を用いて、店舗における顧客の動線を検出する動線検出手段と、
    　商品を決済しようとする前記顧客を識別する顧客識別手段と、
    　前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う認識処理手段と
    　を有するＰＯＳ端末装置。
  2. 　前記動線検出手段は、前記顧客が訪問した商品棚を検出し、
    　前記認識処理手段は、前記識別された顧客が訪問したと検出された前記商品棚に陳列される商品を候補として、前記決済対象の商品の認識処理を行う
    　請求項１に記載のＰＯＳ端末装置。
  3. 　前記認識処理手段は、前記識別された顧客が訪問したと検出された前記商品棚に陳列される商品を検索対象とし、当該検索対象とされた商品から前記決済対象の商品を検索することによって、前記決済対象の商品の認識処理を行う
    　請求項２に記載のＰＯＳ端末装置。
  4. 　前記動線検出手段は、複数の前記商品棚に対応して設けられた複数の撮像手段が前記顧客を撮像することによって、当該顧客が当該商品棚を訪問したことを検出する
    　請求項２又は３に記載のＰＯＳ端末装置。
  5. 　前記動線検出手段は、前記動線を、前記顧客が当該動線に対応する各位置を訪問した時刻と対応付けて検出し、
    　前記認識処理手段は、前記決済対象の商品を決済するとき以前の予め定められた時間以内に前記顧客が訪問した位置に陳列される商品を候補として、前記決済対象の商品の認識処理を行う
    　請求項１から４のいずれか１項に記載のＰＯＳ端末装置。
  6. 　少なくとも１つの撮像装置と、
    　前記撮像装置で撮像された画像を用いて、店舗における顧客の動線を検出する動線検出手段と、
    　商品を決済しようとする前記顧客を識別する顧客識別手段と、
    　前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う認識処理手段と
    　を有するＰＯＳシステム。
  7. 　前記撮像装置は、前記店舗内の複数の商品棚に対応して設けられ、
    　前記動線検出手段は、前記撮像装置が前記顧客を撮像することによって、当該顧客が当該商品棚を訪問したことを検出する
    　請求項６記載のＰＯＳシステム。
  8. 　少なくとも１つの撮像手段で撮像された画像を用いて、店舗における顧客の動線を検出し、
    　商品を決済しようとする前記顧客を識別し、
    　前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う
    　商品認識方法。
  9. 　少なくとも１つの撮像手段で撮像された画像を用いて、店舗における顧客の動線を検出する動線検出ステップと、
    　商品を決済しようとする前記顧客を識別する顧客識別ステップと、
    　前記識別された前記顧客について検出された動線に対応する位置に陳列される商品を候補として、決済対象の前記商品の認識処理を行う認識処理ステップと
    　をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2014/005548 2014-03-20 2014-11-05 Ｐｏｓ端末装置、ｐｏｓシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体 WO2015140853A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016508314A JP6172380B2 (ja) 2014-03-20 2014-11-05 Ｐｏｓ端末装置、ｐｏｓシステム、商品認識方法及びプログラム
US15/120,825 US20170068945A1 (en) 2014-03-20 2014-11-05 Pos terminal apparatus, pos system, commodity recognition method, and non-transitory computer readable medium storing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-058107 2014-03-20
JP2014058107 2014-03-20

Publications (1)

Publication Number Publication Date
WO2015140853A1 true WO2015140853A1 (ja) 2015-09-24

Family

ID=54143879

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/005548 WO2015140853A1 (ja) 2014-03-20 2014-11-05 Ｐｏｓ端末装置、ｐｏｓシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US20170068945A1 (ja)
JP (1) JP6172380B2 (ja)
WO (1) WO2015140853A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017174135A (ja) * 2016-03-23 2017-09-28 日本電気株式会社 動線判定装置、動線判定システム、動線判定方法及びプログラム
JP2019021256A (ja) * 2017-07-21 2019-02-07 東芝テック株式会社 画像処理装置、情報処理装置、システム及びプログラム
JP2020506457A (ja) * 2016-12-21 2020-02-27 イーテーアーベー スキャンフロー アーベー 自動店内登録システム
JP2020064573A (ja) * 2018-10-19 2020-04-23 東芝テック株式会社 商品データ処理システム及びそのプログラム
CN111126110A (zh) * 2018-10-31 2020-05-08 杭州海康威视数字技术股份有限公司 一种商品信息识别方法、结算方法、装置及无人零售***
US10891491B2 (en) 2018-01-31 2021-01-12 Nec Corporation In-store monitoring device, in-store monitoring method, and recording medium
WO2021245835A1 (ja) * 2020-06-03 2021-12-09 日本電気株式会社 処理装置、処理方法及びプログラム
US20220139087A1 (en) * 2019-03-04 2022-05-05 Nec Corporation Information processing apparatus, information processing method, and program
JP2022075746A (ja) * 2017-07-21 2022-05-18 東芝テック株式会社 画像処理装置、情報処理装置、システム及びプログラム
US11430047B2 (en) 2018-03-09 2022-08-30 Nec Corporation Self-checkout system, purchased product management method, and purchased product management program
US11574294B2 (en) 2018-01-31 2023-02-07 Nec Corporation Information processing method, information processing device, and recording medium
JP7398706B2 (ja) 2020-02-25 2023-12-15 Ａｗｌ株式会社 不正防止システム、及び不正防止プログラム
US11922482B2 (en) 2018-03-09 2024-03-05 Nec Corporation Self-checkout system, purchased product management method, and purchased product management program

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10467867B2 (en) * 2014-05-13 2019-11-05 Lightspeed Pos Inc. Technologies for point-of-sale transactions
JP6540195B2 (ja) * 2014-08-05 2019-07-10 セイコーエプソン株式会社 会計システム、及び、情報処理方法
US9911290B1 (en) 2015-07-25 2018-03-06 Gary M. Zalewski Wireless coded communication (WCC) devices for tracking retail interactions with goods and association to user accounts
DE212017000037U1 (de) * 2016-07-11 2018-06-13 Itab Shop Products Ab Selbstbedienungskassensystem
US10510125B2 (en) * 2016-11-17 2019-12-17 International Business Machines Corporation Expense compliance checking based on trajectory detection
US11475673B2 (en) 2017-12-04 2022-10-18 Nec Corporation Image recognition device for detecting a change of an object, image recognition method for detecting a change of an object, and image recognition system for detecting a change of an object
US11017641B2 (en) * 2018-12-21 2021-05-25 Sbot Technologies Inc. Visual recognition and sensor fusion weight detection system and method
JP7372099B2 (ja) * 2019-09-24 2023-10-31 東芝テック株式会社 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020161651A1 (en) * 2000-08-29 2002-10-31 Procter & Gamble System and methods for tracking consumers in a store environment
JP2005309951A (ja) * 2004-04-23 2005-11-04 Oki Electric Ind Co Ltd 販売促進支援システム
JP2009048229A (ja) * 2007-08-13 2009-03-05 Toshiba Tec Corp 人物行動分析装置，方法及びプログラム
US20100158310A1 (en) * 2008-12-23 2010-06-24 Datalogic Scanning, Inc. Method and apparatus for identifying and tallying objects

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8380558B1 (en) * 2006-12-21 2013-02-19 Videomining Corporation Method and system for analyzing shopping behavior in a store by associating RFID data with video-based behavior and segmentation data
US9031858B2 (en) * 2007-04-03 2015-05-12 International Business Machines Corporation Using biometric data for a customer to improve upsale ad cross-sale of items
US20110320322A1 (en) * 2010-06-25 2011-12-29 Symbol Technologies, Inc. Inventory monitoring using complementary modes for item identification
US9311645B2 (en) * 2012-08-31 2016-04-12 Ncr Corporation Techniques for checkout security using video surveillance

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020161651A1 (en) * 2000-08-29 2002-10-31 Procter & Gamble System and methods for tracking consumers in a store environment
JP2005309951A (ja) * 2004-04-23 2005-11-04 Oki Electric Ind Co Ltd 販売促進支援システム
JP2009048229A (ja) * 2007-08-13 2009-03-05 Toshiba Tec Corp 人物行動分析装置，方法及びプログラム
US20100158310A1 (en) * 2008-12-23 2010-06-24 Datalogic Scanning, Inc. Method and apparatus for identifying and tallying objects

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017164272A1 (ja) * 2016-03-23 2017-09-28 日本電気株式会社 動線判定装置、動線判定システム、動線判定方法及びプログラム
JP2017174135A (ja) * 2016-03-23 2017-09-28 日本電気株式会社 動線判定装置、動線判定システム、動線判定方法及びプログラム
JP2020506457A (ja) * 2016-12-21 2020-02-27 イーテーアーベー スキャンフロー アーベー 自動店内登録システム
JP2019021256A (ja) * 2017-07-21 2019-02-07 東芝テック株式会社 画像処理装置、情報処理装置、システム及びプログラム
JP7318039B2 (ja) 2017-07-21 2023-07-31 東芝テック株式会社 画像処理装置、情報処理装置、システム及びプログラム
JP7036548B2 (ja) 2017-07-21 2022-03-15 東芝テック株式会社 画像処理装置、情報処理装置、システム及びプログラム
JP2022075746A (ja) * 2017-07-21 2022-05-18 東芝テック株式会社 画像処理装置、情報処理装置、システム及びプログラム
US10891491B2 (en) 2018-01-31 2021-01-12 Nec Corporation In-store monitoring device, in-store monitoring method, and recording medium
US11574294B2 (en) 2018-01-31 2023-02-07 Nec Corporation Information processing method, information processing device, and recording medium
US11430047B2 (en) 2018-03-09 2022-08-30 Nec Corporation Self-checkout system, purchased product management method, and purchased product management program
US11922482B2 (en) 2018-03-09 2024-03-05 Nec Corporation Self-checkout system, purchased product management method, and purchased product management program
JP2020064573A (ja) * 2018-10-19 2020-04-23 東芝テック株式会社 商品データ処理システム及びそのプログラム
JP7210221B2 (ja) 2018-10-19 2023-01-23 東芝テック株式会社 商品データ処理システム
JP7367168B2 (ja) 2018-10-19 2023-10-23 東芝テック株式会社 商品データ処理システム及びそのプログラム
CN111126110B (zh) * 2018-10-31 2024-01-05 杭州海康威视数字技术股份有限公司 一种商品信息识别方法、结算方法、装置及无人零售***
CN111126110A (zh) * 2018-10-31 2020-05-08 杭州海康威视数字技术股份有限公司 一种商品信息识别方法、结算方法、装置及无人零售***
US20220139087A1 (en) * 2019-03-04 2022-05-05 Nec Corporation Information processing apparatus, information processing method, and program
JP7398706B2 (ja) 2020-02-25 2023-12-15 Ａｗｌ株式会社 不正防止システム、及び不正防止プログラム
WO2021245835A1 (ja) * 2020-06-03 2021-12-09 日本電気株式会社 処理装置、処理方法及びプログラム

Also Published As

Publication number Publication date
US20170068945A1 (en) 2017-03-09
JPWO2015140853A1 (ja) 2017-04-06
JP6172380B2 (ja) 2017-08-02

Similar Documents

Publication Publication Date Title
JP6172380B2 (ja) Ｐｏｓ端末装置、ｐｏｓシステム、商品認識方法及びプログラム
US11514497B2 (en) Method of using, apparatus, product, and system for a no touch point-of-sale self-checkout
US20210304176A1 (en) Information processing system
WO2019165892A1 (zh) 自动售货方法、装置和计算机可读存储介质
US10169752B2 (en) Merchandise item registration apparatus, and merchandise item registration method
JP6555866B2 (ja) 商品登録装置及びプログラム
RU2739542C1 (ru) Система автоматической регистрации для торговой точки
KR101994205B1 (ko) 스마트 쇼핑 카트 및 이를 이용한 쇼핑 관리 시스템
JP6992874B2 (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
WO2015033577A1 (ja) 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム
JP6707940B2 (ja) 情報処理装置及びプログラム
TWI778030B (zh) 店鋪裝置、店鋪管理方法及程式
US10372998B2 (en) Object recognition for bottom of basket detection
US20230027382A1 (en) Information processing system
JP6458861B2 (ja) 商品情報管理装置、商品情報管理システム、商品情報管理方法およびプログラム
JP2021512385A (ja) 物理的な売り場で購買を支援するための方法及びシステム
US20180068534A1 (en) Information processing apparatus that identifies an item based on a captured image thereof
JP2018005691A (ja) 情報処理システム、情報処理装置及び情報処理方法
JP7040596B2 (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
KR20230060452A (ko) 행동 판정 프로그램, 행동 판정 방법 및 행동 판정 장치
US20190385141A1 (en) Check-out system with merchandise reading apparatus and pos terminal
CN108320403B (zh) 商品识别装置及控制方法、终端设备
JP2016167172A (ja) 情報処理方法、情報処理システム、情報処理装置、およびそのプログラム
JP2022036983A (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
JP2023007363A (ja) 情報処理プログラム、情報処理方法、および情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14886122

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15120825

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2016508314

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14886122

Country of ref document: EP

Kind code of ref document: A1