WO2017163909A1 - 画像表示装置、画像表示システム、画像表示方法及びプログラム - Google Patents

画像表示装置、画像表示システム、画像表示方法及びプログラム Download PDF

Info

Publication number
WO2017163909A1
WO2017163909A1 PCT/JP2017/009533 JP2017009533W WO2017163909A1 WO 2017163909 A1 WO2017163909 A1 WO 2017163909A1 JP 2017009533 W JP2017009533 W JP 2017009533W WO 2017163909 A1 WO2017163909 A1 WO 2017163909A1
Authority
WO
WIPO (PCT)
Prior art keywords
shelf
approach
index value
customer
product
Prior art date
Application number
PCT/JP2017/009533
Other languages
English (en)
French (fr)
Inventor
準 小林
志傑 斎藤
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/085,638 priority Critical patent/US10813477B2/en
Priority to JP2018507208A priority patent/JP6508419B2/ja
Publication of WO2017163909A1 publication Critical patent/WO2017163909A1/ja
Priority to US16/854,458 priority patent/US11051638B2/en
Priority to US17/325,824 priority patent/US11786058B2/en
Priority to US18/204,145 priority patent/US20230301447A1/en
Priority to US18/237,240 priority patent/US20230404296A1/en
Priority to US18/237,245 priority patent/US20230389725A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F5/00—Show stands, hangers, or shelves characterised by their constructional features
    • A47F5/08—Show stands, hangers, or shelves characterised by their constructional features secured to the wall, ceiling, or the like; Wall-bracket display devices
    • A47F5/0807—Display panels, grids or rods used for suspending merchandise or cards supporting articles; Movable brackets therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F3/00—Show cases or show cabinets
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters

Definitions

  • the present invention relates to an image display device, an image display system, an image display method, and a program.
  • Patent Literature 1 describes that the customer's stay in the peripheral area and the number of product acquisitions are tabulated and displayed for each display shelf.
  • An object of the present invention is to provide an image display device, an image display system, an image display method, and a program that can solve the above-described problems.
  • the image display system detects the approach of at least a part of the customer's body to the shelf on which a plurality of products are displayed, and indicates the position where the approach is detected on the shelf.
  • a sensor for measuring behavior in front of the shelf that generates sensing data, and an access status information acquisition that generates, based on the sensing data, access status information that indicates the presence / absence of the approach and the position of the shelf when there is an approach for each time
  • an association unit associating the access status information with any one of the plurality of products according to the position indicated by the access status information
  • An index value calculation unit that calculates an index value related to the behavior of the customer, and the index value calculated by the index value calculation unit based on the association by the association unit.
  • the image display method includes the presence or absence of at least a part of the customer's body to the shelf on which a plurality of products are displayed and the approach in the shelf when there is an approach.
  • An approach situation information obtaining step for obtaining approach situation information indicating a position for each time; an association step for associating the approach situation information with any one of the plurality of products according to the position indicated by the approach situation information;
  • a program for the access in the shelf when the computer has the presence or absence of the approach of at least a part of the customer's body to the shelf on which a plurality of products are displayed An approach status information acquisition step of acquiring approach status information indicating the position of each time, and an association step of associating the access status information with any one of the plurality of products according to the position indicated by the access status information; An index value calculating step for calculating an index value related to the behavior of the customer based on information indicating the product associated with the approach status information, and the index value calculated in the index value calculating step And a display step of displaying together with the image of the product based on the association by the attaching unit.
  • FIG. 1 It is a schematic block diagram which shows the function structure of the image display system which concerns on one Embodiment of this invention.
  • it is explanatory drawing which shows the example of arrangement
  • it is explanatory drawing which shows the example of arrangement
  • the customer behavior index value indicating the correlation between the behavior performed by the customer for the product designated by the user of the image display system according to the embodiment and the behavior performed by the same customer for other products.
  • It is explanatory drawing which shows the example of a display. It is explanatory drawing which shows the example of the data structure of the information which matched the sensing time and goods identification information which the memory
  • FIG. 1 is a schematic block diagram showing a functional configuration of an image display system according to an embodiment of the present invention.
  • the image display system 1 includes a pre-shelf behavior measurement sensor 110, a shelf situation photographing device 120, and an image display device 200.
  • the image display apparatus 200 includes a communication unit 210, a display unit 220, an operation input unit 230, a storage unit 280, and a control unit 290.
  • the control unit 290 includes an approach status information acquisition unit 291, an association unit 292, and an index value calculation unit 293.
  • the image display system 1 analyzes the customer's pre-shelf behavior and displays the analysis result superimposed on the shelf image.
  • the shelf front here is the front of the product display shelf (particularly near the front), and the pre-shelf behavior here is an action performed by the customer in front of the product display shelf.
  • the commodity display shelf is simply referred to as a shelf.
  • the pre-shelf behavior measurement sensor 110 is a sensor provided to detect the pre-shelf behavior.
  • a distance sensor provided from the top to the bottom of the front surface of the shelf can be used.
  • the sensor 110 for measuring behavior in front of the shelf detects the position in the horizontal direction and the position in the vertical direction of the customer's hand in front of the shelf. Can be estimated.
  • the shelf situation photographing apparatus 120 includes a camera that is provided in front of the shelf and photographs a moving image or a still image, and photographs the state before the shelf and the state of the shelf continuously or at predetermined time intervals.
  • the image display device 200 can detect the timing from when the customer stops in front of the shelf until the customer leaves the shelf, based on the image captured by the shelf situation imaging device 120. As a result, the image display apparatus 200 can detect a hand stretch on the shelf that has been performed since the customer stopped in front of the shelf and then left as a series of hand stretches by the same customer. In addition, the image display device 200 compares the images before and after the customer reaches the shelf, so that the customer picks up the product and the product that the customer picks up is returned to the shelf. Can be detected.
  • FIG. 2 is an explanatory diagram illustrating an arrangement example of the pre-shelf behavior measurement sensor 110 and the shelf situation imaging device 120 when the shelf is viewed from the side.
  • the pre-shelf behavior measurement sensor 110 is installed downward from the ceiling 930 above the entire surface of the shelf 910.
  • the shelf 910 is a plurality of shelves, and a product 920 is placed on each shelf.
  • the behavior measurement sensor 110 before the shelf measures the distance between the behavior measurement sensor 110 itself and the hand. By using the measured distance, the image display apparatus 200 can determine to which level of the shelf 910 the customer has reached his / her hand.
  • the camera of the shelf status photographing device 120 is installed at a position and orientation for photographing the shelf 910 from the ceiling 930 in front of the shelf 910.
  • the shelf situation imaging apparatus 120 includes one camera, and the camera is installed at a position and orientation where the entire front surface of the shelf 910 can be captured.
  • the shelf situation imaging device 120 may include a plurality of cameras.
  • FIG. 3 is an explanatory diagram showing an example of the arrangement of the pre-shelf behavior measurement sensor 110 when the shelf is viewed from the front.
  • a plurality of pre-shelf behavior measurement sensors 110 are arranged on the ceiling 930 along the width direction of the shelf 910.
  • the image display apparatus 200 can determine the position of the hand in the horizontal direction of the shelf 910 by specifying the pre-shelf behavior measurement sensor 110 that has detected the hand.
  • the pre-shelf behavior measuring sensor 110 only needs to be able to detect the position of the hand in the vertical direction of the shelf 910 and the position of the hand in the horizontal direction of the shelf 910 when the customer reaches the shelf 910. .
  • a set of three-dimensional cameras may be installed above the front surface of the shelf 910 as the pre-shelf behavior measurement sensor 110 so that the front surface of the shelf is imaged in the vertical direction.
  • the installation position of the pre-shelf behavior measurement sensor 110 is not limited to the upper side of the shelf 910.
  • the pre-shelf behavior measurement sensor 110 may be installed on the side of the shelf 910 to sense the front surface of the shelf 910 sideways.
  • the image display apparatus 200 counts the number of times the customer has reached for each product, and displays the counting result (for example, the total value of all customers within a predetermined period) superimposed on the image on the shelf 910.
  • the image display device 200 is configured using a computer, for example.
  • the communication unit 210 communicates with other devices.
  • the communication unit 210 receives sensing data from the sensor 110 for measuring behavior in front of the shelf. Further, the communication unit 210 receives an image captured by the shelf situation imaging device 120 as image data.
  • the display unit 220 includes a display screen such as a liquid crystal panel or an LED (Light-Emitting Diode) panel, and displays various images according to the control of the control unit 290.
  • the display unit 220 displays a customer behavior index value such as a count result of the number of times the customer has reached the product on the image of the shelf 910.
  • the customer behavior index value here is an index value calculated by the index value calculation unit 293 regarding the customer's behavior.
  • FIG. 4 is an explanatory diagram showing a display example of customer behavior index values by the display unit 220.
  • the display unit 220 displays an image of the shelf 910 on which the products 920 are arranged in the area A11.
  • the display unit 220 displays the image of the product with a color corresponding to the number of times the customer has reached the product.
  • the display unit 220 displays a legend indicating the association between the number of times the customer has reached the product and the color in the area A12.
  • the display unit 220 shows the number of times the customer reaches for the product in a heat map style.
  • the heat map here is a display method in which the value of each element of the matrix is indicated by color.
  • the number of times the customer reaches for the product corresponds to an example of the customer behavior index value.
  • the display unit 220 displays the customer behavior index value in the color attached to the image of the product at the position of the image of the product 920 in the image of the shelf 910. In this regard, the display unit 220 displays the customer behavior index value together with the product image.
  • the method by which the display unit 220 displays the customer behavior index value is not limited to the method of coloring the product image.
  • the display unit 220 may display the customer behavior index value by attaching a predetermined pattern such as a stripe or a dot to the product image instead of the color.
  • the display unit 220 may display a number indicating the customer behavior index value so as to overlap the image of the product.
  • the display unit 220 displays an index value indicating a correlation between an action performed by the customer on the product specified by the user of the image display system 1 and an action performed on the other product by the same customer on the shelf 910. Is displayed at the position of the image of the product 920 in the image.
  • the user of the image display system 1 is simply referred to as a user.
  • FIG. 5 shows a display unit 220 of customer behavior index values indicating the correlation between the behavior of the customer for the product designated by the user of the image display system 1 and the behavior of the same customer for other products.
  • the display unit 220 displays an image of the shelf 910 on which the products 920 are arranged in the area A ⁇ b> 11.
  • a legend indicating the correspondence between the number of times the customer has reached the product and the color is displayed in the area A12.
  • the display unit 220 displays the product 920 specified (selected) by the user.
  • the user designates the product 920 shown in the area A21, and the display unit 220 displays the designated product 920 by displaying a stripe in the area A21.
  • the product 920 designated by the user is referred to as a designated product.
  • the display unit 220 counts the number of times that a customer who has reached a designated product (at least once) has reached a product 920 other than the designated product (for example, all customers within a predetermined period). (Total value) is shown in a heat map style. Specifically, the display unit 220 displays a color corresponding to the number of times a customer who has reached a designated product (at least once) has reached a product 920 other than the designated product for each product 920. It is attached to the image of In the example of FIG. 5, the number of times that the customer who reached for the product (designated product) displayed in the area A21 has reached the product displayed in the area A22 is large. The image of the product 920 is displayed with a color indicating that the number of times the hand has been extended is large.
  • the operation input unit 230 includes input devices such as a keyboard and a mouse and receives user operations.
  • the operation input unit 230 corresponds to an example of a product designation receiving unit, and receives a product designation. For example, the designation of the product is received by a user operation of clicking the product 920 displayed on the display unit 220 with a mouse.
  • the storage unit 280 stores various information.
  • the storage unit 280 stores sensing data obtained by the pre-shelf behavior measurement sensor 110, or data obtained by processing the sensing data by the control unit 290.
  • the storage unit 280 associates the product identification information indicating the product 920 that the customer has reached with the time when the pre-shelf behavior measurement sensor 110 detects the customer's hand (see “Association” described later). After information ") is stored.
  • the storage unit 280 stores information that associates the product identification information indicating the product 920 that the customer has reached with the time when the sensor 110 for measuring the behavior in front of the shelf detects the customer's hand. Is stored as a series of information on reaching out by the same customer about the period from the time of stopping to the time of leaving the shelf.
  • the product identification information here is information for identifying the product 920 placed on the shelf 910 for each product.
  • products having the same specifications for example, products having the same name
  • predetermined information such as a product name may be used, or identification information dedicated to the image display system 1 may be determined.
  • FIG. 6 is an explanatory diagram illustrating an example of a data structure of information (post-association information described later) in which the sensing time stored in the storage unit 280 is associated with the product identification information.
  • the storage unit 280 stores a group number, sensing time, and product identification information in association with each other.
  • the product identification information indicates the product 920 that the customer has reached out, specified based on the sensing data from the sensor for measuring behavior before a shelf 110.
  • the information stored in the storage unit 280 is not limited to the information that associates the sensing time and the product identification information shown in the example of FIG.
  • the storage unit 280 may store the sensing data from the pre-shelf behavior measurement sensor 110 and time information indicating the sensing time in association with each other.
  • the storage unit 280 may store information obtained by converting sensing data from the pre-shelf behavior measurement sensor 110 into a vertical position and a horizontal position on the shelf 910 in the form of coordinate values.
  • storage part 280 may memorize
  • the storage unit 280 stores images taken by the shelf situation photographing apparatus 120 in time series in association with the photographing time.
  • the storage unit 280 is realized using a storage device included in the image display apparatus 200.
  • the storage device included in the image display apparatus 200 may be a storage device built in the image display apparatus 200 or a storage device externally attached to the image display apparatus 200.
  • the control unit 290 controls each unit of the image display device 200 and executes various processes.
  • the control unit 290 is realized by, for example, a CPU (Central Processing Unit) provided in the image display apparatus 200 reading out a program from the storage unit 280 and executing it.
  • the approach status information acquisition unit 291 acquires approach status information.
  • the approach status information here is information indicating the presence or absence of at least a part of the customer's body to the shelf 910 and the position on the shelf 910 when there is an approach for each time.
  • the approach status information acquisition unit 291 converts the sensing data into coordinate values on the front surface of the shelf 910.
  • the storage unit 280 stores in advance information indicating the position at which the pre-shelf behavior measurement sensor 110 detects an object for each pre-shelf behavior measurement sensor 110.
  • the approach state information acquisition unit 291 reads out, from the storage unit 280, information on the position at which the pre-shelf behavior measurement sensor 110 detects the object, in accordance with the pre-shelf behavior measurement sensor 110 that has detected the object.
  • the approach status information acquisition unit 291 reads the distance between the object detected by the pre-shelf action measurement sensor 110 and the pre-shelf action measurement sensor 110 itself from the sensing data.
  • the approach status information acquisition unit 291 converts the read distance into a vertical position of the shelf 910.
  • the approach situation information acquisition unit 291 generates approach situation information by associating reception time information of sensing data with the coordinate value as time information indicating sensing time. The presence of this approach status information indicates that the pre-shelf behavior measurement sensor 110 has detected an object.
  • the approach status information indicates whether at least a part of the customer's body approaches the shelf 910 based on the presence / absence of the information.
  • the approach status information indicates the presence / absence of at least a part of the customer's body and the position on the shelf 910 when there is an approach, using coordinate values.
  • the position indicated by the coordinates is a position on the shelf 910 to which at least a part of the customer's body approaches.
  • the associating unit 292 associates the approach status information generated by the approach status information acquiring unit 291 with any of the products 920 according to the position indicated by the approach status information.
  • the storage unit 280 stores in advance information that associates position information detected by the approach state information acquisition unit 291 from the sensing data with any of the products 920.
  • the storage unit 280 stores the position of the product 920 on the shelf 910 in advance in the horizontal and vertical two-dimensional coordinate values of the shelf 910.
  • the associating unit 292 reads the product 920 associated with the coordinate value indicated by the approach status information generated by the approach status information acquiring unit 291 from the storage unit 280, thereby associating the approach status information with the product 920.
  • the associating unit 292 generates information associating the product identification information for identifying the associated product 920 with the time information indicating the sensing time, and causes the storage unit 280 to store the information.
  • generates is called post-association information.
  • the post-association information corresponds to an example of information indicating a product associated with the approach status information.
  • the index value calculation unit 293 calculates a customer behavior index value based on the post-association information generated by the association unit 292. For example, as in the example of FIG. 4, the index value calculation unit 293 calculates the number of times the customer has reached the product 920 within a predetermined period for each product 920 and calculates a customer behavior index value indicating the total result. . In addition, the index value calculation unit 293 calculates a customer behavior index value indicating a correlation between an action performed on a product designated by the same customer and an action performed on another product. For example, as in the example of FIG. 5, the index value calculation unit 293 displays a customer behavior index value indicating the number of times a customer who has reached a designated product reaches a product 920 other than the designated product. Calculate every 920.
  • FIG. 7 is a flowchart illustrating an example of a processing procedure in which the image display apparatus 200 generates post-association information.
  • the image display apparatus 200 When the image display apparatus 200 is connected to the power supply (ON) of the image display apparatus 200 and enters an operation state, the image display apparatus 200 starts the process illustrated in FIG.
  • the approach status information acquisition unit 291 determines whether or not a customer stoppage in front of the shelf has been detected (step S ⁇ b> 101). Specifically, when the approach status information acquisition unit 291 detects that there is a customer who has not been in front of the shelf in the image captured by the shelf status imaging device 120, the approach status information acquisition unit 291 stops the customer in front of the shelf. It is determined that it is detected.
  • the approach situation information acquisition unit 291 may determine whether or not the customer's stop is detected for each of the plurality of customers. .
  • step S101: NO the approach status information acquisition unit 291 returns to step S101. That is, the image display apparatus 200 waits for a customer to drop in front of the shelf. If it is determined in step S101 that a customer stoppage has been detected in front of the shelf (step S101: YES), the approach status information acquisition unit 291 determines a group number for the customer stoppage (step S102). For example, the initial value of the group number may be set to 0, and the approach status information acquisition unit 291 may add 1 to the group number every time a customer stops in front of the shelf is detected.
  • the approach status information acquisition unit 291 determines whether or not a customer leaving from the shelf is detected (step S103). Specifically, when the approach situation information acquisition unit 291 detects from the image taken by the shelf situation photographing device 120 that there are no customers who have been in front of the shelf, the approach situation information acquisition unit 291 causes the customer to leave the shelf. It is determined that it is detected. When a plurality of customers are shown in the image captured by the shelf situation imaging device 120, the approach status information acquisition unit 291 may determine whether or not the customer has left for each of the plurality of customers. . When it is determined that a customer stoppage from the front of the shelf has been detected (step S103: YES), the approach status information acquisition unit 291 returns to step S101.
  • step S103 If it is determined in step S103 that a customer stoppage from the front of the shelf has not been detected (step S103: NO), the approach state information acquisition unit 291 has acquired sensing data from the sensor 110 for measuring the behavior in front of the shelf. Is determined (step S104). Specifically, the approach status information acquisition unit 291 determines whether or not the communication unit 210 has received sensing data.
  • the associating unit 292 generates post-association information based on the two-dimensional coordinate value obtained in step S105 (step S106). Specifically, the associating unit 292 uses information obtained by combining the group number determined in step S102, the sensing time, and the product identification information obtained from the two-dimensional coordinate values in the example of the data structure in FIG. Thus, it is generated as post-correlation information for one line.
  • the associating unit 292 stores the post-associating information (information for one line) obtained in step S106 in the storage unit 280 (step S107). The associating unit 292 returns to step S103 after step S107.
  • FIG. 8 is a flowchart showing a first example of a processing procedure in which the image display apparatus 200 displays a customer behavior index value.
  • FIG. 8 as described with reference to FIG. 4, an example is shown in which the display unit 220 displays, for each product 920, the number that the customer has reached the product 920 in color.
  • the operation input unit 230 receives a user operation for instructing display of a customer behavior index value
  • the image display device 200 starts the process of FIG.
  • the index value calculation unit 293 counts the number of times the customer has reached the product 920 for each product 920 based on the post-association information obtained in the process of FIG. S201).
  • the index value calculation unit 293 adds a color to each image of the product 920 in the image on the shelf 910 based on the counting result obtained in step S201 (step S202).
  • the index value calculation unit 293 causes the display unit 220 to display an image of the shelf 910 in which the product 920 is colored in step S202 (step S203).
  • the index value calculation unit 293 ends the process of FIG. 8 after step S203.
  • FIG. 9 is a flowchart showing a second example of a processing procedure in which the image display device 200 displays a customer behavior index value.
  • the display unit 220 displays the number of times a customer who has reached a designated product reaches another product 920 in a color for each product 920. An example is shown.
  • the operation input unit 230 receives a user operation instructing display of a customer behavior index value indicating the correlation between products, the image display device 200 starts the process of FIG.
  • the operation input unit 230 receives designation of the product 920 (step S301).
  • the operation input unit 230 receives an operation of designating one of the images of the product 920 included in the image of the shelf 910 with a mouse click while the display unit 220 displays the image of the shelf 910.
  • the designation of the product 920 in step S301 is selection of the designated product.
  • the index value calculation unit 293 selects all the post-association information that is assigned the same group number as the post-association information indicating the reach to the designated product from the post-association information obtained in the process of FIG. (Step S302). That is, the index value calculation unit 293 acquires post-association information indicating the reach of the customer who has reached the designated product.
  • the index value calculation unit 293 counts the number of times the customer has reached the product 920 for each product 920 other than the designated product for the post-association information obtained in step S302 (step S303).
  • the index value calculation unit 293 adds a color to each image of the product 920 other than the designated product in the image on the shelf 910 based on the count result obtained in step S303 (step S304).
  • the index value calculation unit 293 causes the display unit 220 to display an image of the shelf 910 in which the product 920 is colored in step S304 (step S305).
  • the index value calculation unit 293 ends the process of FIG. 9 after step S305.
  • the approach status information acquisition unit 291 indicates, for each time, the presence or absence of at least a part of the customer's body to the shelf 910 on which the product 920 is displayed and the position on the shelf 910 when there is an approach. Get approach status information.
  • the associating unit 292 associates the approach status information with one of the products 920 according to the position indicated by the approach status information. As a result, the associating unit 292 identifies the product 920 that the customer has reached.
  • the index value calculation unit 293 calculates an index value related to customer behavior based on information indicating the product 920 associated with the approach status information.
  • the display unit 220 displays the index value calculated by the index value calculation unit 293 at the position of the image of the product 920 in the image of the shelf 910 based on the association by the association unit 292.
  • the information which shows a customer's action can be displayed in detail.
  • the image display system 1 can display information indicating customer behavior for each product in more detail than for each display shelf. The user can perform a higher-level analysis of customer behavior with reference to this display.
  • the operation input unit 230 receives designation of a product by a user operation.
  • the index value calculation unit 293 calculates an index value indicating the correlation of actions performed by the same customer for each of the designated product and other products. Thereby, the display part 220 can display the correlation between goods visually. Therefore, the user can analyze the correlation between the products with reference to this display.
  • the user can grasp where the customer has reached on the shelf. Thereby, the user can grasp where the customer can easily reach his / her hand on the shelf. Further, the user can acquire information such as which product the customer has reached using the image display system 1 and which product is compared with which product. The user can use this information for marketing individual products.
  • the display unit 220 displays the number of times the customer has picked up the product. You may do it.
  • the image display system 1 includes a camera that shoots from the top to the bottom of the shelf 910, and the index value calculation unit 293 analyzes the image of the camera to determine whether the customer has picked up the product. You may make it determine.
  • the display unit 220 may display information on whether or not the product has been purchased, such as whether the customer has purchased the product or returned it to the shelf.
  • the index value calculation unit 293 compares the image taken by the shelf situation photographing apparatus 120 before the customer stops in front of the shelf with the image taken by the shelf situation photographing apparatus 120 after the customer leaves the shelf. When the index value calculation unit 293 detects that the number of products is decreasing, it determines that the customer has purchased the product. When the index value calculation unit 293 detects that the number of products has not decreased, the index value calculation unit 293 determines that the product taken by the customer is returned to the shelf.
  • the display unit 220 may display the time when the customer picked up the product. For example, the time from when the customer picks up the product until the product is returned and the time from when the customer picks up the product until the customer leaves the shelf are the time when the customer picks up the product.
  • the display unit 220 may display the average time for each time the customer picks up the product. As a result, the user can grasp whether each product is a product purchased after careful consideration by the customer or a product that the customer has decided to purchase in advance. Can do.
  • the image display system 1 may calculate the time that the customer stays in front of the shelf and display it together with the display of the behavior indicator value in front of the shelf described above.
  • the image display system 1 includes a camera that photographs a customer in front of the shelf from the shelf side, acquires information on at least one of the customer's face direction and the customer's line-of-sight direction, and the above-described behavior indicator in front of the shelf You may make it display with the display of a value.
  • the image display system 1 may display information other than the action before the shelf together with the display of the action index value before the shelf described above.
  • the storage unit 280 stores in advance information on whether or not the customer is a member, and the image display system 1 displays information such as the member's person holding this product well in advance. May be extracted and displayed.
  • FIG. 10 is an explanatory diagram showing the minimum configuration of the image display apparatus according to the present invention.
  • the image display apparatus 10 shown in the figure includes an approach status information acquisition unit 11, an association unit 12, an index value calculation unit 13, and a display unit 14.
  • the access status information acquisition unit 11 has access status information indicating, for each time, the presence or absence of at least a part of the customer's body to the shelf on which the product is displayed and the position on the shelf when there is an access.
  • the associating unit 12 associates the approach status information with any of the products according to the position indicated by the approach status information.
  • the index value calculation unit 13 calculates an index value related to customer behavior based on information indicating a product associated with the approach status information.
  • the display unit 14 displays the index value calculated by the index value calculation unit 13 at the position of the product image in the shelf image based on the association by the association unit 12. Thereby, in the image display apparatus 10, the information which shows a customer's action can be displayed in detail.
  • the image display device 10 can display information indicating customer behavior for each product in more detail than for each display shelf. The user can perform a higher-level analysis of customer behavior with reference to this display.
  • FIG. 11 is an explanatory diagram showing the minimum configuration of the image display system according to the present invention.
  • the image display system 20 shown in FIG. 1 includes a pre-shelf behavior measurement sensor 21, an approach state information acquisition unit 22, an association unit 23, an index value calculation unit 24, and a display unit 25.
  • the pre-shelf behavior measurement sensor 21 detects the approach of at least a part of the customer's body to the shelf on which the product is displayed, and generates sensing data indicating the position of the approach location on the shelf.
  • the approach status information acquisition unit 22 generates approach status information indicating the presence / absence of approach and the position on the shelf when there is an approach for each time based on the sensing data.
  • the associating unit 23 associates the approach status information with any product according to the position indicated by the approach status information.
  • the index value calculation unit 24 calculates an index value related to customer behavior based on information indicating a product associated with the approach status information.
  • the display unit 25 displays the index value calculated by the index value calculation unit 24 at the position of the product image in the shelf image based on the association by the association unit 23. Thereby, in the image display system 20, the information which shows a customer's action can be displayed in detail.
  • the image display system 20 can display information indicating customer behavior for each product in more detail than for each display shelf. The user can perform a higher-level analysis of customer behavior with reference to this display.
  • the processing for each unit may be performed by recording a program for recording on a computer-readable recording medium, causing the computer system to read and execute the program recorded on the recording medium.
  • the “computer system” here includes an OS and hardware such as peripheral devices.
  • “Computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in a computer system.
  • the program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
  • the present invention can be applied to applications where it is indispensable to display information indicating customer behavior in more detail.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Display Racks (AREA)
  • Computer Hardware Design (AREA)

Abstract

画像表示装置が、複数の商品が陳列された棚への顧客の体の少なくとも一部の接近の有無及び接近があった場合の前記棚における前記接近の位置を時刻毎に示す接近状況情報を取得する接近状況情報取得部と、前記接近状況情報を、当該接近状況情報が示す位置に応じて前記複数の商品のいずれか一つと対応付ける対応付け部と、前記接近状況情報に対応付けられた前記商品を示す情報に基づいて、前記顧客の行動に関する指標値を算出する指標値算出部と、前記指標値算出部が算出した前記指標値を、前記対応付け部による対応付けに基づいて、前記商品の画像とともに表示する表示部と、を備える。

Description

画像表示装置、画像表示システム、画像表示方法及びプログラム
　本発明は、画像表示装置、画像表示システム、画像表示方法及びプログラムに関する。
　顧客の購買特性を把握する等の目的で店舗における顧客の行動を分析する場合がある。例えば、特許文献１には、陳列棚毎に顧客の周辺エリア滞在時間及び商品取得回数を集計し表示することが記載されている。
特開２０１５－１１６４９号公報
　顧客の行動分析をより高度に行う観点から、陳列棚毎に顧客の周辺エリア滞在時間及び商品取得回数を集計し表示するよりも詳細な表示が望まれる。
　本発明は、上述の課題を解決することのできる画像表示装置、画像表示システム、画像表示方法及びプログラムを提供することを目的としている。
　本発明の第１の態様によれば、画像表示装置は、複数の商品が陳列された棚への顧客の体の少なくとも一部の接近の有無及び接近があった場合の前記棚における前記接近の位置を時刻毎に示す接近状況情報を取得する接近状況情報取得部と、前記接近状況情報を、当該接近状況情報が示す位置に応じて前記複数の商品のいずれか一つと対応付ける対応付け部と、前記接近状況情報に対応付けられた前記商品を示す情報に基づいて、前記顧客の行動に関する指標値を算出する指標値算出部と、前記指標値算出部が算出した前記指標値を、前記対応付け部による対応付けに基づいて、前記商品の画像とともに表示する表示部と、を備える。
　本発明の第２の態様によれば、画像表示システムは、複数の商品が陳列された棚への顧客の体の少なくとも一部の接近を検出して前記棚における前記接近を検出した位置を示すセンシングデータを生成する棚前行動計測用センサと、前記接近の有無及び接近があった場合の前記棚における前記位置を時刻毎に示す接近状況情報を前記センシングデータに基づいて生成する接近状況情報取得部と、前記接近状況情報を、当該接近状況情報が示す位置に応じて前記複数の商品のいずれか一つと対応付ける対応付け部と、前記接近状況情報に対応付けられた前記商品を示す情報に基づいて、前記顧客の行動に関する指標値を算出する指標値算出部と、前記指標値算出部が算出した前記指標値を、前記対応付け部による対応付けに基づいて、前記商品の画像とともに表示する表示部と、を備える。
　本発明の第３の態様によれば、画像表示方法は、複数の商品が陳列された棚への顧客の体の少なくとも一部の接近の有無及び接近があった場合の前記棚における前記接近の位置を時刻毎に示す接近状況情報を取得する接近状況情報取得ステップと、前記接近状況情報を、当該接近状況情報が示す位置に応じて前記複数の商品のいずれか一つと対応付ける対応付けステップと、前記接近状況情報に対応付けられた前記商品を示す情報に基づいて、前記顧客の行動に関する指標値を算出する指標値算出ステップと、前記指標値算出ステップで算出した前記指標値を、前記対応付け部による対応付けに基づいて、前記商品の画像とともに表示する表示ステップと、を含む。
　本発明の第４の態様によれば、プログラムは、コンピュータに、複数の商品が陳列された棚への顧客の体の少なくとも一部の接近の有無及び接近があった場合の前記棚における前記接近の位置を時刻毎に示す接近状況情報を取得する接近状況情報取得ステップと、前記接近状況情報を、当該接近状況情報が示す位置に応じて前記複数の商品のいずれか一つと対応付ける対応付けステップと、前記接近状況情報に対応付けられた前記商品を示す情報に基づいて、前記顧客の行動に関する指標値を算出する指標値算出ステップと、前記指標値算出ステップで算出した前記指標値を、前記対応付け部による対応付けに基づいて、前記商品の画像とともに表示する表示ステップと、を実行させるためのプログラムである。
　この発明によれば、顧客の行動を示す情報をより詳細に表示することができる。
本発明の一実施形態に係る画像表示システムの機能構成を示す概略ブロック図である。 同実施形態で、棚を横から見た場合の棚前行動計測用センサ及び棚状況撮影装置の配置例を示す説明図である。 同実施形態で、棚を前から見た場合の棚前行動計測用センサの配置例を示す説明図である。 同実施形態に係る表示部による顧客行動指標値の表示例を示す説明図である。 同実施形態に係る画像表示システムのユーザが指定した商品に対して顧客が行う行動と、同一の顧客が他の商品に対して行う行動との相関性を示す顧客行動指標値の、表示部による表示例を示す説明図である。 同実施形態に係る記憶部が記憶する、センシング時刻と商品識別情報とを対応付けた情報のデータ構造の例を示す説明図である。 同実施形態に係る画像表示装置が対応付け後情報を生成する処理手順の例を示すフローチャートである。 同実施形態に係る画像表示装置が、顧客行動指標値を表示する処理手順の第１の例を示すフローチャートである。 同実施形態に係る画像表示装置が、顧客行動指標値を表示する処理手順の第２の例を示すフローチャートである。 本発明に係る画像表示装置の最小構成を示す説明図である。 本発明に係る画像表示システムの最小構成を示す説明図である。
　以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、本発明の一実施形態に係る画像表示システムの機能構成を示す概略ブロック図である。同図に示すように、画像表示システム１は、棚前行動計測用センサ１１０と、棚状況撮影装置１２０と、画像表示装置２００とを備える。画像表示装置２００は、通信部２１０と、表示部２２０と、操作入力部２３０と、記憶部２８０と、制御部２９０とを備える。制御部２９０は、接近状況情報取得部２９１と、対応付け部２９２と、指標値算出部２９３とを備える。
　画像表示システム１は、顧客の棚前行動を分析し分析結果を棚の画像に重ねて表示する。ここでいう棚前は、商品陳列棚の前（特に、前面付近）であり、ここでいう棚前行動は、顧客が商品陳列棚の前で行う行動である。以下では商品陳列棚を単に棚と称する。
　棚前行動計測用センサ１１０は、棚前行動を検出するために設けられたセンサである。棚前行動計測用センサ１１０として、例えば棚の前面の上方から下方に向けて設けられた距離センサを用いることができる。顧客が棚に手を伸ばした場合に、棚前行動計測用センサ１１０が棚前における顧客の手の水平方向の位置及び垂直方向の位置を検出することで、画像表示装置２００は、顧客が手を伸ばした商品を推定することができる。
　棚状況撮影装置１２０は、棚の前方に設けられて動画像又は静止画像を撮影するカメラを備え、連続的に或いは所定時間間隔毎に、棚前の様子及び棚の様子を撮影する。
　棚状況撮影装置１２０が撮影する画像により、画像表示装置２００は、顧客が棚前に立ち寄ってから棚前を立ち去るまでのタイミングを検出することができる。これにより、画像表示装置２００は、顧客が棚前に立ち寄ってから立ち去るまでに行われた棚への手伸ばしを、同一顧客による一連の手伸ばしとして検出することができる。
　また、画像表示装置２００は、顧客が棚へ手を伸ばした前後の画像を比較することで、顧客が商品を手に取ったこと、及び、顧客が手に取った商品を棚に戻したことを検出することができる。
　ここで、図２及び図３を参照して棚前行動計測用センサ１１０及び棚状況撮影装置１２０の配置の例について説明する。
　図２は、棚を横から見た場合の棚前行動計測用センサ１１０及び棚状況撮影装置１２０の配置例を示す説明図である。同図の例で棚前行動計測用センサ１１０は、棚９１０の全面の上方の天井９３０から下方に向けて設置されている。棚９１０は複数段の棚であり、それぞれの段に商品９２０が置かれている。顧客が棚９１０に手を伸ばした際、棚前行動計測用センサ１１０が棚前行動計測用センサ１１０自らと手との距離を測定する。測定された距離を用いることで、画像表示装置２００は、顧客が棚９１０の何段目に手を伸ばしたかを判定することができる。
　棚状況撮影装置１２０のカメラは、棚９１０の前方の天井９３０から棚９１０を撮影する位置及び向きに設置されている。例えば、棚状況撮影装置１２０が１台のカメラを備え、当該カメラを棚９１０の前面全体を撮影できる位置及び向きに設置する。あるいは、１台のカメラで棚９１０の前面全体を撮影できない場合は、棚状況撮影装置１２０が複数台のカメラを備えるようにしてもよい。
　図３は、棚を前から見た場合の棚前行動計測用センサ１１０の配置例を示す説明図である。同図の例で棚前行動計測用センサ１１０は、棚９１０の幅方向に沿って天井９３０に複数配置されている。顧客が棚９１０に手を伸ばした際、画像表示装置２００は、手を検出した棚前行動計測用センサ１１０を特定することで棚９１０の水平方向における手の位置を判定することができる。
　但し、棚前行動計測用センサ１１０は、顧客が棚９１０に手を伸ばした際に棚９１０の鉛直方向における手の位置、及び、棚９１０の水平方向における手の位置を検出可能であればよい。例えば、棚前行動計測用センサ１１０として１セットの３次元カメラが棚９１０の前面の上方に設置されて棚の前面を鉛直方向に撮像するようにしてもよい。
　棚前行動計測用センサ１１０の設置位置は、棚９１０の上方に限らない。例えば、棚前行動計測用センサ１１０が棚９１０の側方に設置されて棚９１０の前面を横向きにセンシングするようにしてもよい。
　画像表示装置２００は、棚前行動計測用センサ１１０からのセンシングデータに基づいて棚前行動を分析する。
　具体的には、図２及び図３を参照して説明したように、顧客が棚９１０に手を伸ばした際、画像表示装置２００は、棚前行動計測用センサ１１０からのセンシングデータに基づいて、棚９１０の鉛直方向における手の位置、及び、棚９１０の水平方向における手の位置を検出する。また、画像表示装置２００は、棚９１０における商品９２０の配置を予め記憶しており、顧客の手の位置に基づいて顧客が手を伸ばした商品を推定する。画像表示装置２００は、例えば商品毎に顧客が手を伸ばした回数を計数し、計数結果（例えば、所定期間内における全顧客の集計値）を棚９１０の画像に重ねて表示する。
　画像表示装置２００は、例えばコンピュータを用いて構成される。
　通信部２１０は、他機器との通信を行う。通信部２１０は棚前行動計測用センサ１１０からセンシングデータを受信する。また、通信部２１０は、棚状況撮影装置１２０が撮影した画像を画像データにて受信する。
　表示部２２０は、例えば液晶パネル又はＬＥＤ（Light-Emitting Diode）パネル等の表示画面を有し、制御部２９０の制御に従って各種画像を表示する。表示部２２０は、商品に顧客が手を伸ばした回数の計数結果などの顧客行動指標値を、棚９１０の画像に重ねて表示する。ここでいう顧客行動指標値は、顧客の行動に関して指標値算出部２９３が算出した指標値である。
　図４は、表示部２２０による顧客行動指標値の表示例を示す説明図である。同図の例で、表示部２２０は、商品９２０が並べられた棚９１０の像を領域Ａ１１に表示している。また、表示部２２０は、商品の像に顧客が当該商品に手を伸ばした回数に応じた色を付して表示している。また、表示部２２０は、顧客が商品に手を伸ばした回数と色との対応付けを示す凡例を領域Ａ１２に表示している。表示部２２０は、顧客が商品に手を伸ばした回数をヒートマップ風に示している。ここでいうヒートマップとは、行列の各要素の値を色で示す表示方法である。
　顧客が商品に手を伸ばした回数は顧客行動指標値の例に該当する。表示部２２０は、棚９１０の画像における商品９２０の像の位置に、当該商品の像に付した色にて顧客行動指標値を表示している。この点で、表示部２２０は、顧客行動指標値を商品の画像とともに表示する。
　但し、表示部２２０が顧客行動指標値を表示する方法は、商品の像に色を付す方法に限らない。例えば、表示部２２０が、色に代えてストライプ又はドット等の所定のパタンを商品の像に付すことで顧客行動指標値を表示するようにしてもよい。表示部２２０が、顧客行動指標値を示す数字を商品の像に重ねて表示するようにしてもよい。
　また、表示部２２０は、画像表示システム１のユーザが指定した商品に対して顧客が行う行動と、同一の顧客が他の商品に対して行う行動との相関性を示す指標値を、棚９１０の画像における商品９２０の像の位置に表示する。以下では、画像表示システム１のユーザを単にユーザと称する。
　図５は、画像表示システム１のユーザが指定した商品に対して顧客が行う行動と、同一の顧客が他の商品に対して行う行動との相関性を示す顧客行動指標値の、表示部２２０による表示例を示す説明図である。図４の例と同様図５の例でも、表示部２２０は、商品９２０が並べられた棚９１０の像を領域Ａ１１に表示している。また、顧客が商品に手を伸ばした回数と色との対応付けを示す凡例を領域Ａ１２に表示している。
　図４の場合と異なり図５では、表示部２２０は、ユーザが指定（選択）した商品９２０を表示している。図５の例では、ユーザは、領域Ａ２１に示す商品９２０を指定しており、表示部２２０は、領域Ａ２１にストライプを表示することで、指定された商品９２０を表示している。以下では、ユーザが指定した商品９２０を指定商品と称する。
　図５の例では、表示部２２０は、指定商品に（１度以上）手を伸ばした顧客が、指定商品以外の商品９２０に手を伸ばした回数の計数結果（例えば、所定期間内における全顧客の集計値）をヒートマップ風に示している。具体的には、表示部２２０は、指定商品に（１度以上）手を伸ばした顧客が、指定商品以外の商品９２０に手を伸ばした回数に応じた色を、商品９２０毎に当該商品９２０の像に付して表示している。図５の例では、領域Ａ２１に表示された商品（指定商品）に手を伸ばした顧客が、領域Ａ２２に表示された商品に手を伸ばした回数が多かったため、表示部２２０は、領域Ａ２２の商品９２０の像に、手を伸ばした回数が多いことを示す色を付して表示している。
　操作入力部２３０は、例えばキーボード及びマウスなどの入力デバイスを備え、ユーザ操作を受ける。操作入力部２３０は商品指定受付部の例に該当し、商品の指定を受ける。例えば、表示部２２０が表示している商品９２０をマウスクリックするユーザ操作にて、当該商品の指定を受ける。
　記憶部２８０は、各種情報を記憶する。記憶部２８０は、棚前行動計測用センサ１１０により得られるセンシングデータ、又は、制御部２９０が当該センシングデータを加工したデータを記憶する。例えば、記憶部２８０は、顧客が手を伸ばした商品９２０を示す商品識別情報と、棚前行動計測用センサ１１０が当該顧客の手を検出した時刻とを対応付けた情報（後述する「対応付け後情報」）を記憶する。さらに、記憶部２８０は、顧客が手を伸ばした商品９２０を示す商品識別情報と、棚前行動計測用センサ１１０が当該顧客の手を検出した時刻とを対応付けた情報を、顧客が棚前に立ち寄ってから棚前を立ち去るまでの期間について同一顧客による一連の手伸ばしの情報として記憶する。
　ここでいう商品識別情報は、棚９１０に置かれた商品９２０を商品毎に識別する情報である。なお、本実施形態では、同一の仕様の商品（例えば、同一の名前の商品）を同一の商品とみなす。商品識別情報として商品名など予め定められた情報を用いるようにしてもよいし、画像表示システム１専用の識別情報を定めておくようにしてもよい。
　図６は、記憶部２８０が記憶するセンシング時刻と商品識別情報とを対応付けた情報（後述する対応付け後情報）のデータ構造の例を示す説明図である。同図に示すように、記憶部２８０は、グループ番号と、センシング時刻と、商品識別情報とを対応付けて記憶する。
　図６の例で、商品識別情報は、棚前行動計測用センサ１１０によるセンシングデータに基づいて特定された、顧客が手を伸ばした商品９２０を示す。
　センシング時刻は、棚前行動計測用センサ１１０が当該センシングデータに示される物体の検出を行った時刻を示す。例えば、センシング時刻として通信部２１０がセンシングデータを受信した時刻を用いるようにしてもよい。
　グループ番号は、顧客が棚前に立ち寄ってから棚前を立ち去るまでに検出された一連の手伸ばしを１つのグループに纏めるための情報として用いられる。画像表示装置２００は、棚状況撮影装置１２０が撮影した画像に基づいて、顧客が棚前に立ち寄ってから棚前を立ち去るまでのタイミングを検出し、この期間に棚前行動計測用センサ１１０が送信したセンシングデータに基づく情報（センシング時刻と商品識別情報との組み合わせ）に同一のグループ番号を付す。これにより、図５の例のように、同一の顧客が棚９１０に複数回手を伸ばしたことを検出することができる。
　但し、記憶部２８０が記憶する情報は、図６の例に示すセンシング時刻と商品識別情報とを対応付けた情報に限らない。例えば、記憶部２８０が、棚前行動計測用センサ１１０によるセンシングデータとセンシング時刻を示す時刻情報とを対応付けて記憶するようにしてもよい。あるいは、記憶部２８０が、棚前行動計測用センサ１１０によるセンシングデータを棚９１０における垂直方向の位置及び水平方向の位置に変換した情報を座標値の形式で記憶するようにしてもよい。あるいは、記憶部２８０が、商品９２０毎に、顧客が当該商品に手を伸ばした回数を示す情報を記憶するようにしてもよい。
　記憶部２８０は、棚状況撮影装置１２０が撮影した画像を、撮影時刻と対応付けて時系列に記憶する。
　記憶部２８０は、画像表示装置２００が備える記憶デバイスを用いて実現される。画像表示装置２００が備える記憶デバイスは、画像表示装置２００が内蔵する記憶デバイスであってもよいし、画像表示装置２００に外付けされた記憶デバイスであってもよい。
　制御部２９０は、画像表示装置２００の各部を制御して各種処理を実行する。制御部２９０は、例えば画像表示装置２００が備えるＣＰＵ（Central Processing Unit、中央処理装置）が、記憶部２８０からプログラムを読み出して実行することで実現される。
　接近状況情報取得部２９１は、接近状況情報を取得する。ここでいう接近状況情報は、棚９１０への顧客の体の少なくとも一部の接近の有無及び接近があった場合の棚９１０における位置を時刻毎に示す情報である。
　具体的には、棚前行動計測用センサ１１０が物体（特に、顧客の手）を検出すると、接近状況情報取得部２９１は、センシングデータを棚９１０の前面における座標値に変換する。
　例えば、棚９１０の水平方向について、棚前行動計測用センサ１１０毎に、当該棚前行動計測用センサ１１０が物体を検出する位置を示す情報を、記憶部２８０が予め記憶しておく。接近状況情報取得部２９１は、物体を検出した棚前行動計測用センサ１１０に応じて、当該棚前行動計測用センサ１１０が物体を検出する位置の情報を記憶部２８０から読み出す。
　また、接近状況情報取得部２９１は、棚前行動計測用センサ１１０が検出した物体と棚前行動計測用センサ１１０自らとの距離をセンシングデータから読み取る。接近状況情報取得部２９１は読み取った距離を棚９１０の鉛直方向の位置に換算する。
　接近状況情報取得部２９１は、センシング時刻を示す時刻情報としてセンシングデータの受信時刻情報を当該座標値と対応付けることで、接近状況情報を生成する。この接近状況情報の存在は、棚前行動計測用センサ１１０が物体を検出したことを示す。
　棚前行動計測用センサ１１０が物体を検出した場合、顧客の体の少なくとも一部（特に顧客の手）が棚９１０に接近したものとみなす。この点で、接近状況情報は、当該情報の有無にて棚９１０への顧客の体の少なくとも一部の接近の有無を示す。接近状況情報は、顧客の体の少なくとも一部の接近の有無及び接近があった場合の棚９１０における位置を座標値にて示す。座標が示す位置は、顧客の体の少なくとも一部が接近した棚９１０における位置である。
　対応付け部２９２は、接近状況情報取得部２９１が生成した接近状況情報を、当該接近状況情報が示す位置に応じていずれかの商品９２０と対応付ける。例えば、記憶部２８０が、接近状況情報取得部２９１がセンシングデータから検出する位置情報を、商品９２０のいずれかに対応付ける情報を予め記憶しておく。さらに、記憶部２８０は、棚９１０に置かれた商品９２０毎に、当該商品９２０の棚９１０における位置を棚９１０の水平方向及び鉛直方向の二次元座標値にて予め記憶しておく。対応付け部２９２は、接近状況情報取得部２９１が生成した接近状況情報が示す座標値に対応付けられている商品９２０を記憶部２８０から読み出すことで、接近状況情報を商品９２０に対応付ける。
　対応付け部２９２は、対応付けた商品９２０を識別する商品識別情報とセンシング時刻を示す時刻情報とを対応付けた情報を生成して記憶部２８０に記憶させる。以下では、対応付け部２９２が生成する、商品識別情報とセンシング時刻を示す時刻情報とを対応付けた情報を対応付け後情報と称する。対応付け後情報は、接近状況情報に対応付けられた商品を示す情報の例に該当する。
　指標値算出部２９３は、対応付け部２９２が生成した対応付け後情報に基づいて、顧客行動指標値を算出する。例えば、図４の例のように、指標値算出部２９３は、所定期間内に顧客が商品９２０に手を伸ばした回数を商品９２０毎に集計し、集計結果を示す顧客行動指標値を算出する。
　また、指標値算出部２９３は、同一の顧客が指定された商品に対して行う行動と他の商品に対して行う行動との相関性を示す顧客行動指標値を算出する。例えば、図５の例のように、指標値算出部２９３は、指定商品に手を伸ばした顧客が指定商品以外の商品９２０に手を伸ばした回数を示す顧客行動指標値を指定商品以外の商品９２０毎に算出する。
　図７～図９を参照して画像表示システム１の動作について説明する。
　図７は、画像表示装置２００が対応付け後情報を生成する処理手順の例を示すフローチャートである。画像表示装置２００は、画像表示装置２００自らの電源を接続（ＯＮ）されて動作状態になると、同図の処理を開始する。
　図７の処理で、接近状況情報取得部２９１は、棚前への顧客の立ち寄りを検出したか否かを判定する（ステップＳ１０１）。具体的には、接近状況情報取得部２９１は、棚状況撮影装置１２０が撮影した画像に、棚前に今までいなかった顧客がいることを検出した場合に、棚前への顧客の立ち寄りを検出したと判定する。棚状況撮影装置１２０が撮影した画像に複数の顧客が映っている場合、接近状況情報取得部２９１が複数の顧客のそれぞれについて当該顧客の立ち寄りを検出したか否かを判定するようにしてもよい。
　棚前への顧客の立ち寄りを検出していないと判定した場合（ステップＳ１０１：ＮＯ）、接近状況情報取得部２９１はステップＳ１０１へ戻る。すなわち、画像表示装置２００は、棚前への顧客の立ち寄りを待ち受ける。
　ステップＳ１０１で棚前への顧客の立ち寄りを検出したと判定した場合（ステップＳ１０１：ＹＥＳ）、接近状況情報取得部２９１は、当該顧客の立ち寄りに対するグループ番号を決定する（ステップＳ１０２）。例えば、グループ番号の初期値を０としておき、棚前への顧客の立ち寄りを検出する毎に、接近状況情報取得部２９１がグループ番号に１を加算するようにしてもよい。
　接近状況情報取得部２９１は、棚前からの顧客の立ち去りを検出したか否かを判定する（ステップＳ１０３）。具体的には、接近状況情報取得部２９１は、棚状況撮影装置１２０が撮影した画像で、棚前に今までいた顧客がいなくなっていることを検出した場合に、棚前からの顧客の立ち去りを検出したと判定する。棚状況撮影装置１２０が撮影した画像に複数の顧客が映っていた場合、接近状況情報取得部２９１が複数の顧客のそれぞれについて当該顧客の立ち去りを検出したか否かを判定するようにしてもよい。
　棚前からの顧客の立ち寄りを検出したと判定した場合（ステップＳ１０３：ＹＥＳ）、接近状況情報取得部２９１はステップＳ１０１へ戻る。
　ステップＳ１０３で棚前からの顧客の立ち寄りを検出していないと判定した場合（ステップＳ１０３：ＮＯ）、接近状況情報取得部２９１は、棚前行動計測用センサ１１０からのセンシングデータを取得したか否かを判定する（ステップＳ１０４）。具体的には、接近状況情報取得部２９１は、通信部２１０がセンシングデータを受信したか否かを判定する。
　センシングデータを取得していないと判定した場合（ステップＳ１０４：ＮＯ）、接近状況情報取得部２９１はステップＳ１０４へ戻る。すなわち、画像表示装置２００は、棚前行動計測用センサ１１０からのセンシングデータを待ち受ける。
　ステップＳ１０４でセンシングデータを取得したと判定した場合（ステップＳ１０４：ＹＥＳ）、接近状況情報取得部２９１は、接近状況情報を生成する（ステップＳ１０５）。具体的には、接近状況情報取得部２９１は、通信部２１０が受信したセンシングデータを棚９１０の前面における二次元座標値に換算し、得られた二次元座標値に基づいて接近状況情報を生成する。
　対応付け部２９２は、ステップＳ１０５で得られた二次元座標値に基づいて対応付け後情報を生成する（ステップＳ１０６）。具体的には、対応付け部２９２は、ステップＳ１０２で決定したグループ番号と、センシング時刻と、二次元座標値から得られた商品識別情報とを結合した情報を、図６のデータ構造の例のように１行分の対応付け後情報として生成する。
　対応付け部２９２は、ステップＳ１０６で得られた対応付け後情報（１行分の情報）を記憶部２８０に記憶させる（ステップＳ１０７）。
　対応付け部２９２は、ステップＳ１０７の後、ステップＳ１０３へ戻る。
　図８は、画像表示装置２００が、顧客行動指標値を表示する処理手順の第１の例を示すフローチャートである。図８では、図４を参照して説明したように、表示部２２０が、商品９２０毎に、顧客が当該商品９２０に手を伸ばした数を色で表示する場合の例を示す。画像表示装置２００は、例えば顧客行動指標値の表示を指示するユーザ操作を操作入力部２３０が受けると図８の処理を開始する。
　図８の処理で、指標値算出部２９３は、図７の処理で得られた対応付け後情報に基づいて、商品９２０毎に、顧客が当該商品９２０に手を伸ばした回数を計数する（ステップＳ２０１）。
　指標値算出部２９３は、ステップＳ２０１で得られた計数結果に基づいて、棚９１０の画像における商品９２０の画像の各々に色を付す（ステップＳ２０２）。
　指標値算出部２９３は、ステップＳ２０２で商品９２０に色を付した棚９１０の画像を表示部２２０に表示させる（ステップＳ２０３）。
　指標値算出部２９３は、ステップＳ２０３の後、図８の処理を終了する。
　図９は、画像表示装置２００が、顧客行動指標値を表示する処理手順の第２の例を示すフローチャートである。図９では、図５を参照して説明したように、表示部２２０が、指定商品に手を伸ばした顧客が他の商品９２０に手を伸ばした回数を商品９２０毎に色で表示する場合の例を示す。画像表示装置２００は、商品間の相関性を示す顧客行動指標値の表示を指示するユーザ操作を操作入力部２３０が受けると図９の処理を開始する。
　図９の処理で、操作入力部２３０は、商品９２０の指定を受ける（ステップＳ３０１）。例えば、操作入力部２３０は、表示部２２０が棚９１０の画像を表示している状態で、棚９１０の画像に含まれる商品９２０の像のいずれかをマウスクリックにて指定する操作を受ける。ステップＳ３０１での商品９２０の指定は、指定商品の選択である。
　指標値算出部２９３は、図７の処理で得られた対応付け後情報のうち、指定商品への手伸ばしを示す対応付け後情報と同じグループ番号が付されている対応付け後情報を全て選択する（ステップＳ３０２）。すなわち、指標値算出部２９３は、指定商品に手を伸ばした顧客が行った手伸ばしを示す対応付け後情報を取得する。
　指標値算出部２９３は、ステップＳ３０２で得られた対応付け後情報について、指定商品以外の商品９２０毎に、顧客が当該商品９２０に手を伸ばした回数を計数する（ステップＳ３０３）。
　指標値算出部２９３は、ステップＳ３０３で得られた計数結果に基づいて、棚９１０の画像における指定商品以外の商品９２０の画像の各々に色を付す（ステップＳ３０４）。
　指標値算出部２９３は、ステップＳ３０４で商品９２０に色を付した棚９１０の画像を表示部２２０に表示させる（ステップＳ３０５）。
　指標値算出部２９３は、ステップＳ３０５の後、図９の処理を終了する。
　以上のように、接近状況情報取得部２９１は、商品９２０が陳列された棚９１０への顧客の体の少なくとも一部の接近の有無及び接近があった場合の棚９１０における位置を時刻毎に示す接近状況情報を取得する。また、対応付け部２９２は、接近状況情報を、当該接近状況情報が示す位置に応じていずれかの商品９２０と対応付ける。これにより、対応付け部２９２は、顧客が手を伸ばした商品９２０を特定する。指標値算出部２９３は、接近状況情報に対応付けられた商品９２０を示す情報に基づいて、顧客の行動に関する指標値を算出する。表示部２２０は、指標値算出部２９３が算出した指標値を、対応付け部２９２による対応付けに基づいて、棚９１０の画像における商品９２０の像の位置に表示する。
　これにより、画像表示システム１では、顧客の行動を示す情報をより詳細に表示することができる。特に、画像表示システム１は、陳列棚毎よりも詳細に商品毎に顧客の行動を示す情報を表示することができる。ユーザは、この表示を参照して、顧客の行動分析をより高度に行い得る。
　操作入力部２３０は、ユーザ操作による商品の指定を受ける。指標値算出部２９３は、指定された商品と、他の商品とのそれぞれに対して同一の顧客が行った行動の相関性を示す指標値を算出する。
　これにより、表示部２２０は、商品間の相関性を視覚的に表示することができる。従ってユーザは、この表示を参照して、商品間の相関性を分析することができる。
　ユーザは、画像表示システム１を用いて顧客が棚のどこに手を伸ばしたかを把握することができる。これにより、ユーザは、顧客が棚のどこに手を伸ばし易いかを把握することができる。
　また、ユーザは、画像表示システム１を用いて顧客がどの商品に手を伸ばしたか、また、どの商品と、どの商品とを比較したか等の情報を取得することができる。ユーザは、これらの情報を個々の商品のマーケティングに用いることができる。
　なお、図４及び図５を参照して説明した、顧客が商品に手を伸ばした回数の表示に加えて、あるいは代えて、表示部２２０が、顧客が商品を手に取った回数を表示するようにしてもよい。例えば、画像表示システム１が、棚９１０の上から下方に向けて撮影を行うカメラを備え、指標値算出部２９３が、このカメラの画像を解析することで、顧客が商品を手に取ったか否かを判定するようにしてもよい。
　表示部２２０が、顧客が商品を購入したか棚に戻したかの区別など、商品の購入の有無に関する情報を表示するようにしてもよい。例えば、指標値算出部２９３は、顧客が棚前に立ち寄る前に棚状況撮影装置１２０が撮影した画像と、顧客が棚前から立ち去った後に棚状況撮影装置１２０が撮影した画像とを比較する。指標値算出部２９３は、商品の数が減っていることを検出した場合、顧客が当該商品を購入したと判定する。指標値算出部２９３は、商品の数が減っていないことを検出した場合、顧客が手に取った商品を棚に戻したと判定する。
　表示部２２０が、顧客が商品を手に取った時間を表示するようにしてもよい。例えば、顧客が商品を手に取ってから当該商品を戻すまでの時間、及び、顧客が商品を手に取ってから棚前を離れるまでの時間を、それぞれ顧客が商品を手に取った時間として、表示部２２０が、顧客が商品を手に取った１回あたりの平均時間を表示するようにしてもよい。
　これにより、ユーザは、個々の商品が、顧客がじっくり検討してから購入する商品なのか、顧客が予め購入を決めている商品なのかを把握することができ、商品のマーケティングの参考にすることができる。
　画像表示システム１が、顧客が棚前で留まっている時間を算出して、上述した棚前行動指標値の表示と共に表示するようにしてもよい。
　画像表示システム１が、棚前の顧客を棚側から撮影するカメラを備え、顧客の顔の向き及び顧客の視線の向きのうち少なくともいずれか一方の情報を取得して、上述した棚前行動指標値の表示と共に表示するようにしてもよい。
　画像表示システム１が、上述した棚前行動指標値の表示と共に、棚前行動以外の情報を表示するようにしてもよい。例えば、記憶部２８０が、顧客が会員か否かの情報を予め記憶しておき、画像表示システム１が、会員の人はこの商品をよく手に取っている等の情報を棚前行動指標値として抽出し表示するようにしてもよい。
　図１０及び図１１を参照して、本発明の最小構成について説明する。
　図１０は、本発明に係る画像表示装置の最小構成を示す説明図である。同図に示す画像表示装置１０は、接近状況情報取得部１１と、対応付け部１２と、指標値算出部１３と、表示部１４とを備える。
　かかる構成にて、接近状況情報取得部１１は、商品が陳列された棚への顧客の体の少なくとも一部の接近の有無及び接近があった場合の棚における位置を時刻毎に示す接近状況情報を取得する。対応付け部１２は、接近状況情報を、当該接近状況情報が示す位置に応じていずれかの前記商品と対応付ける。指標値算出部１３は、接近状況情報に対応付けられた商品を示す情報に基づいて、顧客の行動に関する指標値を算出する。表示部１４は、指標値算出部１３が算出した指標値を、対応付け部１２による対応付けに基づいて、棚の画像における商品の像の位置に表示する。
　これにより、画像表示装置１０では、顧客の行動を示す情報をより詳細に表示することができる。特に、画像表示装置１０では、陳列棚毎よりも詳細に商品毎に顧客の行動を示す情報を表示することができる。ユーザは、この表示を参照して、顧客の行動分析をより高度に行い得る。
　図１１は、本発明に係る画像表示システムの最小構成を示す説明図である。同図に示す画像表示システム２０は、棚前行動計測用センサ２１と、接近状況情報取得部２２と、対応付け部２３と、指標値算出部２４と、表示部２５とを備える。
　かかる構成にて、棚前行動計測用センサ２１は、商品が陳列された棚への顧客の体の少なくとも一部の接近を検出して接近箇所の前記棚における位置を示すセンシングデータを生成する。接近状況情報取得部２２は、接近の有無及び接近があった場合の棚における位置を時刻毎に示す接近状況情報をセンシングデータに基づいて生成する。対応付け部２３は、接近状況情報を、当該接近状況情報が示す位置に応じていずれかの商品と対応付ける。指標値算出部２４は、接近状況情報に対応付けられた商品を示す情報に基づいて、顧客の行動に関する指標値を算出する。表示部２５は、指標値算出部２４が算出した指標値を、対応付け部２３による対応付けに基づいて、棚の画像における商品の像の位置に表示する。
　これにより、画像表示システム２０では、顧客の行動を示す情報をより詳細に表示することができる。特に、画像表示システム２０では、陳列棚毎よりも詳細に商品毎に顧客の行動を示す情報を表示することができる。ユーザは、この表示を参照して、顧客の行動分析をより高度に行い得る。
　制御部２９０、接近状況情報取得部１１、対応付け部１２、指標値算出部１３、接近状況情報取得部２２、対応付け部２３、及び、指標値算出部２４の機能の全部または一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　本願は、２０１６年３月２２日に、日本に出願された特願２０１６－０５７５３７号に基づき優先権を主張し、その内容をここに援用する。
　本発明は、顧客の行動を示す情報をより詳細に表示することが不可欠な用途に適用できる。
　１、２０　画像表示システム
　１０、２００　画像表示装置
　１１、２２、２９１　接近状況情報取得部
　１２、２３、２９２　対応付け部
　１３、２４、２９３　指標値算出部
　１４、２５、２２０　表示部
　２１、１１０　棚前行動計測用センサ
　１２０　棚状況撮影装置
　２１０　通信部
　２３０　操作入力部
　２８０　記憶部
　２９０　制御部

Claims (5)

  1. 　複数の商品が陳列された棚への顧客の体の少なくとも一部の接近の有無及び接近があった場合の前記棚における前記接近の位置を時刻毎に示す接近状況情報を取得する接近状況情報取得部と、
    　前記接近状況情報を、当該接近状況情報が示す位置に応じて前記複数の商品のいずれか一つと対応付ける対応付け部と、
    　前記接近状況情報に対応付けられた前記商品を示す情報に基づいて、前記顧客の行動に関する指標値を算出する指標値算出部と、
    　前記指標値算出部が算出した前記指標値を、前記対応付け部による対応付けに基づいて、前記商品の画像とともに表示する表示部と、
    　を備える画像表示装置。
  2. 　前記商品の指定を受ける商品指定受付部を備え、
    　前記指標値算出部は、指定された前記商品と、他の前記商品とのそれぞれに対して同一の前記顧客が行った行動の相関性を示す前記指標値を算出する
    　請求項１に記載の画像表示装置。
  3. 　複数の商品が陳列された棚への顧客の体の少なくとも一部の接近を検出して前記棚における前記接近を検出した位置を示すセンシングデータを生成する棚前行動計測用センサと、
    　前記接近の有無及び接近があった場合の前記棚における前記位置を時刻毎に示す接近状況情報を前記センシングデータに基づいて生成する接近状況情報取得部と、
    　前記接近状況情報を、当該接近状況情報が示す位置に応じて前記複数の商品のいずれか一つと対応付ける対応付け部と、
    　前記接近状況情報に対応付けられた前記商品を示す情報に基づいて、前記顧客の行動に関する指標値を算出する指標値算出部と、
    　前記指標値算出部が算出した前記指標値を、前記対応付け部による対応付けに基づいて、前記商品の画像とともに表示する表示部と、
    　を備える画像表示システム。
  4. 　複数の商品が陳列された棚への顧客の体の少なくとも一部の接近の有無及び接近があった場合の前記棚における前記接近の位置を時刻毎に示す接近状況情報を取得する接近状況情報取得ステップと、
    　前記接近状況情報を、当該接近状況情報が示す位置に応じて前記複数の商品のいずれか一つと対応付ける対応付けステップと、
    　前記接近状況情報に対応付けられた前記商品を示す情報に基づいて、前記顧客の行動に関する指標値を算出する指標値算出ステップと、
    　前記指標値算出ステップで算出した前記指標値を、前記対応付け部による対応付けに基づいて、前記商品の画像とともに表示する表示ステップと、
    　を含む画像表示方法。
  5. 　コンピュータに、
    　複数の商品が陳列された棚への顧客の体の少なくとも一部の接近の有無及び接近があった場合の前記棚における前記接近の位置を時刻毎に示す接近状況情報を取得する接近状況情報取得ステップと、
    　前記接近状況情報を、当該接近状況情報が示す位置に応じて前記複数の商品のいずれか一つと対応付ける対応付けステップと、
    　前記接近状況情報に対応付けられた前記商品を示す情報に基づいて、前記顧客の行動に関する指標値を算出する指標値算出ステップと、
    　前記指標値算出ステップで算出した前記指標値を、前記対応付け部による対応付けに基づいて、前記商品の画像とともに表示する表示ステップと、
    　を実行させるためのプログラム。
PCT/JP2017/009533 2016-03-22 2017-03-09 画像表示装置、画像表示システム、画像表示方法及びプログラム WO2017163909A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US16/085,638 US10813477B2 (en) 2016-03-22 2017-03-09 Image display device, image display system, image display method, and program
JP2018507208A JP6508419B2 (ja) 2016-03-22 2017-03-09 画像表示装置、画像表示システム、画像表示方法及びプログラム
US16/854,458 US11051638B2 (en) 2016-03-22 2020-04-21 Image display device, image display system, image display method, and program
US17/325,824 US11786058B2 (en) 2016-03-22 2021-05-20 Image display device, image display system, image display method, and program
US18/204,145 US20230301447A1 (en) 2016-03-22 2023-05-31 Image display device, image display system, image display method, and program
US18/237,240 US20230404296A1 (en) 2016-03-22 2023-08-23 Image display device, image display system, image display method, and program
US18/237,245 US20230389725A1 (en) 2016-03-22 2023-08-23 Image display device, image display system, image display method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016057537 2016-03-22
JP2016-057537 2016-03-22

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/085,638 A-371-Of-International US10813477B2 (en) 2016-03-22 2017-03-09 Image display device, image display system, image display method, and program
US16/854,458 Continuation US11051638B2 (en) 2016-03-22 2020-04-21 Image display device, image display system, image display method, and program

Publications (1)

Publication Number Publication Date
WO2017163909A1 true WO2017163909A1 (ja) 2017-09-28

Family

ID=59900171

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/009533 WO2017163909A1 (ja) 2016-03-22 2017-03-09 画像表示装置、画像表示システム、画像表示方法及びプログラム

Country Status (3)

Country Link
US (6) US10813477B2 (ja)
JP (6) JP6508419B2 (ja)
WO (1) WO2017163909A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019082824A (ja) * 2017-10-30 2019-05-30 株式会社Ｎｔｔドコモ 情報処理装置及びプログラム
WO2019171574A1 (ja) * 2018-03-09 2019-09-12 日本電気株式会社 商品分析システム、商品分析方法および商品分析プログラム
JP2019164842A (ja) * 2018-07-03 2019-09-26 百度在線網絡技術（北京）有限公司 人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体
WO2020080078A1 (ja) * 2018-10-16 2020-04-23 Ｎｅｃプラットフォームズ株式会社 商品購入支援システム、商品購入支援装置及びその方法、ｐｏｓ端末装置、非一時的なコンピュータ可読媒体
JP2021531595A (ja) * 2018-07-26 2021-11-18 スタンダード コグニション コーポレーション 深層学習を使用したリアルタイム在庫追跡
JP2021533449A (ja) * 2018-07-26 2021-12-02 スタンダード コグニション コーポレーション 深層学習に基づく店舗リアログラム
WO2022259865A1 (ja) * 2021-06-11 2022-12-15 パナソニックＩｐマネジメント株式会社 店舗運営支援装置および店舗運営支援方法
US11810317B2 (en) 2017-08-07 2023-11-07 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
JP7435587B2 (ja) 2019-03-01 2024-02-21 日本電気株式会社 物品推定装置、物品推定方法、及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015208217A1 (de) 2015-05-04 2016-11-10 Stabilus Gmbh Gewindetriebanordnung und Sitzanordnung mit einer Gewindetriebanordnung
US10813477B2 (en) * 2016-03-22 2020-10-27 Nec Corporation Image display device, image display system, image display method, and program
US11126861B1 (en) * 2018-12-14 2021-09-21 Digimarc Corporation Ambient inventorying arrangements
JP7372099B2 (ja) * 2019-09-24 2023-10-31 東芝テック株式会社 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JP1676686S (ja) 2020-03-17 2021-01-18
JP1676928S (ja) 2020-03-17 2021-01-18
JP7247266B2 (ja) * 2021-06-08 2023-03-28 株式会社Ｎｔｔコノキュー 処理装置、処理方法及び処理プログラム
JP7233470B2 (ja) * 2021-06-08 2023-03-06 株式会社Ｎｔｔコノキュー 処理装置、処理方法及び処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014026350A (ja) * 2012-07-24 2014-02-06 Takashi Hirabayashi 関心度計測システム、関心度計測装置及び関心度計測プログラム
WO2014045816A1 (ja) * 2012-09-24 2014-03-27 株式会社Ｔａｎａ－Ｘ 商品陳列棚システム、商品陳列棚方法及び商品陳列棚プログラム
JP2015011649A (ja) * 2013-07-02 2015-01-19 パナソニック株式会社 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置
JP2015179390A (ja) * 2014-03-19 2015-10-08 日本電気株式会社 販売促進装置、販売促進方法及びプログラム
JP5881022B1 (ja) * 2014-09-11 2016-03-09 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358400A (ja) * 2001-05-31 2002-12-13 Toshiba Corp 顧客満足度を評価する方法およびプログラム
US8380558B1 (en) * 2006-12-21 2013-02-19 Videomining Corporation Method and system for analyzing shopping behavior in a store by associating RFID data with video-based behavior and segmentation data
JP5027637B2 (ja) * 2007-12-19 2012-09-19 株式会社日立製作所 マーケティングデータ分析方法、マーケティングデータ分析システム、データ分析サーバ装置およびプログラム
JP2010113692A (ja) * 2008-11-10 2010-05-20 Nec Corp 顧客行動記録装置及び顧客行動記録方法並びにプログラム
WO2014010143A1 (ja) * 2012-07-13 2014-01-16 Ｎｅｃソフト株式会社 情報処理装置、情報処理方法、及びプログラム
US20140214547A1 (en) * 2013-01-25 2014-07-31 R4 Technologies, Llc Systems and methods for augmented retail reality
JP6595181B2 (ja) 2014-01-09 2019-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 照明制御システムに関連した店舗業務のための情報表示方法、照明制御方法
US20150206188A1 (en) * 2014-01-17 2015-07-23 Panasonic Intellectual Property Corporation Of America Item presentation method, and information display method
JP5866564B1 (ja) * 2014-08-27 2016-02-17 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
US10813477B2 (en) * 2016-03-22 2020-10-27 Nec Corporation Image display device, image display system, image display method, and program
US10133933B1 (en) * 2017-08-07 2018-11-20 Standard Cognition, Corp Item put and take detection using image recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014026350A (ja) * 2012-07-24 2014-02-06 Takashi Hirabayashi 関心度計測システム、関心度計測装置及び関心度計測プログラム
WO2014045816A1 (ja) * 2012-09-24 2014-03-27 株式会社Ｔａｎａ－Ｘ 商品陳列棚システム、商品陳列棚方法及び商品陳列棚プログラム
JP2015011649A (ja) * 2013-07-02 2015-01-19 パナソニック株式会社 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置
JP2015179390A (ja) * 2014-03-19 2015-10-08 日本電気株式会社 販売促進装置、販売促進方法及びプログラム
JP5881022B1 (ja) * 2014-09-11 2016-03-09 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11810317B2 (en) 2017-08-07 2023-11-07 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
JP2019082824A (ja) * 2017-10-30 2019-05-30 株式会社Ｎｔｔドコモ 情報処理装置及びプログラム
JP7088281B2 (ja) 2018-03-09 2022-06-21 日本電気株式会社 商品分析システム、商品分析方法および商品分析プログラム
WO2019171574A1 (ja) * 2018-03-09 2019-09-12 日本電気株式会社 商品分析システム、商品分析方法および商品分析プログラム
JPWO2019171574A1 (ja) * 2018-03-09 2021-02-04 日本電気株式会社 商品分析システム、商品分析方法および商品分析プログラム
US11443503B2 (en) 2018-03-09 2022-09-13 Nec Corporation Product analysis system, product analysis method, and product analysis program
JP2019164842A (ja) * 2018-07-03 2019-09-26 百度在線網絡技術（北京）有限公司 人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体
US10970528B2 (en) 2018-07-03 2021-04-06 Baidu Online Network Technology (Beijing) Co., Ltd. Method for human motion analysis, apparatus for human motion analysis, device and storage medium
JP7228670B2 (ja) 2018-07-26 2023-02-24 スタンダード コグニション コーポレーション 深層学習を使用したリアルタイム在庫追跡
JP2021533449A (ja) * 2018-07-26 2021-12-02 スタンダード コグニション コーポレーション 深層学習に基づく店舗リアログラム
JP2021531595A (ja) * 2018-07-26 2021-11-18 スタンダード コグニション コーポレーション 深層学習を使用したリアルタイム在庫追跡
JP7228671B2 (ja) 2018-07-26 2023-02-24 スタンダード コグニション コーポレーション 深層学習に基づく店舗リアログラム
JP2020064389A (ja) * 2018-10-16 2020-04-23 Ｎｅｃプラットフォームズ株式会社 商品購入支援システム、商品購入支援装置及びｐｏｓ端末装置
US11710114B2 (en) 2018-10-16 2023-07-25 Nec Corporation Product purchase support system, product purchase support device and method, POS terminal device, and non-transitory computer readable medium
WO2020080078A1 (ja) * 2018-10-16 2020-04-23 Ｎｅｃプラットフォームズ株式会社 商品購入支援システム、商品購入支援装置及びその方法、ｐｏｓ端末装置、非一時的なコンピュータ可読媒体
JP7435587B2 (ja) 2019-03-01 2024-02-21 日本電気株式会社 物品推定装置、物品推定方法、及びプログラム
US11922391B2 (en) 2019-03-01 2024-03-05 Nec Corporation Article deduction apparatus, article deduction method, and program
WO2022259865A1 (ja) * 2021-06-11 2022-12-15 パナソニックＩｐマネジメント株式会社 店舗運営支援装置および店舗運営支援方法

Also Published As

Publication number Publication date
US11786058B2 (en) 2023-10-17
JP7136284B2 (ja) 2022-09-13
US20210267387A1 (en) 2021-09-02
JPWO2017163909A1 (ja) 2018-10-04
US20230389725A1 (en) 2023-12-07
JP6911973B2 (ja) 2021-07-28
JP6508419B2 (ja) 2019-05-08
US20230301447A1 (en) 2023-09-28
JP2022164828A (ja) 2022-10-27
US20200245784A1 (en) 2020-08-06
JP2021182401A (ja) 2021-11-25
US20190104866A1 (en) 2019-04-11
US20230404296A1 (en) 2023-12-21
JP2019109916A (ja) 2019-07-04
US10813477B2 (en) 2020-10-27
JP2020140725A (ja) 2020-09-03
JP7501580B2 (ja) 2024-06-18
US11051638B2 (en) 2021-07-06
JP2024069664A (ja) 2024-05-21
JP6702464B2 (ja) 2020-06-03

Similar Documents

Publication Publication Date Title
JP7136284B2 (ja) 情報処理システム、情報処理方法及びプログラム
WO2017163879A1 (ja) 行動分析装置、行動分析システム、行動分析方法及びプログラム
US11263795B1 (en) Visualization system for sensor data and facility data
JP5210102B2 (ja) 仮想試着装置
JP5632512B1 (ja) 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置
JP6918523B2 (ja) 情報処理システム、情報処理装置、情報処理方法ならびに情報処理方法をコンピュータに実行させるプログラム
CN110310330A (zh) 位置关系检测装置
CN108051777B (zh) 目标的追踪方法、装置及电子设备
JP2017059062A5 (ja)
TW202147206A (zh) 店鋪裝置、店鋪系統、店鋪管理方法及程式
TW201913501A (zh) 店鋪裝置、店鋪管理方法及程式
US11276210B2 (en) Flow line display system, flow line display method, and program recording medium
US20140240222A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
US10645363B2 (en) Image-based edge measurement
JP6515022B2 (ja) 観察領域推定方法、観察領域推定装置、及びプログラム
JP4338147B2 (ja) 商品関心度計測装置
JPWO2018143151A1 (ja) 測量用マーカ、及び測量システム
EP4160533A1 (en) Estimation program, estimation method, and estimation device
JP6800347B2 (ja) 映像監視システム
WO2018061664A1 (ja) 作業位置検出装置及び作業位置検出方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018507208

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17769954

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17769954

Country of ref document: EP

Kind code of ref document: A1