WO2012029548A1 - 拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム - Google Patents

拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2012029548A1
WO2012029548A1 PCT/JP2011/068657 JP2011068657W WO2012029548A1 WO 2012029548 A1 WO2012029548 A1 WO 2012029548A1 JP 2011068657 W JP2011068657 W JP 2011068657W WO 2012029548 A1 WO2012029548 A1 WO 2012029548A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
product
shelf
size
unit
Prior art date
Application number
PCT/JP2011/068657
Other languages
English (en)
French (fr)
Inventor
徹二 福島
重雄 桑原
聡 横井
昇 庵原
Original Assignee
新日鉄ソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新日鉄ソリューションズ株式会社 filed Critical 新日鉄ソリューションズ株式会社
Priority to CN201180003821.5A priority Critical patent/CN102523758B/zh
Priority to SG2012048070A priority patent/SG182287A1/en
Priority to US13/504,457 priority patent/US8982155B2/en
Priority to EP11821565.6A priority patent/EP2472475B1/en
Publication of WO2012029548A1 publication Critical patent/WO2012029548A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions

Definitions

  • the present invention relates to an augmented reality providing system that provides augmented reality, an information processing terminal, an information processing apparatus, an augmented reality providing method, an information processing method, and a program.
  • Patent Document 1 a technique for determining shelf allocation based on shelf size information, priority for each product such as seasonality, ease of viewing the shelf from the customer's viewpoint, and the like is disclosed.
  • Patent Document 2 a technique for determining shelf allocation based on shelf size information, priority for each product such as seasonality, ease of viewing the shelf from the customer's viewpoint, and the like is disclosed.
  • Patent Document 2 a technique for determining shelf allocation based on shelf size information, priority for each product such as seasonality, ease of viewing the shelf from the customer's viewpoint, and the like is disclosed.
  • Patent Document 2 a technique for example, a technique is disclosed in which an image of a store is synthesized with a product image to visually display the state of shelf allocation.
  • the present invention has been made in view of such a problem, and an object thereof is to more effectively use an empty space of a shelf.
  • an augmented reality providing system is an augmented reality providing system in which an information processing terminal having an imaging unit and a display unit can communicate with an information processing device, and the information processing terminal is connected to the imaging unit.
  • Request means for transmitting to the information processing apparatus a request for acquiring product information indicating products that can be displayed on a shelf that can be specified from the image information, including image information of photographing content; and the information in response to the request
  • Display control means for superimposing the product information included in the response transmitted from the processing device on the image information captured by the imaging unit and displaying the product information on the display unit.
  • a plurality of specifying means for specifying a shelf from the included image information and specifying the size of an empty space of the shelf, product information indicating a product, and size information indicating the size of the product are stored in association with each other.
  • a selection unit that selects product information of a product that is smaller than the size of the empty space of the shelf specified by the specifying unit, and a response that includes the product information selected by the selection unit from the storage unit Response means for transmitting to the terminal.
  • request means corresponds to, for example, the request unit 150 described later.
  • display control unit corresponds to, for example, a display control unit 155 described later.
  • Identifying means corresponds to, for example, the specifying unit 250 described later.
  • Selection means corresponds to, for example, a selection unit 255 described later.
  • Reply means corresponds to, for example, a reply unit 265 described later.
  • An augmented reality providing method is an augmented reality providing method in an augmented reality providing system in which an information processing terminal having an imaging unit and a display unit and an information processing apparatus can communicate with each other.
  • a requesting step for transmitting to the information processing apparatus a request including image information of the photographing content of the photographing unit; and the information processing apparatus specifies a shelf from the image information included in the request, and the empty space of the shelf
  • a specific step of specifying the size of the product, and the information processing device is specified in the specific step from a storage unit in which a plurality of pieces of product information indicating a product and size information indicating the size of the product are associated and stored.
  • the empty space on the shelf can be used more effectively.
  • FIG. 1 is a diagram illustrating an example of a configuration of an AR providing system.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the AR providing apparatus.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of the server apparatus.
  • FIG. 4A is a diagram illustrating an example of a data structure of the product DB.
  • FIG. 4B is a diagram illustrating an example of a data structure of the product DB.
  • FIG. 4C is a diagram illustrating an example of the data structure of the shelf DB.
  • FIG. 4D is a diagram illustrating an example of a data structure of the shelf DB.
  • FIG. 5A is a diagram illustrating an example of master information.
  • FIG. 5B is a diagram illustrating an example of transaction information.
  • FIG. 5A is a diagram illustrating an example of master information.
  • FIG. 5B is a diagram illustrating an example of transaction information.
  • FIG. 5A is a diagram illustrating an example of
  • FIG. 5C is a diagram illustrating an example of shelf (furniture) master information.
  • FIG. 5D is a diagram illustrating an example of the shelf allocation pattern master information.
  • FIG. 6 is a diagram illustrating an example of functional configurations of the AR providing apparatus and the server apparatus.
  • FIG. 7 is a diagram illustrating an example of a sequence of the AR providing system.
  • FIG. 8 is a diagram illustrating an example of display contents on the display screen.
  • FIG. 9 is a diagram illustrating an example of display contents on the display screen.
  • FIG. 10 is a diagram illustrating an example of display contents on the display screen.
  • FIG. 11 is a diagram illustrating an example of a flowchart according to a main process of the AR providing apparatus.
  • FIG. 11 is a diagram illustrating an example of a flowchart according to a main process of the AR providing apparatus.
  • FIG. 12 is a diagram illustrating an example of a flowchart according to the extended image display process.
  • FIG. 13 is a diagram illustrating an example of a flowchart according to the display change process.
  • FIG. 14 is a diagram illustrating an example of a flowchart according to the main process of the server apparatus.
  • FIG. 15 is a diagram illustrating an example of a flowchart according to the free space size specifying process.
  • FIG. 16 is a diagram illustrating an example of a flowchart according to the master information selection process.
  • FIG. 17 is a diagram illustrating an example of a flowchart relating to additional information generation processing.
  • FIG. 18 is a diagram illustrating an example of a sequence of the AR providing system.
  • FIG. 19 is a diagram illustrating an example of a flowchart according to the indication information / out-of-stock notice information generation processing.
  • FIG. 1 is a diagram illustrating an example of a configuration of an AR providing system according to the present embodiment.
  • the AR provision system captures the empty space of the shelf in real time, selects products that are recommended to be displayed on the shelf at the present time from among products that match the size of the empty space (empty space size), and information on the selected products 1 is an example of an augmented reality providing system that provides a user with
  • the AR providing system includes an AR providing apparatus 100 and a server apparatus 200.
  • the AR providing apparatus 100 and the server apparatus 200 are configured to be able to communicate with each other.
  • the AR providing apparatus 100 is an example of an information processing terminal (computer), and is a portable information terminal, a mobile phone, an HMD (Head Mounted Display), a digital camera, or the like.
  • the AR providing apparatus 100 displays an image (such as a computer graphics image) generated by the AR providing apparatus 100 at a position that matches the real space that can be perceived through the AR providing apparatus 100, thereby expanding the sense of reality ( AR (Augmented Reality) is provided.
  • the AR providing apparatus 100 has a touch-panel display screen 10, and various pieces of information related to products (positions aligned with shelves displaying products in real space that can be perceived via the AR providing apparatus 100 ( An image (extended image) representing product information (to be described later) is displayed on the display screen 10.
  • the server device 200 is an example of an information processing device (computer).
  • the server device 200 communicates with a POS (Point of sale system) terminal 300 via the network 400 and stores and manages various types of information (sales information) related to the sale of the product in the product DB. Further, the server device 200 determines the product information of the product recommended to be displayed in the empty space of the shelf based on the shelf DB that stores various pieces of information related to the shelf, the product DB described above, and the like. It transmits to AR provision apparatus 100.
  • the configuration of the AR providing system is not limited to the configuration described above. For example, although the server apparatus 200 employ
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the AR providing apparatus 100.
  • the AR providing apparatus 100 includes a control device 105, a storage device 110, a communication device 115, a display device 120, an orientation detection device 125, an orientation detection device 130, and an imaging device 135.
  • the control device 105 is, for example, a CPU (Central Processing). Unit), and if necessary, reads the program from the storage device 110 and executes the program. By executing the program, a function to be described later in the AR providing apparatus 100 and a process according to a flowchart to be described later are realized.
  • CPU Central Processing
  • the storage device 110 is a ROM (Read Only Memory), a RAM (Random Access Memory), an HD (Hard Disk), or the like, and stores various types of information. More specifically, the storage device 110 (ROM) stores a program or the like that is read first when the AR providing device 100 is powered on. The storage device 110 (RAM) functions as a main memory of the AR providing device 100. The storage device 110 (HD) stores numerical data calculated by the control device 105 in addition to the program. The AR providing apparatus 100 may acquire various types of information stored in the storage device 110 from a recording medium such as a CD-ROM, or may download the information via a network or the like.
  • a recording medium such as a CD-ROM
  • the communication device 115 communicates with an external device (such as the server device 200) and receives product information and the like.
  • the product information received by the communication device 115 is stored in the storage device 110.
  • the display device 120 is an example of a display unit, has a display screen 10, and displays various images on the display screen 10.
  • a non-transmissive liquid crystal display is described as an example of the display device 120, but a transmissive liquid crystal display may be employed.
  • the direction detection device 125 is, for example, an electronic compass, detects weak geomagnetism (for example, front-rear direction geomagnetism and left-right direction geomagnetism), calculates the north direction from the strength of the geomagnetism, and calculates the direction of the AR providing device 100 ( (Azimuth information) is calculated.
  • the posture detection device 130 is, for example, a gyro sensor, detects an angular velocity of an object, and calculates an angle (posture (posture information) of the AR providing device 100) by integrating the angular velocity.
  • the imaging device 135 is an example of an imaging unit, and performs imaging of a real space. Note that the hardware configuration of the AR providing apparatus 100 is not limited to this.
  • an azimuth posture detection device having a function in which the functions of the azimuth detection device 125 and the posture detection device 130 are integrated may be employed.
  • the AR providing apparatus 100 may not include the azimuth detecting device 125 and the posture detecting device 130.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of the server device 200.
  • the server device 200 includes a control device 205, a storage device 210, a communication device 215, a display device 220, and an input device 225.
  • the control device 205 is, for example, a CPU (Central Processing). Unit), and if necessary, reads the program from the storage device 210 and executes the program. By executing the program, a function described later in the server device 200 and a process related to a flowchart described later are realized.
  • CPU Central Processing
  • the storage device 210 is an example of a storage unit, and is a ROM (Read Only Memory (RAM), RAM (Random Access Memory), HD (Hard Disk), etc., which store various kinds of information. More specifically, the storage device 210 (ROM) stores a program that is read first when the server device 200 is powered on. The storage device 210 (RAM) functions as a main memory of the server device 200. The storage device 210 (HD) stores numerical data calculated by the control device 205 in addition to the program. The server device 200 may acquire various types of information stored in the storage device 210 from a recording medium such as a CD-ROM, or may download the information via a network or the like.
  • the communication device 215 communicates with an external device (POS terminal 300, AR providing device 100, etc.).
  • the communication device 215 receives a product information acquisition request from the AR providing device 100.
  • the communication device 215 receives sales information from the POS terminal 300.
  • the sales information received by the communication device 215 is stored in the storage device 210 (product DB or the like).
  • the display device 220 is a display or the like and displays various types of information.
  • the input device 225 is a keyboard and mouse operated by the user, and inputs various types of information to the server device 200.
  • FIGS. 4A to 4D are diagrams showing examples of data structures of the product DB and the shelf DB.
  • the product DB stores master information and transaction information.
  • the shelf DB stores shelf (furniture) master information and shelf allocation pattern master information.
  • 5A to 5D are diagrams illustrating examples of information (master information, transaction information, shelf (furniture) master information, and shelf allocation pattern master information) stored in the product DB and the shelf DB. That is, FIG. 5A shows an example of master information, FIG. 5B shows an example of transaction information, FIG. 5C shows an example of shelf (furniture) master information, and FIG. 5D shows an example of shelf allocation pattern master information.
  • the master information includes information on items such as a product code, a product category, a product name, a brand, a product size, and a product image, and a plurality of pieces of master information are stored in the product DB.
  • each of the product category, product name, brand, product size, and product image is provided in association with the product code.
  • the product code stores information on a code that uniquely identifies the product.
  • information on the category to which the product belongs for example, information such as “food” and “medicine” is stored.
  • the product name information on the name of the product is stored.
  • the brand information (brand information) of product brands (company name, trademark, etc.) is stored.
  • the product size information on the length, width, and depth of the product (size information indicating the size of the product) is stored.
  • the product image information on the storage destination of an image representing the product in a three-dimensional manner is stored.
  • the image acquired from the storage location information is a color image (product image information) of the front, side, top, and bottom of the product. More preferably, it is three-dimensional information for each product (for example, information used for generating a three-dimensional object), so that an image of the product viewed from an arbitrary direction can be drawn.
  • the product image may store binary data of the image instead of information on the storage destination of the image.
  • the product image information may be a black and white image.
  • the master information may include information on items of selling price, cost, and scheduled sales start date (or scheduled sales end date).
  • selling price information on the selling price of the product is stored.
  • Information on the purchase value of the product is stored in the cost.
  • information (start information) of the scheduled time (date) of the sale of the product is stored.
  • scheduled end date of sales information (end information) on the date on which the sale of the product is scheduled to end is stored.
  • the transaction information is various types of information related to the sale of products, and is updated as appropriate based on the sales information received from the POS terminal 300.
  • the transaction information includes information on items such as a product code, a stock quantity, a weekly sales record, and a stock day (or stock rotation speed).
  • a stock quantity information on the number of products stored in a warehouse or the like is stored.
  • a weekly sales record information on the number of products sold in a week (actual information indicating the number of sales) is stored.
  • items indicating sales results such as daily sales results, monthly sales results, and annual sales results may be employed.
  • the number of days of inventory stores information on the number of days for which a product is held as inventory.
  • the transaction information may include information on the items of the scheduled receipt date and the scheduled number of receipts.
  • the scheduled date of warehousing information on the date on which the product is scheduled to be stored is stored.
  • the number of goods to be stored is stored in the scheduled number of goods received.
  • the transaction information may be stored in the product DB for each store and for each product.
  • the transaction information includes, for example, information on an item of a code (store code) that uniquely identifies the store.
  • the shelf (furniture) master information includes information on items of shelf ID, shelf type, and shelf specification.
  • the shelf ID stores information of a code that uniquely identifies the shelf.
  • the shelf type stores information indicating the type of shelf.
  • the shelf specification stores information on the width, height, depth, number of steps, and height of the shelf.
  • the shelf allocation pattern master information includes the product category, the number of shelves (each shelf ID), the designated product and display number for each shelf address (column / column), and the specified brand and display number for each shelf address (column / column). It is configured to include item information. That is, the shelf allocation pattern master information is rule information (display rule information) for identifying a product that is permitted (in other words, restricted) to be displayed on the shelf.
  • the shelf allocation pattern master information includes information on the scheduled expansion start date (or planned expansion end date), shelf address (stage / column), and display method for each designated product. It may be.
  • the planned expansion start date if the product is a seasonal product, etc., and the shelf allocation pattern is changed for each season, the date of starting the expansion of the shelf allocation pattern is stored. .
  • information (display instruction information) regarding an instruction to display a product is stored. For example, display instruction information indicating that a beer case or the like is stacked in a pyramid manner on a flat table, a stationery or the like is hung on a hook, and a package such as a shampoo for refilling is placed obliquely when viewed from the front is stored.
  • shelf allocation patterns are designated by the store side or the supplier side and stored in advance as shelf allocation pattern master information.
  • 4A to 4D show essential items in the master information, transaction information, shelf (furniture) master information, and shelf allocation pattern master information. However, in the present embodiment, these essential items are used instead. Alternatively, other items may be required items.
  • FIG. 6 is a diagram illustrating an example of functional configurations of the AR providing apparatus 100 and the server apparatus 200.
  • the AR providing apparatus 100 includes a request unit 150 and a display control unit 155.
  • the server device 200 includes a specifying unit 250, a selection unit 255, a generation unit 260, and a response unit 265.
  • the AR providing apparatus 100 includes a control unit that supervises the request unit 150, the display control unit 155, and the like.
  • the server apparatus 200 includes a control unit that controls the specifying unit 250, the selection unit 255, the generation unit 260, the response unit 265, and the like.
  • the request unit 150 transmits to the server device 200 a request for acquiring information (product information or the like) related to a product permitted to be displayed on a shelf that can be included in the captured content of the imaging device 135.
  • the display control unit 155 displays the product information included in the response transmitted from the server device 200 in response to the request from the request unit 150 on the display screen 10 so as to be superimposed on the shelf imaged by the imaging device 135.
  • the specifying unit 250 specifies the free space size of the shelf from a plurality of shelf (furniture) master information stored in the shelf DB and an image (image information) included in the request from the request unit 150.
  • the selection unit 255 selects master information (product information in a broad sense) of a product having a size smaller than the free space size specified by the specifying unit 250 from a plurality of master information stored in the product DB. Although details will be described later, the selection unit 255 further selects recommended product master information from the selected master information based on the transaction information of the product DB and the shelf allocation pattern master information of the shelf DB.
  • the generation unit 260 generates information (additional information) related to the display of the product with reference to transaction information in the product DB.
  • the response unit 265 transmits a response including product information generated based on the master information selected by the selection unit 255 and the additional information generated by the generation unit 260 to the AR providing apparatus 100.
  • FIG. 7 is a diagram illustrating an example of a sequence of the AR providing system.
  • FIG. 8 shows an example of the display content of the display screen 10 before the sequence processing is performed (when the AR providing apparatus 100 is held over the shelf 500).
  • FIG. 9 shows an example of display contents on the display screen 10 after the sequence processing is performed.
  • the request unit 150 acquires images from the video captured by the imaging device 135 at regular intervals (image acquisition).
  • the request unit 150 transmits the acquired image to the server device 200 at an appropriate timing (image transmission).
  • the specifying unit 250 analyzes the received image and specifies the shelf based on the shelf (furniture) master information of the shelf DB (shelf specification).
  • shelf furniture
  • the specifying unit 250 analyzes the received image to obtain information on the marker 510.
  • a shelf ID that can identify the shelf 500 is acquired from the information of the extracted marker 510.
  • the marker 510 may be written with a shelf ID itself, a two-dimensional barcode obtained by encoding the shelf ID, or a pattern or product in which the shelf ID is uniquely associated. May be listed.
  • a plurality of markers may be attached to one shelf 500, and the shelf 500 may be specified using the plurality of markers.
  • specification part 250 acquires shelf (furniture) master information (shelf specification etc.) from shelf DB using shelf ID as a key.
  • the specifying unit 250 analyzes the received image and specifies the free space size generated in the shelf 500 based on the shelf specification acquired in SQ630 (free space size specification). More specifically, the specifying unit 250 analyzes the image and acquires the width of an empty space that is greater than a certain width (for example, 5 cm) generated in the shelf 500. At this time, the specifying unit 250 analyzes the received image and specifies in which stage / column of the shelf 500 the empty space is generated (the position of the empty space). In this example, the specifying unit 250 specifies that an empty space is generated in the second stage. Various methods can be adopted as a method for specifying that this is an empty space.
  • an image when all the products are arranged on the shelf 500 may be taken in advance, and processing may be performed so as to identify the position of the empty space by obtaining a difference from the current image.
  • processing may be performed so as to identify the empty space when the color or pattern of the shelf board is captured.
  • specification part 250 specifies the empty space size which has the determined depth and step height, and the acquired width by determining the depth and step height of the specified empty space from the shelf specification of the shelf 500.
  • the actual size of the empty space is estimated based on the ratio of the width of the empty space to the width of the shelf specified by the shelf specification (if it is determined that there is about 15% of the empty space width on the 1 m wide shelf
  • the width of the empty space can be estimated to be 15 cm).
  • the fixed width may or may not be provided in advance for each shelf as an item of shelf (furniture) master information.
  • the server apparatus 200 In SQ650, the server apparatus 200 generates, via the selection unit 255 and the generation unit 260, product information of a product that fits in the free space size and that is recommended to be placed in the current free space (Product Information generation).
  • the product information includes product code information, product name information, product image information, and the like. Note that the product information may include additional information such as stock quantity information, arrangement allowable number information, and error information.
  • the answering unit 265 responds to the request by the requesting unit 150 with a response including the product information and the position information indicating which stage / column of the shelf 500 identified by the identifying unit 250 corresponds to the empty space. 100 (product information transmission).
  • the display control unit 155 displays the received product information on the display screen 10 (image display). For example, as shown in FIG. 9, the display control unit 155 displays the product image information 12 of the product recommended to be displayed on the shelf 500 at a position where the empty space of the shelf 500 is aligned, and corresponds to the product image information 12. The additional information 16 is displayed so as to indicate the product image information 12.
  • the display control unit 155 determines that there are a plurality of pieces of product information that are recommended for display on the shelf 500, the display control unit 155 displays the switching interface 14 for switching to the next candidate.
  • a method of aligning the product image information 12 on the display screen 10 an arbitrary superimposed display technique can be applied.
  • the display control unit 155 specifies the position of the empty space based on the position information of the empty space received from the response unit 265 using the image of the marker 510 captured by the imaging device 135 as a reference, and the product image Information 12 is displayed at the position.
  • the product image information 12 can be displayed as if it is placed on the shelf 500 facing the front.
  • FIG. 11 is a diagram illustrating an example of a flowchart relating to main processing in the AR providing apparatus 100. Note that the main process is started periodically. First, the control unit of the AR providing apparatus 100 determines whether or not a certain time has elapsed since the previous image transmission to the server apparatus 200 (S710). At this time, if it is determined that a certain time has elapsed, the process of S720 is performed. On the other hand, if it is determined that the certain time has not elapsed, the process of S730 is performed. In S ⁇ b> 720, the request unit 150 acquires an image from the video imaged by the imaging device 135 and transmits the acquired image to the server device 200. Subsequently, the process of S730 is performed.
  • the control unit determines whether a response including product information has been received. At this time, if it is determined that it has been received, the process of S740 is performed. On the other hand, if it is determined that it has not been received, the process of S750 is performed. In S740, the display control unit 155 performs an extended image display process described later. Subsequently, the process of S750 is performed. In S750, the control unit determines whether an operation (user operation) of an input unit such as a touch panel display screen 10 or an input button provided in the AR providing apparatus 100 has been received. At this time, if it is determined that a user operation has been accepted, the process of S760 is performed. On the other hand, if it is determined that a user operation has not been accepted, the main process ends. In S760, the display control unit 155 performs a display change process described later, and ends the main process.
  • FIG. 12 is a diagram illustrating an example of a flowchart relating to an extended image display process in the AR providing apparatus 100.
  • the extended image display process is started upon reception of product information, or upon reception of a user operation for instructing display of a next candidate to be described later.
  • the display control unit 155 generates an extended image based on the product information included in the received response.
  • the display control unit 155 displays the product image information 12 based on the image of the marker 510.
  • the display control unit 155 corresponds to the size of the shelf displayed in the video imaged by the imaging device 135.
  • the first product image information (or the next candidate product image information) included in the product information is enlarged / reduced to generate an extended image representing the product whose size has been adjusted (S810).
  • the display control unit 155 generates an extended image representing the content of the additional information corresponding to the extended image representing the product (S820).
  • the display control unit 155 superimposes the extended image representing the generated product on the video captured by the imaging device 135, and displays the extended image representing the content of the additional information at an appropriate position (S830).
  • the display process ends.
  • the product image information 12 may be displayed in each empty space.
  • FIG. 13 is a diagram illustrating an example of a flowchart relating to a display change process in the AR providing apparatus 100.
  • the display control unit 155 determines whether or not a user operation on the touch panel that instructs to change the orientation of the extended image representing the product has been received (S910). At this time, if the display control unit 155 determines that the user operation has been received, the display control unit 155 performs the process of S920. If the display control unit 155 determines that the user operation has not been received, the display control unit 155 performs the process of S930.
  • the display control unit 155 changes the orientation of the extended image representing the product in response to the user operation. In this way, by changing the orientation of the extended image representing the virtually displayed product, it can be used as a reference when examining the appearance and the hue with other products.
  • the display control unit 155 determines whether or not a user operation (such as an operation of pressing the switching interface 14) for instructing display of the next candidate for the product permitted to be displayed on the shelf has been received. At this time, if the display control unit 155 determines that the user operation has been received, the display control unit 155 performs the process of S940. If the display control unit 155 determines that the user operation has not been received, the display change process ends. In S940, the display control unit 155 performs an extended image display process and ends the display change process.
  • FIG. 14 is a diagram illustrating an example of a flowchart relating to main processing in the server apparatus 200. Note that the main process is started periodically. First, the control unit of the server apparatus 200 determines whether an image is received from the AR providing apparatus 100 (S1010). At this time, if it is determined that it has been received, the process of S1020 is performed. On the other hand, if it is determined that it has not been received, the main process ends. In step S1020, the control unit determines whether the received image includes a shelf image. At this time, if it is determined that it is included, the processing from S1030 to S1070 is performed. On the other hand, if it is determined that it is not included, the main processing ends. Here, the control unit analyzes the received image and determines that the shelf image is included when it is recognized that the marker information is included.
  • the specifying unit 250 performs an empty space size specifying process described later.
  • the selection unit 255 performs a master information selection process described later.
  • the generation unit 260 performs additional information generation processing described later.
  • the generation unit 260 generates product information from the master information selected in the master information selection process and the additional information generated in the additional information generation process.
  • the response unit 265 transmits a response including the product information generated by the generation unit 260 to the AR providing apparatus 100.
  • FIG. 15 is a diagram illustrating an example of a flowchart relating to the free space size specifying process in the server apparatus 200.
  • the specifying unit 250 specifies the shelf ID from the marker information extracted by the control unit (S1110).
  • the shelf ID itself is written in the marker, and the specifying unit 250 performs image processing to extract the marker attached to a specific location on the shelf and acquire the shelf ID.
  • the method of specifying the shelf is not limited to this configuration.
  • the specifying unit 250 may specify the shelf ID by specifying a plurality of products displayed on the shelf, that is, assuming the plurality of products as markers. According to this configuration, it is not necessary to attach a marker to a specific place on the shelf.
  • the shelf ID is specified as “0001” will be described as an example.
  • the specifying unit 250 acquires shelf (furniture) master information from the shelf DB using the shelf ID as a key (S1120). That is, the specifying unit 250 specifies a shelf. Here, the specifying unit 250 acquires the shelf type “T001” and the shelf specifications “200, 200, 100, 3, 60” as the shelf (furniture) master information. Subsequently, the specifying unit 250 specifies the product displayed on the shelf from the product image information included in the master information of the product DB and the received image information (S1130). For example, when determining that the received image information includes product image information, the specifying unit 250 acquires a product code from the master information including the product image information.
  • the specifying unit 250 refers to the product DB and determines whether or not a product whose weekly sales record information is equal to or less than a predetermined value (for example, 1) is included in the product specified in S1130 (S1140). ).
  • the specifying unit 250 acquires the product code of the product determined to be included, and specifies the stage / column (position) where the product is displayed on the shelf.
  • the identifying unit 250 performs the process of S1150 when it is determined that it is included, and performs the process of S1160 when it is determined that it is not included.
  • the process of S1150 may be performed.
  • the specifying unit 250 may perform both of the above-described two determinations, or may not perform any determination (and the process of S1150).
  • the specifying unit 250 designates the space occupied by the corresponding product as an empty space. More specifically, the specifying unit 250 acquires product size information associated with the product code of the product determined to be included in S1140 from the product DB, and acquires the acquired product size width and in S1120. The size of the space consisting of the depth and the height of the shelf specification is designated as an empty space. In this manner, the specifying unit 250 specifies a product with relatively low sales, and designates a space occupied by the specified product as an empty space, so that the product with relatively low sales is replaced with a product with relatively low sales at the present time. Products that recommend placement can be presented.
  • the specifying unit 250 functions to create a space by removing products with relatively low sales from the shelf, and to recommend the display of the best-selling products.
  • the specifying unit 250 specifies the empty space obtained by analyzing the received image and the position / width of the empty space specified in S1150.
  • the specifying unit 250 analyzes the image, acquires one free space having a width of “20”, and specifies that the free space is located on the second level of the shelf.
  • the size of the empty space is specified by the processing as described in SQ640 above.
  • the specifying unit 250 determines whether or not there are a plurality of empty spaces in the same level of the shelf based on the position of the specified empty space (S1170). At this time, the identifying unit 250 performs the process of S1180 when it is determined that it exists, and performs the process of S1190 when it is determined that it does not exist. In S1180, the specifying unit 250 adds up the widths of the empty spaces in the same stage, and then performs the process in S1190. In S1190, the specifying unit 250 reads the step height / depth at which the empty space is located from the shelf (furniture) master information acquired in S1120, and reads the width specified in S1160 (or the combined width in S1180).
  • the size of the space composed of the height and the depth is set as a free space size, and the free space size specifying process is terminated.
  • the specifying unit 250 specifies the free space size having the width “20”, the height “60”, and the depth “100”.
  • FIG. 16 is a diagram illustrating an example of a flowchart relating to master information selection processing in the server device 200.
  • the selection unit 255 extracts, for each empty space size specified by the specifying unit 250, product master information that fits in the free space size from the product DB (S1210).
  • the free space size is “20, 60, 100”
  • the selection unit 255 has the product code “0123”, the product code “0124”, and the product code “0” that are smaller than the free space size. 0234 "is extracted from the product DB.
  • the selection unit 255 determines whether each piece of master information extracted for the free space size is contrary to the shelf allocation pattern master information, and removes the master information determined to be contrary (S1220).
  • the selection unit 255 uses the shelf ID “0001” as a key to display the three shelf allocation pattern master information from the top shown in FIG. 5D. To get.
  • the selection unit 255 selects the second shelf allocation pattern from the top shown in FIG. 5D among the acquired shelf allocation pattern master information.
  • the master information of the product code “0123” and the product code “0124” satisfying the conditions of the product category “food”, the designated product “-”, and the designated brand “A brand” is selected. That is, the master information of the product code “0234” contrary to the shelf allocation pattern master information is removed. Note that “-” indicates that no product is designated. For example, when the designated product is “0123” instead of “-”, only the product with the product code that matches “0123” is placed on the shelf. Will be allowed to display.
  • the selection unit 255 refers to the product DB, removes the master information of products whose weekly sales record information is a predetermined value or less (S1230), and ends the master information selection process.
  • the selection unit 255 preferentially selects product information of a product with a relatively high number of products sold. According to this configuration, the store clerk can grasp the best-selling product.
  • the store clerk can grasp
  • FIG. 17 is a diagram illustrating an example of a flowchart relating to additional information generation processing in the server apparatus 200.
  • the generation unit 260 generates recommendation level information in which a recommendation level is set for each master information selected in the master information selection process (S1310).
  • the generation unit 260 refers to the product DB, and sets the recommendation level higher as the weekly sales record information is higher.
  • the generation unit 260 refers to the product DB and sets the recommendation degree higher as the information on the inventory rotation speed is higher.
  • the generation unit 260 refers to the product DB, and sets the recommendation level higher as the information about the scheduled end date of sales is closer to the present time.
  • the generation unit 260 may set the recommendation degree by combining these.
  • the display control unit 155 may display the recommendation level information as it is or based on the recommendation level information.
  • the product information may be displayed in descending order of recommendation.
  • the generation unit 260 determines, from the depth of the vacant space size and the depth of the product size of the product that can be displayed in this space, the number (arrangement allowable number) at which this product can be placed behind the master information selection process. For each piece of master information selected in step (b), the allowable number of pieces of placement information is generated (S1320).
  • the generation unit 260 determines whether or not the product displayed on the shelf specified by the specifying unit 250 in S1130 includes a product that violates the shelf allocation pattern master information. At this time, if the generation unit 260 determines that the item is included, the generation unit 260 specifies the shelf ID that is permitted to display the corresponding product with reference to the shelf allocation pattern master information of the shelf DB. Thereafter, the generation unit 260 generates error information (pointing information) including information on the position of the corresponding product, the product code, the shelf ID, and information indicating that there is a product that is not permitted to be displayed (S1330).
  • error information pointing information
  • the generation unit 260 determines, for each master information, whether or not the scheduled sale end date information included in the master information selected in the master information selection process has reached within a predetermined period, If it is determined that it has been reached, notice information for notifying the end of the sale of the product is generated (S1340). For example, when the information on the scheduled end date of sales is “2010/7/1” and the predetermined period is one month, the generation unit 260 has reached “2010/6/1” Generate notice information. Subsequently, the generation unit 260 generates additional information including recommendation level information, arrangement permission number information, error information, and advance notice information (S1350). If the generation unit 260 determines that the shelf layout pattern master information used in S1220 includes the display method information, the generation unit 260 adds the display method information to the additional information. Note that the above-described processes can be employed in appropriate combination.
  • ⁇ We have to find a product that matches the size of the empty space. ⁇ If there are empty spaces in multiple locations, you want to take into account the complex empty space size. ⁇ Some products have a display method specified by the supplier, and it is required to select and display the product in accordance with this specification. ⁇ When the original out-of-stock item is delivered, it must be returned immediately. In consideration of such factors, it is possible to recommend an appropriate product in an empty space.
  • FIG. 19 is a flowchart corresponding to FIG. 14 and FIG. 15 of the first embodiment, and processes different from those of the first embodiment will be mainly described.
  • S1510 and S1520 are the same as S1010 and S1020.
  • S1530 to S1550 are the same as S1110 to S1130.
  • the generation unit 260 determines whether or not a product that is not permitted on the shelf is displayed.
  • the determination method is not particularly limited. For example, a configuration may be adopted in which an image when all the products are arranged on the shelf 500 is captured in advance and whether there is a different product by obtaining a difference from the current image. Further, for example, individual product images displayed on the shelf 500 photographed by the photographing device 135 are individually identified by performing image matching processing based on information stored in the product DB and the shelf DB. It may be configured to.
  • FIG. 10 is a diagram illustrating an example in which indication information indicating that there is a product for which display is not permitted is displayed on the AR providing apparatus 100.
  • indication information indicating the shelf “Z5”, which is the original position is presented in addition to an incorrect placement of the product with the product number “0234”.
  • the generation unit 260 extracts, from the product DB, inventory number information (not shown) indicating the number of products in stock for the product currently on the shelf, and the number of inventory falls below a predetermined number. Judge whether or not.
  • the predetermined number may be determined for each product or may be determined for each product category.
  • the generation unit 260 determines that the number of stocks is not less than the predetermined number (No)
  • the generation unit 260 performs the process of S1600.
  • the generation unit 260 determines that the number of stocks is less than the predetermined number (Yes), it generates out-of-stock notice information in S1590.
  • Out-of-stock notice information is information to inform the store clerk about the status of inventory, such as “This product is not in stock in the store” and “This product is not in stock in the backyard”.
  • the AR providing apparatus 100 displays the superimposed image on the shelf.
  • the status of inventory can be confirmed by referring to a device such as a POS or a paper inventory slip.
  • a device such as a POS or a paper inventory slip.
  • information is superimposed on the shelf while being in front of the shelf. Therefore, the store clerk can grasp the stock status at a glance without searching for a shelf.
  • the store clerk can grasp the stock status at a glance without searching for a shelf.
  • the store clerk can grasp the stock status at a glance without searching for a shelf.
  • the store clerk can grasp the stock status at a glance without searching for a shelf.
  • the store clerk can grasp the stock status at a glance without searching for a shelf.
  • the store clerk can grasp the stock status at a glance without searching for a shelf.
  • the store clerk can grasp the stock status at a glance without searching for a shelf.
  • the store clerk can grasp the stock status at a glance without searching for a shelf.
  • the store clerk can grasp the stock status at a glance without searching for a shelf.
  • FIG. 18 is a diagram illustrating an example of a sequence of the AR providing system.
  • SQ1410 is the same process as SQ610
  • SQ1420 is the same process as SQ630
  • SQ1430 is the same process as SQ640
  • SQ1450 is the same process as SQ650
  • SQ1460 is the same as SQ660. Since SQ1470 is the same process as SQ670, description thereof is omitted.
  • the request unit 150 transmits an acquisition request for product information including specific information to the server device 200 (specific information transmission).
  • the specific information includes information on the shelf ID specified in SQ1420, information on the free space size specified in SQ1430, and the like. According to the structure of each embodiment mentioned above, the empty space of a shelf can be used more effectively.
  • the AR providing apparatus 100 has been described as an apparatus having the touch-panel display screen 10
  • a glasses-type apparatus such as an HMD may be employed.
  • the product size is basically stored in the product DB as information according to the display direction.
  • the product size is stored assuming a plurality of display directions. It is good also as a structure to keep. That is, in S1210 of FIG. 12, when the selection unit 255 extracts a product that fits in the free space size, the selection unit 255 performs the extraction according to the product size stored in the product DB. Even when is displayed, it will be extracted.
  • the specifying unit 250 shows a configuration in which the shelf ID is specified by using a plurality of products as markers, but the shelf ID is specified by using the product price tag on the shelf as a marker. It is good also as composition to do.
  • the empty space size specifying process described with reference to FIG. 15 it is not necessary to perform all the processes, and only the actually empty space may be specified as the empty space without performing the processes of S1130 to S1150.
  • one type of product is presented in one vacant space. However, when the vacant space is large, the product may be selected so that a plurality of types of products are displayed side by side. In this case, conditions are set so that the total value of a plurality of product sizes is smaller than the free space size, and shelf allocation pattern master information is also set as necessary. Further, for example, the embodiments may be used in combination as necessary.
  • This embodiment can be realized by a computer executing a program. Further, a computer-readable recording medium in which the above program is recorded and a computer program product such as the above program can also be applied as an embodiment of the present invention.
  • a recording medium a flexible disk, a hard disk, an optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
  • the above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
  • the empty space on the shelf can be used more effectively.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

　ＡＲ提供装置（１００）は、撮影装置（１３５）での撮影内容の画像情報を含む、画像情報から特定され得る棚に陳列できる商品を示す商品情報を取得するための要求をサーバ装置（２００）に送信し、要求に応答してサーバ装置（２００）から送信された返答に含まれる商品情報を撮影装置（１３５）で撮影された画像情報に重畳して表示装置（１２０）に表示する。サーバ装置（２００）は、要求に含まれる画像情報から棚を特定して棚の空き空間の大きさを特定し、商品を示す商品情報と商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶装置（２１０）から、特定した棚の空き空間の大きさよりも小さい商品の商品情報を選択し、選択した商品情報を含む返答をＡＲ提供装置（１００）に送信する。

Description

拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム
　本発明は、拡張現実を提供する拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラムに関する。
　商品を販売する店舗では、商品をどこにどのように配置するかを示したマニュアルを作成し、店員がマニュアルに沿って商品を配置している。また、最近では、このようなマニュアルを自動的に作成する仕組みが導入されている。
　例えば、棚の大きさの情報、季節性など商品毎の優先順位、顧客視点での棚の見やすさ等に基づいて棚割りを決定する技術が開示されている（特許文献１）。
　また、例えば、店舗内を撮影した画像に、商品の画像を合成して棚割りの様子を視覚的に表示する技術も開示されている（特許文献２）。
特許第２９６２２５９号公報 特開２００２－１６３４３６号公報
　ここで、商品が売り切れた場合にその商品が陳列されていた場所が空き空間となる。しかしながら、特許文献１及び特許文献２に記載の技術では、生じた空き空間に陳列可能な他の商品を店員が把握することができず、棚の空き空間が無駄になる問題が生じる。
　本発明はこのような問題点に鑑みなされたもので、棚の空き空間をより有効に使用することを目的とする。
　そこで、本発明に係る拡張現実提供システムは、撮影部及び表示部を有する情報処理端末と情報処理装置とが通信可能な拡張現実提供システムであって、前記情報処理端末は、前記撮影部での撮影内容の画像情報を含む、前記画像情報から特定され得る棚に陳列できる商品を示す商品情報を取得するための要求を前記情報処理装置に送信する要求手段と、前記要求に応答して前記情報処理装置から送信された返答に含まれる商品情報を前記撮影部で撮影された画像情報に重畳して前記表示部に表示する表示制御手段と、を有し、前記情報処理装置は、前記要求に含まれる前記画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定手段と、商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記特定手段で特定された前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する選択手段と、前記選択手段で選択された商品情報を含む返答を前記情報処理端末に送信する返答手段と、を有することを特徴とする。
　ここで、「要求手段」は、例えば、後述する要求部１５０に対応する。「表示制御手段」は、例えば、後述する表示制御部１５５に対応する。「特定手段」は、例えば、後述する特定部２５０に対応する。「選択手段」は、例えば、後述する選択部２５５に対応する。「返答手段」は、例えば、後述する返答部２６５に対応する。
　また、本発明に係る拡張現実提供方法は、撮影部及び表示部を有する情報処理端末と情報処理装置とが通信可能な拡張現実提供システムにおける拡張現実提供方法であって、前記情報処理端末が、前記撮影部での撮影内容の画像情報を含む要求を前記情報処理装置に送信する要求工程と、前記情報処理装置が、前記要求に含まれる前記画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定工程と、前記情報処理装置が、商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記特定工程で特定された前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する選択工程と、前記情報処理装置が、前記選択工程で選択された商品情報を含む返答を前記情報処理端末に送信する返答工程と、前記情報処理端末が、前記要求に応答して前記情報処理装置から送信された返答に含まれる商品情報を前記撮影部で撮影された画像情報に重畳して前記表示部に表示する表示制御工程と、を有することを特徴とする。
　本発明によれば、棚の空き空間をより有効に使用することができる。
図１は、ＡＲ提供システムの構成の一例を示す図である。 図２は、ＡＲ提供装置のハードウェア構成の一例を示す図である。 図３は、サーバ装置のハードウェア構成の一例を示す図である。 図４Ａは、商品ＤＢのデータ構造の一例を示す図である。 図４Ｂは、商品ＤＢのデータ構造の一例を示す図である。 図４Ｃは、棚ＤＢのデータ構造の一例を示す図である。 図４Ｄは、棚ＤＢのデータ構造の一例を示す図である。 図５Ａは、マスタ情報の一例を示す図である。 図５Ｂは、トランザクション情報の一例を示す図である。 図５Ｃは、棚（什器）マスタ情報の一例を示す図である。 図５Ｄは、棚割パターンマスタ情報の一例を示す図である。 図６は、ＡＲ提供装置及びサーバ装置の機能構成の一例を示す図である。 図７は、ＡＲ提供システムのシーケンスの一例を示す図である。 図８は、表示画面の表示内容の一例を示す図である。 図９は、表示画面の表示内容の一例を示す図である。 図１０は、表示画面の表示内容の一例を示す図である。 図１１は、ＡＲ提供装置のメイン処理に係るフローチャートの一例を示す図である。 図１２は、拡張画像表示処理に係るフローチャートの一例を示す図である。 図１３は、表示変更処理に係るフローチャートの一例を示す図である。 図１４は、サーバ装置のメイン処理に係るフローチャートの一例を示す図である。 図１５は、空き空間サイズ特定処理に係るフローチャートの一例を示す図である。 図１６は、マスタ情報選択処理に係るフローチャートの一例を示す図である。 図１７は、付加情報生成処理に係るフローチャートの一例を示す図である。 図１８は、ＡＲ提供システムのシーケンスの一例を示す図である。 図１９は、指摘情報・在庫切れ予告情報生成処理に係るフローチャートの一例を示す図である。
　以下、本発明の実施形態について図面に基づいて説明する。
　図１は、本実施形態に係るＡＲ提供システムの構成の一例を示す図である。ＡＲ提供システムは、リアルタイムに棚の空き空間を捉え、空き空間の大きさ（空き空間サイズ）に合った商品のうち、現時点において棚への陳列を推奨する商品を選定し、選定した商品の情報をユーザに提供する拡張現実提供システムの一例である。ＡＲ提供システムは、ＡＲ提供装置１００、及びサーバ装置２００を有する。ＡＲ提供装置１００とサーバ装置２００とは、通信可能に構成されている。
　ＡＲ提供装置１００は、情報処理端末（コンピュータ）の一例であり、携帯情報端末、携帯電話、ＨＭＤ（Head Mounted Display）、デジタルカメラ等である。ＡＲ提供装置１００は、ＡＲ提供装置１００を介して知覚できる現実空間に整合する位置に、ＡＲ提供装置１００で生成した画像（コンピュータグラフィックス画像など）を表示することにより、拡張された現実感（ＡＲ：Augmented Reality）を提供する。本実施形態では、ＡＲ提供装置１００は、タッチパネル式の表示画面１０を有し、ＡＲ提供装置１００を介して知覚できる現実空間の商品を陳列する棚に整合する位置に、商品に関する各種の情報（後述する商品情報など）を表す画像（拡張画像）を表示画面１０に表示する。
　サーバ装置２００は、情報処理装置（コンピュータ）の一例である。サーバ装置２００は、ネットワーク４００を介してＰＯＳ（Point of sale system）端末３００と通信し、商品の販売に関する各種の情報（販売情報）を商品ＤＢに格納して管理する。また、サーバ装置２００は、棚の空き空間に陳列を推奨する商品の商品情報を、棚に関する各種の情報を格納する棚ＤＢ、上述した商品ＤＢ等に基づいて決定し、決定した商品情報などをＡＲ提供装置１００に送信する。
　なお、ＡＲ提供システムの構成は、上述した構成に限られるものではない。例えば、サーバ装置２００が棚ＤＢ及び商品ＤＢを有する構成を採用したが、サーバ装置２００とは異なる装置が棚ＤＢ及び商品ＤＢを有する構成を採用してもよい。
　図２は、ＡＲ提供装置１００のハードウェア構成の一例を示す図である。ＡＲ提供装置１００は、制御装置１０５、記憶装置１１０、通信装置１１５、表示装置１２０、方位検出装置１２５、姿勢検出装置１３０、及び撮影装置１３５を有する。
　制御装置１０５は、例えばＣＰＵ（Central Processing
Unit）であり、必要に応じて、記憶装置１１０よりプログラムを読み出して、プログラムを実行する。プログラムが実行されることで、ＡＲ提供装置１００における後述の機能、及び後述のフローチャートに係る処理が実現される。
　記憶装置１１０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤ（Hard Disk）等であり、各種の情報を記憶する。より詳細に説明すると、記憶装置１１０（ＲＯＭ）は、ＡＲ提供装置１００の電源投入時に最初に読み込まれるプログラム等を記憶する。また、記憶装置１１０（ＲＡＭ）は、ＡＲ提供装置１００のメインメモリとして機能する。また、記憶装置１１０（ＨＤ）は、プログラム以外に制御装置１０５により算出された数値データ等を記憶する。なお、ＡＲ提供装置１００は、記憶装置１１０に記憶される各種の情報を、ＣＤ－ＲＯＭ等の記録媒体から取得してもよいし、ネットワーク等を通じてダウンロードしてもよい。
　通信装置１１５は、外部装置（サーバ装置２００等）と通信を行い、商品情報などを受信する。通信装置１１５で受信された商品情報などは、記憶装置１１０に記憶される。
　表示装置１２０は、表示部の一例であり、表示画面１０を有し、各種の画像を表示画面１０に表示する。なお、本実施形態では、表示装置１２０として、非透過型の液晶ディスプレイを例に挙げて説明するが、透過型の液晶ディスプレイを採用してもよい。
　方位検出装置１２５は、例えば電子コンパスであり、微弱な地磁気（例えば前後方向の地磁気及び左右方向の地磁気）を検知し、地磁気の強さから北の方向を計算してＡＲ提供装置１００の方位（方位情報）を算出する。
　姿勢検出装置１３０は、例えばジャイロセンサであり、物体の角速度を検知し、角速度を積分などして角度（ＡＲ提供装置１００の姿勢（姿勢情報））を算出する。
　撮影装置１３５は、撮影部の一例であり、現実空間の撮影を行う。
　なお、ＡＲ提供装置１００のハードウェア構成は、これに限られるものではない。例えば、方位検出装置１２５及び姿勢検出装置１３０に代えて、方位検出装置１２５及び姿勢検出装置１３０の機能を一体とした機能を有する方位姿勢検出装置を採用してもよい。また、例えば、ＡＲ提供装置１００は、方位検出装置１２５及び姿勢検出装置１３０を有していなくてもよい。
　図３は、サーバ装置２００のハードウェア構成の一例を示す図である。
　サーバ装置２００は、制御装置２０５、記憶装置２１０、通信装置２１５、表示装置２２０、及び入力装置２２５を有する。
　制御装置２０５は、例えばＣＰＵ（Central Processing
Unit）であり、必要に応じて、記憶装置２１０よりプログラムを読み出して、プログラムを実行する。プログラムが実行されることで、サーバ装置２００における後述の機能、及び後述のフローチャートに係る処理が実現される。
　記憶装置２１０は、記憶部の一例であり、ＲＯＭ（Read Only
Memory）、ＲＡＭ（Random Access Memory）、ＨＤ（Hard Disk）等であり、各種の情報を記憶する。より詳細に説明すると、記憶装置２１０（ＲＯＭ）は、サーバ装置２００の電源投入時に最初に読み込まれるプログラム等を記憶する。また、記憶装置２１０（ＲＡＭ）は、サーバ装置２００のメインメモリとして機能する。また、記憶装置２１０（ＨＤ）は、プログラム以外に制御装置２０５により算出された数値データ等を記憶する。なお、サーバ装置２００は、記憶装置２１０に記憶される各種の情報を、ＣＤ－ＲＯＭ等の記録媒体から取得してもよいし、ネットワーク等を通じてダウンロードしてもよい。
　通信装置２１５は、外部装置（ＰＯＳ端末３００、ＡＲ提供装置１００等）と通信を行う。例えば、通信装置２１５は、ＡＲ提供装置１００から商品情報の取得要求を受信する。また、例えば、通信装置２１５は、ＰＯＳ端末３００から販売情報を受信する。通信装置２１５で受信された販売情報は、記憶装置２１０（商品ＤＢ等）に記憶される。
　表示装置２２０は、ディスプレイ等であり、各種の情報を表示する。
　入力装置２２５は、ユーザが操作するキーボード及びマウス等であり、サーバ装置２００に各種の情報を入力する。
　図４Ａ～図４Ｄは、商品ＤＢ及び棚ＤＢのデータ構造の一例を示す図である。商品ＤＢには、マスタ情報及びトランザクション情報が格納されている。棚ＤＢには、棚（什器）マスタ情報及び棚割パターンマスタ情報が格納されている。図５Ａ～図５Ｄは、商品ＤＢ及び棚ＤＢに格納される情報（マスタ情報、トランザクション情報、棚（什器）マスタ情報、及び棚割パターンマスタ情報）の一例を示す図である。即ち、図５Ａにマスタ情報の一例を示し、図５Ｂにトランザクション情報の一例を示し、図５Ｃに棚（什器）マスタ情報の一例を示し、図５Ｄに棚割パターンマスタ情報の一例を示す。
　マスタ情報は、商品コード、商品カテゴリ、商品名、ブランド、商品サイズ、及び商品画像の項目の情報を含んで構成され、商品ＤＢに複数記憶されている。換言するならば、商品カテゴリ、商品名、ブランド、商品サイズ、及び商品画像の各々は、商品コードに関連付けられて設けられている。
　商品コードには、商品を一意に識別する符号の情報が格納される。商品カテゴリには、商品が属するカテゴリの情報（カテゴリ情報）、例えば「食料品」、「医薬品」などの情報が格納される。商品名には、商品の名称の情報が格納される。ブランドには、商品の銘柄（会社の名称、商標など）の情報（ブランド情報）が格納される。商品サイズには、商品の縦・横・奥行きの情報（商品の大きさを示すサイズ情報）が格納される。
　商品画像には、商品を立体的に表す画像の格納先の情報が格納される。格納先の情報より取得される画像は、商品の正面・側面・上面・下面のカラー画像（商品画像情報）である。より好ましくは、商品毎の３次元情報（例えば３次元オブジェクトの生成の用に供する情報）であり、これにより任意の方向から商品を見た画像が描画できるようになる。なお、商品画像には、画像の格納先の情報ではなく、画像のバイナリデータが格納されていてもよい。また、商品画像情報は、白黒画像であってもよい。
　ここで、マスタ情報には、売価、原価、販売開始予定年月日（或いは販売終了予定年月日）の項目の情報が含まれていてもよい。売価には、商品の売値の情報が格納される。原価には、商品の仕入値の情報が格納される。販売開始予定年月日には、商品の販売を開始する予定の時期（年月日）の情報（開始情報）が格納される。販売終了予定年月日には、商品の販売を終了する予定の年月日の情報（終了情報）が格納される。
　トランザクション情報は、商品の販売に関する各種の情報であり、ＰＯＳ端末３００から受信した販売情報などに基づいて適宜更新される。トランザクション情報は、商品コード、在庫数、週次売上数実績、在庫日数（或いは在庫回転数）の項目の情報を含んで構成されている。在庫数には、倉庫などに商品を保管している数の情報が格納される。週次売上数実績には、一週間に商品が販売された数の情報（売上数を示す実績情報）が格納される。なお、週次売上数実績に代えて又は加えて、日次売上数実績、月次売上数実績、年次売上数実績などの売上の実績を示す項目を採用してもよい。在庫日数には、商品が在庫として保持される日数の情報が格納される。
　ここで、トランザクション情報には、入庫予定年月日、及び入庫予定数の項目の情報が含まれていてもよい。入庫予定年月日には、商品が入庫する予定の年月日の情報が格納される。入庫予定数には、入庫予定年月日に入庫する商品の数の情報が格納される。
　本実施形態では、複数の店舗の各々において商品の販売が行われ、複数の店舗の全ての販売に関する情報が商品毎にトランザクション情報として商品ＤＢに格納されるものとする。ただし、本実施形態は、この構成に限られるものではない。例えば、トランザクション情報は、店舗毎かつ商品毎に商品ＤＢに格納されてもよい。この場合、トランザクション情報は、例えば、店舗を一意に識別する符号（店舗コード）の項目の情報を含んで構成される。
　棚（什器）マスタ情報は、棚ＩＤ、棚種、及び棚仕様の項目の情報を含んで構成されている。棚ＩＤには、棚を一意に識別する符号の情報が格納される。棚種には、棚の種別を表す情報が格納される。棚仕様には、棚の幅・高さ・奥行き・段数・段高さの情報が格納される。
　棚割パターンマスタ情報は、商品カテゴリ、棚数（各棚ＩＤ）、棚番地（段／列）毎の指定商品及び陳列数、並びに、棚番地（段／列）毎の指定ブランド及び陳列数の項目の情報を含んで構成されている。すなわち、棚割パターンマスタ情報は、棚への陳列を許可（換言するならば、制限）する商品を識別するためのルールの情報（陳列ルール情報）である。
　ここで、棚割パターンマスタ情報には、展開開始予定年月日（或いは展開終了予定年月日）、並びに、棚番地（段／列）及び指定商品毎の陳列方法の項目の情報が含まれていてもよい。展開開始予定年月日には、商品がシーズン性のある商品などであり、シーズン毎に棚割のパターンを変える場合、その棚割のパターンの展開を開始する年月日の情報が格納される。陳列方法には、商品の陳列の指示に関する情報（陳列指示情報）が格納される。例えば、ビールケースなどを平台にピラミッド式に積上げる、文房具などをフックに吊り下げる、詰め替え用のシャンプーなどのパッケージを正面からみて斜めに置く旨の陳列指示情報が格納される。これらの棚割パターンについては、店舗側やサプライヤ側が指定し、予め棚割パターンマスタ情報として格納しておく。
　なお、図４Ａ～図４Ｄでは、マスタ情報、トランザクション情報、棚（什器）マスタ情報、棚割パターンマスタ情報における必須の項目を示しているが、本実施形態は、これらの必須の項目に代えて又は加えて他の項目を必須の項目としてもよい。
　図６は、ＡＲ提供装置１００及びサーバ装置２００の機能構成の一例を示す図である。
　ＡＲ提供装置１００は、要求部１５０、及び表示制御部１５５を有する。サーバ装置２００は、特定部２５０、選択部２５５、生成部２６０、及び返答部２６５を有する。なお、ＡＲ提供装置１００は、要求部１５０、表示制御部１５５などを統括する制御部を有している。また、サーバ装置２００は、特定部２５０、選択部２５５、生成部２６０、返答部２６５などを統括する制御部を有している。
　要求部１５０は、撮影装置１３５の撮影内容に含まれ得る棚に陳列が許可された商品に関する情報（商品情報等）を取得するための要求をサーバ装置２００に送信する。
　表示制御部１５５は、要求部１５０による要求に応答してサーバ装置２００から送信された返答に含まれる商品情報を撮影装置１３５で撮影されている棚に重畳して表示画面１０に表示する。
　特定部２５０は、棚ＤＢに格納される複数の棚（什器）マスタ情報と要求部１５０による要求に含まれる画像（画像情報）とから棚の空き空間サイズを特定する。
　選択部２５５は、商品ＤＢに格納される複数のマスタ情報から、特定部２５０で特定された空き空間サイズよりも小さいサイズの商品のマスタ情報（広義には商品情報）を選択する。なお、詳細については後述するが、選択部２５５は、商品ＤＢのトランザクション情報、棚ＤＢの棚割パターンマスタ情報に基づいて、選択したマスタ情報から推奨する商品のマスタ情報を更に選択する。
　生成部２６０は、商品ＤＢのトランザクション情報などを参照して、商品の陳列に関する情報（付加情報）を生成する。
　返答部２６５は、選択部２５５で選択されたマスタ情報と生成部２６０で生成された付加情報とに基づいて生成される商品情報を含む返答をＡＲ提供装置１００に送信する。
　図７は、ＡＲ提供システムのシーケンスの一例を示す図である。ここで、図８に、シーケンスの処理が行われる前（棚５００にＡＲ提供装置１００がかざされたとき）の表示画面１０の表示内容の一例を示す。また、図９に、シーケンスの処理が行われた後の表示画面１０の表示内容の一例を示す。
　ＳＱ６１０では、要求部１５０は、撮影装置１３５で撮影されている映像から画像を一定の間隔で取得する（画像取得）。
　ＳＱ６２０では、要求部１５０は、取得した画像をサーバ装置２００に適宜のタイミングで送信する（画像送信）。
　ＳＱ６３０では、特定部２５０は、受信した画像を解析し、棚ＤＢの棚（什器）マスタ情報に基づいて棚を特定する（棚特定）。本実施形態では、例えば図８に示すように、棚５００には、棚５００を識別可能なマーカー５１０が付されているので、特定部２５０は、受信した画像を解析することでマーカー５１０の情報を抽出し、抽出したマーカー５１０の情報より棚５００を識別可能な棚ＩＤを取得する。なお、マーカー５１０には、棚ＩＤそのものが記されていてもよいし、棚ＩＤを符号化した二次元バーコードが記されていてもよいし、棚ＩＤが一意に対応付けられた模様や商品の宣伝が記されていてもよい。また、１つの棚５００に複数のマーカーを付し、複数のマーカーを用いて棚５００を特定するようにしてもよい。そして、特定部２５０は、棚ＩＤをキーとして棚（什器）マスタ情報（棚仕様など）を棚ＤＢから取得する。
　ＳＱ６４０では、特定部２５０は、受信した画像を解析し、ＳＱ６３０で取得した棚仕様に基づいて棚５００に生じている空き空間サイズを特定する（空き空間サイズ特定）。より具体的には、特定部２５０は、画像を解析して、棚５００に生じている一定の幅（例えば、５ｃｍ）以上の空き空間の幅を取得する。このとき、特定部２５０は、受信した画像を解析し、棚５００のどの段／列に空き空間が生じているか（空き空間の位置）も特定する。この例では、特定部２５０は、２段目に空き空間が生じていると特定する。ここが空き空間であることを特定する方法としては、種々の方法を採用できる。例えば、棚５００に全ての商品が配置されているときの画像を予め撮影しておき、現在の画像との差分を求めることで空き空間の位置であると特定するように処理してもよいし、棚板の色や柄を捉えたときに空き空間であると特定するように処理してもよい。
　そして、特定部２５０は、特定した空き空間の奥行き及び段高さを棚５００の棚仕様から決定することで、決定した奥行き及び段高さと、取得した幅とを有する空き空間サイズを特定する。例えば、棚仕様で特定される棚の幅に対する空き空間の幅の割合で、空き空間の実寸を推定（幅１ｍの棚に空き空間の幅が１５％程度存在していると判断した場合、実際の空き空間の幅を１５ｃｍと推定）することができる。なお、一定の幅は、棚（什器）マスタ情報の項目として棚毎に予め設けられていてもよいし、設けられていなくてもよい。
　ＳＱ６５０では、サーバ装置２００は、選択部２５５及び生成部２６０を介して、空き空間サイズに収まるサイズの商品であり、かつ現時点の空き空間への配置を推奨する商品の商品情報を生成する（商品情報生成）。商品情報には、商品コードの情報、商品名の情報、商品画像情報などが含まれている。なお、商品情報には、在庫数の情報、配置許容数情報、誤り情報等の付加情報が含まれていることもある。
　ＳＱ６６０では、返答部２６５は、要求部１５０による要求に対する、商品情報と特定部２５０で特定された棚５００のどの段／列に空き空間が対応するかという位置情報とを含む応答をＡＲ提供装置１００に送信する（商品情報送信）。
　ＳＱ６７０では、表示制御部１５５は、受信した商品情報を表示画面１０に表示する（画像表示）。例えば、表示制御部１５５は、図９に示すように、棚５００への陳列を推奨する商品の商品画像情報１２を棚５００の空き空間の整合する位置に表示し、商品画像情報１２に対応する付加情報１６を、商品画像情報１２を指し示すように表示する。また、表示制御部１５５は、棚５００への陳列を推奨する商品情報が複数存在すると判断した場合には、次の候補に切替える切替えインタフェース１４を表示する。
　ここで、表示画面１０における商品画像情報１２の位置合わせの方法としては、任意の重畳表示技術を適用できるが、本実施形態では、一般的なマーカーを利用したＡＲの重畳表示技術を採用した場合を例に挙げて説明する。より詳細に説明すると、表示制御部１５５は、撮影装置１３５で撮影されているマーカー５１０の画像を基準として、返答部２６５から受信した空き空間の位置情報により空き空間の位置を特定し、商品画像情報１２を当該位置に表示する。なお、マーカー５１０によって棚５００とＡＲ提供装置１００との相対位置（向き）も割り出せるので、商品画像情報１２は、棚５００に正面向きに置いたように表示することができる。
　図１１は、ＡＲ提供装置１００におけるメイン処理に係るフローチャートの一例を示す図である。なお、メイン処理は、定期的に開始されているものとする。
　はじめに、ＡＲ提供装置１００の制御部は、サーバ装置２００に対する前回の画像の送信から一定の時間が経過したか否かを判断する（Ｓ７１０）。このとき、一定の時間が経過したと判断された場合、Ｓ７２０の処理が行われ、他方、一定の時間が経過していないと判断された場合、Ｓ７３０の処理が行われる。
　Ｓ７２０では、要求部１５０は、撮影装置１３５で撮影されている映像から画像を取得し、取得した画像をサーバ装置２００に送信する。続いて、Ｓ７３０の処理が行われる。
　Ｓ７３０では、制御部は、商品情報を含む応答を受信したか否かを判断する。このとき、受信したと判断された場合、Ｓ７４０の処理が行われ、他方、受信していないと判断された場合、Ｓ７５０の処理が行われる。
　Ｓ７４０では、表示制御部１５５は、後述の拡張画像表示処理を行う。続いて、Ｓ７５０の処理が行われる。
　Ｓ７５０では、制御部は、ＡＲ提供装置１００に設けられるタッチパネル式の表示画面１０、入力ボタン等の入力部の操作（ユーザ操作）を受け付けたか否かを判断する。このとき、ユーザ操作を受け付けたと判断された場合、Ｓ７６０の処理が行われ、他方、ユーザ操作を受け付けていないと判断された場合、メイン処理は終了する。
　Ｓ７６０では、表示制御部１５５は、後述の表示変更処理を行い、メイン処理を終了する。
　図１２は、ＡＲ提供装置１００における拡張画像表示処理に係るフローチャートの一例を示す図である。拡張画像表示処理は、商品情報の受信時、後述する次の候補の表示を指示するユーザ操作の受付時に開始される。
　はじめに、表示制御部１５５は、受信した応答に含まれる商品情報に基づいて拡張画像を生成する。上述の通り表示制御部１５５は、マーカー５１０の画像を基準にして商品画像情報１２を表示するが、この際、撮影装置１３５で撮影された映像に表示されている棚の寸法に対応するように商品情報に含まれる最初の商品画像情報（或いは次の候補の商品画像情報）を拡大・縮小し、サイズを調整した商品を表す拡張画像を生成する（Ｓ８１０）。
　続いて、表示制御部１５５は、商品を表す拡張画像に対応する付加情報の内容を表す拡張画像を生成する（Ｓ８２０）。
　続いて、表示制御部１５５は、生成した商品を表す拡張画像を撮影装置１３５で撮影された映像に重畳し、付加情報の内容を表す拡張画像を適宜の位置に表示し（Ｓ８３０）、拡張画像表示処理を終了する。なお、１つの画像内に空き空間が複数存在する場合、各々の空き空間に商品画像情報１２を表示するようにしてもよい。
　図１３は、ＡＲ提供装置１００における表示変更処理に係るフローチャートの一例を示す図である。
　はじめに、表示制御部１５５は、商品を表す拡張画像の向きの変更を指示するタッチパネルへのユーザ操作を受け付けたか否かを判断する（Ｓ９１０）。このとき、表示制御部１５５は、当該ユーザ操作を受け付けたと判断した場合、Ｓ９２０の処理を行い、他方、当該ユーザ操作を受け付けていないと判断した場合、Ｓ９３０の処理を行う。
　Ｓ９２０では、表示制御部１５５は、ユーザ操作に応答して、商品を表す拡張画像の向きを変更する。このように、仮想的に表示されている商品を表す拡張画像の向きを変えることで、見栄えや他の商品との色合いを検討する際の参考にできるようになる。
　Ｓ９３０では、表示制御部１５５は、棚に陳列が許可されている商品の次の候補の表示を指示するユーザ操作（切替えインタフェース１４を押下する操作など）を受け付けたか否かを判断する。このとき、表示制御部１５５は、当該ユーザ操作を受け付けたと判断した場合、Ｓ９４０の処理を行い、他方、当該ユーザ操作を受け付けていないと判断した場合、表示変更処理を終了する。
　Ｓ９４０では、表示制御部１５５は、拡張画像表示処理を行い、表示変更処理を終了する。
　図１４は、サーバ装置２００におけるメイン処理に係るフローチャートの一例を示す図である。なお、メイン処理は、定期的に開始されているものとする。
　はじめに、サーバ装置２００の制御部は、ＡＲ提供装置１００から画像を受信したか否かを判断する（Ｓ１０１０）。このとき、受信したと判断された場合、Ｓ１０２０の処理が行われ、他方、受信していないと判断された場合、メイン処理は終了する。
　Ｓ１０２０では、制御部は、受信した画像に棚の画像が含まれているか否かを判断する。このとき、含まれていると判断した場合、Ｓ１０３０からＳ１０７０までの処理が行われ、他方、含まれていないと判断された場合、メイン処理は終了する。ここで、制御部は、受信した画像を解析し、マーカーの情報が含まれていると認識したときは棚の画像が含まれていると判断する。
　Ｓ１０３０では、特定部２５０は、後述の空き空間サイズ特定処理を行う。
　Ｓ１０４０では、選択部２５５は、後述のマスタ情報選択処理を行う。
　Ｓ１０５０では、生成部２６０は、後述の付加情報生成処理を行う。
　Ｓ１０６０では、生成部２６０は、マスタ情報選択処理で選択されるマスタ情報と付加情報生成処理で生成される付加情報とから商品情報を生成する。
　Ｓ１０７０では、返答部２６５は、生成部２６０で生成された商品情報を含む応答をＡＲ提供装置１００に送信する。
　図１５は、サーバ装置２００における空き空間サイズ特定処理に係るフローチャートの一例を示す図である。
　はじめに、特定部２５０は、制御部により抽出されたマーカーの情報より棚ＩＤを特定する（Ｓ１１１０）。本実施形態では、マーカーには、棚ＩＤそのものが記され、特定部２５０は、画像処理することで、棚の特定の場所に付されているマーカーを抽出して棚ＩＤを取得するものとする。なお、棚を特定する方法は、この構成に限られるものではない。例えば、特定部２５０は、棚に陳列されている複数の商品を特定することで、すなわち、複数の商品をマーカーとして見立てて棚ＩＤを特定してもよい。この構成によれば、棚の特定の場所にマーカーを付す必要がなくなる。以下では、棚ＩＤが「０００１」であると特定された場合を例に挙げて適宜説明する。
　続いて、特定部２５０は、棚ＩＤをキーとして棚（什器）マスタ情報を棚ＤＢから取得する（Ｓ１１２０）。すなわち、特定部２５０は、棚を特定する。ここでは、特定部２５０は、棚（什器）マスタ情報として棚種「Ｔ００１」及び棚仕様「２００，２００，１００，３，６０」を取得する。
　続いて、特定部２５０は、商品ＤＢのマスタ情報に含まれる商品画像の情報と、受信した画像情報とから、棚に陳列されている商品を特定する（Ｓ１１３０）。例えば、特定部２５０は、受信した画像情報に商品画像の情報が含まれていると判断した場合、その商品画像の情報が含まれているマスタ情報から商品コードを取得する。
　続いて、特定部２５０は、商品ＤＢを参照して週次売上数実績の情報が既定値（例えば１個）以下の商品がＳ１１３０で特定した商品に含まれているか否かを判断する（Ｓ１１４０）。ここで、特定部２５０は、含まれていると判断した商品の商品コードを取得すると共に、その商品が棚に陳列されている段／列（位置）を特定する。このとき、特定部２５０は、含まれていると判断した場合、Ｓ１１５０の処理を行い、含まれていないと判断した場合、Ｓ１１６０の処理を行う。なお、この判別に代えて、在庫日数の情報が既定値（例えば６０日）を超えた商品がＳ１１３０で特定した商品に含まれているか否かを判別し、含まれていると判断した場合、Ｓ１１５０の処理を行い、含まれていないと判断した場合、Ｓ１１６０の処理を行ってもよい。また、特定部２５０は、上述の２つの判断を共に行ってもよいし、何れの判断（及びＳ１１５０の処理）をも行わなくてもよい。
　Ｓ１１５０では、特定部２５０は、該当する商品が占める空間を空き空間として指定する。より具体的には、特定部２５０は、Ｓ１１４０で含まれていると判断した商品の商品コードに関連付けられた商品サイズの情報を商品ＤＢから取得し、取得した商品サイズの幅と、Ｓ１１２０で取得した棚仕様の奥行き・段高さとからなる空間の大きさを空き空間として指定する。このように、特定部２５０は、売上げが相対的に低い商品を特定し、特定した商品が占める空間を空き空間と指定することにより、売上げが相対的に低い商品に代えて現時点で棚への配置を推奨する商品を提示できるようになる。つまり、売上げが相対的に低い商品を棚から排除して空間を生み出し、そこに、売れ筋の商品の陳列を推奨するように機能している。
　Ｓ１１６０では、特定部２５０は、受信した画像を解析して得られる空き空間、及びＳ１１５０で指定した空き空間の位置・幅を特定する。ここでは、特定部２５０は、画像を解析して幅が「２０」の空き空間を１つ取得し、その空き空間が棚の２段目に位置していると特定したものとする。なお、空き空間のサイズは、上記ＳＱ６４０で説明したような処理で特定される。
　続いて、特定部２５０は、特定した空き空間の位置に基づいて、棚の同じ段に空き空間が複数存在するか否かを判断する（Ｓ１１７０）。このとき、特定部２５０は、存在すると判断した場合、Ｓ１１８０の処理を行い、存在しないと判断した場合、Ｓ１１９０の処理を行う。
　Ｓ１１８０では、特定部２５０は、同じ段の空き空間の幅を合算し、続いてＳ１１９０の処理を行う。
　Ｓ１１９０では、特定部２５０は、Ｓ１１２０で取得した棚（什器）マスタ情報から、空き空間が位置する段高さ・奥行きを読み出し、Ｓ１１６０で特定した幅（或いはＳ１１８０で合算した幅）と読み出した段高さ・奥行きとからなる空間の大きさを空き空間サイズとし、空き空間サイズ特定処理を終了する。なお、上述の例では、特定部２５０は、幅「２０」、高さ「６０」、奥行き「１００」の空き空間サイズを特定する。
　図１６は、サーバ装置２００におけるマスタ情報選択処理に係るフローチャートの一例を示す図である。
　はじめに、選択部２５５は、特定部２５０で特定された空き空間サイズごとに、空き空間サイズに収まる商品のマスタ情報を商品ＤＢから抽出する（Ｓ１２１０）。上述の例では、空き空間サイズが「２０，６０，１００」であるので、選択部２５５は、空き空間サイズよりも商品サイズが小さい商品コード「０１２３」、商品コード「０１２４」、及び商品コード「０２３４」のマスタ情報を商品ＤＢから抽出する。
　続いて、選択部２５５は、空き空間サイズに対して抽出されたマスタ情報の各々が棚割パターンマスタ情報に反するか否かを判別し、反すると判別したマスタ情報を除去する（Ｓ１２２０）。上述の例では、棚ＩＤが「０００１」であるとＳ１１１０で特定されているので、まず、選択部２５５は、棚ＩＤ「０００１」をキーとして図５Ｄに示す上から３つの棚割パターンマスタ情報を取得する。また、上述の例では、空き空間が棚の２段目に位置しているので、選択部２５５は、取得した棚割パターンマスタ情報のうち、図５Ｄに示す上から２つ目の棚割パターンマスタ情報を参照して、商品カテゴリ「食料品」、指定商品「―」、指定ブランド「Ａブランド」の条件を満たす商品コード「０１２３」、商品コード「０１２４」のマスタ情報を選択する。すなわち、棚割パターンマスタ情報に反する商品コード「０２３４」のマスタ情報を除去する。なお、「―」は、商品が指定されていないことを表し、例えば、指定商品が「―」ではなく「０１２３」であった場合は、「０１２３」と一致する商品コードの商品のみが棚への陳列が許可されることになる。
　続いて、選択部２５５は、商品ＤＢを参照して週次売上数実績の情報が既定値以下の商品のマスタ情報を除去し（Ｓ１２３０）、マスタ情報選択処理を終了する。換言するならば、選択部２５５は、商品の売上数が相対的に高い商品の商品情報を優先的に選択する。この構成によれば、店員は、売れ筋の商品を把握することができる。また、店舗毎の売上数を管理する構成を採用した場合は、店員は、予め指定した地域（近隣の店舗）に特有の売れ筋の商品を把握することができる。
　図１７は、サーバ装置２００における付加情報生成処理に係るフローチャートの一例を示す図である。
　はじめに、生成部２６０は、マスタ情報選択処理で選択されたマスタ情報毎に推奨度が設定された推奨度情報を生成する（Ｓ１３１０）。例えば、生成部２６０は、商品ＤＢを参照して、週次売上数実績の情報が高いほど推奨度を高く設定する。また、例えば、生成部２６０は、商品ＤＢを参照して、在庫回転数の情報が高いほど推奨度を高く設定する。また、例えば、生成部２６０は、商品ＤＢを参照して、販売終了予定年月日の情報が現在に近いほど推奨度を高く設定する。なお、生成部２６０は、これらを組み合わせて推奨度を設定してもよい。ここで、マスタ情報選択処理で複数のマスタ情報が選択され、推奨度情報が生成された場合には、表示制御部１５５は、推奨度情報をそのまま表示してもよいし、推奨度情報に基づいて推奨度が高い順に商品情報を表示してもよい。
　続いて、生成部２６０は、空き空間サイズの奥行きとこの空間に陳列可能な商品の商品サイズの奥行きとから、この商品を奥に配置することができる数（配置許容数）をマスタ情報選択処理で選択されたマスタ情報毎に算出し、配置許容数情報を生成する（Ｓ１３２０）。上述の例では、空き空間サイズが「幅２０，高さ６０，奥行き１００」であり、商品コード「０１２３」については、商品サイズが「横１５，縦１０，奥行き１０」であるので、生成部２６０は、６０（＝１×６×１０）を配置許容数として算出する。
　続いて、生成部２６０は、Ｓ１１３０において特定部２５０で特定された棚に陳列されている商品に、棚割パターンマスタ情報に反する商品が含まれているか否かを判断する。このとき、生成部２６０は、含まれていると判断した場合、該当する商品の陳列が許可されている棚ＩＤを、棚ＤＢの棚割パターンマスタ情報を参照して特定する。その後、生成部２６０は、該当する商品の位置、商品コード、棚ＩＤの情報、陳列が許可されていない商品が存在する旨の情報を含む誤り情報（指摘情報）を生成する（Ｓ１３３０）。
　続いて、生成部２６０は、マスタ情報選択処理で選択されたマスタ情報に含まれる販売終了予定年月日の情報が予め定められた期間内に達したか否かをマスタ情報毎に判断し、達したと判断した場合は、商品の販売の終了を予告する旨の予告情報を生成する（Ｓ１３４０）。例えば、販売終了予定年月日の情報が「2010/7/1」であり、予め定められた期間が１カ月である場合は、生成部２６０は、「2010/6/1」に達したときに予告情報を生成する。
　続いて、生成部２６０は、推奨度情報、配置許可数情報、誤り情報、及び予告情報を含む付加情報を生成する（Ｓ１３５０）。なお、生成部２６０は、Ｓ１２２０で用いた棚割パターンマスタ情報に陳列方法の情報が含まれていると判断した場合は、陳列方法の情報を付加情報に加える。
　なお、上述した処理は、適宜組み合わせて採用することができる。
　以上のように、本実施形態の構成によれば、
　・空き空間サイズに合った商品を探さなければならない、
　・複数個所に空き空間が生じた場合には、複合的な空き空間サイズを加味したい、
　・商品によってはサプライヤからの陳列方法などの指定があるものがあり、この指定に沿った状態で商品を選択して陳列することが要求される、
　・元々の在庫切れ商品が納入されたときに、直ぐに戻さなければならない、
等の要素を考慮して、空き空間に的確な商品を推奨することができる。
（第２の実施形態）
　第１の実施形態では、空き空間が発生した棚に対する推奨する代替商品の情報をＡＲ提供装置に表示する構成を中心に説明したが、本実施形態では、第１の実施形態で示した同じハードウェア構成を用いて、商品の陳列に関する別の情報をＡＲ提供装置に表示する構成をより詳細に説明する。
　より具体的には、本実施形態では、棚に許可されていない商品が陳列されている、つまり店員がうっかり商品の陳列を誤った場合、客がある棚で取った商品を別の棚に置いてしまった場合などを想定している。この商品の置き間違いは、特に空きスペースがある場合に起きやすい課題であり、空きスペースを有効に活用する上で障害になりやすい。そこで、本実施形態では、その誤りを正すための情報を店員に提供する構成を採用する。
　なお、本実施形態では、第１の実施形態の構成と同一の構成については、同一の符号を用いて、その説明を省略する。
　図１９は、第１の実施形態の図１４、図１５に対応するフローチャートであり、第１の実施形態と異なる処理について主に説明する。Ｓ１５１０及びＳ１５２０は、Ｓ１０１０及びＳ１０２０と同一である。また、Ｓ１５３０～Ｓ１５５０は、Ｓ１１１０～Ｓ１１３０と同一である。
　Ｓ１５６０では、生成部２６０は、棚に許可されていない商品が陳列されているか否かを判断する。判断の方法は、特に限定されるものではない。例えば、棚５００に全ての商品が配置されているときの画像を予め撮影しておき、現在の画像との差分を求めることで異なる商品があるか否かを特定する構成であってもよい。また、例えば、撮影装置１３５で撮影された棚５００に陳列されている個々の商品画像について商品ＤＢと棚ＤＢとに格納されている情報をもとに、個別に画像のマッチング処理を行って特定する構成であってもよい。
　このとき、生成部２６０は、Ｓ１５６０で陳列されていない（Ｎｏ）と判断した場合、Ｓ１５８０の処理を行う。他方、生成部２６０は、陳列されている（Ｙｅｓ）と判断した場合、Ｓ１５７０の処理を行う。図１０は、陳列が許可されていない商品が存在する旨の指摘情報をＡＲ提供装置１００で表示した例を示す図である。この例では、商品番号「０２３４」の商品の配置が間違っていることに加え、本来の位置である棚「Ｚ５」を示す情報が提示されている。
　このように、商品の棚への陳列について、間違えていることを人間が１つ１つ探すことが困難であるような場合でも、本実施形態によれば容易に把握でき、且つ本来の陳列の位置を示すことで、店員の業務負荷を軽減することが可能となる。
　なお、単に商品の陳列の向きが間違えているというだけのこともあるため、商品画像については、複数の方向から撮影した写真を用いたり、３次元情報を用いたりすることが好ましい。
　続いて、Ｓ１５８０では、生成部２６０は、現在撮影されている棚の商品について、商品ＤＢから商品の在庫の数を示す在庫数情報（図示せず）を抽出し、在庫数が所定数を下回っているか否かを判断する。この所定数は、商品ごとで決めておいてもよいし、商品カテゴリごとに決めておいてもよい。
　このとき、生成部２６０は、在庫数が所定数を下回っていない（Ｎｏ）と判断した場合、Ｓ１６００の処理を行う。他方、生成部２６０は、在庫数が所定数を下回っている（Ｙｅｓ）と判断した場合、Ｓ１５９０で在庫切れ予告情報を生成する。
　在庫切れ予告情報とは、「この商品は店内在庫が不足気味です」、「この商品はバックヤードに在庫が有りません」などの在庫の状況を店員に知らせるための情報であり、第１の実施形態で説明したようにＡＲ提供装置１００で棚に重畳して表示される。
　通常、ＰＯＳ等の装置や紙の在庫伝票などを参照することで在庫の状況を確認することができるが、本実施形態によれば、棚の前にいながらにして、しかも棚に情報が重畳して表示されるため、店員は棚を探すことなく、一目で在庫の状況を把握することが可能となる。
　以上のように、本実施形態によれば、棚での空きスペースを活用できるだけでなく、店員がうっかり商品の陳列を誤った場合、客がある棚で取った商品を別の棚に置いてしまった場合などに店員に間違いを正すよう指示できるようになり、棚をより有効に活用できるようになる。
　なお、本実施形態については、独立して採用することができるが、例えば第１の実施形態に組み合わせて実装することも可能である。
（第３の実施形態）
　本実施形態では、ＡＲ提供装置１００が特定部２５０の機能を有し、サーバ装置２００が特定部２５０の機能を有していない。以下では、図１８を参照して第１の実施形態と異なる構成について主に説明する。
　図１８は、ＡＲ提供システムのシーケンスの一例を示す図である。ＳＱ１４１０は、ＳＱ６１０と同様の処理であり、ＳＱ１４２０は、ＳＱ６３０と同様の処理であり、ＳＱ１４３０は、ＳＱ６４０と同様の処理であり、ＳＱ１４５０は、ＳＱ６５０と同様の処理であり、ＳＱ１４６０は、ＳＱ６６０と同様の処理であり、ＳＱ１４７０は、ＳＱ６７０と同様の処理であるので説明を省略する。
　ＳＱ１４４０では、要求部１５０は、特定情報を含む商品情報の取得要求をサーバ装置２００に送信する（特定情報送信）。特定情報には、ＳＱ１４２０で特定された棚ＩＤの情報、ＳＱ１４３０で特定された空き空間サイズの情報などが含まれている。
　上述した各実施形態の構成によれば、棚の空き空間をより有効に使用することができる。
　以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
　例えば、ＡＲ提供装置１００としては、タッチパネル式の表示画面１０を有した装置として説明したが、ＨＭＤなど、メガネ型の装置を採用してもよい。
　また、例えば、商品サイズについては、基本的には陳列する向きに合わせた情報として商品ＤＢに格納されているが、同一の商品であっても陳列の向きを複数想定して商品サイズを格納しておく構成としてもよい。即ち、図１２のＳ１２１０では、選択部２５５は、空き空間サイズに収まる商品を抽出する際に、商品ＤＢに格納した商品サイズに従って抽出を行うが、この構成によれば、何れかの向きで商品が陳列された場合でも抽出されるようになる。
　また、例えば、図１５のＳ１１１０では、特定部２５０は、複数の商品をマーカーとして見立てて棚ＩＤを特定する構成を示したが、棚に掲げられた商品値札をマーカーとして見立てて棚ＩＤを特定する構成としてもよい。
　また、例えば、図１５で説明した空き空間サイズ特定処理では、全ての処理を行う必要はなく、Ｓ１１３０～Ｓ１１５０の処理を行わないで実際に空いている空間のみを空き空間として特定してもよい。
　また、例えば、図１６では、１つの空き空間に１種類の商品を提示したが、空き空間が大きい場合には、複数種の商品を並べて陳列するよう商品を選択する構成としてもよい。この場合、複数の商品サイズの合計値が空き空間サイズより小さくなるように条件を設定し、必要に応じて棚割パターンマスタ情報も設定しておく。
　また、例えば、各実施形態を必要に応じて組み合わせて使用してもよい。
　本実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体及び上記のプログラム等のコンピュータプログラムプロダクトも本発明の実施形態として適用することができる。記録媒体としては、フレキシブルディスク、ハードディスク、光ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
　なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
　本発明によれば、棚の空き空間をより有効に使用することができる。

Claims (17)

  1. 　撮影部及び表示部を有する情報処理端末と情報処理装置とが通信可能な拡張現実提供システムであって、
    　前記情報処理端末は、
    　前記撮影部での撮影内容の画像情報を含む、前記画像情報から特定され得る棚に陳列できる商品を示す商品情報を取得するための要求を前記情報処理装置に送信する要求手段と、
    　前記要求に応答して前記情報処理装置から送信された返答に含まれる商品情報を前記撮影部で撮影された画像情報に重畳して前記表示部に表示する表示制御手段と、
    を有し、
    　前記情報処理装置は、
    　前記要求に含まれる前記画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定手段と、
    　商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記特定手段で特定された前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する選択手段と、
    　前記選択手段で選択された商品情報を含む返答を前記情報処理端末に送信する返答手段と、
    を有することを特徴とする拡張現実提供システム。
  2. 　前記記憶部には、前記棚への陳列が許容される商品を識別する陳列ルール情報が記憶され、
    　前記選択手段は、前記棚の空き空間の大きさよりも小さい商品の商品情報のうち、前記陳列ルール情報より前記棚への陳列が許容されると識別した商品の商品情報を選択することを特徴とする請求項１に記載の拡張現実提供システム。
  3. 　前記陳列ルール情報には、前記棚への陳列が許容される商品のカテゴリ情報が含まれ、
    　前記選択手段は、前記棚の空き空間の大きさよりも小さい商品の商品情報のうち、前記カテゴリ情報に属する商品の商品情報を選択することを特徴とする請求項２に記載の拡張現実提供システム。
  4. 　前記陳列ルール情報には、前記棚への陳列が許容される商品のブランド情報が含まれ、
    　前記選択手段は、前記棚の空き空間の大きさよりも小さい商品の商品情報のうち、前記ブランド情報に対応するブランドの商品の商品情報を選択することを特徴とする請求項２に記載の拡張現実提供システム。
  5. 　前記陳列ルール情報には、前記棚への陳列が許容される商品の商品情報が含まれ、
    　前記選択手段は、前記棚の空き空間の大きさよりも小さい商品の商品情報のうち、前記陳列ルール情報に含まれる商品情報に一致する商品情報を選択することを特徴とする請求項２に記載の拡張現実提供システム。
  6. 　前記記憶部には、商品毎に売上数を示す実績情報が記憶され、
    　前記選択手段は、前記棚の空き空間の大きさよりも小さい商品の商品情報のうち、前記実績情報に基づいて商品の売上数が相対的に高い商品の商品情報を優先的に選択することを特徴とする請求項１に記載の拡張現実提供システム。
  7. 　前記記憶部には、商品毎に売上数を示す実績情報が記憶され、
    　前記記憶部に記憶される商品情報には、商品を表す商品画像情報が含まれ、
    　前記特定手段は、前記要求に含まれる前記画像情報と前記記憶部に記憶される商品画像情報とから前記棚に陳列されている商品を識別し、前記実績情報に基づいて前記棚に陳列されている商品から売上数が相対的に低い商品を特定し、特定した商品を前記棚から排したときに生じる空間の大きさを前記棚の空き空間の大きさとして特定することを特徴とする請求項１に記載の拡張現実提供システム。
  8. 　前記特定手段は、前記要求に含まれる前記画像情報から前記棚の同じ段に複数の空き空間があると判断した場合、前記複数の空き空間を合算した大きさを前記棚の空き空間の大きさとして特定することを特徴とする請求項１に記載の拡張現実提供システム。
  9. 　前記記憶部には、商品毎に販売の終了の時期を示す終了情報が記憶され、
    　前記情報処理装置は、
    　前記選択手段で選択された商品情報において、予め定められた時間が経過したときに販売が終了する商品の商品情報があると前記終了情報に基づいて判断した場合、該当する商品の販売の終了に関する指示を示す指示情報を生成する生成手段を更に有し、
    　前記返答手段は、前記生成手段で指示情報が生成された場合、前記指示情報を前記情報処理端末に送信し、
    　前記表示制御手段は、前記指示情報を前記表示部に表示することを特徴とする請求項１に記載の拡張現実提供システム。
  10. 　前記記憶部には、前記棚への陳列が許容される商品を識別する陳列ルール情報と前記商品を表す商品画像情報とが記憶され、
    　前記情報処理装置は、
    　前記要求に含まれる前記画像情報と前記記憶部に記憶されている商品画像情報とから前記陳列ルール情報より前記棚への陳列が許容されない商品があると識別した場合、前記棚で陳列が許可されていない商品が存在する旨の指摘情報を生成する生成手段を更に有し、
    　前記返答手段は、前記生成手段で指摘情報が生成された場合、前記指摘情報を前記情報処理端末に送信し、
    　前記表示制御手段は、前記指摘情報を前記表示部に表示することを特徴とする請求項１に記載の拡張現実提供システム。
  11. 　撮影部及び表示部を有する情報処理端末から送信される前記撮影部での撮影内容の画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定手段と、
    　商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記特定手段で特定された前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する選択手段と、
    　前記選択手段で選択された商品情報を含む返答を前記情報処理端末に送信する返答手段と、
    を有することを特徴とする情報処理装置。
  12. 　撮影部及び表示部を有する情報処理端末であって、
    　前記撮影部での撮影内容の画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定手段と、
    　前記特定手段で特定された前記棚の空き空間の大きさの情報を含む前記棚に陳列できる商品を示す商品情報を取得するための要求を、商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する情報処理装置に送信する要求手段と、
    　前記要求に応答して前記情報処理装置から送信された返答に含まれる商品情報を前記撮影部で撮影された画像情報に重畳して前記表示部に表示する表示制御手段と、
    を有することを特徴とする情報処理端末。
  13. 　撮影部及び表示部を有する情報処理端末と情報処理装置とが通信可能な拡張現実提供システムにおける拡張現実提供方法であって、
    　前記情報処理端末が、前記撮影部での撮影内容の画像情報を含む要求を前記情報処理装置に送信する要求工程と、
    　前記情報処理装置が、前記要求に含まれる前記画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定工程と、
    　前記情報処理装置が、商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記特定工程で特定された前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する選択工程と、
    　前記情報処理装置が、前記選択工程で選択された商品情報を含む返答を前記情報処理端末に送信する返答工程と、
    　前記情報処理端末が、前記要求に応答して前記情報処理装置から送信された返答に含まれる商品情報を前記撮影部で撮影された画像情報に重畳して前記表示部に表示する表示制御工程と、
    を有することを特徴とする拡張現実提供方法。
  14. 　撮影部及び表示部を有する情報処理端末から送信される前記撮影部での撮影内容の画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定工程と、
    　商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記特定工程で特定された前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する選択工程と、
    　前記選択工程で選択された商品情報を含む返答を前記情報処理端末に送信する返答工程と、
    を有することを特徴とする情報処理方法。
  15. 　撮影部及び表示部を有する情報処理端末が実行する情報処理方法であって、
    　前記撮影部での撮影内容の画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定工程と、
    　前記特定工程で特定された前記棚の空き空間の大きさの情報を含む前記棚に陳列できる商品を示す商品情報を取得するための要求を、商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する情報処理装置に送信する要求工程と、
    　前記要求に応答して前記情報処理装置から送信された返答に含まれる商品情報を前記撮影部で撮影された画像情報に重畳して前記表示部に表示する表示制御工程と、
    を有することを特徴とする情報処理方法。
  16. 　コンピュータを、
    　撮影部及び表示部を有する情報処理端末から送信される前記撮影部での撮影内容の画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定手段と、
    　商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記特定手段で特定された前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する選択手段と、
    　前記選択手段で選択された商品情報を含む返答を前記情報処理端末に送信する返答手段と、
    して機能させるプログラム。
  17. 　撮影部及び表示部を有するコンピュータを、
    　前記撮影部での撮影内容の画像情報から棚を特定して前記棚の空き空間の大きさを特定する特定手段と、
    　前記特定手段で特定された前記棚の空き空間の大きさの情報を含む前記棚に陳列できる商品を示す商品情報を取得するための要求を、商品を示す商品情報と前記商品の大きさを示すサイズ情報とが関連付けられて複数記憶された記憶部から、前記棚の空き空間の大きさよりも小さい商品の商品情報を選択する情報処理装置に送信する要求手段と、
    　前記要求に応答して前記情報処理装置から送信された返答に含まれる商品情報を前記撮影部で撮影された画像情報に重畳して前記表示部に表示する表示制御手段と、
    して機能させるプログラム。
PCT/JP2011/068657 2010-08-31 2011-08-18 拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム WO2012029548A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180003821.5A CN102523758B (zh) 2010-08-31 2011-08-18 增强现实提供***、信息处理终端、信息处理装置、增强现实提供方法、信息处理方法以及程序
SG2012048070A SG182287A1 (en) 2010-08-31 2011-08-18 Augmented reality provision system, information processing terminal, information processor, augmented reality provision method, information processing method, and program
US13/504,457 US8982155B2 (en) 2010-08-31 2011-08-18 Augmented reality providing system, information processing terminal, information processing apparatus, augmented reality providing method, information processing method, and program
EP11821565.6A EP2472475B1 (en) 2010-08-31 2011-08-18 Augmented reality providing system, information processing terminal, information processing apparatus, augmented reality providing method, information processing method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010-194263 2010-08-31
JP2010194263 2010-08-31
JP2011174373A JP4914528B1 (ja) 2010-08-31 2011-08-09 拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム
JP2011-174373 2011-08-09

Publications (1)

Publication Number Publication Date
WO2012029548A1 true WO2012029548A1 (ja) 2012-03-08

Family

ID=45772652

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/068657 WO2012029548A1 (ja) 2010-08-31 2011-08-18 拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム

Country Status (6)

Country Link
US (1) US8982155B2 (ja)
EP (1) EP2472475B1 (ja)
JP (1) JP4914528B1 (ja)
CN (1) CN102523758B (ja)
SG (1) SG182287A1 (ja)
WO (1) WO2012029548A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250647A (ja) * 2012-05-30 2013-12-12 Dongjoo Shin 商品陳列情報集計方法とデータ構造およびそれを記録した記録媒体
US20140192182A1 (en) * 2013-01-10 2014-07-10 General Electric Company Method for viewing virtual objects within an appliance
JP2014170431A (ja) * 2013-03-04 2014-09-18 Nec Corp 情報処理システム、情報処理装置およびその制御方法と制御プログラム
WO2015166527A1 (ja) * 2014-04-28 2015-11-05 パイオニア株式会社 表示制御装置、制御方法、プログラム及び記憶媒体
EP2836977A4 (en) * 2012-03-30 2015-12-02 Intel Corp DISPLAY OF PLANOGRAMS SENSITIVE TO THE PRESENTATION STRUCTURE
WO2019003858A1 (ja) 2017-06-27 2019-01-03 株式会社マーケットヴィジョン 商品特定システム
JP2020113042A (ja) * 2019-01-11 2020-07-27 東芝テック株式会社 支援システム、支援装置及び情報処理プログラム
US11250635B1 (en) 2020-12-08 2022-02-15 International Business Machines Corporation Automated provisioning of three-dimensional (3D) printable images
JP2023156945A (ja) * 2022-04-13 2023-10-25 株式会社マーケットヴィジョン 情報処理システム
JP7516635B2 (ja) 2019-04-10 2024-07-16 東芝テック株式会社 情報端末及び制御プログラム
WO2024150491A1 (ja) * 2023-01-10 2024-07-18 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理システム及び情報処理方法

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902710B (zh) * 2012-08-08 2015-08-26 成都理想境界科技有限公司 基于条形码的增强现实方法、***及移动终端
TW201426403A (zh) * 2012-12-27 2014-07-01 Hon Hai Prec Ind Co Ltd 顯示裝置、可攜式裝置及虛擬情境控制方法
US9336629B2 (en) 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
JP5790692B2 (ja) 2013-03-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
JP6255706B2 (ja) 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
US9158988B2 (en) 2013-06-12 2015-10-13 Symbol Technclogies, LLC Method for detecting a plurality of instances of an object
US10268983B2 (en) 2013-06-26 2019-04-23 Amazon Technologies, Inc. Detecting item interaction and movement
US10176456B2 (en) 2013-06-26 2019-01-08 Amazon Technologies, Inc. Transitioning items from a materials handling facility
JP5913236B2 (ja) * 2013-09-06 2016-04-27 東芝テック株式会社 棚割支援装置、サーバおよびプログラム
US10217284B2 (en) 2013-09-30 2019-02-26 Qualcomm Incorporated Augmented virtuality
JP2015108974A (ja) * 2013-12-04 2015-06-11 Ｂｏｏｋ Ｗｏｒｌｄ Ｃｏｎｓｕｌｔｉｎｇ株式会社 書籍管理システム、書籍管理方法、およびコンピュータプログラム
JP6244954B2 (ja) * 2014-02-06 2017-12-13 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
FR3021144B1 (fr) * 2014-03-26 2016-07-15 Bull Sas Procede de gestion des equipements d'un centre de donnees
US9886162B2 (en) * 2014-06-02 2018-02-06 Qualcomm Incorporated Device-provided tracking data for augmented reality
JP5881022B1 (ja) * 2014-09-11 2016-03-09 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
WO2016052383A1 (ja) * 2014-09-30 2016-04-07 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
JP6719945B2 (ja) * 2016-03-31 2020-07-08 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
KR102216498B1 (ko) 2016-05-19 2021-02-17 심베 로보틱스 인코포레이션 상점의 선반 상의 제품의 배치를 추적하기 위한 방법
US10592962B1 (en) * 2016-06-24 2020-03-17 Amazon Technologies, Inc. Systems and methods for parallelizing customer input with real-time picking for item substitutions
WO2018009594A1 (en) * 2016-07-08 2018-01-11 Wal-Mart Stores, Inc. Physical product display-based apparatus
US10339497B2 (en) 2016-07-21 2019-07-02 Ebay Inc. System and method for dynamic inventory management
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
CN106779735A (zh) * 2016-11-18 2017-05-31 章美前 一种中式古典家具资源整合***
CN106779541A (zh) * 2016-11-30 2017-05-31 长威信息科技发展股份有限公司 一种基于ar技术的仓库管理方法及***
CN107123013B (zh) * 2017-03-01 2020-09-01 阿里巴巴集团控股有限公司 基于增强现实的线下交互方法及装置
JP6996093B2 (ja) * 2017-03-13 2022-01-17 日本電気株式会社 管理装置、管理方法及びプログラム
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US10505057B2 (en) 2017-05-01 2019-12-10 Symbol Technologies, Llc Device and method for operating cameras and light sources wherein parasitic reflections from a paired light source are not reflected into the paired camera
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
WO2018204342A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Product status detection system
DE112018002314T5 (de) 2017-05-01 2020-01-23 Symbol Technologies, Llc Verfahren und vorrichtung zur erkennung eines objektstatus
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
WO2018201423A1 (en) 2017-05-05 2018-11-08 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
CN107274266A (zh) * 2017-06-09 2017-10-20 北京小米移动软件有限公司 商品推荐方法及装置
US20180365616A1 (en) * 2017-06-20 2018-12-20 Walmart Apollo, Llc Systems and methods for management of inventory audits
WO2019005951A1 (en) 2017-06-29 2019-01-03 Walmart Apollo, Llc SYSTEMS AND METHODS FOR REALIZING AND MONITORING ASSET INSPECTIONS
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US10489677B2 (en) 2017-09-07 2019-11-26 Symbol Technologies, Llc Method and apparatus for shelf edge detection
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
JP7019357B2 (ja) * 2017-09-19 2022-02-15 東芝テック株式会社 棚情報推定装置及び情報処理プログラム
WO2019065212A1 (ja) * 2017-09-29 2019-04-04 日本電気株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム
JP7081140B2 (ja) * 2017-12-25 2022-06-07 富士通株式会社 物体認識装置、物体認識方法及び物体認識プログラム
US10846561B1 (en) * 2020-04-01 2020-11-24 Scandit Ag Recognition and selection of discrete patterns within a scene or image
CN108364504B (zh) * 2018-01-23 2019-12-27 浙江中新电力工程建设有限公司自动化分公司 增强现实三维互动学习***及控制方法
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
JP7370556B2 (ja) * 2018-07-31 2023-10-30 株式会社彩いろり 酒類の情報管理システム及び管理方法
CN109190919A (zh) * 2018-08-10 2019-01-11 上海扩博智能技术有限公司 零售关键业绩指标生成方法、***、设备及存储介质
JP2020030478A (ja) * 2018-08-20 2020-02-27 富士ゼロックス株式会社 荷物配達システム、端末装置及びプログラム
CN109410176B (zh) * 2018-09-28 2022-03-04 中民筑友科技投资有限公司 一种监控货架装配状态的方法、装置和存储介质
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
CN109977886B (zh) * 2019-03-29 2021-03-09 京东方科技集团股份有限公司 货架空置率计算方法及装置、电子设备、存储介质
US10896584B2 (en) * 2019-04-30 2021-01-19 Walmart Apollo, Llc Systems and methods for projecting action indicators
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US20220301246A1 (en) * 2019-08-28 2022-09-22 Nec Corporation Store management system, store management method, computer program and recording medium
WO2021039314A1 (ja) * 2019-08-28 2021-03-04 日本電気株式会社 店舗管理システム、店舗管理方法、コンピュータプログラム及び記録媒体
JP7419004B2 (ja) * 2019-09-13 2024-01-22 東芝テック株式会社 情報処理装置
CN112535392B (zh) * 2019-09-20 2023-03-31 北京外号信息技术有限公司 基于光通信装置的物品陈列***和信息提供方法、设备及介质
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
CN113142913A (zh) * 2020-01-22 2021-07-23 松下知识产权经营株式会社 陈列柜和陈列柜管理***
JP7444652B2 (ja) 2020-03-17 2024-03-06 東芝テック株式会社 商品管理装置及び商品管理システム
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11922271B1 (en) 2020-05-15 2024-03-05 Scandit Ag Virtual screen standby mode for mobile device camera
US11374808B2 (en) 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
WO2022102008A1 (ja) * 2020-11-11 2022-05-19 日本電気株式会社 表示制御装置、表示制御方法、及びプログラム
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11495036B1 (en) 2021-01-29 2022-11-08 Scandit Ag Segmenting images for optical character recognition
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
JP7262549B1 (ja) 2021-10-27 2023-04-21 楽天グループ株式会社 情報処理システム、占有率算出方法、及びプログラム
US20230274225A1 (en) * 2022-01-31 2023-08-31 Walmart Apollo, Llc Methods and apparatus for generating planograms
US20230418430A1 (en) * 2022-06-24 2023-12-28 Lowe's Companies, Inc. Simulated environment for presenting virtual objects and virtual resets

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2962259B2 (ja) 1997-02-13 1999-10-12 日本電気株式会社 棚割情報作成装置
JP2002163436A (ja) 2000-11-27 2002-06-07 Matsushita Electric Works Ltd 棚割支援システム
JP2002366621A (ja) * 2001-06-05 2002-12-20 Komatsu Noriko 店舗経営指導情報提供方法およびそのサーバのプログラム
JP2004010201A (ja) * 2002-06-04 2004-01-15 Seibu Electric & Mach Co Ltd 自動倉庫システムにおける棚在庫情報管理方法
JP2005216005A (ja) * 2004-01-29 2005-08-11 Tsukuba Multimedia:Kk ウェブカメラ買物システム
JP2009277224A (ja) * 2008-05-14 2009-11-26 Internatl Business Mach Corp <Ibm> 現存製品の情報に動画使用の仮想表現を提供するシステム及び方法
JP2010541053A (ja) * 2007-09-25 2010-12-24 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング 現実環境内にバーチャルオブジェクトを描写する方法および装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7356495B2 (en) * 2002-06-04 2008-04-08 Sap Aktiengesellschaft Supply chain management using item detection system
JP4267469B2 (ja) * 2004-01-27 2009-05-27 富士通株式会社 駐車場管理プログラム、駐車場管理装置、及び駐車場管理方法
US20080077510A1 (en) * 2006-09-21 2008-03-27 Polymer Logistics Bv Method And System For Providing Security Surveillance And Shelf Monitoring Functions
US20080147475A1 (en) 2006-12-15 2008-06-19 Matthew Gruttadauria State of the shelf analysis with virtual reality tools
US8091782B2 (en) * 2007-11-08 2012-01-10 International Business Machines Corporation Using cameras to monitor actual inventory
GB2458388A (en) * 2008-03-21 2009-09-23 Dressbot Inc A collaborative online shopping environment, virtual mall, store, etc. in which payments may be shared, products recommended and users modelled.
DE102008018436B4 (de) * 2008-04-11 2022-01-13 Hänel & Co. Lagerregal mit automatischer Lagerortbuchung
KR101465668B1 (ko) * 2008-06-24 2014-11-26 삼성전자주식회사 단말 및 그의 블로깅 방법
US8606657B2 (en) * 2009-01-21 2013-12-10 Edgenet, Inc. Augmented reality method and system for designing environments and buying/selling goods

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2962259B2 (ja) 1997-02-13 1999-10-12 日本電気株式会社 棚割情報作成装置
JP2002163436A (ja) 2000-11-27 2002-06-07 Matsushita Electric Works Ltd 棚割支援システム
JP2002366621A (ja) * 2001-06-05 2002-12-20 Komatsu Noriko 店舗経営指導情報提供方法およびそのサーバのプログラム
JP2004010201A (ja) * 2002-06-04 2004-01-15 Seibu Electric & Mach Co Ltd 自動倉庫システムにおける棚在庫情報管理方法
JP2005216005A (ja) * 2004-01-29 2005-08-11 Tsukuba Multimedia:Kk ウェブカメラ買物システム
JP2010541053A (ja) * 2007-09-25 2010-12-24 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング 現実環境内にバーチャルオブジェクトを描写する方法および装置
JP2009277224A (ja) * 2008-05-14 2009-11-26 Internatl Business Mach Corp <Ibm> 現存製品の情報に動画使用の仮想表現を提供するシステム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2472475A4

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2836977A4 (en) * 2012-03-30 2015-12-02 Intel Corp DISPLAY OF PLANOGRAMS SENSITIVE TO THE PRESENTATION STRUCTURE
JP2013250647A (ja) * 2012-05-30 2013-12-12 Dongjoo Shin 商品陳列情報集計方法とデータ構造およびそれを記録した記録媒体
US20140192182A1 (en) * 2013-01-10 2014-07-10 General Electric Company Method for viewing virtual objects within an appliance
JP2014170431A (ja) * 2013-03-04 2014-09-18 Nec Corp 情報処理システム、情報処理装置およびその制御方法と制御プログラム
WO2015166527A1 (ja) * 2014-04-28 2015-11-05 パイオニア株式会社 表示制御装置、制御方法、プログラム及び記憶媒体
JPWO2015166527A1 (ja) * 2014-04-28 2017-04-20 パイオニア株式会社 表示制御装置、制御方法、プログラム及び記憶媒体
WO2019003858A1 (ja) 2017-06-27 2019-01-03 株式会社マーケットヴィジョン 商品特定システム
US11640709B2 (en) 2017-06-27 2023-05-02 Marketvision Co., Ltd. Merchandise specification systems and programs
JP2020113042A (ja) * 2019-01-11 2020-07-27 東芝テック株式会社 支援システム、支援装置及び情報処理プログラム
JP7274292B2 (ja) 2019-01-11 2023-05-16 東芝テック株式会社 支援システム、支援装置及び情報処理プログラム
JP7516635B2 (ja) 2019-04-10 2024-07-16 東芝テック株式会社 情報端末及び制御プログラム
US11250635B1 (en) 2020-12-08 2022-02-15 International Business Machines Corporation Automated provisioning of three-dimensional (3D) printable images
JP2023156945A (ja) * 2022-04-13 2023-10-25 株式会社マーケットヴィジョン 情報処理システム
JP7386446B2 (ja) 2022-04-13 2023-11-27 株式会社マーケットヴィジョン 情報処理システム
WO2024150491A1 (ja) * 2023-01-10 2024-07-18 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理システム及び情報処理方法

Also Published As

Publication number Publication date
EP2472475A4 (en) 2014-11-05
CN102523758A (zh) 2012-06-27
JP4914528B1 (ja) 2012-04-11
SG182287A1 (en) 2012-08-30
US20130147839A1 (en) 2013-06-13
US8982155B2 (en) 2015-03-17
CN102523758B (zh) 2015-06-17
JP2012074014A (ja) 2012-04-12
EP2472475A1 (en) 2012-07-04
EP2472475B1 (en) 2016-10-05

Similar Documents

Publication Publication Date Title
JP4914528B1 (ja) 拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム
EP3570149B1 (en) Augmented reality system and method for displaying an item image in a contextual environment
US20200160420A1 (en) System and Method for Ordering a Print Product Using a Mobile Computing Device
JP5280590B2 (ja) 情報処理システム、情報処理方法及びプログラム
US8783572B2 (en) Computer operation control and item selection and vending methods and systems
KR101620938B1 (ko) 의류 제품 판매 지원 장치와 이와 통신 가능한 의류 제품 정보 관리 서버, 의류 연관 제품 추천 서버 및 의류 제품 정보 제공 방법
CN102708433A (zh) 用于存储和访问项目的虚拟表示的虚拟储藏室
JP2010277580A (ja) サーバ装置、コンテンツ配信システム、及びゲートウェイサーバ装置
CN110880139B (zh) 一种商品展示方法、装置、终端、服务器及存储介质
US20170038924A1 (en) Graphical user interface indicating virtual storage of consumable items
JP6120637B2 (ja) 通信販売処理装置、通信販売処理方法および通信販売処理プログラム
JP2010014927A (ja) 表示装置、表示管理システム、表示装置の制御方法およびそのプログラム
WO2014027433A1 (ja) 情報提供装置、情報提供方法、及び、プログラム
JP7003171B2 (ja) 情報処理方法
JP6716359B2 (ja) 投影システム、投影方法、および投影プログラム
JP2021111215A (ja) プログラム及び注文システム
JP2003187126A (ja) デジタルカメラ、商品注文書作成プログラム、及び商品注文方法
JP2005309786A (ja) 情報処理システム及び情報処理方法
JP7477439B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
JP2006079143A (ja) 試着状態撮影システム
JP2011159171A (ja) 商品情報提供装置、注文受付装置、注文受付方法、商品情報提供プログラム及び注文受付プログラム
JP2015028683A (ja) 商品販売装置およびそのプログラム
JP6090358B2 (ja) 情報提供装置及びプログラム
JP2007323588A (ja) 注文受付装置
JP2022031542A (ja) 情報処理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180003821.5

Country of ref document: CN

REEP Request for entry into the european phase

Ref document number: 2011821565

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011821565

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11821565

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13504457

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 3809/CHENP/2012

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE