JP2022014485A - Remote shopping system and remote shopping method - Google Patents
Remote shopping system and remote shopping method Download PDFInfo
- Publication number
- JP2022014485A JP2022014485A JP2020116789A JP2020116789A JP2022014485A JP 2022014485 A JP2022014485 A JP 2022014485A JP 2020116789 A JP2020116789 A JP 2020116789A JP 2020116789 A JP2020116789 A JP 2020116789A JP 2022014485 A JP2022014485 A JP 2022014485A
- Authority
- JP
- Japan
- Prior art keywords
- product
- image
- store
- user
- display shelf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 33
- 230000010365 information processing Effects 0.000 claims description 15
- 238000013473 artificial intelligence Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 6
- 238000002360 preparation method Methods 0.000 abstract description 3
- 238000012986 modification Methods 0.000 abstract description 2
- 230000004048 modification Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 66
- 230000006870 function Effects 0.000 description 23
- 238000007726 management method Methods 0.000 description 10
- 238000009434 installation Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 3
- 235000013305 food Nutrition 0.000 description 3
- 238000010079 rubber tapping Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000820 nonprescription drug Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013611 frozen food Nutrition 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、EC(Electronic Commerce:電子商取引)の技術に関し、特に、小売店等で実際に陳列・販売されている商品を対象としたリモートショッピングシステムおよびリモートショッピング方法に適用して有効な技術に関するものである。 The present invention relates to EC (Electronic Commerce) technology, and more particularly to a remote shopping system and a remote shopping method for products actually displayed and sold at retail stores and the like. It is a thing.
いわゆるネット通販サービスが広く普及している中、高齢者や過疎地の居住者、子育て中の家族、独り暮らしの若者等を中心に、自宅に食事や日用品を届けてくれる宅配サービスに対する需要はますます高まっていくと考えられる。この点、ネット通販サービスは、一般的に、多種・多量の在庫を集中的に備えた配送センター等から計画的に配送を行うものである。したがって、例えば、昼食のおにぎりや惣菜等、少量の食料品を今注文して即時に宅配して欲しい、というような消費者からの急な宅配ニーズに対応することは物理的に困難な場合が多いと考えられる。また、このような商品については、日常的に利用している実際の小売店にいるのと同様の感覚で商品選択などしたいというニーズもあるが、ネット通販サービスではそのような臨場感を出すことは困難である。 With so-called online shopping services becoming widespread, there is an increasing demand for home delivery services that deliver meals and daily necessities to homes, especially among the elderly, residents of depopulated areas, families raising children, and young people living alone. It is thought that it will increase. In this respect, the online mail-order service generally delivers systematically from a distribution center or the like that has a large variety of inventories intensively. Therefore, it may be physically difficult to meet the sudden delivery needs of consumers, such as ordering a small amount of groceries such as rice balls and prepared foods for lunch and delivering them immediately. It is thought that there are many. In addition, there is a need to select such products as if they were in an actual retail store that is used on a daily basis, but the online shopping service should give such a sense of presence. It is difficult.
これに対し、例えば、小売店舗等が実際に陳列・販売している商品の状況を利用者がネットワーク経由で参照できるようにするとともに、利用者からの注文を受けて即時に宅配する、というように、ECにより陳列商品を直接販売するリアルタイムECの仕組みも検討されている。 On the other hand, for example, it is possible for users to refer to the status of products actually displayed and sold by retail stores via the network, and to receive orders from users and deliver them immediately. In addition, a real-time EC mechanism for selling displayed products directly by EC is also being considered.
これに関連する技術として、例えば、特開2005-216005号公報(特許文献1)には、ウェブカメラを店舗に設けて店舗内に陳列した商品を撮影し、商品のライブ映像を見ながら通信回線に接続された利用者端末から商品の発注が可能な買物システムが記載されている。ここでは、ウェブカメラにより撮影された陳列棚の映像を、商品情報とウェブカメラの表示座標情報とが対応付けられた商品データベースに照合することにより、利用者がウェブカメラの映像から選択した商品を特定できるようにしている。 As a technique related to this, for example, in Japanese Patent Application Laid-Open No. 2005-216005 (Patent Document 1), a webcam is provided in a store to photograph a product displayed in the store, and a communication line is observed while watching a live image of the product. A shopping system that allows merchandise to be ordered from a user terminal connected to is described. Here, the product selected by the user from the video of the webcam is selected by collating the image of the display shelf taken by the webcam with the product database in which the product information and the display coordinate information of the webcam are associated with each other. I am trying to identify it.
また、ECとは直接関連しないが、陳列棚をカメラで撮影することで陳列棚の状況を把握することに関して、例えば、特開2012-174154号公報(特許文献2)には、リアルタイムカメラから得られた商品の陳列棚の画像を監視して、陳列棚に設けられた商品無マーカを検知した場合に、これに関連付けられた商品を割り出し、陳列棚の画像の対応する位置に在庫確認中である旨のメッセージを重ねる在庫状況管理装置が記載されている。 Further, although not directly related to EC, regarding grasping the state of the display shelf by photographing the display shelf with a camera, for example, Japanese Patent Application Laid-Open No. 2012-174154 (Patent Document 2) obtains from a real-time camera. When the image of the displayed product display shelf is monitored and a product-free marker provided on the display shelf is detected, the product associated with this is indexed and inventory is being checked at the corresponding position in the display shelf image. An inventory status management device that repeats a message to that effect is described.
また、特開2015-108971号公報(特許文献3)には、複数の書籍が陳列されている本棚をカメラにより撮影した第1画像と、その後に撮影した第2画像とを比較して、第1画像内に存在し、かつ第2画像内には存在しない未陳列書籍を抽出し、未陳列書籍が識別可能な態様で第1画像を表示することで、書店における書籍の発注業務を支援する書籍管理システムが記載されている。 Further, in Japanese Patent Application Laid-Open No. 2015-108971 (Patent Document 3), a first image of a bookshelf in which a plurality of books are displayed taken by a camera is compared with a second image taken thereafter. By extracting undisplayed books that exist in one image and not in the second image and displaying the first image in a manner in which the undisplayed books can be identified, the book ordering business in the bookstore is supported. The book management system is described.
利用者がスマートフォン等の携帯端末やPC(Personal Computer)等を利用して商品を注文できるようにするためには、店舗側は、販売する商品の商品情報や画像等をWebサイト上に掲載する必要がある。この点、コンビニエンスストアやスーパーマーケット等の食料品や日用品を取り扱う小売店では、数千種類もの商品が対象となる場合があり、また、商品の改廃も激しいことから、商品情報の登録や更新のメンテナンス負荷は非常に高くなる。また、通常のECであれば、基本的に1つの事業者につき1つのWebサイトを作成すれば足りるが、例えばコンビニエンスストアのチェーンやフランチャイジーの各店舗が独自に店舗に陳列されている商品を販売する形態をとる場合、理論的には各店舗分のWebサイトを用意する必要が生じ、全体でのメンテナンス負荷も非常に高くなる。 In order to enable users to order products using mobile terminals such as smartphones and PCs (Personal Computers), the store side posts product information and images of the products to be sold on its website. There is a need. In this regard, retail stores that handle groceries and daily necessities such as convenience stores and supermarkets may target thousands of types of products, and since the revisions and abolition of products are severe, registration and update maintenance of product information The load will be very high. In addition, in the case of ordinary EC, it is basically sufficient to create one website for each business operator, but for example, convenience store chains and franchisee stores sell products that are independently displayed in the stores. In the case of taking the form of this, theoretically, it is necessary to prepare a website for each store, and the maintenance load as a whole becomes very high.
また、Webサイトへの商品の掲載に際しては、店内や店先(以下ではこれらを「店頭」と総称する場合がある)の陳列棚や店舗倉庫等に在庫があり、商品の購入が可能か否かを利用者に示す必要がある。在庫の有無については、通常は理論在庫(=当初在庫+納品数-販売数)が用いられるが、何らかの特殊要因(万引きや納品・検品ミス等)によって理論在庫と実在庫が合致しないという事態(在庫ズレ)が頻繁に生じ得る。したがって、理論在庫に基づいて受注を確定したとしても、実際には配送する商品がないという事態も生じ得る。このため、例えば、理論在庫が所定の個数より少ない場合には販売しない(在庫切れとみなす)等の非効率な安全策がとられる場合もある。 In addition, when posting products on the website, whether or not the products can be purchased because they are in stock in the display shelves, store warehouses, etc. in the store or in the storefront (hereinafter, these may be collectively referred to as "storefront"). Must be shown to the user. Regarding the presence or absence of inventory, the theoretical inventory (= initial inventory + number of deliveries-number of sales) is usually used, but due to some special factors (shoplifting, delivery, inspection mistakes, etc.), the theoretical inventory and the actual inventory do not match ( Inventory shift) can occur frequently. Therefore, even if the order is confirmed based on the theoretical inventory, there may be a situation where there is no actual product to be delivered. Therefore, for example, if the theoretical inventory is less than a predetermined number, inefficient safety measures such as not selling (considered to be out of stock) may be taken.
また、利用者からの注文を受けた場合、店員が注文内容の商品リストを見ながら、陳列棚や店舗倉庫から商品をピッキングする。その際、商品名や店内の配置に精通しているベテランの店員であれば問題はないが、一般の店員の場合は商品リストの文字情報のみから対象の商品を素早く見つけ出すことができずに店内捜索するという非効率な事態も生じ、時間の浪費となってコスト増につながる要因ともなり得る。 In addition, when an order is received from a user, the clerk picks the product from the display shelf or the store warehouse while looking at the product list of the ordered contents. At that time, if you are a veteran clerk who is familiar with the product name and the layout in the store, there is no problem, but in the case of a general clerk, you can not quickly find the target product only from the text information of the product list and inside the store The inefficiency of searching can also occur, wasting time and increasing costs.
このように、店頭商品の宅配サービスを実現するに際しては、多くの手間とコストを要する工程を経ることが必要であり、コストを抑えて効率的にサービスを実現することは容易ではない。 As described above, in order to realize a home delivery service for over-the-counter products, it is necessary to go through a process that requires a lot of labor and cost, and it is not easy to suppress the cost and realize the service efficiently.
これに対し、例えば、上記の特許文献1に記載された技術を用いることで、店頭商品を対象とした宅配サービスを実現することは可能である。しかしながら、特許文献1に記載された技術では、各商品情報とウェブカメラの表示座標情報とを対応付けて商品データベースに予め記憶しておく必要がある。したがって、商品の種類が多数になると、商品データベースのメンテナンス負荷は非常に高くなってしまう。また、この各商品情報とウェブカメラの表示座標情報との対応付けを、例えば、1万店舗を超えるコンビニエンスストアのチェーンの全店舗について行うことは非現実的である。
On the other hand, for example, by using the technique described in
また、特許文献2、3に記載されている技術についても、商品毎の陳列棚における位置や座標等をデータベースによって管理する必要がある点では特許文献1に記載された技術と同様である。特に、特許文献3に記載された技術は、商品(書籍)が陳列棚の同じ場所に継続的に配置される場合は適用可能であるが、商品の改廃が激しい小売店舗では、商品の陳列位置や種類が頻繁に変わり得るため、適用できない場面も多くなる。
Further, the techniques described in
そこで本発明の目的は、リアルタイムECを実現するための特別な商品マスタの用意や改変、メンテナンス等を必要とせず、すなわち、これらの点に係るシステム投資を必要とせずに、在庫ズレの影響や、無用な店内捜索を排除することを可能とするリモートショッピングシステムおよびリモートショッピング方法を提供することにある。 Therefore, an object of the present invention is that the preparation, modification, maintenance, etc. of a special product master for realizing real-time EC are not required, that is, the system investment related to these points is not required, and the influence of inventory deviation is not required. , To provide a remote shopping system and a remote shopping method that makes it possible to eliminate unnecessary in-store searches.
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。 The above and other objects and novel features of the invention will become apparent from the description and accompanying drawings herein.
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。 A brief description of the representative inventions disclosed in the present application is as follows.
本発明の代表的な実施の形態によるリモートショッピングシステムは、店舗に陳列されている商品を電子的手段で取引するリモートショッピングシステムであって、ネットワーク経由での、利用者からの利用者端末を介した要求に基づいて、前記店舗に設置されたカメラにより撮影された商品の陳列棚の画像を前記利用者端末に提示し、前記利用者端末を介した前記利用者からの前記陳列棚の画像中の所望の商品に対する指定を受け付けて、前記店舗の端末に、前記指定に係る商品を識別する識別マークを含む商品選択画像を表示し、前記識別マークを含む商品選択画像を参照した前記店舗の店員の操作に基づいて注文情報を生成するものである。 The remote shopping system according to a typical embodiment of the present invention is a remote shopping system for electronically trading products displayed in a store, via a network and via a user terminal from a user. Based on the request, the image of the display shelf of the product taken by the camera installed in the store is presented to the user terminal, and the image of the display shelf from the user via the user terminal is included. The store clerk who received the designation for the desired product, displayed the product selection image including the identification mark for identifying the product according to the designation on the terminal of the store, and referred to the product selection image including the identification mark. Order information is generated based on the operation of.
また、本発明は、上記のような情報処理システムによって実行される方法にも適用することができる。 The present invention can also be applied to a method executed by an information processing system as described above.
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。 Among the inventions disclosed in the present application, the effects obtained by representative ones are briefly described as follows.
すなわち、本発明の代表的な実施の形態によれば、リアルタイムECを実現するための特別な商品マスタの用意や改変、メンテナンス等を必要とせず、すなわち、これらの点に係るシステム投資を必要とせずに、在庫ズレの影響や、無用な店内捜索を排除することを可能とするリモートショッピングシステムおよびリモートショッピング方法を実現することができる。 That is, according to a typical embodiment of the present invention, it is not necessary to prepare, modify, or maintain a special product master for realizing real-time EC, that is, system investment related to these points is required. It is possible to realize a remote shopping system and a remote shopping method that can eliminate the influence of inventory deviation and unnecessary in-store search.
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In addition, in all the drawings for explaining the embodiment, the same parts are in principle the same reference numerals, and the repeated description thereof will be omitted. On the other hand, the parts described with reference numerals in one figure may be referred to with the same reference numerals in the description of other figures, although they are not shown again.
本発明の一実施の形態であるリモートショッピングシステムは、利用者からの注文を、ネットワークを介して受け付けて、小売店舗において実際に陳列棚に陳列され販売されている商品を配送する宅配サービスを実現する情報処理システムである。利用者は、小売店舗の陳列棚に設置されたWebカメラにより準リアルタイムで撮影された陳列棚の画像を通して、視覚的・直感的に商品を選択して購入することができる。 The remote shopping system according to an embodiment of the present invention realizes a home delivery service that accepts orders from users via a network and delivers products that are actually displayed and sold on display shelves at retail stores. It is an information processing system. Users can visually and intuitively select and purchase products through images of the display shelves taken in near real time by a Web camera installed on the display shelves of retail stores.
また、Webカメラにより撮影された商品の画像がそのまま店員による商品特定に用いられるため、商品マスタなどにおいて商品毎に商品画像を関連付ける作業が不要となる。また、陳列棚の画像が、陳列されている各商品の在庫状況をほぼ直接的に表しているため、在庫ズレの影響も排除することができる。また、店員が商品をピッキングする際に、利用者が注文したときの陳列棚の画像をそのまま用いるため、商品の内容や位置を容易に把握することができ、無用な店内捜索を排除することができる。 Further, since the image of the product taken by the Web camera is used as it is for the product identification by the clerk, the work of associating the product image for each product in the product master or the like becomes unnecessary. In addition, since the image of the display shelf almost directly shows the inventory status of each product on display, the influence of inventory deviation can be eliminated. In addition, when the store clerk picks the product, the image of the display shelf when the user places an order is used as it is, so the content and position of the product can be easily grasped, and unnecessary in-store searches can be eliminated. can.
<システム構成>
図1は、本発明の一実施の形態であるリモートショッピングシステムの構成例について概要を示した図である。本実施の形態のリモートショッピングシステム1は、コンビニエンスストアのフランチャイジー等である各小売店舗2に設置された情報処理システムである店舗システム21と、コンビニエンスストアの本部等が中央で運用するセンターシステム3が、インターネット等のネットワーク5を介して接続される構成を有する。VPN(Virtual Private Network)等のセキュアなネットワークを用いてもよい。
<System configuration>
FIG. 1 is a diagram showing an outline of a configuration example of a remote shopping system according to an embodiment of the present invention. The
店舗システム21は、小売店舗2に設置された1つ以上の棚カメラ24を制御して陳列棚23の画像データを取得する機能を有する情報処理システムである。また、店員が携行するタブレット型端末である店員端末22と連携して、商品のピッキングと配送を支援する機能も有する。
The
店舗システム21は、例えば、PC等の情報処理端末を用いて構成されていてもよいし、サーバ機器やクラウドコンピューティングサービス上に構築された仮想サーバ等により構成されていてもよい。そして、図示しないCPU(Central Processing Unit)により、HDD(Hard Disk Drive)等の記録装置からメモリ上に展開したOS(Operating System)やDBMS(DataBase Management System)、Webサーバプログラム等のミドルウェアや、その上で稼働するソフトウェアを実行することで、小売店舗2における上記の各種機能を実現する。
The
店舗システム21は、例えば、ソフトウェアとして実装されたセンター連携部211、棚カメラ制御部212、注文処理部213、レジ処理部214等の各部を有する。センター連携部211は、ネットワーク5を介してセンターシステム3と通信により連携し、データの授受を行う機能を有する。例えば、後述する棚カメラ制御部212によって取得した棚カメラ24により撮影された画像データをセンターシステム3に送信する。また、センターシステム3から送信された注文指示データを後述する注文処理部213に受け渡す。
The
棚カメラ制御部212は、小売店舗2の各陳列棚23に1つ以上設置された棚カメラ24を制御して、陳列棚23における商品の陳列状況を撮影し、取得した画像データをセンター連携部211を介してセンターシステム3に送信する機能を有する。本実施の形態では、棚カメラ24をWebカメラにより構成するものとしているが、画像を撮影する機能を有する機器・装置であれば特に限定されない。棚カメラ24により取得する画像は、動画でもよいし定期的に取得した静止画であってもよい。すなわち、必ずしもリアルタイムのライブ映像である必要はなく、陳列されている商品の状況が大きく変わらない程度にタイムラグが抑えられた準リアルタイム画像であればよい。
The shelf
図1の例では、棚カメラ24を、各陳列棚23の両側の側板前方に、それぞれ視線を商品側に向けて設置しているが、これに限られず、各陳列棚23において各商品の状況を漏れなく撮影できるのであれば、設置位置や設置個数は問わない。例えば、陳列棚23の天板に設置して上方から撮影するようにしてもよいし、天井や陳列棚23の対面側に設置してもよい。また、例えば冷凍食品や飲料等、陳列棚23が扉を備える場合には、扉の内側に棚カメラ24を設置するようにしてもよいし、扉の外側から内部が把握できる場合には扉の外側に棚カメラ24を設置するようにしてもよい。陳列棚23に組み込まれて一体化して構成されていてもよい。本実施の形態では、これら各種の設置方法も全て「陳列棚23に設置」に含まれるものとする。 In the example of FIG. 1, the shelf camera 24 is installed in front of the side plates on both sides of each display shelf 23 with the line of sight facing the product side, but the present invention is not limited to this, and the situation of each product on each display shelf 23 is not limited to this. As long as you can shoot without omission, the installation position and the number of installations do not matter. For example, it may be installed on the top plate of the display shelf 23 and photographed from above, or may be installed on the ceiling or on the opposite side of the display shelf 23. Further, for example, when the display shelf 23 is provided with a door for frozen foods, beverages, etc., the shelf camera 24 may be installed inside the door, or when the inside can be grasped from the outside of the door, the inside of the door may be installed. The shelf camera 24 may be installed on the outside. It may be incorporated in the display shelf 23 and integrally configured. In the present embodiment, all of these various installation methods are also included in "installation on the display shelf 23".
いずれの設置方法をとっても、例えば、実際に陳列棚23の前に立って実際に商品を手に取ろうとしている顧客の手や腕等が画像に写り込む場合が生じ得る。棚カメラ24に対する人や物の接触等により棚カメラ24の視線がずれることによっても写り込みは生じ得る。設置位置によっては、顧客の顔や体、服装等、個人を特定し得る部位が写り込む可能性もある。これに対し、例えば、棚カメラ制御部212もしくは後述するセンターシステム3の画像処理部32において、画像処理により画像データから顧客の部分を消去したりモザイク等のマスクを施すようにしてもよい。画像処理については、例えば、一時的な写り込み等のノイズを除去するコンポジット法等の公知の画像処理技術を適用することができる。
Regardless of which installation method is used, for example, the hand or arm of a customer who is actually standing in front of the display shelf 23 and actually picking up the product may be reflected in the image. Reflection can also occur when the line of sight of the shelf camera 24 shifts due to contact with a person or an object with the shelf camera 24. Depending on the installation position, there is a possibility that parts that can identify an individual, such as the customer's face, body, and clothes, will be reflected. On the other hand, for example, in the shelf
後述するように、本実施の形態では、棚カメラ24により撮影された画像は、複数の利用者が注文において商品を選択する際に用いられる。すなわち、棚カメラ24は、複数の利用者間で用いられる共有カメラであるともいえる。したがって、例えば、陳列棚23を撮影した画像を移動させたり拡大/縮小させたりする場合、棚カメラ24の「首振り」や光学ズーム等の機械的制御を必要とする機能は、棚カメラ24の専有につながり、他の利用者との共有・競合に対する制御が難しくなるため利用しないものとする。画像の移動や拡大/縮小等の処理は、ソフトウェアによる画像処理として行うものとする。 As will be described later, in the present embodiment, the image taken by the shelf camera 24 is used when a plurality of users select a product in an order. That is, it can be said that the shelf camera 24 is a shared camera used among a plurality of users. Therefore, for example, when moving or enlarging / reducing the captured image of the display shelf 23, the function requiring mechanical control such as "swing" and optical zoom of the shelf camera 24 is a function of the shelf camera 24. It will not be used because it will lead to exclusive use and it will be difficult to control sharing and competition with other users. Processing such as image movement and enlargement / reduction shall be performed as image processing by software.
なお、小売店舗2に複数の陳列棚23が設置されている場合、後述するように、利用者からの指示に基づいて、参照する棚カメラ24の画像を切り替えることで、参照する陳列棚23を切り替える。これにより、利用者が小売店舗2内を回遊して陳列棚23間を仮想的に移動するようなインタフェースを実現することができる。また、このようなインタフェースを実現するために、例えば、各陳列棚23を撮影する棚カメラ24に加えて、小売店舗2内の通路や全景を撮影する1つ以上のカメラが設置され、これらも併せて制御するようにしてもよい。なお、本実施の形態では、陳列棚23の設置場所は特に限定されず、小売店舗2の店内に設置されているものはもちろん、店先などに設置されているものを含んでいてもよい。
When a plurality of display shelves 23 are installed in the
注文処理部213は、センター連携部211によってセンターシステム3から受信した利用者からの注文指示データを取得し、店員端末22に出力して、店員に対して、対象商品の陳列棚23からのピッキングを指示する機能を有する。また、店員が陳列棚23からピッキングしてきた商品について、後述するレジ処理部214を介して具体的に特定された商品の情報を、センター連携部211を介してセンターシステム3に送信することで注文内容を確定させる機能を有する。確定した注文内容に基づいて、店員端末22を介して店員に対して家庭4への配送を指示する機能を有していてもよい。
The
本実施の形態では、ピッキングの指示に際して、利用者が商品を選択した際の棚カメラ24による陳列棚23の画像と、当該画像中において利用者が選択した商品を識別する識別マーク等の情報を店員端末22に出力する。これにより、店員は、ピッキングすべき商品の内容や陳列位置を視覚的に容易に把握することができる。これに加えて、後述するように、可能な場合には、上記の画像データに対する画像処理によって利用者が選択した商品を判別し、当該商品の商品名等のテキスト情報を取得して併せて表示するようにしてもよい。 In the present embodiment, when a picking instruction is given, an image of the display shelf 23 by the shelf camera 24 when the user selects a product and information such as an identification mark for identifying the product selected by the user in the image are displayed. Output to the clerk terminal 22. As a result, the clerk can easily visually grasp the contents of the products to be picked and the display position. In addition to this, as will be described later, if possible, the product selected by the user is determined by image processing on the above image data, and text information such as the product name of the product is acquired and displayed together. You may try to do it.
レジ処理部214は、小売店舗2において顧客により購入される商品のバーコード等による特定と商品情報の入力、売上計上、入金処理などを行う機能を有し、例えば、小売店舗2が一般的に備えるようないわゆるPOS(Point of Sales)レジやPOSシステムによって実装することができる。小売店舗2に実際に来店した顧客により現実に購入される商品に対する処理だけでなく、本実施の形態では、上述したように店員端末22を介して指示された内容に基づいて店員がピッキングした商品についても同様に、商品に実際に付されているバーコードやRFID(Radio Frequency Identification)タグ等の商品識別情報を、店員が既存のPOSレジ等により読み取ることで商品を特定する。すなわち、本実施の形態の実装において、この点に係る新たなシステム投資は必要ではない。特定した商品の情報は、利用者の注文に係る商品の情報として、上述した注文処理部213に受け渡す。
The cash
なお、店員端末22は、例えば、小売店舗2内に構築された無線LAN(Local Area Network)等を介して注文処理部213からの注文指示や配送指示に係る情報を受信して表示する機能を有する。本実施の形態では、店員に対するピッキングや配送等の指示に係る情報を店員端末22に表示するものとしているが、これに限られるものではなく、小売店舗2に設置された図示しないディスプレイ等(例えば、店内の壁面に設置されたディスプレイや、POSレジのディスプレイ等)に表示するよう構成してもよい。
The clerk terminal 22 has a function of receiving and displaying information related to an order instruction and a delivery instruction from the
センターシステム3は、フランチャイジー等である各小売店舗2の店舗システム21と連携して、各小売店舗2における棚カメラ24により陳列棚23を撮影した画像を取得・管理する機能を有する情報処理システムである。また、当該画像を利用した利用者からの注文に係る情報を利用者端末41からネットワーク5経由で取得して、対象の小売店舗2の店舗システム21に指示するとともに、注文情報を管理する機能も有する。図示しないAI(Artificial Intelligence)エンジンを用いて、棚カメラ24により撮影された画像の認識や、利用者の購買履歴情報に基づく行動特性の分析、商品の売れ行き予測などの各種分析を行う機能を有していてもよい。
The
センターシステム3は、例えば、サーバ機器やクラウドコンピューティングサービス上に構築された仮想サーバ等により構成され、図示しないCPUにより、HDD等の記録装置からメモリ上に展開したOSやDBMS、Webサーバプログラム等のミドルウェアや、その上で稼働するソフトウェアを実行することで、上記の各種機能を実現する。例えば、ソフトウェアとして実装された店舗連携部31、画像処理部32、注文管理部33、分析処理部34等の各部を有する。また、データベース等により実装された商品マスタデータベース(DB)35を有する。
The
店舗連携部31は、ネットワーク5を介して各小売店舗2の店舗システム21と通信により連携し、データの授受を行う機能を有する。例えば、店舗システム21の棚カメラ制御部212によって取得された、棚カメラ24により撮影された画像データを取得する。画像データの取得は、利用者端末41からのリクエストがあった場合にオンデマンド的に対象の小売店舗2の棚カメラ制御部212から取得してもよいし、各小売店舗2の棚カメラ制御部212から定期的に最新の画像データを取得して記録しておくようにしてもよい。
The
また、店舗連携部31は、利用者端末41を介して利用者から受け付けた注文の指示内容に係るデータを、対象の小売店舗2の注文処理部213に送信する機能を有する。このとき、上述したように、利用者が商品を選択する際に用いた画像データと、選択した商品を識別する識別マーク等の情報を併せて送信するようにしてもよい。
Further, the
画像処理部32は、各小売店舗2の店舗システム21から取得した棚カメラ24により撮影された画像データについて、例えば、後述する分析処理部34と連携したAI処理等により、所定の画像処理や分析を行う機能を有する。例えば、棚カメラ24により撮影された陳列棚23の画像データのうち、識別マークが付されている部分について、商品マスタDB35に予め商品画像が登録されている場合には、これとマッチングすることで、対象の商品を特定するようにしてもよい。画像データから直接商品の形状や色、デザイン等をAIによる画像認識により抽出、分析して、商品やその数を特定するようにしてもよい。陳列棚23の画像データから商品を特定することができる場合は、特定した商品の属性情報として、商品名や販売単価等の情報を商品マスタDB35から取得して、利用者端末41を介して利用者に提示することも可能である。
The
なお、コンビニエンスストアのチェーン等の場合は、展開している各商品の画像データを既に中央の本部等が商品マスタDB35のデータの一部等として備えている場合があり、その場合は商品マスタDB35の画像データを用いることは容易である。一方で、本実施の形態のリモートショッピングシステム1は、既存の商品マスタDB35への影響を排除することを目的としており、上記のように商品マスタDB35の登録情報を利用して商品を特定することを必要とせずに、すなわち既存の商品マスタDB35に対する初期投資を必要とせずにリアルタイムECによる宅配サービスを実現することができる。当然ながら、商品マスタDB35等に各商品の陳列棚23における陳列位置の座標情報を保持している必要もない。
In the case of a convenience store chain, etc., the image data of each product being developed may already be provided by the central headquarters as a part of the data of the
画像処理部32では、利用者が商品の注文を行う際に利用者端末41に表示させる画像を得るために、上述したように、棚カメラ24により撮影された陳列棚23の画像データに対して所定の画像処理により加工を行なって成形するようにしてもよい。例えば、コンポジット法等の公知の画像処理技術を適用して、画像データに写り込んだ顧客の部分をノイズとして消去したりモザイク等のマスクを施したりしてもよい。また、台形補正等の歪みの補正処理を行なってもよい。
In the
注文管理部33は、利用者からの利用者端末41を介した注文の指示を受け付けて、注文内容に係るデータを店舗連携部31を介して対象の小売店舗2の店舗システム21に送信する機能を有する。店舗システム21に送信する注文内容に係るデータには、棚カメラ24により撮影された陳列棚23の画像データに対して、利用者が選択した商品を識別する識別マーク等が付された画像データが含まれる。可能な場合には、画像処理部32により商品マスタDB35に登録されている商品の画像データとの間でマッチングを行なって特定された商品の商品名や販売単価等の属性情報が含まれていてもよい。
The
また、小売店舗2の店舗システム21から取得した、実際に現物が特定された商品の情報に基づいて注文情報を生成するとともに、利用者端末41を介して利用者との間で注文内容の承認、確定に係る処理を行い、確定した注文について、配送先の情報として、予めアカウント情報として登録されている利用者の家庭4の住所情報を含むデータを、店舗連携部31を介して対象の小売店舗2の店舗システム21に送信する機能も有する。
In addition, order information is generated based on the information of the product for which the actual product is actually specified, which is acquired from the
各利用者が保有する利用者端末41は、例えば、スマートフォンやタブレット端末等、タッチパネルを介して操作が可能な携帯端末や、PC等の情報処理端末である。利用者は、図示しない専用のアプリケーションやWebブラウザ等により、ネットワーク5を介してセンターシステム3にアクセスし、後述するように、対象の小売店舗2の棚カメラ24により撮影された陳列棚23の画像を参照しながら、購入する商品を画像上で直接指定して注文することができる。
The
<処理の流れ>
図2は、本実施の形態における商品の注文から配送に至る処理の流れの例について概要を示した図である。例えば、利用者はまず、利用者端末41上の専用アプリケーションやWebブラウザ等を使用してセンターシステム3にアクセスし、アカウント情報を指定してログインを行う(S01)。このとき、センターシステム3では、図示しないアカウント管理機能等によりユーザ認証を行う(S02)。
<Processing flow>
FIG. 2 is a diagram showing an outline of an example of a processing flow from ordering a product to delivery in the present embodiment. For example, the user first accesses the
その後、商品を購入する小売店舗2を特定する。例えば、センターシステム3が利用者端末41に対して提示した配送可能な小売店舗2のリストから利用者が選択してもよいし、利用者端末41の位置情報や配送先の家庭4の住所情報等に基づいて、最寄りの小売店舗2をセンターシステム3が自動的に決定するようにしてもよい。また、商品の購入の都度小売店舗2を特定するのではなく、利用者のアカウント情報に関連付けてデフォルトで利用する小売店舗2を予め設定しておくようにしてもよい。小売店舗2が特定されると、利用者端末41には、対象の小売店舗2の棚カメラ24により撮影された陳列棚23の画像が表示される(S03、S04)。
After that, the
その際、対象の小売店舗2の店舗システム21では、センターシステム3からの指示に基づいて、棚カメラ制御部212により棚カメラ24を制御して、撮影された陳列棚23の画像を取得し(S05)、センターシステム3に送信する。そして、センターシステム3では、画像処理部32により、ノイズ除去や補正等の所定の画像処理を行なって表示用の画像を形成し(S04)、利用者端末41に表示させる。
At that time, in the
上述したように、利用者端末41からの指示に基づいてオンデマンド的に棚カメラ24によって撮影された画像を取得するのに代えて、定期的に取得した最新の画像を予めセンターシステム3に送信して保持しておくようにしてもよい。利用者端末41に表示された陳列棚23の画像に対して、利用者が、陳列棚23の他の場所や、他の陳列棚23の画像を表示するよう操作・指示した場合(すなわち、仮想的に小売店舗2内を回遊・移動した場合)は、その内容に応じてステップS03~S05と同様の処理により表示させる陳列棚23の画像を切り替える。
As described above, instead of acquiring the image taken by the shelf camera 24 on demand based on the instruction from the
図3は、利用者が仮想的に小売店舗内を回遊する例について概要を示した図である。ここでは、利用者端末41であるスマートフォン等の画面(タッチパネル)に表示された、棚カメラ24によって撮影された小売店舗2内の陳列棚23や通路の画像の例を模式的に示している。通路の部分には、通路上を仮想的に移動するための矢印図形が表示されており、利用者がこれを選択(タップ)することで、その方向に通路上を移動した位置での画像に切り替える(仮想的に移動する)ことができることを示している。
FIG. 3 is a diagram showing an outline of an example in which a user virtually roams in a retail store. Here, an example of an image of the display shelf 23 and the aisle in the
このとき、例えば、利用者の年齢・性別、職業、趣味等の属性情報やこれまでの購買履歴などの情報に基づいて、分析処理部34でのAI処理により当該利用者の嗜好などを分析してお勧めの商品をピックアップしたり、小売店舗2側が販売促進したい商品や売れ行きが良い商品を設定したりすることで、画像処理部32によって当該商品が陳列されている場所を図中の吹き出しのようにAR(Augmented Reality:拡張現実)技術によって示して、利用者を誘導するようにしてもよい。なお、この場合には、対象の商品がどの陳列棚23のどの場所に陳列されているかの座標情報を予め設定しておく必要がある。
At this time, for example, based on attribute information such as age / gender, occupation, hobby, etc. of the user and information such as purchase history so far, the
図2に戻り、利用者は、小売店舗2内の所望の場所で陳列棚23の画像を利用者端末41に表示させるとともに、陳列棚23の画像上で、購入する商品を選択する(S06)。図4は、利用者が陳列棚23の画像上で購入する商品を選択する例について概要を示した図である。ここでは、利用者端末41の画面に表示された、棚カメラ24によって撮影された陳列棚23の画像の例を示している。左側の図では、特定の陳列棚23の全景を撮影した画像が表示されている状態を示している。なお、画面下部の左右の矢印図形を選択(タップ)することで、隣接する陳列棚23に画像を切り替える(仮想的に移動する)ことができることを示している。
Returning to FIG. 2, the user displays the image of the display shelf 23 on the
左側の図に示した画面において、例えば、利用者が、利用者端末41上でピンチアウト(ズームイン)のジェスチャーや操作を行うと、右側の図に示すように、陳列棚23の画像が拡大表示される。この拡大表示は、利用者端末41上のアプリケーションでの画像処理によりローカルで行ってもよいし、センターシステム3の画像処理部32によりリモートで行なってもよい。
On the screen shown in the left figure, for example, when the user performs a pinch-out (zoom-in) gesture or operation on the
ここで、利用者が購入対象の商品(図4の例では中央のサンドイッチ)付近をタップ等の操作により選択すると、当該商品を識別するための識別マーク(図4の例では実線のリング状の図形)が表示される。なお、利用者が選択した付近に何らかの商品が存在するかについて、例えば、ローカルもしくはセンターシステム3の画像処理部32において輪郭抽出等の公知の画像処理技術を利用して判別してもよい。判別された商品の大きさや形状等に基づいて識別マークの表示位置や大きさ等を調整するようにしてもよい。
Here, when the user selects the vicinity of the product to be purchased (the sandwich in the center in the example of FIG. 4) by an operation such as tapping, an identification mark for identifying the product (in the example of FIG. 4 is a solid ring shape). The figure) is displayed. It should be noted that whether or not some product exists in the vicinity selected by the user may be determined by using a known image processing technique such as contour extraction in the
選択された商品について利用者が購入を希望する場合、当該商品についての情報は仮想的な商品かごに保持され、利用者はさらに他の商品の選択を継続することができる。図5は、本発明の一実施の形態における利用者の商品かごの内容の例について概要を示した図である。ここでは、利用者端末41の画面に表示された商品かごの内容として、利用者が選択した複数の商品についてそれぞれ、これらを識別するための識別マークが表示された商品選択画像(図4の右側の図に相当する画像)が表示されている。利用者が各商品について購入数量を指定することも可能である。各商品選択画像について、対象の陳列棚23を特定することができる陳列棚番号やID、配置場所等の情報を関連付けておいてもよい。なお、上述したように、本実施の形態では、この段階で対象の商品が何であるかを特定できていることは必要ではなく、店員が対象の商品を把握して実際に陳列棚23からピッキングできる程度の画像が取得できていればよい。
If the user wishes to purchase the selected product, the information about the product is retained in the virtual product basket, and the user can continue to select another product. FIG. 5 is a diagram showing an outline of an example of the contents of a user's product basket according to an embodiment of the present invention. Here, as the contents of the product basket displayed on the screen of the
図2に戻り、利用者による購入対象の全ての商品の選択(仮想的な商品かごへの保持)が終わり、利用者が利用者端末41を介してこれらの商品の注文を指示すると(S07)、選択された商品に係る画像データ(図5の商品かごの内容として保持されている各商品選択画像)がセンターシステム3に送信される。センターシステム3の注文管理部33は、受信した注文指示に係る情報、すなわち選択された商品に係る商品選択画像を含む情報を、店舗連携部31を介して対象の小売店舗2の店舗システム21に転送する(S08)。
Returning to FIG. 2, when the selection of all the products to be purchased by the user (holding in the virtual product basket) is completed and the user instructs to order these products via the user terminal 41 (S07). , Image data related to the selected product (each product selection image held as the contents of the product basket of FIG. 5) is transmitted to the
店舗システム21の注文処理部213は、センター連携部211を介して注文指示に係る情報を取得すると(S09)、これを店員端末22に表示させる(S10)。店員は、注文指示に含まれる商品選択画像とその中に表示された識別マークを参照し、対象の商品が実際に陳列されている陳列棚23から対象の商品をピッキングする(S11)。つまり、店員端末22に表示された陳列棚23の画像(図5と同様)に基づいて商品をピッキングすることから、単に商品名のテキスト情報のみがリスト表示されたような場合と比べて、対象の商品が小売店舗2内のどの陳列棚23のどこに陳列されているかを店員が視覚的に把握し易くすることができる。商品選択画像に陳列棚23を特定する番号等の情報が関連付けられている場合は、店員がこれを参照できるようにして容易に対象の陳列棚23にアクセスできるようにしてもよい。
When the
なお、本実施の形態のように、陳列棚23に陳列されている商品を購入の対象とする場合、利用者が商品を選択してから店員が商品をピッキングするまでの間に、小売店舗2に現実に来店した顧客が対象商品を購入してしまい、ピッキングの際に商品在庫がないという事態も生じ得る。そこで、ステップS11において、別途、在庫切れの場合の代替品や代替の小売店舗2の指定を予め受け付けるようにしてもよい。例えば、食料品等の日用品を購入する場合、利用者が対象の商品しか許容しない、もしくは特定の店舗でしか購入しないという状況はそれほど多くはないと考えられる。したがって、代替品や代替店舗の指定を受け付けることで販売機会の喪失を回避するとともに、利用者の利便性を向上させることができる。
When the product displayed on the display shelf 23 is to be purchased as in the present embodiment, the
店員は、全ての商品をピッキングすると、実際に来店した顧客の通常の購入時と同様に、ピッキングした商品に付されたバーコード等をレジ処理部214(POSレジ等)が備えるバーコードリーダー等により読み取らせるレジ処理を行うことで(S12)、店舗システム21において購入対象の商品を具体的に特定するとともに料金を計算する(S13)。このように、本実施の形態では、来店した顧客に対する通常の処理と同様のレジ処理によって商品を具体的に特定することから、商品の特定のために、例えば、商品マスタDB35に商品の画像データや陳列場所の座標等の情報を別途追加したり、最新の情報にメンテナンスしたり等の作業を要せず、既存の商品マスタDB35をそのまま使用することが可能であり、既存の商品マスタDB35への影響を回避しながら、リアルタイムECによりリモートショッピングシステム1を実装することができる。
When the clerk picks all the products, the bar code reader etc. provided by the cash register processing unit 214 (POS cash register etc.) with the bar code etc. attached to the picked product is the same as at the time of normal purchase of the customer who actually visited the store. By performing the cash register process to be read by (S12), the
小売店舗2にて販売される商品の中には、例えば、レジ付近のケース内で販売される揚げ物惣菜(フライヤー商品)など、商品にバーコード等が付されていないものもある。本実施の形態では、このような商品についても、店頭での通常の販売時と同様に、例えば、レジ付近に用意してあるパネルに予め印刷されている対象商品のバーコードの読取操作を店員が行ったり、POSレジのボタンやタッチパネルを介して店員が手動で入力したり等の手段により、商品の特定と入力を行うため、画像によるバーコード識別や商品形状認識が不可能な商品(フライヤー商品、薄い背表紙のみ前面に向けて陳列された雑誌、他の商品に隠れて一部のみが露出している商品等)を含め、あらゆる商品を特定可能としてリモートショッピング対象とすることが可能である。
Some of the products sold at the
なお、このようなフライヤー商品などの中には、店頭に実際いくつの商品が陳列されているかという店頭在庫量のシステム的な把握が困難なものがある。中には陳列してから一定時間の経過で廃棄しなければならないものもあって、新たな商品の仕込み・補充のタイミングを適切に把握するのが困難な場合もある。 It should be noted that, among such fryer products, it is difficult to systematically grasp the amount of in-store inventory, such as how many products are actually displayed in the store. Some products must be disposed of after a certain period of time has passed since they were displayed, and it may be difficult to properly grasp the timing of preparation and replenishment of new products.
図6は、フライヤー商品の店頭在庫量を把握する例について概要を示した図である。上段の図は、フライヤー商品が陳列されたケースの一部を棚カメラ24により撮影した画像の例を模式的に示している。本実施の形態では、下段の図に示すように、例えば、この画像に対してセンターシステム3の画像処理部32および分析処理部34により、AIを用いた画像認識による輪郭抽出(下段の図における破線)と重なりの判定を行い、リアルタイムで店頭在庫量とその遷移を把握する。これにより、店員がフライヤー商品の在庫を切らさないように先回り仕込みが可能となるため、その鮮度を保ちつつ在庫切れを抑止することができる。
FIG. 6 is a diagram showing an outline of an example of grasping the in-store inventory amount of the flyer product. The upper figure schematically shows an example of an image taken by a shelf camera 24 of a part of a case in which fryer products are displayed. In the present embodiment, as shown in the lower figure, for example, contour extraction by image recognition using AI by the
なお、このような処理は、フライヤー商品に限らず他の商品一般にも適用することができる。また、本実施の形態では、上述したように、利用者が選択した商品が写っている陳列棚23の商品画像に基づいて、店員が商品のピッキングを行い、レジ処理によってバーコード等を読み取ることで商品の特定を行うものとしているが、その際に、陳列棚23の商品画像に対して上記のようなAIを用いた画像認識を施して商品を識別し、店員端末22を介して商品情報を店員に提示することで、店員による商品のピッキングをサポートして負荷を低減させるとともに、商品の特定精度を向上させるようにしてもよい。 It should be noted that such processing can be applied not only to fryer products but also to other products in general. Further, in the present embodiment, as described above, the store clerk picks the product based on the product image of the display shelf 23 showing the product selected by the user, and reads the bar code or the like by the cash register processing. At that time, the product image of the display shelf 23 is subjected to image recognition using AI as described above to identify the product, and the product information is specified via the clerk terminal 22. May be presented to the clerk to support the clerk's picking of the product, reduce the load, and improve the accuracy of identifying the product.
店舗システム21のレジ処理部214および注文処理部213でのレジ処理により特定された購入対象の商品の識別情報(例えば、JANコード等)は、センター連携部211を介してセンターシステム3に送られる。センターシステム3の注文管理部33では、取得した商品の識別情報に基づいて、商品マスタDB35から商品名や販売単価等の属性情報を取得するなどして注文情報を生成し(S14)、これを利用者端末41を介して利用者に提示する。利用者が注文内容を確認し、これを承諾すると(S15)、センターシステム3の注文管理部33は、利用者が指定した配送先の情報等と合わせて、店舗システム21に対して配送の指示情報を送信する(S16)。
The identification information (for example, JAN code) of the product to be purchased specified by the cash register processing in the cash
配送指示を受けた店舗システム21では、利用者の家庭4への実際の配送処理を行う(S17)。店舗システム21では、この段階で売上計上してもよいし、ステップS12のレジ処理の段階で売上計上してもよい。なお、商品の代金については、この時点では未収金として扱う等の処理を行う。店舗システム21では、注文処理部213やレジ処理部214での処理内容に基づいて、各商品の売上計上に加えて、配送状況や在庫情報、未収金の受領状況等を併せて管理するようにしてもよい。そして、利用者は、家庭4に配送された商品を受け取り、配送を行った店員に対して代金を支払う(S18)。代金を受領した店員は、小売店舗2に戻り、未収金についてレジ処理等により帳簿上記録する処理を行うことで(S19)、取引に係る一連の処理を終了する。
In the
なお、本実施の形態では、代金の決済手法について、家庭4への商品の配送時に代引きを行うような構成としているが、決済手法については特に限定されず、クレジットカードやポイント利用等、各種のものを適宜利用することができる。また、本実施の形態では、家庭4へ商品の配送は小売店舗2の店員が行うものとしているが、これに限定されず、専門のスタッフや、外部の宅配業者等を利用することも当然可能である。
In the present embodiment, the payment method is configured such that cash on delivery is performed when the product is delivered to the
以上に説明したように、本発明の一実施の形態であるリモートショッピングシステム1によれば、利用者からの注文をネットワーク5を介して受け付けて、小売店舗2において実際に陳列棚23に陳列され販売されている商品を配送するリアルタイムECによる宅配サービスを実現することができる。そして、利用者は、小売店舗2の陳列棚23に設置された棚カメラ24により準リアルタイムで撮影された陳列棚23の画像を通して、視覚的・直感的に商品を選択して購入することができる。
As described above, according to the
そして、棚カメラ24により撮影された商品の画像が直接的に対象の商品に関連付けられた商品画像となり、店員はこの画像データを注文情報としてそのまま用いて商品のピッキングを行い、商品のバーコードを読み取るなど通常のレジ処理と同様の処理で商品の特定を行う。これにより、商品毎に商品画像を関連付ける等の商品マスタDB35に対する処置が不要となり、既存の商品マスタDB35をそのまま用いることができるとともに、商品マスタDB35のメンテナンス作業も不要となる。すなわち、リアルタイムECによる宅配サービスの実現に際して、この点に係るシステム投資を不要とすることができる。
Then, the image of the product taken by the shelf camera 24 becomes the product image directly associated with the target product, and the clerk picks the product using this image data as it is as the order information and displays the bar code of the product. The product is specified by the same processing as the normal cash register processing such as reading. As a result, it is not necessary to take measures for the
また、このような商品特定の手法をとることで、陳列棚23の商品画像と商品マスタDB35等に登録されている商品画像とのマッチング処理によって商品を特定する手法や、陳列棚23の商品画像に写っているバーコード等によって商品を特定するという手法では特定が困難な商品についても商品の特定を可能とし、小売店舗2内のあらゆる商品を宅配サービスの対象とすることができる。例えば、陳列棚23に重ねて陳列されて他の商品に隠れている商品や、本棚に並べられた雑誌のように商品のごく一部のみしか前面に露出していない商品、フライヤー商品など、陳列棚23の商品画像では商品全体の形状や模様等が認識できない、もしくは困難な商品や、バーコードが隠れている(もしくは付されていない)商品等であっても宅配サービスの対象とすることができる。
Further, by adopting such a product specifying method, a method of specifying a product by a matching process between the product image of the display shelf 23 and the product image registered in the
また、陳列棚23の画像が、陳列されている各商品の在庫状況をほぼ直接的に表しているため、在庫ズレの影響を排除することができる。また、店員が商品をピッキングする際に、利用者が注文したときの陳列棚23の画像データを注文情報としてそのまま用いるため、商品の内容や陳列位置を容易に把握することができ、無用な店内捜索を排除することができる。 Further, since the image of the display shelf 23 almost directly shows the inventory status of each of the displayed products, the influence of the inventory deviation can be eliminated. In addition, when the store clerk picks the product, the image data of the display shelf 23 when the user places an order is used as it is as the order information, so that the content of the product and the display position can be easily grasped, and the inside of the store is useless. The search can be ruled out.
また、陳列棚23の商品画像に対する各種処理や、小売店舗2の販売状況の分析、各利用者の属性情報の分析等の各種処理にAIを適用することで、宅配サービスをより効率的かつ有効なものとすることができる。例えば、陳列棚23の商品画像に基づいてAIにより商品を識別し、商品情報を店員に提示することで、店員による商品特定の負荷を低減し、商品特定の精度を向上させることができる。さらに、フライヤー商品など、形状や陳列状況が一定ではなくバーコードも付されていないような商品については、店頭在庫量を把握し、適切なタイミングで在庫補充を指示することも可能となる。また、利用者の嗜好や行動特性などをAIにより分析することで、利用者が購入しそうな商品をレコメンドしたり、当該商品が陳列されている場所に誘導したりすることも可能となる。また、売れ行きの分析等により利用者に商品をレコメンドしたり、店員に対して在庫補充やフライヤー商品の仕込みなどを先回りして効率的に指示したりすることも可能である。
In addition, by applying AI to various processes such as various processes for the product image of the display shelf 23, analysis of the sales status of the
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 Although the invention made by the present inventor has been specifically described above based on the embodiment, the present invention is not limited to the above embodiment and can be variously modified without departing from the gist thereof. Needless to say. For example, the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations. Further, it is possible to add / delete / replace a part of the configuration of the above embodiment with another configuration.
例えば、上記の実施の形態では、小売店舗2における商品の小売についてリアルタイムECによる宅配サービスを実現するものとしているが、販売形態は特に限定されず、問屋等による卸売などを対象としてもよい。また、利用者からの注文を受けて対象の品物を宅配するというサービスに広く適用することができるため、例えば、商品の販売を伴わないレンタル等のサービスを対象とすることも可能である。
For example, in the above embodiment, the home delivery service by real-time EC is realized for the retail of the product in the
本発明は、小売店等の店舗で実際に陳列・販売されている商品を対象としたリモートショッピングシステムおよびリモートショッピング方法に利用可能である。 The present invention can be used for a remote shopping system and a remote shopping method for products actually displayed and sold in stores such as retail stores.
1…リモートショッピングシステム、2…小売店舗、3…センターシステム、4…家庭、5…ネットワーク、
21…店舗システム、22…店員端末、23…陳列棚、24…棚カメラ、
31…店舗連携部、32…画像処理部、33…注文管理部、34…分析処理部、35…商品マスタDB、
41…利用者端末、
211…センター連携部、212…棚カメラ制御部、213…注文処理部、214…レジ処理部
1 ... remote shopping system, 2 ... retail store, 3 ... center system, 4 ... home, 5 ... network,
21 ... store system, 22 ... clerk terminal, 23 ... display shelf, 24 ... shelf camera,
31 ... Store cooperation department, 32 ... Image processing department, 33 ... Order management department, 34 ... Analysis processing department, 35 ... Product master DB,
41 ... User terminal,
211 ... Center cooperation unit, 212 ... Shelf camera control unit, 213 ... Order processing unit, 214 ... Cash register processing unit
Claims (6)
ネットワーク経由での、利用者からの利用者端末を介した要求に基づいて、前記店舗に設置されたカメラにより撮影された商品の陳列棚の画像を前記利用者端末に提示し、前記利用者端末を介した前記利用者からの前記陳列棚の画像中の所望の商品に対する指定を受け付けて、前記店舗の端末に、前記指定に係る商品を識別する識別マークを含む商品選択画像を表示し、前記識別マークを含む商品選択画像を参照した前記店舗の店員の操作に基づいて注文情報を生成する、リモートショッピングシステム。 A remote shopping system that electronically trades products displayed in stores.
Based on the request from the user via the user terminal via the network, the image of the product display shelf taken by the camera installed in the store is presented to the user terminal, and the user terminal is presented. In response to the designation of a desired product in the image of the display shelf from the user via the above, a product selection image including an identification mark for identifying the product according to the designation is displayed on the terminal of the store, and the product selection image is displayed. A remote shopping system that generates order information based on the operation of a store clerk who refers to a product selection image including an identification mark.
前記商品選択画像に対する人工知能による画像認識により、前記商品選択画像中の前記識別マークに係る商品を識別する、リモートショッピングシステム。 In the remote shopping system according to claim 1,
A remote shopping system that identifies a product related to the identification mark in the product selection image by image recognition by artificial intelligence for the product selection image.
前記陳列棚の画像に対する人工知能による画像認識により、前記陳列棚に実際に陳列されている商品の在庫数を判別し、当該在庫数に基づいて当該商品の前記陳列棚への補充指示を出力する、リモートショッピングシステム。 In the remote shopping system according to claim 1,
By image recognition by artificial intelligence for the image of the display shelf, the inventory quantity of the product actually displayed on the display shelf is determined, and the replenishment instruction of the product to the display shelf is output based on the inventory quantity. , Remote shopping system.
前記利用者の属性情報および/または購買履歴を含む情報に対する人工知能による分析により、前記利用者に対して推奨する商品を抽出し、前記利用者端末に提示する前記陳列棚の画像において、前記推奨する商品に前記利用者を誘導する旨の表示を行う、リモートショッピングシステム。 In the remote shopping system according to claim 1,
The product recommended for the user is extracted by artificial intelligence analysis of the user's attribute information and / or information including the purchase history, and the recommended product is shown in the image of the display shelf presented to the user terminal. A remote shopping system that displays to the effect that the user is guided to the product to be sold.
情報処理システムが、ネットワーク経由での、利用者からの利用者端末を介した要求に基づいて、前記店舗に設置されたカメラにより撮影された商品の陳列棚の画像を前記利用者端末に提示するステップと、
前記情報処理システムが、前記利用者端末を介した前記利用者からの前記陳列棚の画像中の所望の商品に対する指定を受け付けるステップと、
前記情報処理システムが、前記店舗の端末に、前記指定に係る商品を識別する識別マークを含む商品選択画像を表示するステップと、
前記情報処理システムが、前記識別マークを含む商品選択画像を参照した前記店舗の店員の操作に基づいて注文情報を生成するステップと、
を実行する、リモートショッピング方法。 It is a remote shopping method for electronically trading products displayed in stores.
The information processing system presents to the user terminal an image of a product display shelf taken by a camera installed in the store based on a request from the user via the user terminal via the network. Steps and
A step in which the information processing system accepts a designation for a desired product in an image of the display shelf from the user via the user terminal, and a step.
A step in which the information processing system displays a product selection image including an identification mark for identifying the product according to the designation on the terminal of the store.
A step in which the information processing system generates order information based on an operation of a clerk of the store with reference to a product selection image including the identification mark.
How to do remote shopping.
情報処理システムが、ネットワーク経由での、利用者からの利用者端末を介した要求に基づいて、前記店舗に設置されたカメラにより撮影された商品の陳列棚の画像を前記利用者端末に提示するステップと、
前記情報処理システムが、前記利用者端末を介した前記利用者からの前記陳列棚の画像中の所望の商品に対する指定を受け付けるステップと、
前記情報処理システムが、前記店舗の端末に、前記指定に係る商品を識別する識別マークを含む商品選択画像を表示するステップと、
前記店舗の店員が、前記識別マークに基づいて前記陳列棚から商品を特定するステップと、
前記情報処理システムが、前記特定された商品に付されている商品識別情報を読み取って注文情報を生成するステップと、
を実行する、リモートショッピング方法。 It is a remote shopping method for electronically trading products displayed in stores.
The information processing system presents to the user terminal an image of a product display shelf taken by a camera installed in the store based on a request from the user via the user terminal via the network. Steps and
A step in which the information processing system accepts a designation for a desired product in an image of the display shelf from the user via the user terminal, and a step.
A step in which the information processing system displays a product selection image including an identification mark for identifying the product according to the designation on the terminal of the store.
A step in which a store clerk identifies a product from the display shelf based on the identification mark, and
A step in which the information processing system reads the product identification information attached to the specified product and generates order information.
How to do remote shopping.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020116789A JP2022014485A (en) | 2020-07-07 | 2020-07-07 | Remote shopping system and remote shopping method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020116789A JP2022014485A (en) | 2020-07-07 | 2020-07-07 | Remote shopping system and remote shopping method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022014485A true JP2022014485A (en) | 2022-01-20 |
Family
ID=80120253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020116789A Pending JP2022014485A (en) | 2020-07-07 | 2020-07-07 | Remote shopping system and remote shopping method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022014485A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116862377A (en) * | 2023-07-21 | 2023-10-10 | 上海朗晖慧科技术有限公司 | Warehouse data statistical analysis management system and method based on artificial intelligence |
-
2020
- 2020-07-07 JP JP2020116789A patent/JP2022014485A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116862377A (en) * | 2023-07-21 | 2023-10-10 | 上海朗晖慧科技术有限公司 | Warehouse data statistical analysis management system and method based on artificial intelligence |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10467559B1 (en) | Order fulfillment and tracking systems and methods | |
US10943311B1 (en) | Order fulfillment and tracking systems and methods | |
US11176602B2 (en) | Interactive transaction system, method, and device for physical merchant stores | |
JP6077103B2 (en) | Order information control system, method, program | |
US8401915B1 (en) | Method of operating retail store with mobile application for searching products available for sale in the retail store | |
US8401914B1 (en) | Method of operating retail store with mobile application for searching products available but not displayed in the store | |
US9330413B2 (en) | Checkout and/or ordering systems and methods | |
US20140180805A1 (en) | Arranging Advertisement Content In Digital Receipts | |
US20150307279A1 (en) | Retail automation platform | |
CA3067361A1 (en) | Methods and systems for automatically mapping a retail location | |
US20160247219A1 (en) | Interactive transaction system for physical merchant stores | |
JP2018151923A (en) | Product sales support system | |
US11210731B1 (en) | Systems and methods to analyze product pricing | |
CA2968557A1 (en) | Retail checkout systems and methods | |
JP6277098B2 (en) | Information management system | |
KR20190083460A (en) | Delivery and order services system using movable store | |
US20150039479A1 (en) | Electronic receipt system, merchandise sales data processing apparatus, and electronic receipt management server | |
CN111523957A (en) | Commodity data processing device, control method, readable storage medium, and electronic apparatus | |
JP6293341B1 (en) | Product purchase support system and product purchase support method | |
JP7468508B2 (en) | Information processing device, information processing method, program, and information processing system | |
JP6842288B2 (en) | Over-the-counter product EC system and method | |
JP2003168022A (en) | On-line shopping system and commodity confirmation screen generation method for on-line shopping | |
JP2021051804A (en) | Over-the-counter commodity ec system and method | |
JP2009223760A (en) | Real store linked virtual store system and electronic commerce transaction method | |
JP2022014485A (en) | Remote shopping system and remote shopping method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240227 |