JP6092761B2 - 買い物支援装置及び買い物支援方法 - Google Patents

Description

本発明は、ユーザの買い物を支援する買い物支援装置及び買い物支援方法に関する。

従来、ユーザの買い物を支援する装置が知られている。例えば、下記特許文献１では、買ってきて欲しい商品を含む買い物依頼を依頼者から受け付け、当該内容を含んだ電子メールを買い物を頼む人に送信する買い物支援サーバが開示されている。

また、従来、スマートフォンや携帯電話等の携帯端末を利用する買い物支援システムも知られている。図１は、携帯端末を利用する従来の買い物支援システムで実行される処理を示すフローチャートである。図１に示す通り、買い物支援システムでは、まず、ユーザは、購入したい商品を携帯端末のキーボードやダイヤルキー等を使って文字入力し、買い物リストへ登録する（ステップＳ１）。一度購入したことがある商品であれば購入履歴等から買い物リストへ登録することができるが、基本的にはユーザが携帯端末を操作して、購入したい商品を買い物リストへ登録する。

そして、ユーザが携帯端末を持って外出した際に、携帯端末は、自端末に備えられているＧＰＳ（Global Positioning System）や、移動体通信を介して基地局から取得した基地局情報を利用して定期的に現在地を特定する（ステップＳ２）。次に、携帯端末は、特定した現在地が、商品を購入予定の店舗の周辺であるか否かを判定する（ステップＳ３）。Ｓ３にて周辺でないと判定された場合、Ｓ２に戻り、携帯端末は引き続き現在地を特定する。Ｓ３にて周辺であると判定された場合、携帯端末は、リングトーンや振動を送出し、商品を購入予定の店舗の周辺に来たことをユーザへ通知する。

携帯端末からの通知に気づいたユーザは、自分の周辺領域を確認し、購入店舗を特定する。そして、ユーザは、特定した店舗に入り、携帯端末に予め登録していた買い物リストを表示させる（ステップＳ４）。次に、ユーザは、Ｓ４にて表示させた買い物リストを見ながら店舗内で購入対象商品を探し（ステップＳ５）、購入対象商品を発見できた場合は購入し（ステップＳ６）、買い物を終了する。

特開２００２−１１７２２１号公報

しかしながら、上述の買い物支援システムでは、ユーザは、店舗や購入対象商品を自分で特定する必要があり、場合によってはユーザが店舗や購入対象商品を見つけられないという問題がある。その他に、ユーザは、商品を買い物リストに登録する際に文字入力操作を行う必要があり、ユーザの手間が発生するため、ユーザが登録を渋り、購入予定の全ての商品を買い物リストに登録しない可能性がある。また、ユーザには、リングトーンや振動が送出されることで商品を購入予定の店舗の周辺に来たことが通知されるが、ユーザが音や振動に気づかない場合もあり、店舗の周辺に来たことにユーザが気づかない可能性もある。

そこで、本発明は、かかる課題に鑑みて為されたものであり、ユーザの買い物をより確実に支援することができる買い物支援装置及び買い物支援方法を提供することを目的とする。

上記課題を解決するため、本発明の買い物支援装置は、装着しているユーザの周辺を撮像可能な撮像手段を備えた買い物支援装置であって、買い物を行う店に関する店情報と買い物を行う商品に関する商品情報との何れか一つ以上の情報を含む買い物リストを格納する格納手段と、撮像手段によって撮像された周辺画像を画像認識する認識手段と、認識手段による周辺画像の画像認識結果と、格納手段によって格納された買い物リストに含まれる情報とに基づいて、当該周辺画像に当該情報が示す対象が存在するか否かを判定する判定手段と、判定手段によって存在すると判定された対象の存在をユーザに通知する通知手段と、を備える。

このような買い物支援装置によれば、撮像された周辺画像の画像認識結果と、買い物リストに含まれる情報とに基づいて、当該周辺画像に当該情報が示す対象が存在するか否かが判定され、存在すると判定された対象の存在がユーザに通知される。かかる構成を採れば、ユーザは特別な操作を行うことなく、買い物リストに含まれる情報が示す対象、例えば買い物を行う店や買い物を行う商品等がユーザの周辺に存在することを認識することができる。そのため、例えば買い物を行う店や買い物を行う商品等をユーザは手間をかけずに確実に気づくことができ、ユーザの買い物をより確実に支援することができる。

また、本発明の買い物支援装置において、格納手段は、店情報と商品情報とを含む買い物リストを格納し、判定手段は、認識手段による周辺画像の画像認識結果と、格納手段によって格納された買い物リストに含まれる店情報とに基づいて、当該周辺画像に当該店情報が示す店が存在するか否かを判定する店判定手段と、認識手段による周辺画像の画像認識結果と、格納手段によって格納された買い物リストに含まれる商品情報とに基づいて、当該周辺画像に当該商品情報が示す商品が存在するか否かを判定する商品判定手段と、から構成され、通知手段は、店判定手段によって存在すると判定された店の存在をユーザに通知し、商品判定手段によって存在すると判定された商品の存在をユーザに通知することが好ましい。かかる構成を採れば、周辺画像に買い物リストに含まれる店情報が示す店が存在する場合に当該店の存在がユーザに通知され、周辺画像に買い物リストに含まれる商品情報が示す商品が存在する場合に当該商品の存在がユーザに通知される。それにより、ユーザは、買い物を行う店及び買い物を行う商品を手間をかけずに確実に気づくことができ、ユーザの買い物をより確実に支援することができる。

また、本発明の買い物支援装置において、格納手段は、店情報と当該店情報が示す店で買う商品に関する商品情報とを関連付けた買い物リスト、又は、店情報と当該店情報が示す店で販売している商品に関する商品情報とを関連付けた買い物リストを格納し、通知手段は、店判定手段によって存在すると判定された店の存在をユーザに通知する際に、格納手段によって格納された買い物リストにおいて当該店に関する店情報に関連付いた商品情報が示す商品の存在もユーザに通知することが好ましい。かかる構成を採れば、ユーザには、周辺に買い物を行う店が存在することが通知されると共に、当該店で買う商品の存在、又は当該店で販売している商品の存在も通知される。そのため、ユーザは、店に実際に入る前に店で買う商品等を予め知ることができ、ユーザはそれに基づいて様々な判断を行うことができる等、ユーザの利便性を向上することができる。

また、本発明の買い物支援装置において、撮像手段によって撮像された周辺画像をユーザに表示する表示手段をさらに備え、通知手段は、判定手段によって、買い物リストに含まれる情報が示す対象が存在すると判定された際に、当該情報を表示手段によって表示された周辺画像に重畳して表示することが好ましい。かかる構成を採れば、ユーザに表示された周辺画像に、当該周辺に存在する買い物リストに含まれる情報、例えば買い物を行う店や買い物を行う商品等の情報が重畳して表示される。そのため、例えば買い物を行う店や買い物を行う商品等の情報がユーザの視界に入り、音や振動でその存在を通知されるよりも確実に気づくことができ、ユーザの買い物をより確実に支援することができる。また、例えば、周辺画像に情報を重畳して表示する際に、当該情報が示す対象が周辺画像中の実際に存在する場所近辺に重畳して表示することで、ユーザは当該対象が具体的にどの場所にあるかを容易に気づくことができ、ユーザの利便性を向上することができる。

また、本発明の買い物支援装置において、認識手段による画像認識結果である店情報又は商品情報を、格納手段によって格納された買い物リストに登録する登録手段をさらに備えることが好ましい。かかる構成を採れば、買い物リストに登録する店情報又は商品情報として、例えばユーザが撮像手段によって撮像した店情報又は商品情報を登録することができる。これにより、例えば、ユーザは店情報又は商品情報を文字入力操作で登録する必要がなくなり、ユーザの手間が減る等、ユーザの利便性を向上することができる。

また、本発明の買い物支援装置において、格納手段は、店情報であって当該店情報が示す店の位置情報を含む店情報を含む買い物リストを格納し、撮像手段によって周辺画像が撮像された際の位置情報を取得する取得手段をさらに備え、判定手段は、周辺画像に買い物リストに含まれる店情報が示す店が存在するか否かを判定する際に、さらに、当該店情報に含まれる店の位置情報と取得手段によって取得された位置情報との一致度に基づいて存在するか否かを判定することが好ましい。かかる構成を採れば、さらに店の位置情報に基づいて、周辺に買い物リストに含まれる店情報が示す店が存在するか否かを判定することができ、より確実に店の存在を判定することができる。それにより、ユーザの買い物をより確実に支援することができる。

ところで、本発明は、上記のように買い物支援装置の発明として記述できる他に、以下のように買い物支援方法の発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。

すなわち、本発明に係る買い物支援方法は、装着しているユーザの周辺を撮像可能な撮像手段と、買い物を行う店に関する店情報と買い物を行う商品に関する商品情報との何れか一つ以上の情報を含む買い物リストを格納する格納手段と、を備えた買い物支援装置により実行される買い物支援方法であって、撮像手段によって撮像された周辺画像を画像認識する認識ステップと、認識ステップにおける周辺画像の画像認識結果と、格納手段によって格納された買い物リストに含まれる情報とに基づいて、当該周辺画像に当該情報が示す対象が存在するか否かを判定する判定ステップと、判定ステップにおいて存在すると判定された対象の存在をユーザに通知する通知ステップと、を含む。

本発明によれば、ユーザの買い物をより確実に支援することができる。

携帯端末を利用する従来の買い物支援システムで実行される処理を示すフローチャートである。 本発明の実施形態に係る買い物支援装置の構成図である。 本発明の実施形態に係る買い物支援装置の機能ブロック図である。 本発明の実施形態に係る買い物支援装置のハードウェア構成を示す図である。 買い物リストに含まれる情報のテーブル例を示す図である。 本発明の実施形態に係る買い物支援装置にて、買い物リストに登録する商品を撮像した場面を示す図である。 本発明の実施形態に係る買い物支援装置にて、外出先の周辺風景を撮像した場面を示す図である。 本発明の実施形態に係る買い物支援装置が、店情報と共に店で買うべき商品情報を重畳して表示している場面を示す図である。 本発明の実施形態に係る買い物支援装置にて、商品が置かれている商品棚を撮像した場面を示す図である。 本発明の実施形態に係る買い物支援装置で実行される処理（買い物支援方法）を示すフローチャートである。

以下、図面とともに本発明による買い物支援装置及び買い物支援方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

本発明の実施形態に係る買い物支援装置１は、身につけて持ち歩くことができるコンピュータであるウェアラブルデバイスの一種、ヘッドマウントディスプレイである。図２は、買い物支援装置１の構成図である。図２に示す通り、買い物支援装置１は、本体部１ａと、撮像部１ｂ（撮像手段）と、表示部１ｃ（表示手段）と、音声入力部１ｄとを含んで構成される。

本体部１ａは、コンピュータシステム本体であり、撮像部１ｂ、表示部１ｃ及び音声入力部１ｄの入出力制御を行い、撮像部１ｂ及び音声入力部１ｄからの情報を入力し、入力された情報に基づいて演算を行い、表示部１ｃへ演算結果や指示等の情報を出力する等、買い物支援装置１全体の処理制御を行う。なお、本体部１ａにはスマートフォン向けのＯＳ（Operating System）が組み込まれていてもよい。

撮像部１ｂは、買い物支援装置１を装着しているユーザの周辺を撮像可能であり、具体的にはカメラである。撮像部１ｂは、ユーザの視線方向の風景を撮像してもよい。

表示部１ｃは、ユーザに情報を表示することが可能であり、具体的にはディスプレイである。表示部１ｃは、眼鏡のレンズのようにユーザの目の近辺の位置に配置される。表示部１ｃは、撮像部１ｂによって撮像された周辺画像を表示する。

音声入力部１ｄは、ユーザが発声した音声を入力することが可能であり、具体的にはマイクである。

なお、買い物支援装置１は上記以外の構成、例えばユーザが目のウインクをしたことを検出する検出用カメラ、ユーザに対して音声出力するスピーカなどをさらに備えていてもよい。

図３は、買い物支援装置１の機能ブロック図である。図３に示す通り、買い物支援装置１は、格納部１０（格納手段）と、取得部１１（取得手段）と、認識部１２（認識手段）と、登録部１３（登録手段）と、判定部１４（判定手段）と、通知部１５（通知手段）とを含んで構成される。また、判定部１４は、店判定部１４ａ（店判定手段）と、商品判定部１４ｂ（商品判定手段）とから構成される。

買い物支援装置１は、ＣＰＵ等のハードウェアから構成されているものである。図４は、買い物支援装置１のハードウェア構成の一例を示す図である。図３に示される買い物支援装置１は、物理的には、図４に示すように、ＣＰＵ１００、主記憶装置であるＲＡＭ１０１及びＲＯＭ１０２、撮像部１ｂ及び音声入力部１ｄ等の入力装置１０３、表示部１ｃ等の出力装置１０４、補助記憶装置１０５、ＧＰＳ１０６、移動体通信を行う通信モジュール１０７などを含むコンピュータシステムとして構成されている。

図３に示す買い物支援装置１の各機能ブロックの機能は、図４に示すＣＰＵ１００、ＲＡＭ１０１等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御のもとで入力装置１０３、出力装置１０４、補助記憶装置１０５、ＧＰＳ１０６及び通信モジュール１０７を動作させるとともに、ＲＡＭ１０１におけるデータの読み出し及び書き込みを行うことで実現される。

以下、図３に示す買い物支援装置１の各機能ブロックについて説明する。

格納部１０は、買い物を行う店に関する店情報と買い物を行う商品に関する商品情報との何れか一つ以上の情報を含む買い物リストを格納する。格納部１０は、店情報と商品情報との両方を含む買い物リストを格納してもよい。格納部１０は、店情報と当該店情報が示す店で買う商品に関する商品情報とを関連付けた買い物リスト、又は、店情報と当該店情報が示す店で販売している商品に関する商品情報とを関連付けた買い物リストを格納してもよい。格納部１０は、店情報であって当該店情報が示す店の位置情報を含む店情報を含む買い物リストを格納してよい。

図５は、買い物リストに含まれる情報のテーブル例を示す図である。図５（ａ）は、買い物リストに含まれる店情報のテーブル例を示す図である。図５（ａ）に示す通り、店情報には、店を識別する店ＩＤ、店の名前である店名、店の地理的位置を示す位置情報（緯度、経度等）、店のロゴを示す画像（写真）であるロゴ画像、及び店の建物外観を示す画像（写真）である外観画像が互いに関連付いている。図５（ｂ）は、買い物リストに含まれる商品情報のテーブル例を示す図である。図５（ｂ）に示す通り、商品情報には、商品を識別する商品ＩＤ、商品の名前である商品名、商品の画像（写真）である商品画像、商品の値段、及び商品を販売している販売店の店ＩＤである販売店ＩＤ（上述の店情報の店ＩＤ）が互いに関連付いている。ここで、商品情報における販売店ＩＤについて、商品情報が示す商品は、当該販売店ＩＤで示される店情報が示す店で買う（ユーザが買うべき）商品であること、又は、当該販売店ＩＤで示される店情報の店で販売している商品であることを示す。

取得部１１は、撮像部１ｂによって撮像された周辺画像を取得する。取得部１１は、周辺画像を取得すると共に、当該周辺画像が撮像された際の、ＧＰＳ１０６によって取得された買い物支援装置１の位置情報や通信モジュール１０７によって取得された基地局情報に基づく買い物支援装置１の位置情報を取得してもよい。また、取得部１１は、音声入力部１ｄによって入力された音声情報を取得してもよい。取得部１１は、取得した情報（周辺画像、位置情報及び音声情報等）を、後述の認識部１２、登録部１３及び判定部１４に出力する。

認識部１２は、取得部１１から入力された、撮像部１ｂによって撮像された周辺画像を画像認識する。画像認識としては一般的な画像認識技術を採用する。認識部１２は、画像認識結果として、例えばＯＣＲ（Optical Character Reader）によるテキスト情報や、画像解析による画像オブジェクト情報等を抽出する。また、認識部１２は、取得部１１から入力された、音声入力部１ｄによって入力された音声情報を音声認識してもよい。音声認識としては一般的な音声認識技術を採用する。認識部１２は、音声認識結果として、入力された音声情報に対応するテキスト情報を抽出する。認識部１２は、認識結果（画像認識結果及び音声認識結果等）を、後述の登録部１３及び判定部１４に出力する。

登録部１３は、認識部１２から入力された、認識部１２による認識結果を、店情報又は商品情報として、格納部１０によって格納された買い物リストに登録する。

図６を用いて、登録部１３の処理の具体例について説明する。図６は、買い物支援装置１にて、買い物リストに登録する商品を撮像している場面を示す図である。より具体的には、ユーザは買い物リストに登録予定の商品であるワインの方向を向いていて、撮像部１ｂによってユーザの視線方向にあるワインを含む周辺画像が撮像され、当該周辺画像が表示部１ｃに表示されている。そして、ユーザの所定の指示に基づき（例えばユーザが２回ウインクをしたことを検知したことに応じて）、取得部１１によって当該周辺画像が取得され、認識部１２によって画像認識され、当該周辺画像のうち領域Ｒにあるワインに関する画像認識結果が抽出される。ここでは、画像認識結果として、ワインのラベルから文字認識された商品名であるテキスト情報「ワインＷ」と、ワインの画像（商品画像）である画像ファイル「ｗＩｔｅｍ．ｊｐｇ」とが抽出されたとする。登録部１３は、抽出した商品名と商品画像とを含む商品情報を、格納部１０によって格納された買い物リストに含まれる商品情報（「商品名」列及び「商品画像」列）に登録する。

また、ユーザは、音声入力部１ｄに対してワインの値段である「１２００円」やワインの販売店である「Ａ商店」を発声することで、取得部１１によって当該音声情報が取得され、認識部１２によって音声認識され、音声認識結果として値段であるテキスト情報「１２００円」と、販売店であるテキスト情報「Ａ商店」とが抽出される。登録部１３は、抽出した値段と販売店（に対応する販売店ＩＤ）とを含む商品情報を、格納部１０によって格納された買い物リストに含まれる商品情報（「値段」列及び「販売店ＩＤ」列）に（追加）登録する。

例えば、ユーザは、自宅や会社などから購入対象商品がある店へ外出する前に、買い物支援装置１を利用して撮像や発声により購入対象商品を買い物リストへ登録することができる。より具体的には、自宅や会社などにある購入済の商品やテレビやパソコンのモニターに映し出されている商品を画像認識したり、ユーザが購入したい商品を発声して音声認識することにより、買い物リストへ登録することができる。

図３に戻り、判定部１４は、認識部１２から入力された認識部１２による周辺画像の画像認識結果と、格納部１０によって格納された買い物リストに含まれる情報とに基づいて、当該周辺画像に当該情報が示す対象が存在するか否かを判定する。より具体的には、判定部１４は、画像認識結果であるテキスト情報に、買い物リストに含まれる情報に含まれるテキスト情報が含まれるか否か（あるいは買い物リストに含まれる情報に含まれるテキスト情報に対応するテキスト情報が含まれるか否か）を判定し、含まれる場合は存在すると判定し、含まれない場合は存在しないと判定する。また、判定部１４は、画像認識結果である画像オブジェクト情報に、買い物リストに含まれる情報に含まれる画像情報が含まれるか否か（あるいは買い物リストに含まれる情報に含まれる画像情報に対応する画像情報が含まれるか否か）を判定し（画像の類似度など一般的な技術に基づく）、含まれる場合は存在すると判定し、含まれない場合は存在しないと判定する。

判定部１４は、周辺画像に買い物リストに含まれる店情報が示す店が存在するか否かを判定する際に、さらに、当該店情報に含まれる店の位置情報と取得部１１から入力された取得部１１によって取得された位置情報との一致度に基づいて存在するか否かを判定してもよい。例えば、判定部１４は、周辺画像に対象が存在し、かつ、位置情報の一致度が高い場合（例えば誤差半径５０ｍ未満）は存在すると判定し、周辺画像に対象が存在しない、又は、位置情報の一致度が低い場合（例えば誤差半径５０ｍ以上）は存在しないと判定する。

また、上述の通り、判定部１４は、店判定部１４ａと、商品判定部１４ｂとから構成されてもよい。店判定部１４ａは、認識部１２による周辺画像の画像認識結果と、格納部１０によって格納された買い物リストに含まれる店情報とに基づいて、当該周辺画像に当該店情報が示す店が存在するか否かを判定する。商品判定部１４ｂは、認識部１２による周辺画像の画像認識結果と、格納部１０によって格納された買い物リストに含まれる商品情報とに基づいて、当該周辺画像に当該商品情報が示す商品が存在するか否かを判定する。

判定部１４、店判定部１４ａ及び商品判定部１４ｂは、判定結果を通知部１５に出力する。

通知部１５は、判定部１４から入力された判定結果に基づき、判定部１４によって存在すると判定された対象の存在をユーザに通知する。通知部１５は、店判定部１４ａによって存在すると判定された店の存在をユーザに通知し、商品判定部１４ｂによって存在すると判定された商品の存在をユーザに通知してもよい。通知部１５は、店判定部１４ａによって存在すると判定された店の存在をユーザに通知する際に、格納部１０によって格納された買い物リストにおいて当該店に関する店情報に関連付いた商品情報が示す商品の存在もユーザに通知してもよい。通知部１５は、判定部１４によって、買い物リストに含まれる情報が示す対象が存在すると判定された際に、当該情報を表示部１ｃによって表示された周辺画像に重畳して表示してもよい。なお、通知部１５は、周辺画像に情報を重畳して表示する際に、当該情報が示す対象が周辺画像中の実際に存在する場所近辺に重畳して表示してもよい。

通知部１５による通知方法の具体例としては、表示部１ｃにテキスト情報又は画像として表示出力、スピーカ等を通した音声出力、バイブレーション機能による振動出力などが挙げられる。

図７〜９を用いて、判定部１４及び通知部１５の処理の具体例について説明する。なお、前提として、格納部１０によって格納された買い物リストは図５に示すテーブル例とする。

図７は、買い物支援装置１にて外出先の周辺風景を撮像した場面を示す図である。この場面では、認識部１２によって、画像認識結果としてＲ領域に含まれる店の看板からテキスト情報「Ａ商店」が抽出されたとする。すると、判定部１４（店判定部１４ａ）は、図５に示す買い物リストにテキスト情報「Ａ商店」が含まれるか否かを判定し、今回の場合は店ＩＤ「１」の店に店名「Ａ商店」が含まれていると判定する。判定部１４は、さらに、買い物リストから店ＩＤ「１」の店の位置情報「３５．６７，１３９．７６」を抽出すると共に、ＧＰＳ１０６によって取得され、取得部１１によって取得された買い物支援装置１の位置情報や、通信モジュール１０７によって取得された基地局情報に基づく買い物支援装置１の位置情報を取得する。ここで取得された位置情報が「３５．６７，１３９．７６」とする。判定部１４は、位置情報が同一のため、店ＩＤ「１」の店の位置情報と現在の買い物支援装置１の位置情報とが一致すると判定する。以上の通り、周辺画像に店「Ａ商店」が含まれ、かつ位置情報が一致したため、判定部１４は、周辺画像に「Ａ商店」が存在すると判定する。

このように、ユーザが買い物支援装置１を装着し外出している際に、ＧＰＳや基地局情報でユーザの現在地を特定するとともに、店の看板など店名を示すものを買い物支援装置１が画像認識することで、現在地に加えて購入店まで厳密に特定することができる。

上述の判定部１４による判定に続いて、通知部１５が、店「Ａ商店」の存在をユーザに通知する。図８は、通知部１５によって店「Ａ商店」の存在をユーザに通知している場面を示す図である。図８に示す通り、通知部１５は、表示部１ｃによって表示された周辺画像において、店「Ａ商店」の建物の外観画像に付加する形式でポップアップメモＰを重畳して表示する。通知部１５は、ポップアップメモＰに、店名である「Ａ商店」の他、店「Ａ商店」で買うべき商品として図５に示す買い物リストに登録されている商品（店情報の店ＩＤと商品情報の販売店ＩＤとを利用して特定）の商品名「ワインＷ」、商品画像「wItem.jpg」及び値段「１２００円」を含めて表示している。

このように、購入対象商品のある店に近づいた時、買い物支援装置１は、図８に示すように表示部１ｃ上に当該店での購入対象商品をプッシュで視覚表示する。

図９は、ユーザが店「Ａ商店」の店内に入り、買い物支援装置１にて、商品が置かれている商品棚を撮像した場面を示す図である。この場面では、判定部１４（商品判定部１４ｂ）は、図５に示す買い物リストのうち、販売店ＩＤが店「Ａ商店」を示す「１」の商品の商品画像が、認識部１２による画像認識結果に含まれるか否かを判定し、商品「ワインＷ」の商品画像が含まれると判定する。すると、通知部１５は、商品「ワインＷ」の存在をユーザに通知するため、図９に示すように、表示部１ｃによって表示された周辺画像において、商品「ワインＷ」の画像の周辺に枠Ｅを重畳して強調表示する。

このように、買い物支援装置１は、店内の商品陳列棚などにある商品を画像認識し、購入対象商品が画像認識された時、図９に示すように表示部１ｃ上に購入対象商品を強調表示することで、ユーザの購入対象商品発見を支援することができる。

続いて、図１０に示すフローチャート図を用いて、本実施形態に係る買い物支援装置１における買い物支援方法の処理について説明する。

まず、登録部１３により、音声認識や画像認識に基づいて買い物リストが設定される（ステップＳ１０）。次に、認識部１２により、周辺画像のうち店の看板が画像認識されると共に（認識ステップ）、取得部１１により位置情報が取得され、判定部１４により、周辺画像に含まれる店が特定される（ステップＳ１１、判定ステップ）。次に、判定部１４により、格納部１０により格納された買い物リストに基づいて、Ｓ１１にて特定された店が買い物を行う店であるか否かが判定される（ステップＳ１２、判定ステップ）。Ｓ１２にて買い物を行う店でないと判定された場合、Ｓ１１に戻り、引き続き買い物支援装置１は買い物を行う店の探索を行う。Ｓ１２にて買い物を行う店であると判定された場合、通知部１５により、表示部１ｃに、当該店での買い物リストが視覚表示される（ステップＳ１３、通知ステップ）。

次に、ユーザは店に入り、撮像部１ｂにより店内の商品が撮像される。そして、認識部１２により画像認識が行われ（認識ステップ）、判定部１４により、格納部１０により格納された買い物リストに含まれる商品が含まれると判定され（判定ステップ）、通知部１５により、表示部１ｃにより表示されている周辺画像において、当該購入対象商品が強調表示される（ステップＳ１４、通知ステップ）。そして、ユーザは、Ｓ１４にて強調表示された購入対象商品を特定し、購入する（ステップＳ１５）。

次に、本実施形態のように構成された買い物支援装置１の作用効果について説明する。

本実施形態の買い物支援装置１によれば、撮像された周辺画像の画像認識結果と、買い物リストに含まれる情報とに基づいて、当該周辺画像に当該情報が示す対象が存在するか否かが判定され、存在すると判定された対象の存在がユーザに通知される。かかる構成を採れば、ユーザは特別な操作を行うことなく、買い物リストに含まれる情報が示す対象、例えば買い物を行う店や買い物を行う商品等がユーザの周辺に存在することを認識することができる。そのため、例えば買い物を行う店や買い物を行う商品等をユーザは手間をかけずに確実に気づくことができ、ユーザの買い物をより確実に支援することができる。

また、本実施形態の買い物支援装置１によれば、周辺画像に買い物リストに含まれる店情報が示す店が存在する場合に当該店の存在がユーザに通知され、周辺画像に買い物リストに含まれる商品情報が示す商品が存在する場合に当該商品の存在がユーザに通知される。それにより、ユーザは、買い物を行う店及び買い物を行う商品を手間をかけずに確実に気づくことができ、ユーザの買い物をより確実に支援することができる。

また、本実施形態の買い物支援装置１によれば、ユーザには、周辺に買い物を行う店が存在することが通知されると共に、当該店で買う商品の存在、又は当該店で販売している商品の存在も通知される。そのため、ユーザは、店に実際に入る前に店で買う商品等を予め知ることができ、ユーザはそれに基づいて様々な判断を行うことができる等、ユーザの利便性を向上することができる。

また、本実施形態の買い物支援装置１によれば、ユーザに表示された周辺画像に、当該周辺に存在する買い物リストに含まれる情報、例えば買い物を行う店や買い物を行う商品等の情報が重畳して表示される。そのため、例えば買い物を行う店や買い物を行う商品等の情報がユーザの視界に入り、音や振動でその存在を通知されるよりも確実に気づくことができ、ユーザの買い物をより確実に支援することができる。また、例えば、周辺画像に情報を重畳して表示する際に、当該情報が示す対象が周辺画像中の実際に存在する場所に重畳して表示することで、ユーザは当該対象が具体的にどの場所にあるかを容易に気づくことができ、ユーザの利便性を向上することができる。

また、本実施形態の買い物支援装置１によれば、買い物リストに登録する店情報又は商品情報として、例えばユーザが撮像手段によって撮像した店情報又は商品情報を登録することができる。これにより、例えば、ユーザは店情報又は商品情報を文字入力操作で登録する必要がなくなり、ユーザの手間が減る等、ユーザの利便性を向上することができる。このように、買い物リストの登録にも画像認識又は音声認識を利用することで、手で文字入力することが難しいヘッドマウントディスプレイ等のウェアラブルデバイスでも容易に買い物リストへの登録が可能となる。

また、本実施形態の買い物支援装置１によれば、さらに店の位置情報に基づいて、周辺に買い物リストに含まれる店情報が示す店が存在するか否かを判定することができ、より確実に店の存在を判定することができる。それにより、ユーザの買い物をより確実に支援することができる。

以上の通り、本実施形態の買い物支援装置１は、ヘッドマウントディスプレイにおける画像認識、位置情報測位、プッシュ情報提供、及びヘッドマウントディスプレイ上での文字／画像の重畳表示により、ストレスフリーな買い物支援を提供することができる。そして、ヘッドマウントディスプレイを利用し、ユーザの視覚方向の画像を認識することで、購入店舗や購入対象商品を厳密に特定することができる。また、ＧＰＳ機能や基地局情報による現在地特定に加えて、店舗の看板等をヘッドマウントディスプレイのカメラ等を利用して画像認識することで購入する店舗まで厳密に特定することができる。

本実施形態の買い物支援装置１により、少ない手間で購入すべきものを事前登録し、現在地に応じて購入すべきものをヘッドマウントディスプレイ上に分かりやすく表示することが可能となる。また、ヘッドマウントディスプレイを利用することにより、ユーザが確実に気づくように視覚的に買い物情報をプッシュ表示することで、ユーザ利便性の向上が期待できる。

なお、本実施形態の買い物支援装置１には、図３に示す各機能ブロックが含まれるが、これらのうち一部の機能ブロックは買い物支援装置１と移動通信接続されたサーバ側に含まれてもよい。その場合、買い物支援装置１とサーバは適宜情報の送受信を行うことで連携して本実施形態の買い物支援装置１と同様の機能を実現する。また、その場合で、例えばサーバと移動通信連携して画像認識する場合、一時的に移動通信エリアの圏外に入った際、圏内復帰時にまとめて画像認識情報をサーバ側へ送信することで画像認識精度を維持することができる。

本実施形態の買い物支援装置１は、ヘッドマウントディスプレイに限定されず、他のウェアラブルデバイスや、一般的なスマートフォン等でも同様に適用可能である。買い物支援装置１の変形例として、例えば、腕時計型や衣服や鞄などに装着する型のウェアラブルデバイスであれば、ヘッドマウントディスプレイのようにユーザの視覚方向の画像認識を行う代わりに、ユーザの正面方向や進行方向の画像認識を行うことで、買い物リストへ登録したい商品や店舗の看板など店舗名を示すものや店舗内での購入対象商品の画像認識を実現し、本実施形態の買い物支援装置１と同様な買い物支援サービスを提供することができる。

１…買い物支援装置、１ａ…本体部、１ｂ…撮像部、１ｃ…表示部、１ｄ…音声入力部、１０…格納部、１１…取得部、１２…認識部、１３…登録部、１４…判定部、１４ａ…店判定部、１４ｂ…商品判定部、１５…通知部。

Claims (7)

1. 装着しているユーザの周辺を撮像可能な撮像手段を備えた買い物支援装置であって、
   買い物を行う店に関する店情報と買い物を行う商品に関する商品情報との何れか一つ以上の情報を含む買い物リストを格納する格納手段と、
   前記撮像手段によって撮像された周辺画像を画像認識する認識手段と、
   前記認識手段による周辺画像の画像認識結果と、前記格納手段によって格納された買い物リストに含まれる情報とに基づいて、当該周辺画像に当該情報が示す対象が存在するか否かを判定する判定手段と、
   前記判定手段によって存在すると判定された対象の存在をユーザに通知する通知手段と、
   を備える買い物支援装置。
2. 前記格納手段は、店情報と商品情報とを含む買い物リストを格納し、
   前記判定手段は、
   前記認識手段による周辺画像の画像認識結果と、前記格納手段によって格納された買い物リストに含まれる店情報とに基づいて、当該周辺画像に当該店情報が示す店が存在するか否かを判定する店判定手段と、
   前記認識手段による周辺画像の画像認識結果と、前記格納手段によって格納された買い物リストに含まれる商品情報とに基づいて、当該周辺画像に当該商品情報が示す商品が存在するか否かを判定する商品判定手段と、
   から構成され、
   前記通知手段は、前記店判定手段によって存在すると判定された店の存在をユーザに通知し、前記商品判定手段によって存在すると判定された商品の存在をユーザに通知する、
   請求項１に記載の買い物支援装置。
3. 前記格納手段は、店情報と当該店情報が示す店で買う商品に関する商品情報とを関連付けた買い物リスト、又は、店情報と当該店情報が示す店で販売している商品に関する商品情報とを関連付けた買い物リストを格納し、
   前記通知手段は、前記店判定手段によって存在すると判定された店の存在をユーザに通知する際に、前記格納手段によって格納された買い物リストにおいて当該店に関する店情報に関連付いた商品情報が示す商品の存在もユーザに通知する、
   請求項２に記載の買い物支援装置。
4. 前記撮像手段によって撮像された周辺画像をユーザに表示する表示手段をさらに備え、
   前記通知手段は、前記判定手段によって、買い物リストに含まれる情報が示す対象が存在すると判定された際に、当該情報を前記表示手段によって表示された周辺画像に重畳して表示する、
   請求項１〜３の何れか一項に記載の買い物支援装置。
5. 前記認識手段による画像認識結果である店情報又は商品情報を、前記格納手段によって格納された買い物リストに登録する登録手段をさらに備える、
   請求項１〜４の何れか一項に記載の買い物支援装置。
6. 前記格納手段は、店情報であって当該店情報が示す店の位置情報を含む店情報を含む買い物リストを格納し、
   前記撮像手段によって周辺画像が撮像された際の位置情報を取得する取得手段をさらに備え、
   前記判定手段は、周辺画像に買い物リストに含まれる店情報が示す店が存在するか否かを判定する際に、さらに、当該店情報に含まれる店の位置情報と前記取得手段によって取得された位置情報との一致度に基づいて存在するか否かを判定する、
   請求項１〜５の何れか一項に記載の買い物支援装置。
7. 装着しているユーザの周辺を撮像可能な撮像手段と、買い物を行う店に関する店情報と買い物を行う商品に関する商品情報との何れか一つ以上の情報を含む買い物リストを格納する格納手段と、を備えた買い物支援装置により実行される買い物支援方法であって、
   前記撮像手段によって撮像された周辺画像を画像認識する認識ステップと、
   前記認識ステップにおける周辺画像の画像認識結果と、前記格納手段によって格納された買い物リストに含まれる情報とに基づいて、当該周辺画像に当該情報が示す対象が存在するか否かを判定する判定ステップと、
   前記判定ステップにおいて存在すると判定された対象の存在をユーザに通知する通知ステップと、
   を含む買い物支援方法。
   

Images