JP6029616B2

JP6029616B2 - 物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラム

Info

Publication number: JP6029616B2
Application number: JP2014108117A
Authority: JP
Inventors: 航遠藤; 彩香池嶋; 結城　明; 明結城; 正登丹波
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2014-05-26
Filing date: 2014-05-26
Publication date: 2016-11-24
Anticipated expiration: 2034-05-26
Also published as: JP2015225379A

Description

本発明は、物品の情報を提供することに適した物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラムに関する。

近年、仮想物体の画像を、あたかも現実空間にその仮想物体があるかのように表示部に表示させる、いわゆるＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ：拡張現実感）技術が様々な分野で応用されている。

その１つとして、たとえば特許文献１に示されている、店舗に陳列されている商品などの物品についての物品情報を、客など物品情報を確認したい者に対してリアルタイムに提供する物品情報提供システムが知られている。この技術は、撮像部により現実空間を撮像し、物品情報取得部により撮像部によって撮像された撮像画像に含まれる物品に関する物品情報を取得し、画像生成部により撮像部によって撮像された撮像画像に含まれる物品の位置に基づいて、物品情報取得部により取得された物品情報を現実空間に重畳して表示させるための拡張現実画像を生成し、表示部により画像生成部によって生成された拡張現実画像を表示可能としたものである。

特開２０１１−２５３３２４

上述した特許文献１の物品情報提供システムでは、物品情報取得部により撮像部によって撮像された撮像画像に含まれる物品に関する物品情報が取得されると、画像生成部により撮像部によって撮像された撮像画像に含まれる物品の位置に基づいて、物品情報取得部により取得された物品情報を示す物品情報画像が表示部により現実空間に重畳して表示されるため、店舗に陳列されている物品についての物品情報を、客等に対してリアルタイムに提供することができる。

ところで、このような物品情報提供システムでは、客等が物品を指さしたり、掴んだりしたとき、撮像画像に手指が含まれていることで、客等が物品情報を知りたいものと判定し、直ちに物品情報を示す物品情報画像を表示している。ところが、客等が物品を指さしたり、掴んだりすることは、物品情報を知りたい行為とは限らない場合がある。つまり、いろんな物品を見ているうちに単に物品に触れてしまうことも多々あるためである。

このように、客等が単に物品に触れてしまう場合でも、物品情報を示す物品情報画像を表示させてしまうと、余分な物品情報画像が表示されてしまうことになるばかりか、余分な物品情報画像が視野に入ってしまうことで煩わしさを覚えてしまうことがある。

このようなことから、ユーザーである客等が知りたい物品情報を示す物品情報画像を適切なタイミングで表示させることができる装置の開発が望まれていた。

本発明は、このような状況に鑑みてなされたものであり、ユーザーが知りたい物品情報を示す物品情報画像を適切なタイミングで表示させることができる物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラムを提供することを目的とする。

本発明の物品情報提供装置は、物品情報提供装置であって、物品情報を示す物品情報画像を表示する表示部と、現実空間を撮像する撮像部と、前記撮像部によって撮像された被写体を認識する被写体認識部と、前記被写体認識部によって認識された被写体から物品及び手を判別し、前記判別した物品の状態に応じて前記表示部に前記物品情報画像を表示させる物品判別部とを備え、前記物品判別部は、前記判別した物品が前記判別した手によって動かされたか否かを判断し、前記物品が裏返されたか傾けられたことによる動態変化を識別した場合、及び、前記判別した物品の動態変化が一定時間無い場合のいずれか場合、前記表示部に前記物品情報画像を表示させ、前記被写体認識部により認識された被写体に前記物品を判別しない場合、前記物品情報画像を前記表示部から消去することを特徴とする。
本発明の物品情報提供システムは、物品情報提供装置と、情報管理サーバーとを備え、前記物品情報提供装置は、物品情報を示す物品情報画像を表示する表示部と、前記情報管理サーバーとの間で情報の送受信を行う第１の情報送受信部と、現実空間を撮像する撮像部と、前記撮像部によって撮像された被写体を認識する被写体認識部と、前記被写体認識部によって認識された被写体から物品及び手を判別し、前記判別した物品を示す物品識別情報を前記第１の情報送受信部を介して前記情報管理サーバーに送信し、前記情報管理サーバーから前記物品の物品情報を受け取り、前記判別した物品の状態に応じて前記表示部に前記物品情報画像を表示させる物品判別部とを備え、前記情報管理サーバーは、前記物品情報が登録されているデータベースと、前記物品情報提供装置との間で情報の送受信を行う第２の情報送受信部と、前記物品識別情報に基づいて物品を識別する物品識別部と、前記物品識別部による物品の識別結果に基づき、前記データベースから該当する物品情報を取得し、前記第２の情報送受信部を介して前記物品情報提供装置に送信する物品情報取得部とを備え、前記物品判別部は、前記判別した物品が前記判別した手によって動かされたか否かを判断し、前記物品が裏返されたか傾けられたことによる動態変化を識別した場合、及び、前記判別した物品の動態変化が一定時間無い場合のいずれか場合、前記表示部に前記物品情報画像を表示させ、前記被写体認識部により認識された被写体に前記物品を判別しない場合、前記物品情報画像を前記表示部から消去することを特徴とする。
また、前記データベースには、前記物品を特定するための物品画像及び物品名が登録されており、前記物品識別部は、前記物品識別情報が前記物品画像又は前記物品名である場合、前記データベースに登録されている前記物品画像又は前記物品名との照合により前記物品を識別し、前記物品情報取得部は、前記物品識別部による識別結果に基づき、前記データベースから該当する物品情報を取得することを特徴とする。
また、前記物品識別部は、前記物品識別情報がバーコードである場合、前記バーコードを判読して前記物品を認識することを特徴とする。
本発明の物品情報提供方法は、物品情報提供装置による物品情報提供方法であって、表示部により物品情報を示す物品情報画像を表示する工程と、撮像部により現実空間を撮像する工程と、被写体認識部により前記撮像部によって撮像された被写体を認識する工程と、物品判別部により前記被写体認識部によって認識された被写体から物品及び手を判別し、前記判別した物品の状態に応じて前記表示部に前記物品情報画像を表示させる工程とを有し、前記物品判別部は、前記判別した物品が前記判別した手によって動かされたか否かを判断し、前記物品が裏返されたか傾けられたことによる動態変化を識別した場合、及び、前記判別した物品の動態変化が一定時間無い場合のいずれか場合、前記表示部に前記物品情報画像を表示させ、前記被写体認識部により認識された被写体に前記物品を判別しない場合、前記物品情報画像を前記表示部から消去することを特徴とする。
本発明の物品情報提供方法は、情報管理サーバーと物品情報提供装置を有する物品情報提供システムによる物品情報提供方法であって、前記物品情報提供装置の表示部により前記物品情報を示す物品情報画像を表示する工程と、前記物品情報提供装置の第１の情報送受信部により前記情報管理サーバーとの間で情報の送受信を行う工程と、前記物品情報提供装置の撮像部により現実空間を撮像する工程と、前記物品情報提供装置の被写体認識部により前記撮像部によって撮像された被写体を認識する工程と、前記物品情報提供装置の物品判別部により前記被写体認識部によって認識された被写体から物品及び手を判別し、前記判別した物品を示す物品識別情報を前記第１の情報送受信部を介して前記情報管理サーバーに送信し、前記情報管理サーバーから前記物品の物品情報を受け取り、前記判別した物品の状態に応じて前記表示部に前記物品情報画像を表示させる工程と、前記情報管理サーバーの第２の情報送受信部により前記物品情報提供装置との間で情報の送受信を行う工程と、
前記情報管理サーバーの物品識別部により前記物品識別情報に基づいて物品を識別する工程と、前記情報管理サーバーの物品情報取得部により前記物品識別部による物品の識別結果に基づき、前記物品情報が登録されているデータベースから該当する物品情報を取得し、前記第２の情報送受信部を介して前記物品情報提供装置に送信する工程とを有し、前記物品判別部は、前記判別した物品が前記判別した手によって動かされたか否かを判断し、前記物品が裏返されたか傾けられたことによる動態変化を識別した場合、及び、前記判別した物品の動態変化が一定時間無い場合のいずれか場合、前記表示部に前記物品情報画像を表示させ、前記被写体認識部により認識された被写体に前記物品を判別しない場合、前記物品情報画像を前記表示部から消去することを特徴とする。
本発明の物品情報提供プログラムは、表示部により物品情報を示す物品情報画像を表示する工程と、撮像部により現実空間を撮像する工程と、被写体認識部により前記撮像部によって撮像された被写体を認識する工程と、物品判別部により前記被写体認識部によって認識された被写体から物品及び手を判別し、前記判別した物品の状態に応じて前記表示部に前記物品情報画像を表示させる工程とを物品情報提供装置を制御するコンピューターに実行させ、前記物品判別部は、前記判別した物品が前記判別した手によって動かされたか否かを判断し、前記物品が裏返されたか傾けられたことによる動態変化を識別した場合、及び、前記判別した物品の動態変化が一定時間無い場合のいずれか場合、前記表示部に前記物品情報画像を表示させ、前記被写体認識部により認識された被写体に前記物品を判別しない場合、前記物品情報画像を前記表示部から消去することを特徴とする。
本発明の物品情報提供プログラムは、表示部により物品情報を示す物品情報画像を表示する工程と、第１の情報送受信部により情報管理サーバーとの間で情報の送受信を行う工程と、撮像部により現実空間を撮像する工程と、被写体認識部により前記撮像部によって撮像された被写体を認識する工程と、物品判別部により前記被写体認識部によって認識された被写体から物品及び手を判別し、前記判別した物品を示す物品識別情報を前記第１の情報送受信部を介して前記情報管理サーバーに送信し、前記情報管理サーバーから前記物品の物品情報を受け取り、前記判別した物品の状態に応じて前記表示部に前記物品情報画像を表示させる工程とを物品情報提供装置を制御するためのコンピューターに実行させ、第２の情報送受信部により前記物品情報提供装置との間で情報の送受信を行う工程と、物品識別部により前記物品識別情報に基づいて物品を識別する工程と、物品情報取得部により前記物品識別部による物品の識別結果に基づき、前記物品情報が登録されているデータベースから該当する物品情報を取得し、前記第２の情報送受信部を介して前記物品情報提供装置に送信する工程とを情報管理サーバーを制御するためのコンピューターに実行させ、前記物品判別部は、前記判別した物品が前記判別した手によって動かされたか否かを判断し、前記物品が裏返されたか傾けられたことによる動態変化を識別した場合、及び、前記判別した物品の動態変化が一定時間無い場合のいずれか場合、前記表示部に前記物品情報画像を表示させ、前記被写体認識部により認識された被写体に前記物品を判別しない場合、前記物品情報画像を前記表示部から消去することを特徴とする。
本発明の物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラムでは、撮像部により現実空間が撮像され、被写体認識部により撮像部によって撮像された被写体が認識され、物品判別部により被写体認識部によって認識された被写体から物品及び手が判別されると、判別した物品を示す物品識別情報が第１の情報送受信部を介して情報管理サーバーに送信される。また、情報管理サーバーから物品の物品情報を受け取ると、物品判別部により、判別した物品の状態に応じて表示部に物品情報を示す物品情報画像が表示される。

本発明の物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラムによれば、物品判別部により被写体認識部によって認識された被写体から物品及び手が判別されると、判別された物品の状態に応じて表示部に物品情報を示す物品情報画像が表示されるので、ユーザーが知りたい物品情報を示す物品情報画像を適切なタイミングで表示させることができる。

本発明の物品情報提供システムの一実施形態を示す図である。図１のＨＭＤの一例を示す斜視図である。図１のＨＭＤのカメラにより撮像される被写体を説明するものであって、同図（ａ）は被写体である物品がＨＭＤのユーザーの手によって掴まれている状態を示す図であり、同図（ｂ）はユーザーの手によって掴まれている物品が裏返された状態を示す図であり、同図（ｃ）はユーザーの手によって掴まれている物品が傾けられた状態を示す図である。図１のＨＭＤ側の処理を説明するためのフローチャートである。図１の情報管理サーバー側の処理を説明するためのフローチャートである。

以下、本発明の物品情報提供システムの一実施形態を、図１〜図５を参照しながら説明する。なお、以下の説明においての物品情報提供装置の一例としては、たとえば頭部装着型表示装置（ＨＭＤ：ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）であるものとする。また、以下に説明する頭部装着型表示装置は、たとえば店舗において用いられるものとする。

まず、図１に示すように、物品情報提供システムは、頭部装着型表示装置（以下、ＨＤＭという）１０と、データベース２４を有する情報管理サーバー２０とを備えている。ＨＭＤ１０と情報管理サーバー２０とは、無線通信回線３０を介して接続されている。

ＨＭＤ１０は、現実空間における物品とＣＧなどで描画された物品情報を示す物品情報画像とを融合表示させることにより、ＨＭＤ１０のユーザーに対して物品情報をリアルタイムに提供する物品情報提供装置の一形態である。また、ＨＭＤ１０は、たとえばユーザーの頭部に装着した状態で使用されるものであり、たとえば図２に示すように、眼鏡型とされている。これにより、ユーザーはＨＭＤ１０を手で保持する必要がないので、今までどおり両手を使って買い物をすることができる。

すなわち、ＨＭＤ１０は、物品情報を示す物品情報画像を表示する左右の表示部１１と、耳に掛けるためのつる部１２とを有している。左右の表示部１１の間には、カメラ１３が配置されている。カメラ１３が左右の表示部１１の間に配置されていることで、カメラ１３の撮像範囲がユーザーの頭部の動きに追従する。また、一方のつる部１２には、装置本体１４が配置されている。

なお、カメラ１３は、たとえばＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）センサ又はＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサを撮像素子として用いた構成とされる。また、カメラ１３は、画像一枚あたりの撮像周期がたとえば１／３０秒（すなわち、フレームレートが３０ｆｐｓ）で被写体を撮像可能なビデオカメラとすることができる。

これにより、カメラ１３は、被写体であるユーザーの手５０と、このユーザーの手５０によって掴まれている物品４０とを連続して撮像することができる。なお、カメラ１３は、ビデオカメラに限らず、静止画を撮像するものとしてもよい。この場合、静止画の撮像間隔を、たとえば０．５秒とすることで、被写体であるユーザーの手５０と、このユーザーの手５０によって掴まれている物品４０とを間欠的に撮像することができる。

また、表示部１１は、たとえば光学シースルー方式を採用している。すなわち、表示部１１は、可視光の透過が可能となるように構成されている。これにより、ＨＭＤ１０の装着者は、眼前の表示部１１を透過した現実空間の光景を直接見ることができるとともに、表示部１１に表示された拡張現実画像も見ることができる。この場合の拡張現実画像は、ＣＧなどで描画された物品情報を示す物品情報画像である。

なお、表示部１１は、たとえばハーフミラーによって構成されていてもよい。また、表示部１１は、後述の画像処理制御部１６によって生成された物品情報を示す物品情報画像を表示部１１に投影するための投影装置（図示省略）を備えている。また、表示部１１は、液晶ディスプレイで構成されていてもよい。この場合は、後述の画像処理制御部１６によって生成された物品情報画像が液晶駆動回路（図示省略）によって表示部１１に表示されるようにする。

装置本体１４は、画像認識部１５、画像処理制御部１６、無線送受信部１７を有している。画像認識部１５は、上述のカメラ１３によって撮像された被写体である物品４０を認識する。この場合、ユーザーが物品４０を掴んでいると、ユーザーの手５０も被写体として認識される。また、物品４０が例えば棚に陳列されている状態で撮像された場合は、画像認識部１５が物品４０と棚を被写体として認識する。

画像認識部１５による被写体の認識は、カメラ１３によって撮像が行われている間、連続して行われる。なお、画像認識部１５による被写体の認識は、たとえば０．５秒間隔としたように間欠的に行われてもよい。

画像処理制御部１６は、画像認識部１５による認識動作を制御する。また、画像処理制御部１６は、画像認識部１５によって認識された被写体から物品４０を判別し、その物品４０を示す物品識別情報を無線送受信部１７を介して無線通信回線３０に接続されている情報管理サーバー２０に送信する。なお、物品識別情報としては、物品４０の物品画像であってもよいし、物品４０上に付されている物品名、バーコード、ロット番号、製造年月日、製造者名などであってもよい。すなわち、物品識別情報は、単独で、又は組み合わせて物品４０の識別を可能とする情報である。

また、画像処理制御部１６は、後述のように、ユーザーが物品情報を知りたいかどうかを判定し、ユーザーが物品情報を知りたいと判定すると、情報管理サーバー２０から受け取った物品情報を示す物品情報画像を生成し、表示部１１に表示させる。

ここで、画像処理制御部１６によるユーザーが物品情報を知りたいかどうかの判定は、たとえば物品４０がユーザーの手５０によって動かされたかどうかを判断して行う。すなわち、たとえば図３（ａ）に示すように、物品４０がユーザーの手５０によって掴まれていたとする。この場合、カメラ１３により物品４０のマーク４１が手前側に位置している状態で、ユーザーの手５０によって掴まれている物品４０が撮像される。なお、図中符号４２はキャップを示している。

また、たとえば図３（ｂ）に示すように、ユーザーが手５０で掴んだ物品４０を裏返して物品４０の全体を見たり、物品４０上の説明書きなどを見たりすることがある。この場合、カメラ１３により物品４０のマーク４１が背面側に移動している状態で、ユーザーの手５０によって掴まれている物品４０が撮像される。

また、図３（ｃ）に示すように、ユーザーが手５０で掴んだ物品４０を傾けて物品４０の全体を見たり、物品４０上の説明書きなどを見たりすることがある。この場合、カメラ１３により物品４０のキャップ４２が下方に移動している状態で、ユーザーの手５０によって掴まれている物品４０が撮像される。

このような物品４０の動態変化は、画像処理制御部１６が画像認識部１５によって認識された被写体から物品４０を判別するとともに、物品４０の変化を識別することで判別することができる。そこで、画像処理制御部１６は、物品４０が裏返されたり傾けられたりすることによる物品４０の動態変化を識別することで、ユーザーが物品情報を知りたいかどうかを判定することができる。

そして、画像処理制御部１６は、ユーザーが物品情報を知りたいものと確実に判定すると、情報管理サーバー２０からの物品情報に基づき、その物品情報を示す物品情報画像を生成し、表示部１１に表示させる。これにより、ユーザーが物品４０の物品情報を知りたいと思われるタイミングでその物品４０の物品情報をユーザーに提供できる。

なお、画像処理制御部１６によるユーザーが物品情報を知りたいかどうかの判定は、物品４０の動態変化の有無に限るものではない。すなわち、たとえば図３（ａ）に示す状態での物品４０が継続して撮像されることがある。これは、ユーザーが手５０で物品４０を掴んでも、そのままの状態で物品４０の全体を見たり、物品４０上の説明書きなどを見たりすることがあるためである。

この場合、物品４０の動態変化のない状態が一定時間（たとえば５秒程度）経過していれば、物品４０を凝視していることになり、ユーザーが物品情報を知りたいと判定する。なお、判定に要する一定時間は、５秒に限るものではなく、適宜変更可能である。また、ユーザーは、棚に陳列されている物品４０を掴まずにそのまま凝視することがある。この場合も、物品４０の動態変化のない状態が一定時間（たとえば５秒程度）経過していれば、ユーザーが物品情報を知りたいと判定する。

無線送受信部１７は、画像処理制御部１６からの物品識別情報を情報管理サーバー２０に送信したり、情報管理サーバー２０からの物品情報を受信したりする。

一方、情報管理サーバー２０は、無線送受信部２１、物品識別部２２、物品情報取得部２３を備えている。無線送受信部２１は、ＨＭＤ１０からの上述した物品識別情報の受信と、この物品識別情報に対応した物品情報の送信とを行う。

物品識別部２２は、ＨＭＤ１０からの物品識別情報に基づき、物品４０を識別する。物品４０の判別に際しては、物品識別情報が物品４０の物品画像である場合、データベース２４に登録されている物品画像との照合により行う。また、物品識別情報が物品４０上に付されている物品名である場合、データベース２４に登録されている物品名との照合により行う。なお、物品識別情報がバーコードである場合は、そのまま判読することで、物品４０を判別する。

物品情報取得部２３は、物品識別部２２による物品４０の識別結果に基づき、データベース２４から該当する物品情報を取得する。データベース２４には、物品４０毎に対応させた物品情報や、物品４０を判別するための物品画像及び物品名が登録されている。

次に、図４を参照し、ＨＭＤ１０側の処理について説明する。なお、ＨＭＤ１０側の処理においては、ＨＭＤ１０がユーザーの頭部に装着されることで、カメラ１３による撮像が開始されるものとする。

まず、ＨＭＤ１０のカメラ１３による被写体の撮像待ちの状態から（ステップＳ１；ＮＯ）、ＨＭＤ１０のカメラ１３による被写体の撮像が行われたとする（ステップＳ１：ＹＥＳ）。ここで、たとえば図３（ａ）に示したように、物品４０がユーザーの手５０によって掴まれていたとする。このとき、ＨＭＤ１０のカメラ１３が、被写体である物品４０及びユーザーの手５０を撮像する。

被写体が撮像されると、画像認識部１５が被写体である物品４０及びユーザーの手５０を認識する（ステップＳ２）。なお、上述したように、カメラ１３がビデオカメラであり、画像一枚あたりの撮像周期がたとえば１／３０秒（すなわち、フレームレートが３０ｆｐｓ）であるとする。この場合、画像認識部１５はたとえば１秒間で得られる３０枚のフレーム画像のうち、任意のフレーム画像から被写体である物品４０及びユーザーの手５０を認識する。

次いで、画像処理制御部１６が画像認識部１５によって認識された物品４０を判別し（ステップＳ３）、その判別した物品４０を示す物品識別情報を、無線送受信部１７を介して無線通信回線３０に接続されている情報管理サーバー２０に送信する（ステップＳ４）。

なお、その物品４０を示す物品識別情報は、上述したように、物品４０の物品画像であってもよいし、物品４０上に付されている物品名やバーコードなどであってもよい。また、ＨＭＤ１０から情報管理サーバー２０に物品識別情報が送信されると、直ちに該当する物品情報が情報管理サーバー２０から返信されるが、その処理については後述する。よって、ここでは、情報管理サーバー２０から該当する物品情報が返信されているものとする。

また、カメラ１３による被写体の撮像が継続して行われるため、画像認識部１５による被写体の認識に合わせて画像処理制御部１６が物品４０の動態変化の有無を判断する（ステップＳ５）。

ここで、たとえば図３（ｂ）に示したように、ユーザーが手５０で掴んだ物品４０を裏返して物品４０の全体を見たり、物品４０上の説明書きなどを見たりしたとする。この場合、上述したように、カメラ１３により物品４０のマーク４１が背面側に移動している状態で、ユーザーの手５０によって掴まれている物品４０が撮像される。

また、図３（ｃ）に示すように、ユーザーが手５０で掴んだ物品４０を傾けて物品４０の全体を見たり、物品４０上の説明書きなどを見たりしたとする。この場合、上述したように、カメラ１３により物品４０のキャップ４２が下方に移動している状態で、ユーザーの手５０によって掴まれている物品４０が撮像される。

このような物品４０の動態変化は、画像処理制御部１６が画像認識部１５によって認識された被写体から物品４０を判別するとともに、物品４０の変化を識別することで判別することができる。そして、画像処理制御部１６は、物品４０に動態変化が有ると判断すると（ステップＳ５：ＹＥＳ）、ユーザーが物品情報を知りたいと判定し、情報管理サーバー２０から受け取った物品情報を示す物品情報画像を生成し、表示部１１に表示させる（ステップＳ６）。これにより、ユーザーが物品情報を知りたいと思われる適切なタイミングで物品情報が提供される。

次いで、画像処理制御部１６が画像認識部１５によって認識された被写体である物品４０を判別できるかどうか判断する（ステップＳ７）。すなわち、画像処理制御部１６は、ユーザーが手５０で掴まれている物品４０がカメラ１３によって撮像されている間は画像認識部１５による認識結果から物品４０を判別することができる。これに対し、物品４０が元の棚に戻されたりすると、カメラ１３の撮像範囲から外れることで、画像認識部１５による認識結果からの物品４０の判別ができなくなる。

そのため、画像処理制御部１６が物品４０の判別ができる場合（ステップＳ７：ＹＥＳ）、表示部１１での物品情報を示す物品情報画像の表示を継続させる。これに対し、画像処理制御部１６が物品４０を判別できなくなった場合（ステップＳ７：ＮＯ）、物品情報を示す物品情報画像の表示を消去する（ステップＳ８）。これにより、余分な物品情報画像が視野に入ってしまうことがなくなる。

これに対し、ステップＳ５において、物品４０に動態変化が無かった場合（ステップＳ５：ＮＯ）、画像処理制御部１６が一定時間（たとえば５秒程度）経過したかどうかを判断する（ステップＳ９）。すなわち、たとえば図３（ａ）に示した状態で、物品４０が継続してカメラ１３により撮像されることがある。これは、上述したように、ユーザーが手５０で掴んだ物品４０を動かさずにそのままの状態で物品４０の全体を見たり、物品４０上の説明書きなどを見たりすることがあるためである。

この場合、画像処理制御部１６は、物品４０の動態変化のない状態が一定時間（たとえば５秒程度）経過した判断すると（ステップＳ９：ＹＥＳ）、ユーザーが物品情報を知りたいと判定し、情報管理サーバー２０から受け取った物品情報を示す物品情報画像を生成し、表示部１１に表示させる（ステップＳ６）。なお、上述したように、ユーザーは棚に陳列されている物品４０を掴まずにそのまま凝視することがある。この場合も、画像処理制御部１６は、一定時間（たとえば５秒程度）経過していれば、ユーザーが物品情報を知りたいと判定する。これにより、上記同様に、ユーザーが物品情報を知りたいと思われる適切なタイミングで物品情報が提供される。

これに対し、画像処理制御部１６が物品４０の動態変化のない状態が一定時間（たとえば５秒程度）経過していないと判断すると（ステップＳ９：ＮＯ）、画像認識部１５によって認識された被写体である物品４０を判別できるかどうか判断する（ステップＳ１０）。画像処理制御部１６は、物品４０を判別できる場合は（ステップＳ１０：ＹＥＳ）、物品４０に動態変化が有るかどうかを判断する（ステップＳ５）。

これに対し、画像処理制御部１６が物品４０を判別できない場合は（ステップＳ１０：ＮＯ）、表示部１１による物品情報を示す物品情報画像の表示は行われない。すなわち、上述したように、ユーザーが手５０で掴まれている物品４０がカメラ１３によって撮像されている間、画像処理制御部１６は画像認識部１５による認識結果から物品４０を判別することができる。

これに対し、ユーザーが物品４０を一旦掴んだものの、即座に元の棚に物品４０を戻してしまうことがある。また、上述したように、ユーザーは棚に陳列されている物品４０を掴まずにそのまま凝視することがあるが、短時間のうちに視線を凝視していた物品４０から外してしまうことがある。また、ユーザーが物品４０を一旦掴んだものの、そのままカゴに入れてしまうことがある。

この場合、上述したように、物品４０がカメラ１３の撮像範囲から外れることで、画像処理制御部１６は画像認識部１５による認識結果からの物品４０の判別ができなくなる。そのため、画像処理制御部１６は、短時間で物品４０の判別ができなくなった場合、ユーザーが物品情報を知りたいかどうかの判定を行わない。これにより、ユーザーが物品情報を知りたいと思わない場合には、物品情報を示す物品情報画像を表示部１１に表示させないことから、余分な物品情報画像の表示を回避できる。

次に、図５を参照し、情報管理サーバー２０側の処理について説明する。まず、ＨＭＤ１０側からの物品識別情報の受信待ちとなる（ステップＳ２０：ＮＯ）。無線送受信部２１がＨＭＤ１０側からの物品識別情報を受信すると（ステップＳ２０：ＹＥＳ）、物品識別部２２が物品識別情報に基づき、物品４０を識別する（ステップＳ２１）。

ここで、物品４０を識別する際、上述したように、物品識別情報が物品４０の物品画像である場合、データベース２４に登録されている物品画像との照合により行う。また、物品識別情報が物品４０上に付されている物品名である場合、データベース２４に登録されている物品名との照合により行う。なお、物品識別情報がバーコードである場合は、そのまま判読して物品４０を判別する。

次いで、物品情報取得部２３が物品識別部２２による識別結果に基づき、データベース２４から該当する物品情報を取得する（ステップＳ２２）。そして、物品情報取得部２３によって物品情報が取得されると、無線送受信部２１がＨＭＤ１０側にその取得された物品情報を送信する（ステップＳ２３）。

このように、本実施形態では、物品情報提供装置の一形態であるＨＭＤ１０の撮像部の一形態であるカメラ１３により現実空間が撮像され、被写体認識部の一形態である画像認識部１５によりカメラ１３によって撮像された被写体が認識され、物品判別部の一形態である画像処理制御部１６により画像認識部１５によって認識された被写体から物品が判別されると、前記判別した物品を示す物品識別情報が第１の情報送受信部の一形態である無線送受信部１７を介して情報管理サーバー２０に送信される。また、情報管理サーバー２０の第１の情報送受信部の一形態である無線送受信部２１からの物品の物品情報を受け取ると、画像処理制御部１６により、判別した物品の状態に応じて表示部１１に物品情報を示す物品情報画像が表示される。

なお、情報管理サーバー２０側では、物品識別部２２により物品識別情報に基づいて物品が識別されると、物品情報取得部２３により物品識別部２２による物品の識別結果に基づき、物品情報が登録されているデータベース２４から該当する物品情報が取得され、第２の情報送受信部の一形態である無線送受信部２１を介してＨＭＤ１０に送信される。

このように、情報管理サーバー２０との連携により、ＨＭＤ１０の画像処理制御部１６により判別された物品の状態に応じて物品情報を示す物品情報画像が表示部１１に表示されることから、ユーザーが知りたい物品情報を示す物品情報画像を適切なタイミングで表示させることができる。

なお、画像処理制御部１６による表示部１１に対する物品情報を示す物品情報画像の表示は、判別した物品の動態変化を識別したとき、又は判別した物品の動態変化が一定時間無い場合である。これは、ユーザーが物品情報を知りたいかどうかを判定するための条件であり、これらの条件を満たしたときに物品情報を示す物品情報画像を表示部１１に表示させることで、余分な物品情報画像が表示されてしまうことがなくなる。また、余分な物品情報画像がユーザーの視野に入ってしまうことがないため、ユーザーは煩わしさを覚えてしまうこともなくなる。

なお、本実施形態では、ＨＭＤ１０は、たとえば店舗において用いられるものとして説明したが、この例に限らず、病院、図書館、市民会館などのような公共施設や、各種レジャー施設、さらには道路、鉄道、港湾、空港などの交通施設などにおいても用いることが可能である。
また、本実施形態では、店舗の棚に陳列されている物品を例にとって説明したが、その他の箇所に置かれている物品に対しても、同様にして本発明を実施することができる。

１０ＨＭＤ
１１表示部
１２つる部
１３カメラ
１４装置本体
１５画像認識部
１６画像処理制御部
１７無線送受信部
２０情報管理サーバー
２１無線送受信部
２２物品識別部
２３物品情報取得部
２４データベース
３０無線通信回線
４０物品
４１マーク
４２キャップ
５０手

Claims

物品情報提供装置であって、
物品情報を示す物品情報画像を表示する表示部と、
現実空間を撮像する撮像部と、
前記撮像部によって撮像された被写体を認識する被写体認識部と、
前記被写体認識部によって認識された被写体から物品及び手を判別し、前記判別した物品の状態に応じて前記表示部に前記物品情報画像を表示させる物品判別部とを備え、
前記物品判別部は、
前記判別した物品が前記判別した手によって動かされたか否かを判断し、前記物品が裏返されたか傾けられたことによる動態変化を識別した場合、及び、前記判別した物品の動態変化が一定時間無い場合のいずれか場合、前記表示部に前記物品情報画像を表示させ、
前記被写体認識部により認識された被写体に前記物品を判別しない場合、前記物品情報画像を前記表示部から消去する
ことを特徴とする物品情報提供装置。
物品情報提供装置と、
情報管理サーバーとを備え、
前記物品情報提供装置は、
物品情報を示す物品情報画像を表示する表示部と、
前記情報管理サーバーとの間で情報の送受信を行う第１の情報送受信部と、
現実空間を撮像する撮像部と、
前記撮像部によって撮像された被写体を認識する被写体認識部と、
前記被写体認識部によって認識された被写体から物品及び手を判別し、前記判別した物品を示す物品識別情報を前記第１の情報送受信部を介して前記情報管理サーバーに送信し、前記情報管理サーバーから前記物品の物品情報を受け取り、前記判別した物品の状態に応じて前記表示部に前記物品情報画像を表示させる物品判別部とを備え、
前記情報管理サーバーは、
前記物品情報が登録されているデータベースと、
前記物品情報提供装置との間で情報の送受信を行う第２の情報送受信部と、
前記物品識別情報に基づいて物品を識別する物品識別部と、
前記物品識別部による物品の識別結果に基づき、前記データベースから該当する物品情報を取得し、前記第２の情報送受信部を介して前記物品情報提供装置に送信する物品情報取得部とを備え、
前記物品判別部は、
前記判別した物品が前記判別した手によって動かされたか否かを判断し、前記物品が裏返されたか傾けられたことによる動態変化を識別した場合、及び、前記判別した物品の動態変化が一定時間無い場合のいずれか場合、前記表示部に前記物品情報画像を表示させ、
前記被写体認識部により認識された被写体に前記物品を判別しない場合、前記物品情報画像を前記表示部から消去する
ことを特徴とする物品情報提供システム。
前記データベースには、前記物品を特定するための物品画像及び物品名が登録されており、
前記物品識別部は、前記物品識別情報が前記物品画像又は前記物品名である場合、前記データベースに登録されている前記物品画像又は前記物品名との照合により前記物品を識別し、
前記物品情報取得部は、前記物品識別部による識別結果に基づき、前記データベースから該当する物品情報を取得する
ことを特徴とする請求項２に記載の物品情報提供システム。
前記物品識別部は、前記物品識別情報がバーコードである場合、前記バーコードを判読して前記物品を認識することを特徴とする請求項２又は３に記載の物品情報提供システム。
物品情報提供装置による物品情報提供方法であって、
表示部により物品情報を示す物品情報画像を表示する工程と、
撮像部により現実空間を撮像する工程と、
被写体認識部により前記撮像部によって撮像された被写体を認識する工程と、
物品判別部により前記被写体認識部によって認識された被写体から物品及び手を判別し、前記判別した物品の状態に応じて前記表示部に前記物品情報画像を表示させる工程とを有し、
前記物品判別部は、
前記判別した物品が前記判別した手によって動かされたか否かを判断し、前記物品が裏返されたか傾けられたことによる動態変化を識別した場合、及び、前記判別した物品の動態変化が一定時間無い場合のいずれか場合、前記表示部に前記物品情報画像を表示させ、
前記被写体認識部により認識された被写体に前記物品を判別しない場合、前記物品情報画像を前記表示部から消去する
ことを特徴とする物品情報提供方法。
情報管理サーバーと物品情報提供装置を有する物品情報提供システムによる物品情報提供方法であって、
前記物品情報提供装置の表示部により前記物品情報を示す物品情報画像を表示する工程と、
前記物品情報提供装置の第１の情報送受信部により前記情報管理サーバーとの間で情報の送受信を行う工程と、
前記物品情報提供装置の撮像部により現実空間を撮像する工程と、
前記物品情報提供装置の被写体認識部により前記撮像部によって撮像された被写体を認識する工程と、
前記物品情報提供装置の物品判別部により前記被写体認識部によって認識された被写体から物品及び手を判別し、前記判別した物品を示す物品識別情報を前記第１の情報送受信部を介して前記情報管理サーバーに送信し、前記情報管理サーバーから前記物品の物品情報を受け取り、前記判別した物品の状態に応じて前記表示部に前記物品情報画像を表示させる工程と、
前記情報管理サーバーの第２の情報送受信部により前記物品情報提供装置との間で情報の送受信を行う工程と、
前記情報管理サーバーの物品識別部により前記物品識別情報に基づいて物品を識別する工程と、
前記情報管理サーバーの物品情報取得部により前記物品識別部による物品の識別結果に基づき、前記物品情報が登録されているデータベースから該当する物品情報を取得し、前記第２の情報送受信部を介して前記物品情報提供装置に送信する工程とを有し、
前記物品判別部は、
前記判別した物品が前記判別した手によって動かされたか否かを判断し、前記物品が裏返されたか傾けられたことによる動態変化を識別した場合、及び、前記判別した物品の動態変化が一定時間無い場合のいずれか場合、前記表示部に前記物品情報画像を表示させ、
前記被写体認識部により認識された被写体に前記物品を判別しない場合、前記物品情報画像を前記表示部から消去する
ことを特徴とする物品情報提供方法。
表示部により物品情報を示す物品情報画像を表示する工程と、
撮像部により現実空間を撮像する工程と、
被写体認識部により前記撮像部によって撮像された被写体を認識する工程と、
物品判別部により前記被写体認識部によって認識された被写体から物品及び手を判別し、前記判別した物品の状態に応じて前記表示部に前記物品情報画像を表示させる工程とを物品情報提供装置を制御するコンピューターに実行させ、
前記物品判別部は、
前記判別した物品が前記判別した手によって動かされたか否かを判断し、前記物品が裏返されたか傾けられたことによる動態変化を識別した場合、及び、前記判別した物品の動態変化が一定時間無い場合のいずれか場合、前記表示部に前記物品情報画像を表示させ、
前記被写体認識部により認識された被写体に前記物品を判別しない場合、前記物品情報画像を前記表示部から消去する
ことを特徴とする物品情報提供プログラム。
表示部により物品情報を示す物品情報画像を表示する工程と、
第１の情報送受信部により情報管理サーバーとの間で情報の送受信を行う工程と、
撮像部により現実空間を撮像する工程と、
被写体認識部により前記撮像部によって撮像された被写体を認識する工程と、
物品判別部により前記被写体認識部によって認識された被写体から物品及び手を判別し、前記判別した物品を示す物品識別情報を前記第１の情報送受信部を介して前記情報管理サーバーに送信し、前記情報管理サーバーから前記物品の物品情報を受け取り、前記判別した物品の状態に応じて前記表示部に前記物品情報画像を表示させる工程とを物品情報提供装置を制御するためのコンピューターに実行させ、
第２の情報送受信部により前記物品情報提供装置との間で情報の送受信を行う工程と、
物品識別部により前記物品識別情報に基づいて物品を識別する工程と、
物品情報取得部により前記物品識別部による物品の識別結果に基づき、前記物品情報が登録されているデータベースから該当する物品情報を取得し、前記第２の情報送受信部を介して前記物品情報提供装置に送信する工程とを情報管理サーバーを制御するためのコンピューターに実行させ、
前記物品判別部は、
前記判別した物品が前記判別した手によって動かされたか否かを判断し、前記物品が裏返されたか傾けられたことによる動態変化を識別した場合、及び、前記判別した物品の動態変化が一定時間無い場合のいずれか場合、前記表示部に前記物品情報画像を表示させ、
前記被写体認識部により認識された被写体に前記物品を判別しない場合、前記物品情報画像を前記表示部から消去する
ことを特徴とする物品情報提供プログラム。