JP7468508B2 - 情報処理装置、情報処理方法、プログラム、および情報処理システム - Google Patents

Description

本開示は、情報処理装置等に関する。

店舗に欲しい商品があるかは、顧客が来店するまで知ることができない。このため顧客は商品が見つかるまで複数の店舗を転々とすることがある。

特許文献１は、顧客の利便性を高めるために、カメラで撮像した陳列商品のリアルタイム画像をサーバ装置が通信端末機に送信し、通信端末機を使ってリアルタイム画像から商品を選択して注文データを生成し、店舗サーバに送信する技術を開示する。また、特許文献２は、商品を撮影するカメラを顧客のユーザ端末で操作しながら商品のライブ映像を表示し、表示される映像から商品を選択して発注する技術を開示する。

特開２００３－０９９６２９号公報 特開２００５－２１６００５号公報

店舗の売上向上のためには、店舗に来店する顧客のニーズに合った品揃え、商品在庫が重要となる。特許文献１、２の技術では購入に至る前の顧客のニーズを把握することはできない。

本開示の目的の１つは、顧客が店舗の商品在庫を確認でき、店舗が顧客のニーズを把握することが可能な情報処理装置等を提供することにある。

本開示の一態様である情報処理装置は、店舗の商品を撮影した商品画像を取得する画像取得部と、顧客の情報端末から受信した、前記商品画像に対する操作指示に基づいて、前記商品画像を操作する画像操作部と、操作された前記商品画像に基づいて、前記店舗の商品に対する前記顧客のニーズを特定する特定部を備える。

本開示の一形態である情報処理方法は、店舗の商品を撮影した商品画像を取得し、顧客の情報端末から受信した、前記商品画像に対する操作指示に基づいて、前記商品画像を画像操作し、操作された前記商品画像に基づいて、前記店舗の商品に対する前記顧客のニーズを特定する。

本開示の一形態である記録媒体に格納されたプログラムは、店舗の商品を撮影した商品画像を取得し、顧客の情報端末から受信した、前記商品画像に対する操作指示に基づいて、前記商品画像を画像操作し、操作された前記商品画像に基づいて、前記店舗の商品に対する前記顧客のニーズを特定する、ことをコンピュータに実行させる。

本開示によれば、顧客が店舗の商品在庫を確認でき、店舗が顧客のニーズを把握することができる。

第１の実施形態に係る情報処理システムの概要を示す図である。 第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 第１の実施形態に係る情報端末の構成の一例を示すブロック図である。 商品画像の中央領域に位置する商品の一例を示す図である。 第１の実施形態に係る情報処理システムの動作の一例を示すシーケンス図である。 第２の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 第３の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 第３の実施形態に係る情報処理システムの動作の一部を示すシーケンス図である。 第４の実施形態に係る情報処理システムの構成の一例を示すブロック図である。 第４の実施形態に係る情報処理システムの動作の一例を示すシーケンス図である。 コンピュータによるハードウエア構成を示す図である。

（第１の実施形態）
第１の実施形態に係る情報処理装置について、図面を用いて説明する。図１は、第１の実施形態に係る情報処理システムの概要を示す図である。図１に示す情報処理システムは、情報処理装置１００、カメラ１５０、情報端末２００を備える。情報処理装置１００、カメラ１５０、情報端末２００は、ネットワーク３００を介して通信可能に接続される。
（カメラ）
カメラ１５０は、店舗の商品を撮影し、撮影したカメラ画像を情報処理装置１００に送信する。撮影される店舗の商品は、店舗の商品単位、陳列棚の棚段単位、陳列棚単位のいずれでもよい。カメラ画像には店舗の商品が少なくとも１つ含まれる。カメラ１５０による店舗の商品の撮影とカメラ画像の送信は、所定期間ごとに実施される。所定期間は、例えば１０分単位、１時間単位のいずれでもよい。また、カメラ画像は映像でもよい。カメラ１５０は、例えば、ネットワークカメラである。陳列棚は、陳列什器とも呼ばれる。陳列什器とは、商品を陳列するための店舗什器である。陳列什器には、陳列棚以外に陳列フック、ショーケース等も含まれる。カメラ１５０が複数ある場合、各カメラ１５０は、カメラ画像と共にカメラ識別子を情報処理装置１００に送信する。また、カメラ１５０は、異なる店舗ごとに商品を撮影してカメラ画像を情報処理装置１００に送信してもよい。なお、カメラ１５０は、カメラ画像を拡大しても情報処理装置１００で商品が検出（識別）できる程度の解像度であればよい。

カメラを設置する店舗は、スーパーマーケット、コンビニエンスストア、量販店、百貨店のような店舗でもよく、小売店でもよい。また、省人店舗、無人店舗、サテライト店舗または売店のような子店舗、あるいは、子店舗に商品を補充する母店舗であってもよい。
（情報処理装置）
第１の実施形態に係る情報処理装置について図面を用いて説明する。図２は、第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。図２に示す情報処理装置１００は、店舗の商品を撮影した商品画像を取得する画像取得部１０１、顧客の情報端末から受信した、商品画像に対する操作指示に基づいて、商品画像を操作する画像操作部１０２、操作された商品画像に基づいて、店舗の商品に対する顧客のニーズを特定する特定部１０３を備える。情報処理装置１００は、例えば、コンピュータである。コンピュータは、店舗に設置されたサーバでもよく、クラウドコンピュータでもよい。

例えば、画像取得部１０１は、カメラ１５０からの店舗の商品を撮影したカメラ画像を受信し、カメラ画像に基づき店舗の商品を撮影した商品画像を取得する。商品画像には、店舗の商品が少なくとも１つ含まれる。商品画像は、カメラ画像の全体でもよく、カメラ画像の一部であってもよい。商品画像は、カメラ画像が編集されたものであってもよい。なお、カメラ１５０が複数ある場合、画像取得部１０１は、各カメラ１５０に対応するカメラ画像を受信する。カメラ画像が映像の場合、画像取得部１０１は、映像を構成する映像フレームを切り出して商品画像を取得する。画像取得部１０１は、取得した商品画像を画像操作部１０２に提供する。

さらに、画像取得部１０１は、必要に応じて、後述する画像操作部１０２によって操作された商品画像を画像操作部１０２から受信し、操作された商品画像を複製して、情報端末２００に提供してもよい。

画像操作部１０２は、顧客の情報端末から受信した、商品画像に対する操作指示に基づいて、商品画像を操作する。

具体的には、画像操作部１０２は、情報端末２００から操作指示を受信し、操作指示に従って取得した商品画像を操作する。画像操作とは、例えば、商品画像に対する画像拡大、画像回転及び画像移動の少なくとも１つである。画像操作部１０２は、操作された商品画像を複製し、特定部１０３、情報端末２００へ提供する。なお、画像操作部１０２は、必要に応じて、操作された商品画像を、上述の画像取得部１０１を介して情報端末２００へ提供してもよい。

特定部１０３は、操作された商品画像を受信し、操作された商品画像に基づいて、店舗の商品に対する顧客のニーズを特定する。顧客のニーズとは、来店した店舗で顧客が購入を希望する商品、又は、商品のカテゴリである。

まず、特定部１０３は、操作された商品画像に含まれる商品を検出する。商品画像に含まれる商品の検出には、例えば、ディープラーニング技術と特徴点マッチング技術を融合させた周知の画像認識技術を用いる。特定部１０３は、操作された商品画像から１つの商品を認識すると、認識された商品を顧客のニーズとして特定する。

なお、操作された商品画像から２以上の商品が認識された場合、商品画像の所定領域に位置する商品を顧客のニーズとして特定する。商品画像の所定領域は、例えば、商品画像の中央領域である。中央領域とは、商品画像の中心付近から所定範囲の領域をいう。中央領域に位置するとは、中央領域に商品の少なくとも一部が含まれる状態をいう。２以上の商品の一部が中央領域に含まれる場合、中央領域に含まれる面積が大きい商品が顧客のニーズとして特定される。

図４は、商品画像の中央領域に位置する商品の一例を示す図である。図４中、中央領域１１１を破線の円形で示している。特定部１０３は、商品画像１１０を画像認識して飲料Ａ、飲料Ｂ、飲料Ｃを商品として認識し、更に、中央領域１１１の位置する飲料Ｂを顧客のニーズとして特定する。図４において、商品画像の中央領域１１１が円形の例で説明したが、これに限られない。例えば、多角形でもよい。

また、所定領域は、中央領域に限られない。例えば、商品画像の左領域、右領域のいずれかであってもよい。また、所定領域は、１つに限られず、複数あってもよい。

特定部１０３による商品画像に含まれる商品の検出は、画像認識技術に限られない。例えば、特定部１０３は、陳列棚と商品を含む商品画像と陳列棚の棚割り情報に基づき生成された陳列棚と商品の位置を関連付けした商品座標データを用いて、操作された商品画像から陳列棚の商品を検出し、顧客のニーズを特定してもよい。具体的には、事前に撮像した陳列棚に陳列された商品を含む基準となる商品画像と棚割り情報から生成された陳列棚における商品の商品座標データを用意しておく。特定部１０３は、基準となる商品画像の中心座標から操作指示による商品画像の拡大倍率、回転角度、移動距離に基づき、操作された商品画像に含まれる商品を検出する。

なお、複数の操作指示によって、操作された商品画像の中から顧客が興味を持つ商品に辿り着く場合がある。このため特定部１０３は、操作された商品画像から常に商品を検出して、顧客のニーズを特定するのではなく、操作指示の受信状況に基づき、顧客のニーズを特定してもよい。

例えば、画像操作部１０２が、操作指示の受信状況を取得し、特定部１０３は、取得した操作指示の受信状況に基づき、商品画像から顧客のニーズを特定する。受信状況は、例えば、受信間隔（受信する時間間隔）、又は、受信頻度である。

具体的には、画像操作部１０２は、情報端末２００から操作指示を受信する時間間隔を計測する。受信する時間間隔が所定の時間間隔より短い場合、特定部１０３は、顧客が、操作された商品画像から商品を未だ検索中である判断し、操作された商品画像から顧客のニーズを特定しない。一方、所定時間間隔より長い場合は、特定部１０３は、顧客が、興味を持った商品に辿り着いたと判断して、操作された商品画像から顧客のニーズを特定する。

あるいは、画像操作部１０２は、情報端末２００から操作指示を受信した受信頻度を計測する。受信頻度は、例えば、単位時間内に操作指示を受信した回数である。受信頻度が所定の受信頻度より大きい場合、特定部１０３は、顧客が、操作された商品画像から商品を未だ検索中である判断し、操作された商品画像から顧客のニーズを特定しない。一方、所定の受信頻度より小さい場合は、特定部１０３は、顧客が、興味を持った商品に辿り着いたと判断して、操作された商品画像から顧客のニーズを特定する。

この他、特定部１０３は、最後に受信した操作指示によって、操作された商品画像に含まれる商品を検出し、顧客のニーズとして特定してもよい。
（情報端末）
次に、第１の実施形態の情報端末について図面を用いて説明する。情報端末２００は、顧客が使用する端末である。顧客とは、店舗を利用する人物又は利用する可能性のある人物である。情報端末２００は、例えば、コンピュータ、又は、スマートフォンである。

図３は、第１実施形態に係る情報端末の一例を示すブロック図である。情報端末２００は、表示制御部２０１、画像操作指示部２０２を備える。情報端末２００は、情報処理装置１００に対して店舗の商品が撮影された商品画像を要求する。例えば、情報端末２００が備えるブラウザソフトを介して情報処理装置１００に商品画像のダウンロードを要求する。

表示制御部２０１は、情報処理装置１００から受信した商品画像をディスプレイ（図示せず）に表示する。商品画像は、カメラ画像に基づき取得された商品画像、又は、操作された商品画像である。

画像操作指示部２０２は、情報処理装置１００に対して、複製元の商品画像の画像操作を指示する。画像操作指示部２０２は、入力デバイス（図示せず）を介して顧客が入力した、提供された商品画像への画像操作を受付ける。画像操作指示部２０２は、受付けた画像操作を、操作指示として情報処理装置１００に送信する。操作指示は、商品画像に対する拡大操作、回転操作、又は、移動操作等を含む。移動操作とは、表示画面の平面内の任意の方向に移動させる操作である。移動操作はスライド操作とも呼ばれる。

入力デバイスは、例えば、タッチパッド、タッチパネル、操作キー等である。操作キーは、ハードウエアキーでもよくソフトウエアキーでもよい。

次に、第１の実施形態に係る情報処理システムの動作について図面を用いて説明する。情報処理システムの動作の説明には、情報処理装置１００の動作、情報端末２００の動作の説明が含まれる。

図５は、第１の実施形態に係る情報処理システムの動作の一例を示すシーケンス図である。

カメラ１５０は、店舗の商品を撮影し（ステップＳ１０１）、撮影したカメラ画像を情報処理装置１００に送信する（ステップＳ１０２）。カメラ画像には店舗の商品が少なくとも１つ含まれる。

情報処理装置１００の画像取得部１０１は、カメラ１５０からのカメラ画像を、店舗の商品を撮影した商品画像として取得する（ステップＳ１０３）。商品画像には、店舗の商品が少なくとも１つ含まれる。

情報処理装置１００は、情報端末２００から店舗の商品が撮影された商品画像の提供要求を受信する（Ｓ１０４）。画像取得部１０１は、取得した商品画像を複製し、情報端末２００に提供する（ステップＳ１０５）。

情報端末２００の表示制御部２０１は、情報処理装置１００から受信した商品画像をディスプレイに表示する（ステップＳ１０６）。

画像操作指示部２０２は、情報処理装置１００に対して、複製元の商品画像の画像操作を指示する。具体的には、画像操作指示部２０２は、入力デバイス（図示せず）を介して顧客が入力した、提供された商品画像への画像操作を受付ける。画像操作指示部２０２は、受付けた画像操作を、操作指示として情報処理装置１００に送信する（ステップＳ１０７）。

情報処理装置１００の画像操作部１０２は、顧客の情報端末から受信した、商品画像に対する操作指示に基づいて、商品画像を操作する。具体的には、画像操作部１０２は、情報端末２００から操作指示を受信し（ステップＳ１０８）、操作指示に従って商品画像を操作する（ステップＳ１０９）。画像操作とは、例えば、商品画像に対する画像拡大、画像回転及び画像移動の少なくとも１つである。画像操作部１０２は、操作された商品画像を複製し、情報端末２００へ提供する（ステップＳ１１０）。情報端末２００は、商品画像を受信し、受信した商品画像を表示する（ステップＳ１１１）。

特定部１０３は、操作された商品画像に基づいて、店舗の商品に対する顧客のニーズを特定する（ステップＳ１１２）。

（第１の実施形態の効果）
第１の実施形態によれば、情報処理装置１００は、店舗の商品が撮影された商品画像を、顧客の情報端末２００に提供する。これにより顧客は、情報処理装置１００が提供する商品画像を表示することで店舗の商品在庫又は品揃えを確認することが可能となる。

さらに、顧客の情報端末２００から情報処理装置１００に対して商品画像の操作指示を送ることで、情報処理装置１００が操作指示に基づいて商品画像を操作する。情報処理装置１００は、操作指示に基づき操作された商品画像に含まれる商品を顧客のニーズとして特定する。これにより、顧客が店舗の商品在庫を確認でき、店舗が顧客のニーズを把握することが可能となる。

また、特許文献２のような顧客がＷＥＢ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）カメラを操作して商品画像を表示する技術では顧客によるＷＥＢカメラの専有問題が発生し、顧客が店舗の商品を確認したくても利用できないおそれがある。これに対し、第１の実施形態では、情報処理装置１００は、カメラ画像から取得した商品画像を、複製して複数の顧客に提供することができる。また、顧客からの操作指示に基づき、情報処理装置１００が商品画像を操作するため、ＷＥＢカメラの操作と比較して、商品画像の画像操作のレスポンスが格段に速くなり、顧客の利便性を高くすることができる。

さらに、顧客の情報端末２００からの操作指示に基づき、情報処理装置１００が商品画像を画像操作し、画像操作した商品画面に基づき、顧客のニーズを特定する。したがって、顧客のニーズの把握を、顧客に意識させることなく実施することができる。

（第２の実施形態）
次に、第２の実施形態に係る情報処理装置ついて、図面を用いて説明する。第２の実施形態は、情報処理装置１００が発注部を更に備える点で第１の実施形態と相違する。以下、第２の実施形態の情報処理装置１００の説明では、第１の実施形態と同様の構成部分については同一の符号を付して詳細な説明は省略する。

図６は、第２の実施形態に係る情報処理装置の構成の一例を示すブロック図である。図６に示す情報処理装置１００は、画像取得部１０１、画像操作部１０２、特定部１０３、発注部１２１を備える。発注部１２１は、例えば、店舗における発注管理システムである。発注部１２１は、発注情報を記憶し、発注情報に基づき商品を発注する。発注情報には、商品名、発注数などが含まれる。

発注情報は、特定された顧客のニーズに基づいて更新される。例えば、特定部１０３は、発注情報に対して、特定された顧客のニーズに含まれる商品を加える、あるいは、商品の発注数を増加させて更新する。発注部１２１は、発注情報に基づき商品を自動的に発注してもよい。また、特定された顧客のニーズに含まれる商品に基づく発注情報の更新は、店員がキーボード等の入力デバイスを介して、更新してもよい。

特定部１０３は、特定された顧客のニーズを分析した結果に基づいて、発注情報を更新してもよい。例えば、特定部１０３は、特定された顧客のニーズをもとに、特定された数の多い顧客ニーズを高い順にランキングし、ランキング上位の顧客のニーズに基づき発注情報を更新する。

第２の実施形態によれば、情報処理装置１００の特定部１０３、発注部１２１によって特定された顧客のニーズを反映した商品発注ができるようになる。

また、情報処理装置１００が他の店舗の商品画像から特定された顧客のニーズを特定する場合、特定部１０３は、他店舗の商品画像に基づいて特定された顧客のニーズを別途取得して発注情報を更新してもよい。これにより、店舗において顧客のニーズを反映した品揃えを実現することができる。

さらに、特定された顧客のニーズを、集計データを分析する分析システムに送信してもよい。例えば、店舗チェーンのＰＯＳ端末又は店舗サーバと接続され、商品に対する傾向分析機能を有する本部システムに送信することで、例えば、商品のトレンド分析にフィードバックすることもできる。

（第３の実施形態）
次に、第３の実施形態に係る情報処理装置について、図面を用いて説明する。第３の実施形態の情報処理装置１００は、画像取得部１０１が画像合成部を備える点で第１の実施形態の情報処理装置１００と相違する。第３の実施形態の説明において、第１の実施形態と同様の構成部分については同一の符号を付して詳細な説明は省略する。

図７は、第３の実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、画像取得部１０１、画像操作部１０２、特定部１０３を備え、画像取得部１０１は、画像合成部１３１を備える。

画像取得部１０１は、カメラ１５０のカメラ画像から取得した商品画像に含まれる人物を、画像認識技術を用いて検知する。画像取得部１０１の画像合成部１３１は、人物を含む商品画像に対して、当該人物が異なる位置にいるときの、複数の商品画像を合成し、人物を含まない商品画像を生成する。画像取得部１０１は、人物を含まない商品画像を情報端末２００に提供する。

図８は、第３の実施形態に係る情報処理システムの一部の動作を示すシーケンス図である。図８に示す情報処理装置１００の動作を示すステップＳ３０１からステップＳ３０５は、第１の実施形態の情報処理装置１００の動作を示すステップＳ１０１からステップＳ１０５までに相当する。

カメラ１５０は、カメラ１５０からのカメラ画像を、店舗の商品を撮影した商品画像として取得する（ステップＳ３０１）。カメラ１５０は、所定の時間間隔をあけて撮影されたカメラ画像をそれぞれ送信する（ステップＳ３０２Ａ、ステップＳ３０２Ｂ）。

画像取得部１０１が、カメラ１５０のカメラ画像から取得した商品画像に人物を検知すると、画像合成部１３１は、商品画像に人物が含まれる商品画像に対して、人物が異なる位置にいるときの、複数の商品画像を合成し（ステップＳ３０４）、人物が含まれない商品画像を取得する（Ｓ３０５）。

情報処理装置１００は、情報端末２００から店舗の商品が撮影された商品画像の提供要求を受信する。画像取得部１０１は、取得した商品画像を複製し、情報端末２００に提供する（ステップＳ３０７）。ステップＳ３０７より先のステップは、第１の実施形態の情報処理装置１００の動作のステップＳ１０６以降と同様となる。

第３の実施形態によれば、店舗で商品を撮影したカメラ画像に人物が映りこんでも、人物を消した商品画像を顧客の情報端末２００に提供することができる。これにより、カメラ１５０で商品を撮影する店舗を利用する人物のプライバシーを守ることができる。

（第４の実施形態）
第４の実施形態に係る情報処理システムについて、図面を用いて説明する。第４の実施形態に係る情報処理システムは、第１の実施形態に係る情報処理システムの変形例である。

第４の実施形態に係る情報処理システムは、情報処理装置１００から提供された商品画像に対して、情報端末２００で画像操作し、その操作情報を、情報処理装置１００に送信する。情報端末２００が送信する操作情報は、第１の実施形態における操作指示であるとも言える。

図９は、第４の実施形態に係る情報処理システムの構成を示すブロック図である。図９に示す情報処理システムにおいて、第１の実施形態の情報処理装置１００、情報端末２００と同様の構成については同一の符号を付して詳細な説明は省略する。第４の実施形態の情報端末２００は、画像操作部４０２を備える。

画像操作部４０２は、情報端末２００に提供された商品画像を、顧客からの画像操作入力に基づいて操作する。画像操作は、例えば、商品画像に対する画像拡大、画像回転又は画像移動などである。画像操作部４０２は、画像操作した操作情報を情報処理装置１００に送信する。操作情報には、情報端末２００で商品画像を画像操作した操作履歴を含んでもよい。情報処理装置１００は、操作情報によって操作された商品画像に基づいて、店舗の商品に対する顧客のニーズを特定する。

第４の実施形態に係る情報処理システムの動作について図面を用いて説明する。図１０は、第４の実施形態に係る情報処理システムの動作の一例を示すシーケンス図である。図１０に示す第４の実施形態に係る情報処理システムの動作において、第１の実施形態の情報処理システムと同様にステップについては同一のステップ番号を付して詳細な説明は省略する。

情報端末２００の表示制御部２０１は、情報処理装置１００から提供された商品画像を表示し（ステップＳ１０６）、画像操作部４０２は、顧客からの画像操作入力に基づいて商品画像を操作する（ステップＳ４０７）。画像操作部４０２は、画像操作した操作情報を情報処理装置１００に送信する（ステップＳ４０８）。

情報処理装置１００の画像操作部１０２は、受信した操作情報に基づいて、情報処理装置側の商品画像を画像操作し（ステップＳ４０９）、操作された商品画像に基づいて、特定部１０３は、店舗の商品に対する顧客のニーズを特定する（ステップＳ１１２）。

（第４の実施形態の効果）
第４の実施形態によれば、情報端末２００が商品画像に対する画像操作を行い、操作情報を情報処理装置１００に送信する。これにより、情報処理装置１００は、操作指示ごとに操作された商品画像を情報端末２００に送信しなくて済み、情報処理装置１００の負荷が減ると共に、装置間の伝送システムの負荷も低減できる。

（第５の実施形態）
例えば、情報端末２００のディスプレイで表示される操作された商品画像に対して、表示されている商品に指タッチすると、指タッチされた商品に関する価格情報、ランキング、買い合わせ推奨商品などの商品関連情報が、情報端末２００のディスプレイにポップアップされるような構成としてもよい。商品関連情報を表示する商品としては、商品画像の中央領域に位置する商品が好ましい。

上記のような商品関連情報を情報端末２００のディスプレイで表示するために、情報処理装置１００の特定部１０３は、操作された商品画像から画像認識技術を用いて商品を検出した後、検出した商品に対して商品関連情報ＤＢ（図示せず）を検索して商品情報関連情報を抽出しておく。商品関連情報ＤＢは、店舗の商品ごとに、価格情報、ランキング、買い合わせ推奨商品が関連付けして記憶された記憶装置である。

情報端末２００は、例えば、タッチパネル付きディスプレイで指タッチした座標を情報処理装置１００に送信することで、情報処理装置１００の特定部１０３は、操作された商品画像から指タッチされた商品を検知することができる。

第５の実施形態によれば、第１～第５の実施形態における情報処理システムと比べて顧客の利便性を高めることができる。

（ハードウエア構成）
上述した各実施形態において、情報処理装置１００、情報端末２００の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、コンピュータとプログラムとの任意の組み合わせにより実現されてもよい。

図１１は、コンピュータのハードウエア構成の一例を示すブロック図である。図１１を参照すると、コンピュータ９００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３、プログラム９０４、記憶装置９０５、ドライブ装置９０７、通信インタフェース９０８、入力装置９０９、出力装置９１０、及び、バス９１２を含む。

プログラム９０４は、情報処理装置１００、情報端末２００の各機能を実現するための命令（ｉｎｓｔｒｕｃｔｉｏｎ）を含む。プログラム９０４は、予め、ＲＯＭ９０２やＲＡＭ９０３、記憶装置９０５に格納される。ＣＰＵ９０１は、プログラム９０４に含まれる命令を実行することにより、情報処理装置１００、情報端末２００の各機能を実現する。例えば、情報処理装置１００のＣＰＵ９０１がプログラム９０４に含まれる命令を実行することにより、構成の機能を実現する。また、ＲＡＭ９０３は、情報処理装置１００、情報端末２００の各機能において処理されるデータを一時的に記憶してもよい。

ドライブ装置９０７は、記録媒体９０６の読み書きを行う。通信インタフェース９０８は、通信ネットワークとのインタフェースを提供する。入力装置９０９は、例えば、マウスやキーボード等であり、顧客等からの情報の入力を受け付ける。出力装置９１０は、例えば、ディスプレイであり、顧客等へ情報を出力（表示）する。入出力インタフェース９１１は、周辺機器とのインタフェースを提供する。情報処理装置１００の場合、入出力インタフェース９１１には、上述のカメラ、バーコードリーダ、タグリーダライタ、及び、カードリーダライタ１１８が接続されてもよい。バス９１２は、これらハードウエアの各構成要素を接続する。なお、プログラム９０４は、通信ネットワークを介してＣＰＵ９０１に供給されてもよいし、予め、記録媒体９０６に格納され、ドライブ装置９０７により読み出され、ＣＰＵ９０１に供給されてもよい。

なお、図１１に示されているハードウエア構成は例示であり、これら以外の構成要素が追加されていてもよく、一部の構成要素を含まなくてもよい。

各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ異なるコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つのコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。

また、各装置の各構成要素の一部または全部は、プロセッサ等を含む汎用または専用の回路（ｃｉｒｃｕｉｔｒｙ）や、これらの組み合わせによって実現されてもよい。これらの回路は、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

また、各装置の各構成要素の一部又は全部が複数のコンピュータや回路等により実現される場合、複数のコンピュータや回路等は、集中配置されてもよいし、分散配置されてもよい。

なお、各実施形態において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

上述した各実施形態に限定されるものではなく、種々の変更が可能であり、異なる実施形態にそれぞれ開示された構成、動作、処理を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。

以上、上述した実施形態を模範的な例として説明したが、上述した実施形態には限定されない。即ち、本開示における実施形態は、当業者が理解し得る様々な態様を適用することができる。

上記の実施形態の一部又は全部は、以下の付記のように記載されうるが、以下には限られない。

（付記１）
店舗の商品を撮影した商品画像を取得する画像取得手段と、
顧客の情報端末から受信した、前記商品画像に対する操作指示に基づいて、前記商品画像を操作する画像操作手段と、
操作された前記商品画像に基づいて、前記店舗の商品に対する前記顧客のニーズを特定する特定手段と、
を備える情報処理装置。

（付記２）
前記特定手段は、操作された前記商品画像に含まれる前記商品を、前記顧客のニーズとして特定する、
付記１に記載の情報処理装置。

（付記３）
前記特定手段は、操作された前記商品画像の所定領域にある前記商品を前記顧客のニーズとして特定する、
付記１又は２に記載の情報処理装置。

（付記４）
前記画像操作手段は、前記操作指示の受信状況を取得し、
前記特定手段は、前記受信状況に応じて、操作された前記商品画像から前記顧客のニーズを特定する、
付記１から３のいずれか１つに記載の情報処理装置。

（付記５）
前記商品画像は、前記商品を陳列する陳列什器を含む、
付記１から４のいずれか１つに記載の情報処理装置。

（付記６）
前記特定手段は、前記陳列什器の棚割り情報に基づき生成された、前記陳列什器の商品配置に関する商品座標データと、操作された前記商品画像に基づいて、前記顧客のニーズを特定する、
付記５に記載の情報処理装置。

（付記７）
前記操作指示は、前記商品画像に対する画像拡大操作、画像回転操作及び画像移動操作の少なくとも１つである、
付記１から６のいずれか１つに記載の情報処理装置。

（付記８）
前記画像取得手段は、取得した前記商品画像及び操作された前記商品画像の少なくとも１つを前記情報端末に送信する、
付記１から７のいずれか１つに記載の情報処理装置。

（付記９）
発注情報に基づき前記商品を発注する発注手段を、更に備え、
前記特定手段は、特定された前記顧客のニーズに基づいて、前記発注情報を更新する、
付記１から８のいずれか１つに記載の情報処理装置。

（付記１０）
前記特定手段は、特定された前記顧客のニーズをもとに、特定された数のランキング基づいて、前記発注情報を更新する、
付記９に記載の情報処理装置。

（付記１１）
前記顧客のニーズの対象は、前記商品、又は、前記商品のカテゴリである、
付記１に記載の情報処理装置。

（付記１２）
前記画像取得手段は、人物を含む前記商品画像に対して、前記人物が異なる位置にいるときの、複数の前記商品画像を合成し、前記人物を含まない前記商品画像を生成する画像合成手段を備える、
付記１から１１のいずれか１つに記載の情報処理装置。

（付記１３）
店舗の商品を撮影した商品画像を取得し、
顧客の情報端末から受信した、前記商品画像に対する操作指示に基づいて、前記商品画像を画像操作し、
操作された前記商品画像に基づいて、前記店舗の商品に対する前記顧客のニーズを特定する、情報処理方法。

（付記１４）
店舗の商品を撮影した商品画像を取得し、
顧客の情報端末から受信した、前記商品画像に対する操作指示に基づいて、前記商品画像を画像操作し、
操作された前記商品画像に基づいて、前記店舗の商品に対する前記顧客のニーズを特定する、ことをコンピュータに実行させるプログラム。

（付記１５）
店舗の商品を撮影した商品画像を取得し、顧客の情報端末からの、前記商品画像に対する操作情報によって操作された前記商品画像に基づいて、前記店舗の商品に対する前記顧客のニーズを特定する、情報処理装置と、
前記情報処理装置から送信された前記商品画像に対して画像操作した操作情報を、操作指示として送信する、情報端末と、
を備える情報処理システム。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１９年３月２２日に出願された日本出願特願２０１９－０５４６９２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００ 情報処理装置
１０１ 画像取得部
１０２ 画像操作部
１０３ 特定部
１２１ 発注部
１３１ 画像合成部
１５０ カメラ
２００ 情報端末
２０１ 表示制御部
２０２ 画像操作指示部
９００ コンピュータ
９０１ ＣＰＵ
９０２ ＲＯＭ
９０３ ＲＡＭ
９０４ プログラム
９０５ 記憶装置
９０６ 記録媒体

Claims (12)

1. 店舗の商品を撮影した商品画像を取得する画像取得手段と、
   顧客の情報端末から受信した、前記商品画像に対する操作指示に基づいて、前記商品画像を操作する画像操作手段と、
   操作された前記商品画像に基づいて、操作された前記商品画像の所定領域にある商品を前記店舗の前記商品に対する前記顧客のニーズとして特定する特定手段と、
   発注情報に基づき前記商品を発注する発注手段と
   を備え、
   前記特定手段は、特定された前記顧客のニーズに含まれる商品を加える、または、特定された前記顧客のニーズに含まれる前記商品の発注数を増加させて前記発注情報を更新する、
   情報処理装置。
2. 前記画像操作手段は、前記操作指示の受信状況を取得し、
   前記特定手段は、前記受信状況に応じて、操作された前記商品画像から前記顧客のニーズを特定する、
   請求項１に記載の情報処理装置。
3. 前記商品画像は、前記商品を陳列する陳列什器を含む、
   請求項１または２に記載の情報処理装置。
4. 前記特定手段は、前記陳列什器の棚割り情報に基づき生成された、前記陳列什器の商品配置に関する商品座標データと、操作された前記商品画像に基づいて、前記顧客のニーズを特定する、
   請求項３に記載の情報処理装置。
5. 前記操作指示は、前記商品画像に対する画像拡大操作、画像回転操作及び画像移動操作の少なくとも１つである、
   請求項１から４のいずれか１つに記載の情報処理装置。
6. 前記特定手段は、特定された前記顧客のニーズをもとに、特定された数のランキングに基づいて、前記発注情報を更新する、
   請求項１から５のいずれか１つに記載の情報処理装置。
7. 前記画像操作手段は、前記操作指示の受信間隔を取得し、
   前記特定手段は、前記受信間隔が所定の時間間隔以上である場合、操作された前記商品画像から前記顧客のニーズを特定せず、前記受信間隔が前記所定の時間間隔以上でない場合、操作された前記商品画像から前記顧客のニーズを特定する、
   請求項１から６のいずれかに記載の情報処理装置。
8. 前記画像操作手段は、前記操作指示の受信頻度を取得し、
   前記特定手段は、前記受信頻度が所定の受信頻度以上である場合、操作された前記商品画像から前記顧客のニーズを特定せず、前記受信頻度が前記所定の受信頻度以上でない場合、操作された前記商品画像から前記顧客のニーズを特定する、
   請求項１から７のいずれかに記載の情報処理装置。
9. 前記所定領域は、中央領域であり、
   前記特定手段は、操作された前記商品画像に基づいて、操作された前記商品画像の前記中央領域にある商品のうち前記中央領域における面積が大きい商品を前記店舗の前記商品に対する前記顧客のニーズとして特定する、
   請求項１から８のいずれかに記載の情報処理装置。
10. コンピュータが、
    店舗の商品を撮影した商品画像を取得し、
    顧客の情報端末から受信した、前記商品画像に対する操作指示に基づいて、前記商品画像を画像操作し、
    操作された前記商品画像に基づいて、前記店舗の商品に対する前記顧客のニーズを特定し、
    発注情報に基づき前記商品を発注する、
    処理を実行し、
    前記特定する処理において、特定された前記顧客のニーズに含まれる商品を加える、または、特定された前記顧客のニーズに含まれる前記商品の発注数を増加させて前記発注情報を更新する、
    情報処理方法。
11. 店舗の商品を撮影した商品画像を取得し、
    顧客の情報端末から受信した、前記商品画像に対する操作指示に基づいて、前記商品画像を画像操作し、
    操作された前記商品画像に基づいて、操作された前記商品画像の所定領域にある商品を前記店舗の前記商品に対する前記顧客のニーズとして特定し、
    発注情報に基づき前記商品を発注する、
    ことをコンピュータに実行させ、
    前記特定において、特定された前記顧客のニーズに含まれる商品を加える、または、特定された前記顧客のニーズに含まれる前記商品の発注数を増加させて前記発注情報を更新する、
    プログラム。
12. 店舗の商品を撮影した商品画像を取得し、顧客の情報端末からの、前記商品画像に対する操作情報によって操作された前記商品画像に基づいて、操作された前記商品画像の所定領域にある商品を前記店舗の前記商品に対する前記顧客のニーズとして特定し、発注情報に基づき前記商品を発注する、情報処理装置と、
    前記情報処理装置から送信された前記商品画像に対して画像操作した操作情報を送信する、情報端末と、
    を備え、
    前記情報処理装置は、前記特定において、特定された前記顧客のニーズに含まれる商品を加える、または、特定された前記顧客のニーズに含まれる前記商品の発注数を増加させて前記発注情報を更新する、
    情報処理システム。

Images