JP2016062372A - 情報処理装置及び情報処理プログラム - Google Patents

Abstract

【課題】顧客によって把持の対象となった商品又はその商品に類似する商品と組み合わせる第２の商品を提示するようにした情報処理装置を提供する。【解決手段】情報処理装置の検出手段は、顧客を撮影した画像から、該顧客が商品を把持した行動を検出し、抽出手段は、前記検出手段によって検出された把持の対象となった商品を抽出し、第２の抽出手段は、前記抽出手段によって抽出された商品又は該商品に類似する商品と組み合わせる第２の商品を抽出し、提示手段は、前記第２の抽出手段によって抽出された第２の商品を提示する。【選択図】図１

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

特許文献１には、ユーザの日常の行動傾向から抽出される特徴に基づいて、真にユーザの嗜好を反映したコンテンツを推薦することを課題とし、ＰＣは、静止画又は動画から抽出された複数の下位メタ情報及び各下位メタ情報から導出された上位メタ情報を基に個人メタＤＢを構築し、当該個人メタＤＢから、ユーザの任意の個人特徴情報を選択してサーバーへ送信し、サーバーは、他のＰＣの個人メタＤＢを統計処理して構築された多人数統計メタＤＢから、受信した個人特徴情報と類似する個人特徴情報を抽出し、当該個人特徴情報に関連する推薦商品又は推薦サービスを示すコンテンツ情報を選択してＰＣへ送信することが開示されている。

特許文献２には、顧客の視線からマーケティングに有用な情報を取得することを課題とし、商品販売装置は、販売中商品を識別可能に表示した商品サンプル表示部と、顧客の少なくとも顔を含んだ部分を撮影するカメラと、カメラにより撮影された映像を取得して処理する情報処理装置と、を備え、情報処理装置は、カメラから取得した映像に含まれる顧客の顔の方向及び瞳の位置を解析して顧客の視線を検出し、その検出した顧客の視線が注視する商品サンプル表示部を検出するとともに、顧客が注視する商品サンプル表示部が示す商品の履歴情報に基づき、その顧客の顧客属性を判定し、さらに、その顧客が購入しなかった商品についての注視回数を集計した注視商品データを生成し、この注視商品データは、顧客が心の内に抱いている商品の関心度を表すものであり、今後の商品販売計画などに有用な情報であることが開示されている。

特許文献３には、十分なサービスを乗員に提供することが可能な服装対応サービス提供装置を提供することを課題とし、車両に搭載される服装対応サービス提供装置であって、乗員の服装パターンを認識する服装パターン認識手段を備え、服装パターン認識手段により認識された服装パターンに基づいて乗員にサービスを提供する、服装対応サービス提供装置であり、服装パターンを認識する際には、例えば、服装形状に対するパターンマッチング処理や、輝度・色彩のマッチング処理が行われることが開示されている。

特許文献４には、室内の人間の動作を追跡して、その人間の行動・意図を推定することを可能とすることを課題とし、撮像部が室内の人間を撮像し、撮像した人間の映像を高速・低解像度処理部及び低速・高解像度処理部に送信し、高速・低解像度処理部が、撮像部が撮像した人間の映像に基づいて、その人間の室内における２次元、３次元の位置や方向を特定し、低速・高解像度処理部が、撮像部が撮像した人間の映像に基づいて、知識蓄積部に蓄積されたデータを用いて、人間のジェスチャーを特定し、行動・意図推定部が、高速・低解像度処理部による処理結果と、低速・高解像度処理部による処理結果とに基づいて、ベイズ分類を用いて、撮像対象となった人間の行動・意図を推定することが開示されている。

特開２０１１−２１５９６４号公報 特開２００９−０４２９５６号公報 特開２００８−１２０２８９号公報 特開２００５−２４２７５９号公報

本発明は、顧客によって把持の対象となった商品又はその商品に類似する商品と組み合わせる第２の商品を提示するようにした情報処理装置及び情報処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、顧客を撮影した画像から、該顧客が商品を把持した行動を検出する検出手段と、前記検出手段によって検出された把持の対象となった商品を抽出する抽出手段と、前記抽出手段によって抽出された商品又は該商品に類似する商品と組み合わせる第２の商品を抽出する第２の抽出手段と、前記第２の抽出手段によって抽出された第２の商品を提示する提示手段を具備することを特徴とする情報処理装置である。

請求項２の発明は、前記第２の抽出手段は、雑誌に掲載されている商品の組み合わせ情報又はソーシャルネットワークで取り上げられている商品の組み合わせ情報を用いて、前記第２の商品を抽出することを特徴とする請求項１に記載の情報処理装置である。

請求項３の発明は、前記第２の抽出手段は、気象情報、対象としている店舗の売り上げ情報もしくは前記顧客の予算情報のいずれか又はこれらの組み合わせを用いて、前記商品と組み合わせる第２の商品を抽出することを特徴とする請求項１又は２に記載の情報処理装置である。

請求項４の発明は、前記第２の商品と対象としている店舗におけるレイアウト情報を用いて、前記提示手段が提示を行うべき出力装置を選択する選択手段をさらに具備することを特徴とする請求項１から３のいずれか一項に記載の情報処理装置である。

請求項５の発明は、前記検出手段は複数の顧客の行動を検出するものであり、前記抽出手段は、前記複数の顧客が把持した複数の商品を抽出するものであり、前記第２の抽出手段は、前記抽出された複数の商品又は前記抽出された複数の商品に類似する複数の商品と組み合わせる第２の商品を抽出するものであることを特徴とする請求項１から４のいずれか一項に記載の情報処理装置である。

請求項６の発明は、コンピュータを、顧客を撮影した画像から、該顧客が商品を把持した行動を検出する検出手段と、前記検出手段によって検出された把持の対象となった商品を抽出する抽出手段と、前記抽出手段によって抽出された商品又は該商品に類似する商品と組み合わせる第２の商品を抽出する第２の抽出手段と、前記第２の抽出手段によって抽出された第２の商品を提示する提示手段として機能させるための情報処理プログラムである。

請求項１の情報処理装置によれば、顧客によって把持の対象となった商品又はその商品に類似する商品と組み合わせる第２の商品を提示することができる。

請求項２の情報処理装置によれば、雑誌に掲載されている商品の組み合わせ情報又はソーシャルネットワークで取り上げられている商品の組み合わせ情報を用いて、第２の商品を抽出することができる。

請求項３の情報処理装置によれば、気象情報、対象としている店舗の売り上げ情報、又は、顧客の予算情報のいずれか又はこれらの組み合わせを用いて、商品と組み合わせるのに適した第２の商品を抽出することができる。

請求項４の情報処理装置によれば、第２の商品と対象としている店舗におけるレイアウト情報を用いて、前記提示手段が提示を行うべき出力装置を選択することができる。

請求項５の情報処理装置によれば、複数の顧客が把持した複数の商品又はその複数の商品に類似する複数の商品と組み合わせる第２の商品を抽出することができる。

請求項６の情報処理プログラムによれば、顧客によって把持の対象となった商品又はその商品に類似する商品と組み合わせる第２の商品を提示することができる。

本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を利用したシステム構成例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 顧客関心テーブルのデータ構造例を示す説明図である。 アイテムテーブルのデータ構造例を示す説明図である。 アイテム類似度テーブルのデータ構造例を示す説明図である。 コーディネートテーブルのデータ構造例を示す説明図である。 コーディネートテーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に１対１に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（１対１対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

本実施の形態である情報処理装置１００は、顧客によって把持の対象となった商品（以下、アイテムともいう）又はその商品に類似する商品と組み合わせる第２の商品を提示するものであって、図１の例に示すように、来店顧客関心抽出モジュール１１０、雑誌アイテム抽出モジュール１３０、ソーシャルメディア情報抽出モジュール１３５、気象情報抽出モジュール１４０、売り上げ履歴抽出モジュール１４５、顧客予算推定モジュール１５０、組み合わせ作成モジュール１５５、組み合わせ記憶モジュール１６０、レイアウト推薦モジュール１６５、レイアウト記憶モジュール１７０、提示モジュール１７５を有している。

撮影装置１０５は、情報処理装置１００の画像受付モジュール１１５と接続されている。撮影装置１０５は、商品とその商品の周辺（商品エリアともいわれる）を撮影する。その商品エリアには、その商品を購入するため、その商品を確かめる等のために、顧客が入り込む。そのため、来店顧客関心抽出モジュール１１０が撮影した画像には、商品とともに顧客が含まれていることがある。
具体的には、撮影装置１０５は、静止画又は動画を撮影するための２Ｄカメラ、３Ｄカメラ、サーモカメラ、全方位カメラ等である。また、撮影装置１０５は、固定されたものであってもよいし、角度、位置等を変更することができるものであってもよい。また、商品と撮影装置１０５との関係は、１対１であってもよいし、１対Ｎであってもよいし、Ｎ対１であってもよいし、Ｎ対Ｎであってもよい。なお、Ｎ対１の場合は、後述するように画像内の商品を認識し、その商品毎に顧客の行動を判定すればよい。１対Ｎの場合は、複数の画像から１つの商品又はその商品のタグに対する行動を判定し、多数決等を用いて、複数の判定結果から最終的な判定結果を得るようにすればよい。

来店顧客関心抽出モジュール１１０は、画像受付モジュール１１５、解析モジュール１２０、アイテム抽出モジュール１２５を有しており、組み合わせ作成モジュール１５５と接続されている。
画像受付モジュール１１５は、撮影装置１０５、解析モジュール１２０と接続されている。画像受付モジュール１１５は、撮影装置１０５によって撮影された画像を受け付け、その画像を解析モジュール１２０に渡す。
解析モジュール１２０は、画像受付モジュール１１５、アイテム抽出モジュール１２５と接続されている。解析モジュール１２０は、顧客を撮影した画像から、その顧客が商品を把持した行動を検出する。前述したような商品の認識の他に、例えば、商品の位置、顧客の体、顧客の頭部の位置、手（腕を含む）の位置、視線の方向、顔の位置、目等を特徴として抽出する。例えば、撮影装置１０５によって撮影される商品は予め定められたものであり、その予め定められた商品の特徴（色、形状、大きさ等）を予め抽出しておき、辞書として記憶させておくことによって、画像内からその商品を認識することができる。また、その商品に付されているタグ等を認識して商品を認識するようにしてもよい。また、人の認識、人の部位（手、頭等）の認識、視線の方向等は、既存の技術を用いて認識する。なお、位置としては、画像内の座標系における位置であってもよいし、商品との相対位置であってもよい。そして、人の手と商品の位置が予め定められた範囲内（重なる場合を含む）にある場合に、顧客が商品を把持した行動として検出してもよい。さらに、視線の方向が、その商品のある位置又はその商品を含む予め定められた範囲内へ向けられたものであることを条件として、顧客が商品を把持した行動として検出してもよい。
なお、画像からの人検出、顔検出等の技術については、「山内悠嗣，山下隆義，藤吉弘亘．画像からの統計的学習手法に基づく人検出．電子情報通信学会論文誌 Ｄ, Ｖｏｌ. Ｊ９６−Ｄ，Ｎｏ．９，ｐｐ．２０１７−２０４０，２０１３．」、「勞世▲広▼，山口修．顔画像処理の応用事例（実利用が進む顔画像処理とその応用事例（前編））．情報処理 ５０（４），３１９−３２６，２００９．」等に記載されている技術を用いるようにしてもよい。

アイテム抽出モジュール１２５は、解析モジュール１２０と接続されている。アイテム抽出モジュール１２５は、解析モジュール１２０によって検出された把持の対象となった商品を抽出する。そして、その抽出した商品（を示す情報）を組み合わせ作成モジュール１５５に渡す。前述のように、商品と撮影装置１０５との関係が、１対１の場合は、解析モジュール１２０によって、商品の把持行動を検出した場合に、１対１に対応する商品を抽出すればよい。他の場合は、把持の対象となった商品を前述のように認識すればよい。

組み合わせ作成モジュール１５５は、来店顧客関心抽出モジュール１１０、雑誌アイテム抽出モジュール１３０、ソーシャルメディア情報抽出モジュール１３５、気象情報抽出モジュール１４０、売り上げ履歴抽出モジュール１４５、顧客予算推定モジュール１５０、組み合わせ記憶モジュール１６０、レイアウト推薦モジュール１６５、提示モジュール１７５と接続されている。組み合わせ作成モジュール１５５は、アイテム抽出モジュール１２５によって抽出された商品又はその商品に類似する商品と組み合わせる第２の商品を抽出する。なお、ここでの組み合わせは、（１）アイテム抽出モジュール１２５によって抽出された商品と第２の商品との組み合わせ、又は（２）アイテム抽出モジュール１２５によって抽出された商品に類似する商品と第２の商品との組み合わせである。また、第２の商品を抽出して、把持された商品又はその商品に類似する商品と組み合わせことによって、コーディネートを作成することとなる。なお、コーディネートとして、１人の顧客に対する複数の商品の組み合わせであってもよいし、複数人の顧客に対する複数の商品の組み合わせであってもよい。後者の場合は、複数人に対する商品の提案となる。例えば、顧客が男女のカップルであった場合は、ペアルックとなるような商品を選択するようにしてもよい。また、あるエリアにいる複数の顧客の嗜好から最大公約数的なコーディネートを算出し、有限の媒体（サイネージや店員）へコーディネートを提案・表示するようにしてもよい。より具体的に説明する。解析モジュール１２０は、複数の顧客を撮影した画像（１枚の画像であってもよいし、複数枚の画像であってもよい）から、その複数の顧客の行動（商品を把持する行動）を検出する。そして、アイテム抽出モジュール１２５は、複数の顧客が把持した複数の商品を抽出する。次に、組み合わせ作成モジュール１５５は、アイテム抽出モジュール１２５によって抽出された複数の商品又はその抽出された複数の商品に類似する複数の商品と組み合わせる第２の商品を抽出する。ここで抽出する第２の商品も複数になるのが一般的であるが、重複して抽出した第２の商品を優先して選択するようにしてもよい。その場合、抽出回数が多い順に、組み合わせるための商品として選択するようにしてもよい。
第２の商品を抽出するのに、組み合わせ記憶モジュール１６０に記憶されている商品の組み合わせテーブルを用いてもよい。その組み合わせテーブルは、例えば、コーディネートとして適している商品の組み合わせを示すように、行毎に複数の商品ＩＤ（本実施の形態において商品を一意に識別するための情報（ＩＤ：ＩＤｅｎｔｉｆｉｃａｔｉｏｎ））を記憶したものである。把持した商品の商品ＩＤを、その組み合わせテーブルから検索し、コーディネートとして適している商品の商品ＩＤを抽出すればよい。さらに、商品の組み合わせ毎に、その組み合わせが適していることを示すコーディネート度を予め定義しておき、商品を組み合わせた場合のコーディネート度を抽出し、その値が予め定められた閾値より大きい又は以上である場合に、その組み合わせを選択するようにしてもよい。

また、組み合わせ作成モジュール１５５は、雑誌に掲載されている商品の組み合わせ情報（雑誌アイテム抽出モジュール１３０による処理結果）又はソーシャルネットワーク（以下、ソーシャルメディアともいう）で取り上げられている商品の組み合わせ情報（ソーシャルメディア情報抽出モジュール１３５による処理結果）を用いて、第２の商品を抽出するようにしてもよい。前述の組み合わせ記憶モジュール１６０に記憶されているのは、予め定められた商品の組み合わせであるが、雑誌アイテム抽出モジュール１３０による処理結果又はソーシャルメディア情報抽出モジュール１３５による処理結果を、前述の組み合わせテーブルの代替として、又は組み合わせテーブルに追加して、第２の商品を抽出するようにしてもよい。
組み合わせ記憶モジュール１６０は、組み合わせ作成モジュール１５５と接続されている。組み合わせ記憶モジュール１６０は、前述した商品の組み合わせテーブルを記憶している。また、雑誌アイテム抽出モジュール１３０、ソーシャルメディア情報抽出モジュール１３５からの情報を記憶していてもよい。

雑誌アイテム抽出モジュール１３０は、組み合わせ作成モジュール１５５と接続されている。雑誌アイテム抽出モジュール１３０は、雑誌掲載情報、雑誌掲載組み合わせ情報を組み合わせ記憶モジュール１６０へ反映させる。そして、それらの情報を組み合わせ作成モジュール１５５で利用する。例えば、ファッション誌に掲載されているコーディネート情報（商品の組み合わせ情報）を記憶しているサーバーから抽出してもよい。また、ファッション誌に掲載されている画像から、前述のように商品を抽出し、１つの画像内にある商品の組み合わせをコーディネート情報としてもよい。
ソーシャルメディア情報抽出モジュール１３５は、組み合わせ作成モジュール１５５と接続されている。ソーシャルメディア情報抽出モジュール１３５は、ソーシャルメディア情報から、そのソーシャルメディアで取り上げられている頻度や商品の組み合わせを抽出し、組み合わせ記憶モジュール１６０へ反映させる。そして、それらの情報を組み合わせ作成モジュール１５５で利用する。例えば、予め定められたトピックに関するソーシャル・ネットワーキング・サービス内のテキストから商品Ａを検出し、その商品Ａとともに記載されている他の商品Ｂを抽出し、商品Ａと商品Ｂを組み合わせ情報としてもよい。また、予め定められたトピックに関するソーシャル・ネットワーキング・サービス内の画像を対象として、前述のように商品を抽出し、１つの画像内にある商品の組み合わせをコーディネート情報としてもよい。また、その商品の組み合わせは、予め定められた閾値以上で取り上げられていることを条件としてもよい。

また、組み合わせ作成モジュール１５５は、気象情報（気象情報抽出モジュール１４０による処理結果）、対象としている店舗の売り上げ情報（売り上げ履歴抽出モジュール１４５による処理結果）もしくは顧客の予算情報（顧客予算推定モジュール１５０による処理結果）のいずれか又はこれらの組み合わせを用いて、商品と組み合わせる第２の商品を抽出するようにしてもよい。例えば、コーディネートとして適している第２の商品が複数ある場合は、これらの気象情報等を用いて、組み合わせるのに適した商品を選択する。
例えば、気象情報として雨が降っていることを示す情報を得た場合は、傘を優先して組み合わせる第２の商品としてもよい。
例えば、売り上げ情報として、売り上げの高い商品、低い商品等を得た場合は、その売り上げの高い商品（さらにその商品の売り上げを伸ばす目的がある場合）、低い商品（売り上げ目標を達成する目的がある場合）等を優先して組み合わせる第２の商品としてもよい。なお、「売り上げの高い商品」とは、商品の売り上げが予め定められた閾値より高い又は以上であることをいい、「売り上げの低い商品」とは、商品の売り上げが予め定められた閾値未満又は以下であることをいう、両者の閾値は異なっていてもよい。また、閾値は商品毎に予め定められていてもよい。
また、例えば、顧客予算情報（対象となっている顧客の予算）の範囲内に収まる商品群を優先して組み合わせるようにしてもよい。

気象情報抽出モジュール１４０は、組み合わせ作成モジュール１５５と接続されている。気象情報抽出モジュール１４０は、気象を計測しているサーバーから対象となっている店舗の地域における気象情報である気温、湿度、天気情報等を抽出し、組み合わせ作成モジュール１５５へ渡す。また、対象となっている店舗の周辺に設置されている気象センサから気象情報を抽出するようにしてもよい。
売り上げ履歴抽出モジュール１４５は、組み合わせ作成モジュール１５５と接続されている。売り上げ履歴抽出モジュール１４５は、対象となっている店舗のＰＯＳ（Ｐｏｉｎｔ ｏｆ ｓａｌｅ ｓｙｓｔｅｍ）等から商品毎の売り上げ情報を抽出し、売り上げの高い商品、低い商品等を抽出する。
顧客予算推定モジュール１５０は、組み合わせ作成モジュール１５５と接続されている。顧客予算推定モジュール１５０は、来店している顧客（撮影装置１０５が撮影した画像内の顧客）の顔検出から顧客を特定し、その顧客の過去の購買リストを利用し、顧客予算を推定するようにしてもよい。また、画像から顔画像を抽出し、その顔画像から年齢、性別等を抽出し、また画像から服装部分を抽出し、その年齢、性別等、又は服装傾向から類似する顧客を検索し、その顧客の過去の購買リストを用いて推定するようにしてもよい。なお、後者については、新規顧客の場合に限定してもよい。

レイアウト推薦モジュール１６５は、組み合わせ作成モジュール１５５、レイアウト記憶モジュール１７０、提示モジュール１７５と接続されている。レイアウト推薦モジュール１６５は、第２の商品と対象としている店舗におけるレイアウト情報を用いて、提示モジュール１７５が提示を行うべき出力装置である提示装置１９５を選択する。例えば、第２の商品を提示するのを、顧客が把持した商品エリアの近辺にあるデジタル・サイネージ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｇｅ、電子看板）、又はその商品エリアの近辺にいる店員が所持している端末等に表示するようにしてもよい。そして、デジタル・サイネージに表示する場合は、さらに第２の商品がある商品エリアの場所（顧客が現在いる場所から第２の商品がある商品エリアへの道筋等）を示すようにしてもよい。又は、第２の商品がある商品エリアの近辺にいる店員が所持している端末等に表示するようにしてもよい。この場合、さらに対象としている顧客がいる商品エリアを表示するようにしてもよい。
レイアウト記憶モジュール１７０は、レイアウト推薦モジュール１６５と接続されている。レイアウト記憶モジュール１７０は、対象となっている店舗内のレイアウト情報を記憶している。また、ある商品エリアから別の商品エリアへの経路を予め記憶しておいてもよい。
提示モジュール１７５は、組み合わせ作成モジュール１５５、レイアウト推薦モジュール１６５、提示装置１９５と接続されている。提示モジュール１７５は、組み合わせ作成モジュール１５５によって抽出された第２の商品を提示する。提示装置１９５がデジタル・サイネージである場合は、顧客が直接第２の商品（把持している商品と組み合わせるのに適している商品）を目にすることになる。提示装置１９５が店員が所持している携帯端末等である場合は、店員がその顧客に第２の商品を提案することになる。
提示装置１９５は、情報処理装置１００の提示モジュール１７５と接続されている。提示装置１９５は、対象としている店舗に設置されているデジタル・サイネージ、店員が所持している携帯端末等である。

図２は、本実施の形態を利用したシステム構成例を示す説明図である。
情報処理装置１００、Ａ店システム２１０Ａ、Ｂ店システム２１０Ｂは、通信回線２９０を介してそれぞれ接続されている。通信回線２９０は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット等であってもよい。
Ａ店システム２１０Ａは、撮影装置１０５Ａ、提示装置１９５Ａを有している。撮影装置１０５Ａで撮影された画像を通信回線２９０を介して、情報処理装置１００に送信し、情報処理装置１００による処理結果を提示装置１９５Ａに送信するようにしてもよい。情報処理装置１００をクラウドコンピューティングを構築するものとして設置してもよい。
また、Ｂ店システム２１０Ｂは、情報処理装置１００Ｂ、撮影装置１０５Ｂ１、撮影装置１０５Ｂ２、提示装置１９５Ｂ１、提示装置１９５Ｂ２を有している。このように、各店舗において情報処理装置１００を設置するようにしてもよい。

図３は、本実施の形態による処理例を示すフローチャートである。
ステップＳ３０２では、撮影装置１０５が、顧客を撮影する。
ステップＳ３０４では、画像受付モジュール１１５が、画像を受け付ける。
ステップＳ３０６では、解析モジュール１２０が、画像を解析する。
ステップＳ３０８では、アイテム抽出モジュール１２５が、顧客が手にとったアイテムを抽出する。例えば、アイテム抽出モジュール１２５による処理結果として、顧客関心テーブル４００を生成する。図４は、顧客関心テーブル４００のデータ構造例を示す説明図である。顧客関心テーブル４００は、顧客ＩＤ欄４１０、カテゴリ欄４２０、アイテム欄４３０を有している。顧客ＩＤ欄４１０は、本実施の形態において、顧客を一意に識別するための情報（顧客ＩＤ）を記憶している。カテゴリ欄４２０は、その顧客が手に取ったアイテムが属しているカテゴリ（トップス、パンツ等）を示す情報を記憶している。アイテム欄４３０は、その顧客が手に取ったアイテムのアイテムを示す情報（アイテムＩＤ）を記憶している。

ステップＳ３１０では、組み合わせ作成モジュール１５５が、組み合わせ記憶モジュール１６０を用いて、対象としている顧客へのコーディネートを作成する。組み合わせ作成モジュール１５５は、例えば、アイテムテーブル５００、アイテム類似度テーブル６００、コーディネートテーブル７００を用いて、顧客関心テーブル４００からコーディネートテーブル８００を生成する。組み合わせ記憶モジュール１６０には、アイテムテーブル５００、アイテム類似度テーブル６００、コーディネートテーブル７００が記憶されている。図５は、アイテムテーブル５００のデータ構造例を示す説明図である。アイテムテーブル５００は、ＩＤ欄５１０、Ｆａｍｉｌｙ欄５２０、価格欄５３０、売り上げ欄５４０を有している。ＩＤ欄５１０は、アイテムＩＤを記憶している。Ｆａｍｉｌｙ欄５２０は、そのアイテムが属しているファミリーを記憶している。価格欄５３０は、そのアイテムの価格を記憶している。予算情報を用いてコーディネートを生成する場合に利用する。売り上げ欄５４０は、そのアイテムの（現在の）売り上げを記憶している。売り上げ履歴抽出モジュール１４５からの情報を記憶している。
図６は、アイテム類似度テーブル６００のデータ構造例を示す説明図である。アイテム類似度テーブル６００は、ＩＤ１欄６１０、ＩＤ２欄６２０、類似度欄６３０を有している。ＩＤ１欄６１０は、アイテムＩＤ（１）を記憶している。ＩＤ２欄６２０は、アイテムＩＤ（１）の商品に類似するアイテムのアイテムＩＤ（２）を記憶している。類似度欄６３０は、そのアイテム間における類似度を記憶している。組み合わせ作成モジュール１５５が、顧客の把持したアイテムと類似するアイテムを抽出するために用いる。例えば、予め定められた閾値より高い又は以上である類似度を有しているアイテム群を類似していると判断してもよい。もちろんのことながら、３つ以上のアイテムの類似を示すようにしてもよい。
図７は、コーディネートテーブル７００のデータ構造例を示す説明図である。コーディネートテーブル７００は、ＩＤ１欄７１０、ＩＤ２欄７２０、店内頻度欄７３０、日付欄７４０を有している。アイテムの組み合わせを記憶している。ＩＤ１欄７１０は、アイテムＩＤ（１）を記憶している。ＩＤ２欄７２０は、そのアイテムＩＤ（１）のアイテムと組み合わせるべきアイテムのアイテムＩＤ（２）を記憶している。店内頻度欄７３０は、その組み合わせを提案した頻度（又はその組み合わせが購入された頻度）を記憶している。日付欄７４０は、提案した（又は購入された）日付を記憶している。組み合わせ作成モジュール１５５は、顧客が把持したアイテムをＩＤ１欄７１０又はＩＤ２欄７２０から検索し、組み合わせるべきアイテム（ＩＤ１欄７１０又はＩＤ２欄７２０）を抽出する。また、その組み合わせにおける雑誌での掲載頻度、ソーシャルメディアでの頻度の欄を設けてもよく、組み合わせ作成モジュール１５５は、その頻度が予め定められた閾値より多い又は以上である場合に、その組み合わせを採用するようにしてもよい。また、その組み合わせが適している気象を示す気象情報を記憶している欄を設けてもよく、組み合わせ作成モジュール１５５は、現在の気象情報と合致する気象情報の組み合わせを選択するようにしてもよい。

組み合わせ作成モジュール１５５は、処理結果としてのコーディネートテーブル８００を生成する。図８は、コーディネートテーブル８００のデータ構造例を示す説明図である。コーディネートテーブル８００は、顧客ＩＤ欄８１０、カテゴリ欄８２０、アイテム欄８３０を有している。顧客ＩＤ欄８１０は、顧客ＩＤを記憶している。カテゴリ欄８２０は、アイテムのカテゴリを記憶している。アイテム欄８３０は、その顧客に提案するアイテム（その顧客が把持しているアイテムを含む）を記憶している。つまり、１人の顧客に対して、複数のアイテム（コーディネートとして組み合わせた商品群）が対応している。

例えば、組み合わせ作成モジュール１５５は、以下の式のようにコーディネートスコアを算出する。
コーディネートスコア＝ＴＯＰＳ（Ｔ−００１，Ｔ−００５，Ｔ−００２）｜ＰＡＮＴＳ（Ｐ−０２２，Ｐ−０１０）｜ＯＵＴＥＲ（Ｏ−０３１）｜ＳＨＯＳＥ（Ｓ−３０４）｜ＢＡＧ（Ｂ−４００，Ｂ−４２０）
この式は、カテゴリ毎にアイテムを組み合わせた場合のコーディネートスコアを算出するものである。ＴＯＰＳ（トップス）のアイテム（Ｔ−００１，Ｔ−００５，Ｔ−００２は互いに類似しているとする）、ＰＡＮＴＳ（パンツ）のアイテム（Ｐ−０２２，Ｐ−０１０は互いに類似しているとする）、ＯＵＴＥＲ（アウター）のアイテム（Ｏ−０３１）、ＳＨＯＳＥ（シューズ）のアイテム（Ｓ−３０４）、ＢＡＧ（バッグ）のアイテム（Ｂ−４００，Ｂ−４２０は互いに類似しているとする）を組み合わせた場合のコーディネートスコアを示している。なお、類似しているアイテムは、スコアは同じであるとしている。
組み合わせ作成モジュール１５５は、各組み合わせのコーディネートスコアから、全組み合わせの中からスコアの高いものを抽出する。
さらに、類似するアイテムの中から、雑誌情報、ソーシャルメディア情報、気象情報、売り上げ情報、予算情報を用いて、アイテムを選択してもよい。

ステップＳ３１２では、提示モジュール１７５が、コーディネートを提示する。例えば、提示モジュール１７５は、コーディネートテーブル８００から、顧客毎に提案すべきアイテム群を提示する。具体例として、図１４の例に示すように、推薦画像１４００内に組み合わせ作成モジュール１５５による処理結果である推薦アイテム画像１４１０（ブルゾンＱ）と推薦アイテム画像１４２０（パンツＲ）のコーディネートを提示する。また、推薦画像１４００内の顔画像を顧客の顔画像としてもよい。

図９は、本実施の形態による処理例を示すフローチャートである。この処理例は、図３の例に示したフローチャートに、ステップＳ９１０を追加し、ステップＳ９１２ではステップＳ９１０の処理結果を用いるようにしたものである。
ステップＳ９０２では、撮影装置１０５が、顧客を撮影する。
ステップＳ９０４では、画像受付モジュール１１５が、画像を受け付ける。
ステップＳ９０６では、解析モジュール１２０が、画像を解析する。
ステップＳ９０８では、アイテム抽出モジュール１２５が、顧客が手にとったアイテムを抽出する。
ステップＳ９１０では、雑誌アイテム抽出モジュール１３０が、対象としている店舗の取扱アイテムに関連する雑誌に掲載されているアイテム情報を抽出する。
ステップＳ９１２では、組み合わせ作成モジュール１５５が、ステップＳ９１０で抽出したアイテム情報と組み合わせ記憶モジュール１６０を用いて、対象としている顧客へのコーディネートを作成する。
ステップＳ９１４では、提示モジュール１７５が、コーディネートを提示する。

図１０は、本実施の形態による処理例を示すフローチャートである。この処理例は、図３の例に示したフローチャートに、ステップＳ１０１０を追加し、ステップＳ１０１２ではステップＳ１０１０の処理結果を用いるようにしたものである。
ステップＳ１００２では、撮影装置１０５が、顧客を撮影する。
ステップＳ１００４では、画像受付モジュール１１５が、画像を受け付ける。
ステップＳ１００６では、解析モジュール１２０が、画像を解析する。
ステップＳ１００８では、アイテム抽出モジュール１２５が、顧客が手にとったアイテムを抽出する。
ステップＳ１０１０では、ソーシャルメディア情報抽出モジュール１３５が、対象としている店舗の取扱アイテムに関連するソーシャルメディアで取り上げられているアイテム情報を抽出する。
ステップＳ１０１２では、組み合わせ作成モジュール１５５が、ステップＳ１０１０で抽出したアイテム情報と組み合わせ記憶モジュール１６０を用いて、対象としている顧客へのコーディネートを作成する。
ステップＳ１０１４では、提示モジュール１７５が、コーディネートを提示する。

図１１は、本実施の形態による処理例を示すフローチャートである。この処理例は、図３の例に示したフローチャートに、ステップＳ１１１０を追加し、ステップＳ１１１２ではステップＳ１１１０の処理結果を用いるようにしたものである。
ステップＳ１１０２では、撮影装置１０５が、顧客を撮影する。
ステップＳ１１０４では、画像受付モジュール１１５が、画像を受け付ける。
ステップＳ１１０６では、解析モジュール１２０が、画像を解析する。
ステップＳ１１０８では、アイテム抽出モジュール１２５が、顧客が手にとったアイテムを抽出する。
ステップＳ１１１０では、気象情報抽出モジュール１４０が、対象としている店舗周辺における現在の気象情報を抽出する。
ステップＳ１１１２では、組み合わせ作成モジュール１５５が、ステップＳ１１１０で抽出した気象情報と組み合わせ記憶モジュール１６０を用いて、対象としている顧客へのコーディネートを作成する。
ステップＳ１１１４では、提示モジュール１７５が、コーディネートを提示する。

図１２は、本実施の形態による処理例を示すフローチャートである。この処理例は、図３の例に示したフローチャートに、ステップＳ１２１０を追加し、ステップＳ１２１２ではステップＳ１２１０の処理結果を用いるようにしたものである。
ステップＳ１２０２では、撮影装置１０５が、顧客を撮影する。
ステップＳ１２０４では、画像受付モジュール１１５が、画像を受け付ける。
ステップＳ１２０６では、解析モジュール１２０が、画像を解析する。
ステップＳ１２０８では、アイテム抽出モジュール１２５が、顧客が手にとったアイテムを抽出する。
ステップＳ１２１０では、売り上げ履歴抽出モジュール１４５が、対象としている店舗の売上情報を抽出する。
ステップＳ１２１２では、組み合わせ作成モジュール１５５が、ステップＳ１２１０で抽出した売上情報と組み合わせ記憶モジュール１６０を用いて、対象としている顧客へのコーディネートを作成する。
ステップＳ１２１４では、提示モジュール１７５が、コーディネートを提示する。

図１３は、本実施の形態による処理例を示すフローチャートである。この処理例は、図３の例に示したフローチャートに、ステップＳ１３１０を追加し、ステップＳ１３１２ではステップＳ１３１０の処理結果を用いるようにしたものである。
ステップＳ１３０２では、撮影装置１０５が、顧客を撮影する。
ステップＳ１３０４では、画像受付モジュール１１５が、画像を受け付ける。
ステップＳ１３０６では、解析モジュール１２０が、画像を解析する。
ステップＳ１３０８では、アイテム抽出モジュール１２５が、顧客が手にとったアイテムを抽出する。
ステップＳ１３１０では、顧客予算推定モジュール１５０が、対象としている顧客の予算情報を推定する。
ステップＳ１３１２では、組み合わせ作成モジュール１５５が、ステップＳ１３１０で推定した予算情報と組み合わせ記憶モジュール１６０を用いて、対象としている顧客へのコーディネートを作成する。
ステップＳ１３１４では、提示モジュール１７５が、コーディネートを提示する。
なお、図９〜１３の例に示すフローチャートの２つ以上を組み合わせるようにしてもよい。

図１５を参照して、本実施の形態の情報処理装置のハードウェア構成例について説明する。図１５に示す構成は、例えばパーソナルコンピュータ（ＰＣ）等によって構成されるものであり、スキャナ等のデータ読み取り部１５１７と、プリンタ等のデータ出力部１５１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５０１は、前述の実施の形態において説明した各種のモジュール、すなわち、画像受付モジュール１１５、解析モジュール１２０、アイテム抽出モジュール１２５、雑誌アイテム抽出モジュール１３０、ソーシャルメディア情報抽出モジュール１３５、気象情報抽出モジュール１４０、売り上げ履歴抽出モジュール１４５、顧客予算推定モジュール１５０、組み合わせ作成モジュール１５５、レイアウト推薦モジュール１６５、提示モジュール１７５等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５０２は、ＣＰＵ１５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５０３は、ＣＰＵ１５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバス等から構成されるホストバス１５０４により相互に接続されている。

ホストバス１５０４は、ブリッジ１５０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス１５０６に接続されている。

キーボード１５０８、マウス等のポインティングデバイス１５０９は、操作者により操作される入力デバイスである。ディスプレイ１５１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等があり、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１５０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、撮影装置１０５によって撮影された画像、アイテム抽出モジュール１２５が抽出したアイテム、組み合わせ作成モジュール１５５による組み合わせ結果、雑誌アイテム抽出モジュール１３０等が抽出した情報等が格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ１５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１５１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１５０７、外部バス１５０６、ブリッジ１５０５、及びホストバス１５０４を介して接続されているＲＡＭ１５０３に供給する。リムーバブル記録媒体１５１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート１５１４は、外部接続機器１５１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１５１４は、インタフェース１５０７、及び外部バス１５０６、ブリッジ１５０５、ホストバス１５０４等を介してＣＰＵ１５０１等に接続されている。通信部１５１６は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部１５１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１５１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図１５に示す情報処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１５に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１５に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）等に組み込まれていてもよい。

また、前述の実施の形態の説明において、予め定められた値との比較において、「以上」、「以下」、「より大きい」、「より小さい（未満）」としたものは、その組み合わせに矛盾が生じない限り、それぞれ「より大きい」、「より小さい（未満）」、「以上」、「以下」としてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。

１００…情報処理装置
１０５…撮影装置
１１０…来店顧客関心抽出モジュール
１１５…画像受付モジュール
１２０…解析モジュール
１２５…アイテム抽出モジュール
１３０…雑誌アイテム抽出モジュール
１３５…ソーシャルメディア情報抽出モジュール
１４０…気象情報抽出モジュール
１４５…売り上げ履歴抽出モジュール
１５０…顧客予算推定モジュール
１５５…組み合わせ作成モジュール
１６０…組み合わせ記憶モジュール
１６５…レイアウト推薦モジュール
１７０…レイアウト記憶モジュール
１７５…提示モジュール
１９５…提示装置
２１０Ａ…Ａ店システム
２１０Ｂ…Ｂ店システム
２９０…通信回線

Claims (6)

1. 顧客を撮影した画像から、該顧客が商品を把持した行動を検出する検出手段と、
   前記検出手段によって検出された把持の対象となった商品を抽出する抽出手段と、
   前記抽出手段によって抽出された商品又は該商品に類似する商品と組み合わせる第２の商品を抽出する第２の抽出手段と、
   前記第２の抽出手段によって抽出された第２の商品を提示する提示手段
   を具備することを特徴とする情報処理装置。
2. 前記第２の抽出手段は、雑誌に掲載されている商品の組み合わせ情報又はソーシャルネットワークで取り上げられている商品の組み合わせ情報を用いて、前記第２の商品を抽出する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第２の抽出手段は、気象情報、対象としている店舗の売り上げ情報もしくは前記顧客の予算情報のいずれか又はこれらの組み合わせを用いて、前記商品と組み合わせる第２の商品を抽出する
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記第２の商品と対象としている店舗におけるレイアウト情報を用いて、前記提示手段が提示を行うべき出力装置を選択する選択手段
   をさらに具備することを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
5. 前記検出手段は複数の顧客の行動を検出するものであり、
   前記抽出手段は、前記複数の顧客が把持した複数の商品を抽出するものであり、
   前記第２の抽出手段は、前記抽出された複数の商品又は前記抽出された複数の商品に類似する複数の商品と組み合わせる第２の商品を抽出するものである
   ことを特徴とする請求項１から４のいずれか一項に記載の情報処理装置。
6. コンピュータを、
   顧客を撮影した画像から、該顧客が商品を把持した行動を検出する検出手段と、
   前記検出手段によって検出された把持の対象となった商品を抽出する抽出手段と、
   前記抽出手段によって抽出された商品又は該商品に類似する商品と組み合わせる第２の商品を抽出する第２の抽出手段と、
   前記第２の抽出手段によって抽出された第２の商品を提示する提示手段
   として機能させるための情報処理プログラム。

Images