JP6609434B2 - 商品情報提供システム、商品情報提供方法及び管理サーバ - Google Patents

Description

本発明は、商品情報提供システム、商品情報提供方法及び管理サーバに関する。

従来、端末のカメラで撮影した画像を解析して、撮影された商品又はパッケージに付与された文字列又はバーコードを抽出し、これを用いて商品データベースを検索し、当該商品を特定し、その情報を端末に提供してオンライン販売サイトでの商品購入を促すシステムが提案されている（特許文献１参照）。

また、撮影した画像についての特徴を示す特徴情報を抽出し、これと同一又は類似した特徴情報の商品画像データをデータベースから取得することが知られている（特許文献２参照）。

特表２００７−５２０８０２号公報 国際公開第２０１０／０１６２８１号パンフレット

ウェブサービスとして、同一の商品について複数の販売サイトから得た商品情報を一元的に提供する商品比較サイトが知られている。しかし、一つのウェブサービスが取り扱うことができる商品の種類には限りがある。このため、例えば、商品カテゴリごとに複数のウェブサービスが存在している。

ユーザは、商品を調べるときに、最も適切と考える商品比較サイトを選び、インターネットブラウザ又は当該サイトの専用アプリを用いて商品を検索し、商品情報を取得する必要がある。しかし商品比較サイトの選択が不適切な場合には商品を検索しても見つからないことがある。その場合には、他の商品比較サイトで再度検索を試みるために、改めてインターネットブラウザでアクセスしたり、他の専用アプリを起動したりする必要があるので、極めて煩雑である。

本発明は、ユーザが最適な商品比較サイトの検討を行うことなく商品情報を取得することが可能な商品情報提供システム、商品情報提供方法及び管理サーバを提供することを目的とする。

本発明の商品情報提供システムは、管理サーバと、同一の商品について複数の販売サイトから得た商品情報を一元的に提供する、複数の商品比較サイトサーバと、前記管理サーバに検索条件情報を送信する端末と、で構成された商品情報提供システムにおいて、前記管理サーバは、商品に関連する商品検索キー、並びに、前記商品及び複数の商品比較サイトのうちの一つを示す識別情報が対応付けられて登録されている第１のデータベースと、前記第１のデータベースを用いて、前記検索条件情報に基づいて前記商品検索キーを特定し、前記商品検索キーに対応する前記識別情報を前記端末に送信する照合部と、を具備することを特徴とする。

この構成により、複数の商品比較サイトサーバのうち、商品の情報を取り扱っている一つの商品比較サイトサーバが選択されるので、端末のユーザは、最適な商品比較サイトの選択を行うことなく、必要な商品情報を取得することができる。

本発明の商品情報提供システムにおいて、前記商品検索キーが、商品を含む商品画像に関する画像関連情報、商品に関連するテキスト、商品識別コード、音情報及びＷｅｂページ関連情報のいずれかを含むことが好ましい。

本発明の商品情報提供システムにおいて、前記第１のデータベースは、ユニークに付与されたレコード識別情報に、前記商品検索キー及び前記識別情報の少なくとも一組が対応付けて登録されていることが好ましい。

本発明の商品情報提供システムにおいて、前記管理サーバが、前記端末のユーザに関するユーザ情報と、前記照合部が取得した前記識別情報とを、第２のデータベースに対応付けて登録するデータベース制御部をさらに具備することが好ましい。

本発明の商品情報提供システムにおいて、前記データベース制御部は、前記商品比較サイトから送信された前記識別情報に基づいて、前記第２のデータベースに購入履歴を登録することが好ましい。

本発明の商品情報提供システムにおいて、前記データベース制御部は、前記端末において前記ユーザによりクリッピングが行われた前記商品及び前記識別情報を前記端末から取得し、前記第２のデータベースに、前記ユーザ情報と対応付け、前記端末におけるクリッピング履歴を登録することが好ましい。

本発明の商品情報提供システムにおいて、前記商品検索キーが前記商品画像であり、前記照合部は、前記第１のデータベースに登録された前記商品画像の画像関連情報及び画像データから抽出された画像関連情報を用いて、前記画像データに対応する前記識別情報を取得して前記端末に送信することが好ましい。

本発明の商品情報提供システムにおいて、前記管理サーバは、前記画像データから抽出された前記画像関連情報と前記商品画像の前記画像関連情報との一致率を算出する画像解析部をさらに具備し、前記データベース制御部は、前記第２のデータベースに前記一致率を登録することが好ましい。

本発明の商品情報提供システムにおいて、前記第１のデータベースには、前記商品画像に対応付けて音情報がさらに登録され、前記照合部は、前記音情報及び音データをさらに用いて、前記画像データ及び前記音データに対応する前記識別情報を取得することが好ましい。

本発明の商品情報提供システムにおいて、前記商品画像は、広告メディアに使用されているものであることが好ましい。

本発明の商品情報提供方法は、管理サーバが、商品に関連する検索条件情報を端末から受信する工程と、
前記管理サーバが、前記検索条件情報に基づいて商品検索キーを特定する工程と、
前記管理サーバが、前記商品検索キーを用いて、前記商品検索キーと、同一の商品について複数の販売サイトから得た商品情報を一元的に提供する、複数の商品比較サイトサーバの一つ及び商品を示す識別情報と、が対応付けて登録されている第１のデータベースを検索し、前記商品検索キーに対応する前記識別情報を取得して前記端末に送信する工程と、を具備することを特徴とする。

本発明の管理サーバは、商品に関連する商品検索キー、並びに、前記商品及び複数の商品比較サイトのうちの一つを示す識別情報が対応付けられて登録されている第１のデータベースと、前記第１のデータベースを用いて、端末から受信した検索条件情報に基づいて前記商品検索キーを特定し、前記商品検索キーに対応する前記識別情報を端末に送信する照合部と、を具備することを特徴とする。

本発明によれば、ユーザが、最適な商品比較サイトの選択を行うことなく商品情報を取得することが可能な商品情報提供システム、商品情報提供方法及び管理サーバを提供することができる。

本実施の形態に係る商品情報提供システムのネットワーク構成を示す概略図である。 本実施の形態に係る商品情報提供システムにおける端末を示すブロック図である。 本実施の形態に係る商品情報提供システムにおけるサーバを示すブロック図である。 本実施の形態に係る商品情報提供システムの機能を示す概略図である。 本実施の形態に係るユーザ情報ＤＢの構成を示す説明図である。 本実施の形態に係るソース情報ＤＢの構成を示す説明図である。 本実施の形態に係る商品情報提供システムにおける買い物カメラアプリでの処理を説明するフローチャートである。 本実施の形態に係る商品情報提供システムにおける管理サーバでの処理を説明するフローチャートである。 本実施の形態に係る商品情報提供システムにおける管理サーバでの処理を説明するフローチャートである。 本実施の形態に係る商品情報提供システムにおける買い物カメラアプリでの処理を説明するフローチャートである。 本実施の形態に係る商品情報提供システムにおける買い物カメラアプリでの処理を説明するフローチャートである。 本実施の形態に係る商品情報提供システムにおける情報のやり取りを示すブロック図である。 本実施の形態に係る商品情報システムにおける端末及び管理サーバの間での処理の流れを示すシーケンス図である。 本実施の形態に係る商品情報システムにおける端末及び商品比較サイトサーバの間での処理の流れを示すシーケンス図である。

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。
＜概要＞
図１は、本実施の形態に係る商品情報提供システムのネットワーク構成を示す概略図である。商品情報提供システム１では、複数の端末１００、管理サーバ２、商品比較サイトサーバ３、４及び販売サイトサーバ５〜１０がインターネット５０を介して相互に通信可能に接続されている。インターネット５０は、ＬＡＮ、移動体通信網、Ｗｉ−Ｆｉなどを含んでいる。

ここでは、説明を簡略にするために、２つの商品比較サイトサーバ３、４及び６つの販売サイトサーバ５〜１０を図示しているが、実際にはもっと多くの商品比較サイトサーバ及び購入サイトが存在する。

＜端末＞
図２は、本実施の形態に係る商品情報提供システムにおける端末を示すブロック図である。図２に示すように、端末１００は、中央制御部１０１、ネットワークインターフェイス（Ｉ／Ｆ）１０２、ＧＰＳ受信部１０３、カメラ部１０４、ディスプレイ部１０５、ＵＩデバイス１０６、メモリ１０７、ストレージデバイス１０８、電源供給部１０９、時計部１１０及びマイク部１１１を備えている。

中央制御部１０１は、端末１００の各部を制御するものである。具体的には、中央制御部１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を備え、メモリ１０７を用いてオペレーティングシステム（ＯＳ）や各種処理プログラムに従って各種の制御動作を行う。

ネットワークインターフェイス１０２は、インターネット５０を含むネットワークを介してデータ通信等を遂行する。

ＧＰＳ受信部１０３は、人工衛星からＧＰＳ信号を受信して地理的位置（例えば、座標）を中央制御部１０１に出力する。

カメラ部１０４は、静止画や動画像を撮影するためのレンズ及び光学素子を含む。

ディスプレイ部１０５は、中央制御部１０１で生成された各種情報を表示する。

ＵＩ（ユーザインターフェイス）デバイス１０６は、ユーザによる操作を受け付けるものであり、ボタン、キー、タッチパネル等が含まれる。ＵＩデバイス１０６は、これらの操作に応じて所定の操作信号を中央制御部１０１に出力する。なお、マイク部１１１（後述）から入力された音声信号を中央制御部１０１に出力し、操作命令を認識させて操作してもよい。

メモリ１０７は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等により構成され、中央制御部１０１等によって処理されるデータ等を一時的に記憶するバッファメモリや、中央制御部１０１等のワーキングメモリとして機能する。

ストレージデバイス１０８は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、中央制御部１０１の動作に必要な各種プログラムやデータを記憶している。

電源供給部１０９は、端末１００に必要な電力を供給するために、バッテリ又は外部電源ソースと連結される。

時計部１１０は、時計機能を有し、日時の情報を中央制御部１０１に出力する。

マイク部１１１は、音を電気信号に変換して中央制御部１０１に出力する。

以上説明した端末１００において、目的に応じてアプリケーションプログラムやデータを適宜用意することで、以降で説明するような各種機能を実現することができる。

本実施の形態においては、端末１００は、スマートフォンやタブレットを想定しているが、特に限定されるものではなく、カメラ及び通信機能を備えたスマートウオッチやスマートグラスのような各種ウエラブル端末であってもよいことは言うまでもない。また、通信機能を備えたデジタルカメラも包含される。ただし、端末１００は、ウエラブル端末に限定されるものではなく、例えば、パーソナルコンピュータのような、インターネット５０に接続されるすべてのデバイスが包含される。パーソナルコンピュータを用いる場合、カメラ部１０４又は画面取込部１００２（後述）のような画像入力手段（後述）を備えている必要がある。

本実施の形態においては、商品情報提供システム１は、いわゆるマルチデバイスに対応している。すなわち、ユーザが端末１００を複数所有し、それぞれに買い物カメラアプリ（後述）をインストールし、一つのユーザＩＤを用いてシステムにログインすることで、商品情報提供システム１によるサービスを利用することができ、複数の端末１００によるクリッピング履歴（後述）や購入履歴（後述）を、一つのユーザＩＤに紐付けてユーザ情報ＤＢ（後述）に登録することが可能である。

＜サーバ＞
上述のように、本実施の形態に係る商品情報提供システム１には、管理サーバ２、商品比較サイトサーバ３、４及び販売サイトサーバ５〜１０が含まれる。図３は、本実施の形態に係る商品情報提供システムにおけるサーバを示すブロック図である。

図３に示すように、サーバ２００は、中央制御部２０１、ネットワークインターフェイス２０２、ストレージデバイス２０３、メモリ２０４及び電源供給部２０５を備えている。

中央制御部２０１は、サーバ２００の各部を制御するものである。具体的には、中央制御部２０１は、ＣＰＵ等を備え、メモリ２０４を用いてＯＳや各種処理プログラムに従って各種の制御動作を行う。

ネットワークインターフェイス２０２は、インターネット５０を含むネットワークを介してデータ通信等を遂行する。

ストレージデバイス２０３は、例えば、不揮発性メモリ等により構成され、中央制御部２０１の動作に必要な各種プログラムやデータを記憶している。

メモリ２０４は、例えば、ＤＲＡＭ等により構成され、中央制御部２０１等によって処理されるデータ等を一時的に記憶するバッファメモリや、中央制御部２０１等のワーキングメモリとして機能する。

電源供給部２０５は、サーバ２００に必要な電力を供給するために外部電源ソースと連結される。

以上説明したサーバ２００において、目的に応じてプログラムやデータを適宜用意することで、管理サーバ２、商品比較サイトサーバ３、４及び販売サイトサーバ５〜１０を実現することができる。

以下、本実施の形態に係る商品情報提供システム１を構成する端末１００及び各サーバの機能について説明する。

図４は、本実施の形態に係る商品情報提供システムの機能を示す概略図である。

＜アプリケーションプログラム＞
以下、端末１００上で実行されるアプリケーションプログラム（以下、買い物カメラアプリと呼ぶ）の機能について説明する。図４に示すように、買い物カメラアプリ１００１は、画面取込部１００２、特徴点データ抽出部１００３、端末情報取得部１００４、特徴点データ送信部１００５、問い合わせ処理部１００６、商品情報受信部１００７、商品情報表示部１００８、クリッピング処理部１００９、商品購入処理部１０１０及びモニタリング部１０１１を備えている。

画面取込部１００２は、ディスプレイ部１０５に表示された画面の全体又は一部を取得し、画像データを出力する。カメラ部１０４及び画面取込部１００２は、買い物カメラアプリ１１０１に画像データを入力する画像入力手段として機能する。画像入力手段としては、商品を含む画像データが取得できれば特に限定されず、例えば、２Ｄスキャナ等を用いることもできる。

本実施の形態において、画像入力手段により入力される画像には、静止画及び動画（映像）が含まれる。

特徴点データ抽出部１００３は、カメラ部１０４又は画面取込部１００２から入力された画像データから特徴点データを抽出し、特徴点データ送信部１００５に出力する。

端末情報取得部１００４は、カメラ部１０４で行われた撮影の日時及び地理的位置を、時計部１１０及びＧＰＳ受信部１０３から取得し、特徴点データ送信部１００５に出力する。ここで、日時及び地理的位置を、端末情報と呼ぶ。端末情報は、撮影の日時又は地理的位置の他、ネットワーク情報、デバイス情報などが挙げられる。

ここで、ネットワーク情報に関しては、例えば、端末１００が携帯電話端末である場合、ネットワークインターフェイス１０２から、携帯電話業者（キャリア）の名称や携帯電話回線の種類（３Ｇ、ＬＴＥ等）などの情報を、端末情報取得部１００４が取得することができる。また、デバイス情報に関しては、端末１００の中央制御部１０１が実行するＯＳから、ＯＳの名称又はバージョン、或いは、中央制御部１０１としてのＣＰＵの種類などの情報を、端末情報取得部１００４が取得することができる。

本実施の形態では、端末情報取得部１００４が独立して存在しているが、後述の特徴点データ送信部１００５が、端末情報取得部１００４を兼ねていてもよい。すなわち、端末情報取得部１００４に相当する機能を、例えば、カメラ部１０４の制御用アプリケーションプログラムのような他のアプリケーションプログラムが果たしたり、ＯＳが果たしたり、してもよく、これらが取得した端末情報は特徴点データ送信部１００５に渡されるように構成されていてもよい。

また、端末情報は、ＥＸＩＦ情報のような画像データに添付されるメタデータ群であってもよく、端末情報取得部１１０４は、メタデータ群を画像データから抽出し、それを特徴点データ送信部１００５に渡してもよい。ここで、ＥＸＩＦ情報は、撮影時に画像データと共に記録されるメタデータであり、撮影日時、撮影機器のメーカー名（製造・販売元）、撮影機器のモデル名（カメラ付き携帯電話・スマートフォンの機種名など）、画像全体の解像度、水平・垂直方向の単位あたり解像度、撮影方向、シャッタースピード、絞り（Ｆ値）、ＩＳＯ感度、測光モード、フラッシュの有無、露光補正ステップ値、焦点距離、色空間（カラースペース）、ＧＰＳ情報、サムネイル画像などを含んでいる。

特徴点データ送信部１００５は、ネットワークインターフェイス１０２により、特徴点データを、端末情報と共に管理サーバ２に送信する。

問い合わせ処理部１００６は、管理サーバ２から送信されたサイトＩＤ（後述）及び商品ＩＤ（後述）を受信する。そして、サイトＩＤを用いて商品比較サイトサーバ３、４のうちの一つを特定し、それに対応した検索ＡＰＩを選択する。引数に商品ＩＤを追加した商品検索ＡＰＩを用いて、商品比較サイトサーバ３、４のいずれか一つに送信する。

商品情報受信部１００７は、商品比較サイトサーバ３、４から送信された商品情報を受信し、商品情報表示部１００８に出力する。商品情報表示部１００８は、受信した商品情報をディスプレイ部１０５に表示する。このように、商品情報受信部１００７及び商品情報表示部１００８によって、商品情報の取得から表示までを行う商品情報取得・表示部が構成されている。

クリッピング処理部１００９は、ＵＩデバイス１０６等を介して商品情報に対して行われたユーザの操作に応じて、当該商品情報に対応する、少なくとも商品ＩＤをストレージデバイス１０８に記憶する。このような処理を商品情報のクリッピングと呼ぶ。ストレージデバイス１０８に記憶された商品ＩＤを用いて商品情報を商品比較サイトサーバ３、４から再び受信して表示したり、さらに商品の購入を行ったり、することができる。

商品購入処理部１０１０は、商品情報に含まれるＵＲＬを用いて、販売サイトサーバ５〜１０のうちのいずれか一つに接続し、商品の購入を行う。商品購入処理部１０１０は、買い物カメラアプリ１００１の機能の一つであってもよいし、端末１００が搭載する汎用のインターネットブラウザであってもよい。

モニタリング部１０１１は、商品情報表示部１００８、クリッピング処理部１００９及び商品購入処理部１０１０での処理状況を監視している。モニタリング処理部１０１１は、クリッピング処理部１００９で商品情報のクリッピングが行われた場合、ユーザＩＤ及び商品ＩＤを管理サーバ２のＤＢ制御部１１０１に送信する。また、モニタリング処理部１０１１は、商品購入処理部１０１０で商品の購入が行われた場合、ユーザＩＤ及び商品ＩＤを管理サーバ２のＤＢ制御部１１０１に送信する。

特徴点データ抽出部１００３で行われる画像からの特徴点データの抽出の概要について説明する。特徴点データ抽出部１００３は、カメラ部１０４から入力された画像データ内の検索部分を抽出する。例えば、特開２０１３−１４２９６１号公報に記載されている画像中の特徴点を検出する特徴点検出方法を用いることができるが、これに限定されることはない。また、特徴点データに代えて、特徴点の座標、特徴ベクトル、特徴量、その他の画像の特徴を示すデータを用いても良い。ここで、特徴ベクトルの抽出には、例えば、特徴ベクトルの集合の抽出アルゴリズムであるＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）若しくはＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、又は、バイナリ特徴ベクトル抽出アルゴリズムであるＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）若しくはＦＲＥＡＫ（Ｆａｓｔ Ｒｅｔｉｎａ Ｋｅｙｐｏｉｎｔ）を用いることができる。

＜管理サーバ＞
管理サーバ２は、図４に示すように、ＤＢ制御部１１０１、ユーザ情報ＤＢ１１０２、画像認識部１１０３及びソース情報ＤＢ１１０４を備えている。

ＤＢ制御部１１０１は、受信部として機能し、買い物カメラアプリ１００１の特徴点データ送信部１００５から特徴点データ及び端末情報を受信する。これを検索リクエストと呼ぶ。また、ＤＢ制御部１１０１は、特徴点データを画像認識部１１０３に渡すと共に、同じく受信した端末情報をユーザ情報ＤＢ１１０２に登録する。

ユーザ情報ＤＢ１１０２は、ユーザ毎にユニークに付与されたユーザＩＤに、買い物カメラアプリ１００１からの検索リクエスト（ＲＥＱ）毎に、リクエストＩＤ、端末情報、商品ＩＤ、一致率（後述）、クリッピング履歴（後述）及び購入履歴（後述）を対応付けて記憶するように構成されている。

ソース情報ＤＢ１１０４には、レコード識別情報としての、商品を含む画像（以下、商品画像という）の出所（ソース）毎にユニークに付与されたソースＩＤに、商品画像の画像データ、当該商品画像の特徴点データ、当該商品に関する商品情報を取り扱っている商品比較サイトサーバ３、４のうち一つを特定するためのサイトＩＤ、及び、商品比較サイトサーバ３、４において当該商品に対してユニークに付与されている商品ＩＤと、が対応付けて登録されている。

ここでは、サイトＩＤと、商品ＩＤとが、別々になっているが、例えば、「サイトＩＤ＿商品ＩＤ」や「サイトＩＤ／商品ＩＤ」のように、二つを一つにまとめたものであってよい。また、例えば、商品比較サイトの商品情報を表示するホームページを示すＵＲＬに商品ＩＤを組み合わせたもの（例えば、ｈｔｔｐ／／：ｈｉｋａｋｕ．ｃｏｍ／１２３４５６）であってもよい。本実施の形態では、これらのような商品比較サイトのうち一つ及び商品を示す識別情報を用いることができる。以下の説明では、サイトＩＤと商品ＩＤとを一つにまとめ、「サイトＩＤ＿商品ＩＤ」の形式とした場合について説明し、単に商品ＩＤと呼ぶ。

商品画像は、例えば、雑誌、チラシ、パンフレット、ポスター、テレビＣＭ、広告動画、Ｗｅｂ広告などの各種広告メディアを出所として使用されている商品の画像であってもよい。広告メディア以外にも、個人が撮影した商品の画像であってもよい。これらを包括して「平面媒体の商品画像」と呼ぶ。

また、商品画像は、広告メディアを出所とするものに限定されず、例えば、商品の実物を撮影したものであってもよい。商品の実物を、カメラで撮影したものでも、２Ｄスキャナや３Ｄスキャナでスキャンしたものでもよい。

図５は、本実施の形態に係るユーザ情報ＤＢの構成を示す説明図である。図５に示すように、ユーザ情報ＤＢ１１０２は、一つのユーザＩＤに対し、複数の検索リクエストが登録できるように構成されている。また、一つの検索リクエストに対し、商品ＩＤ、端末情報、商品ＩＤ、一致率、クリッピング履歴及び購入履歴が登録できるように構成されている。商品ＩＤの項には、少なくとも一つの商品ＩＤを登録することができる。クリッピング履歴の項には、クリッピングを行った日時と、クリッピングされた商品の商品ＩＤとの組み合わせ（例えば、ｙｙｍｍｄｄ，ｈｉｋａｋｕ１＿０００１）を一つのクリッピング履歴とし、少なくとも一つのクリッピング履歴を登録することができる。同様に、購入履歴の項には、購入を行った日時と、購入された商品の商品ＩＤとの組み合わせを一つの購入履歴とし、少なくとも一つの購入履歴を登録することができる。

図６は、本実施の形態に係るソース情報ＤＢの構成を示す説明図である。ソース情報ＤＢ１１０４は、レコード識別情報としての一つのソースＩＤに対し、一つの商品画像の画像データ及び一つの当該商品画像の特徴点データが対応付けて登録できるように構成されている。また、一つのソースＩＤに対し、少なくとも一つの商品ＩＤが登録できるように構成されている。これにより、商品画像に複数の異なる商品が含まれる場合に、一つのソースＩＤに対して複数の商品ＩＤが登録されることができる。なお、レコード識別情報は、ソースＩＤに限定されず、ソース情報ＤＢ１１０４において一つのレコードに対してユニークに付与されていれば足りる。

図６に示すソース情報ＤＢ１１０４は、ソースＩＤに対して画像データ及び特徴点データを対応付けて登録している。しかし、ソース情報ＤＢ１１０４を、ソースＩＤに対して画像データを対応付けて登録した、データベースＡと、ソースＩＤに対応して特徴点データを対応付けて登録したデータベースＢとの、二つに分散して配置し、相互にデータのやり取りが可能にしても良い。さらに、図４に示す管理サーバ２からデータベースＢ及び画像認識部１１０３を切り離して配置しても良い。この場合、ユーザ情報ＤＢに登録されたユーザ情報のような個人情報を、画像認識部１１０３から切り離せるので、個人情報保護の観点で有利である。

上述のように、本実施の形態に係る商品情報提供システム１においては、ソース情報ＤＢ１１０４に登録される商品画像として様々な画像を用いることにより、雑誌などの平面媒体からも、リアルな商品（商品の実物）からも、Ｗｅｂサイト（デジタル空間）からも、すぐに商品を認識して商品情報を提供することを実現可能である。これにより、店舗やネットで買い場を作って待っている流通形態ではなく、毎日の暮らしの中に買い場を創造することができるようになる。すなわち、暮らしの中で出会う全ての接点が店頭になり、瞬時にクリッピング（後述）や商品購入（後述）という消費者行動を引き起こすことができる。

ソース情報ＤＢ１１０４には、さらに商品画像に対して音情報が登録されていてもよい。ここで、音情報とは、例えば、商品画像に含まれる商品のＣＭで用いられているナレーションや音楽、商品が発する音、音商標、又は、これらの内容を文字に起こした文字情報などであるが、特に限定されるものではない。

画像認識部１１０３は、画像の照合及び解析を行う。すなわち、ソース情報ＤＢ１１０４に登録された商品画像の特徴点データ、及び、買い物カメラアプリ１００１でカメラ部１１０４から入力され、送信された特徴点データを用いて、端末１００のカメラ部１０４から入力された画像データに対応する商品ＩＤを取得する。より具体的には、まず、画像の照合として、画像認識部１１０３は、ソース情報ＤＢ１１０４を用いて、ソース情報ＤＢ１１０４に登録された商品画像の特徴点データと、端末１００のカメラ部１０４から入力された画像データの特徴点データとを比較し、画像データと特徴点データが一致又は近似する商品画像を特定し、当該商品画像に対応する商品ＩＤを取得する。取得した商品ＩＤを、買い物カメラアプリ１００１の問い合わせ処理部１００６に送信する。

また、画像認識部１１０３は、画像の解析として、例えば、端末１００のカメラ部１０４から入力された画像データの特徴点データと、ソース情報ＤＢ１１０４に登録され、画像の照合の結果、当該画像データと特徴点データが一致又は近似した商品画像の特徴点データとの一致率を算出する。

画像認識部１１０３で決定された商品ＩＤ及び算出された一致率は、ＤＢ制御部１１０１に渡される。ＤＢ制御部１１０１は、商品ＩＤ及び一致率を、ユーザ情報ＤＢ１１０２に登録する。

さらに、ＤＢ制御部１１０１は、買い物カメラアプリ１００１のモニタリング部１０１１から送信されたユーザＩＤ及び商品ＩＤに基づいてユーザ情報ＤＢ１１０２にクリッピング履歴を登録する。

また、ＤＢ制御部１１０１は、買い物カメラアプリ１００１の商品購入処理部１０１０が販売サイトサーバ５〜１０との間で行った商品購入を契機にして、買い物カメラアプリ１００１のモニタリング部１０１１から送信されたユーザＩＤ及び商品ＩＤに基づいて、ユーザ情報ＤＢ１１０２に購入履歴を登録する。

＜商品比較サイトサーバ＞
商品比較サイトサーバ３、４は、同一の商品について複数の販売サイトサーバ５〜１０から得た商品情報を一元的に提供する機能を有する。

また、商品比較サイトサーバ３、４は、それぞれ異なる商品カテゴリの商品を取り扱っている。本実施の形態では、商品カテゴリとして、例えば、商品比較サイトサーバ３は家電を、商品サイト４は化粧品をそれぞれ取り扱っている。

より詳細には、商品比較サイトサーバ３、４は、各商品について、価格比較、レビュー、口コミ及び画像・動画などの商品情報を持っている。このうち、価格比較としては、当該商品を取り扱っている販売サイトサーバが多数登録され、販売サイトサーバ５〜１０毎に、商品価格、送料、販売サイトサーバへのリンクなどが一覧できるようになっている。

＜販売サイトサーバ＞
販売サイトサーバ５〜１０は、それぞれ、商品の販売を行っており、購入商品の決定及び決済をオンラインで行うことができる。本実施の形態では、販売サイトサーバ５〜７が家電を取り扱い、商品比較サイトサーバ３に登録されている。一方、販売サイトサーバ８〜１０が化粧品を取り扱い、商品比較サイトサーバ４に登録されている。

＜処理の流れ＞
以下、本実施の形態に係る商品情報提供システム１における処理の流れについて説明する。図７は、本実施の形態に係る商品情報提供システムにおける買い物カメラアプリでの処理を説明するフローチャートである。なお、以下の説明では、商品比較サイトサーバ３及び販売サイトサーバ５を例に挙げて説明しているが、他の商品比較サイトサーバ４及び販売サイトサーバ６〜１０であっても同様であることは言うまでもない。

買い物カメラアプリ１００１では、まず、カメラ部１０４を起動する（Ｓ１）と、撮影が行われるのを待機する（Ｓ２）。撮影が行われたならば（Ｓ２でＹｅｓ）、特徴点データ抽出部１００３が、撮影された画像データから特徴点データを抽出する（Ｓ３）。次に、端末情報取得部１００４が、端末情報として、ＧＰＳ受信部１０３及び時計部１１０から撮影が行われた日時及び地理的位置（座標）を取得する（Ｓ４）。そして、特徴点データ送信部１００５が、ユーザＩＤ、特徴点データ及び端末情報を管理サーバ２に送信する（Ｓ５）。

図８は、本実施の形態に係る商品情報提供システムにおける管理サーバでの処理を説明するフローチャートである。

管理サーバ２では、ＤＢ制御部１１０１が、買い物カメラアプリ１００１から、ユーザＩＤ、特徴点データ及び端末情報を受信する（Ｓ１１）。

次に、ＤＢ制御部１１０１は、特徴点データを画像認識部１１０３に渡す（Ｓ１２）。次いで、ユーザＩＤ及び端末情報を、ユーザ情報ＤＢ１１０２に登録する（Ｓ１３）。

その後、ＤＢ制御部１１０１は、画像認識部１１０３から解析・照合の結果、すなわち、商品ＩＤ及び一致率を受信したか否かチェックする（Ｓ１４）。受信したならば（Ｓ１４でＹｅｓ）、ＤＢ制御部１１０１は、商品ＩＤ及び一致率をリクエストＩＤと対応付けてユーザ情報ＤＢ１１０２に登録する（Ｓ１５）。

図９は、本実施の形態に係る商品情報提供システムにおける管理サーバでの処理を説明するフローチャートである。

図９に示すように、画像認識部１１０３は、買い物カメラアプリ１００１から特徴点データを受け取ると（Ｓ２１）、ソース情報ＤＢ１１０４を検索し、特徴点データが相互に一致又は近似する商品画像を特定し、当該商品画像に対する商品ＩＤを取得する（Ｓ２２）。また、画像認識部１１０３は、買い物カメラアプリ１００１から受け取った特徴点データと商品画像の特徴点データとの一致率を算出する（Ｓ２３）。その後、画像認識部１１０３は、取得したサイトＩＤ及び商品ＩＤを、買い物カメラアプリ１００１の問い合わせ処理部１００６に送信し（Ｓ２４）、次いで、商品ＩＤ及び一致率をＤＢ制御部１１０１に渡す（Ｓ２５）。

図１０は、本実施の形態に係る商品情報提供システムにおける買い物カメラアプリでの処理を説明するフローチャートである。

図１０に示すように、買い物カメラアプリ１００１において、問い合わせ処理部１００６は、商品ＩＤを受信する（Ｓ３１）。次に、商品ＩＤが示す商品比較サイトサーバ３又は商品比較サイトサーバ４に対応する商品検索ＡＰＩを読み出し（Ｓ３２）、引数に商品ＩＤを追加した上で商品検索ＡＰＩを用いて、商品比較サイトサーバ３又は商品比較サイトサーバ４のうち商品ＩＤが示す一つに商品情報を要求する（Ｓ３３）。商品情報受信部１００７は、商品情報のＵＲＬを受信したか否かチェックし（Ｓ３４）、受信したならば（Ｓ３４でＹｅｓ）、商品情報のＵＲＬを用いて商品情報を受信し（Ｓ３５）、商品情報表示部１００８に渡す。商品情報表示部１００８は、商品情報をディスプレイ部１０５に表示する（Ｓ３６）。

図１１は、本実施の形態に係る商品情報提供システムにおける買い物カメラアプリでの処理を説明するフローチャートである。図１１に示すように、買い物カメラアプリ１００１では、モニタリング部１０１１は、商品購入処理部１０１０で商品が購入されたか否かチェックする（Ｓ４１）。

商品が購入されないならば（Ｓ４１でＮｏ）、モニタリング部１０１１は、クリッピング処理部１００９で、商品情報がクリッピングされたか否かチェックする（Ｓ４２）。クリッピングが行われたならば（Ｓ４２でＹｅｓ）、モニタリング部１０１１は、クリッピングされた商品の商品ＩＤを管理サーバ２のＤＢ制御部１１０１に送信する（Ｓ４３）。ＤＢ制御部１１０１は、受け取った商品ＩＤに基づいてユーザ情報ＤＢ１１０２にクリッピング履歴を登録する。

一方、クリッピングが行われないならば（Ｓ４２でＮｏ）、モニタリング部１０１１は、商品情報の表示が終了したか否かチェックする（Ｓ４４）。商品情報の表示が終了していないならば（Ｓ４４でＮｏ）、Ｓ４１に戻る。一方、モニタリング部１０１１は、商品情報の表示が終了したならば（Ｓ４４でＹｅｓ）、処理を終了する。

商品購入処理部１０１０により、例えば、販売サイトサーバ５との間で商品の購入が行われると、販売サイトサーバ５は、商品比較サイトサーバ３に対して、商品比較サイトサーバ３が提供した商品情報に基づいて商品の購入が行われたことを通知するため、商品ＩＤを送信する。商品比較サイトサーバ３は、管理サーバ２に購入が行われた商品ＩＤを買い物カメラアプリ１００１に送信する。買い物カメラアプリ１００１では、商品が購入されたならば（Ｓ４１でＹｅｓ）、商品比較サイトサーバ３からの商品ＩＤの受信を待機し（Ｓ４５）、商品ＩＤを受信したならば（Ｓ４５でＹｅｓ）、管理サーバ２のＤＢ制御部１１０１に送信する（Ｓ４３）。管理サーバ２では、ＤＢ制御部１１０１が、買い物カメラアプリ１００１から送信された商品ＩＤに基づいて、ユーザ情報ＤＢ１１０２に購入履歴を登録する。

以下、本実施の形態に係る商品情報提供システム１における情報のやり取りについて、図面を参照して説明する。なお、以下の説明では、商品比較サイトサーバ３及び販売サイトサーバ５を例に挙げて説明しているが、他の商品比較サイトサーバ４及び販売サイトサーバ６〜１０であっても同様であることは言うまでもない。

図１２は、本実施の形態に係る商品情報提供システムにおける情報のやり取りを示すブロック図である。図１２に示すように、まず、画像の取得を行う（Ｓ１０１）。画像の取得には、カメラ部１０４による実際の商品そのものの撮影、雑誌などの平面媒体に使用されている商品の画像の撮影が含まれる。ここで、撮影には、静止画の撮影及び動画の撮影が含まれる。

また、画像の取得には、図４に示す画面取込部１００２によりディスプレイ部１０４に表示された画面の少なくとも一部を取り込む（キャプチャ又はスクリーンショット）ことが含まれる。例えば、インターネットブラウザが表示したＷｅｂサイトの画面を、例えば、買い物カメラアプリ１１０１や、インターネットブラウザのような他のアプリケーションプログラム又はＯＳが取り込むことができる。

さらに、画像の取得と共に、画像データに関連する音データの記録を行うこともできる。この場合、音データの記録は、マイク部１１１により音を検出し、電気信号に変換し、中央制御部１１１に出力する。中央制御部１１１は、入力された電気信号を音データに変換し、特徴点データ送信部１００５に渡す。特徴点データ送信部１００５は、特徴点データと共に、音データをＤＢ制御部１００１に送信する。

次に、買い物カメラアプリ１００１において、画像の取得（Ｓ１０１）が行われると、特徴点データ及び端末情報がＤＢ制御部１１０１に送信される。

特徴点データ及び端末１００の宛先情報（例えば、端末１００のプロダクトＩＤ、ＩＰアドレス、ユーザＩＤ、買い物カメラアプリ１００１のプロダクトＩＤなど）が、ＤＢ制御部１１０１から画像認識部１００３に送信され、画像解析（Ｓ１０２）及び画像照合（Ｓ１０３）に用いられる。

また、ＤＢ制御部１１０１では、買い物カメラアプリ１００１から受信した端末情報がユーザ情報ＤＢ１１０２に登録される（Ｓ１０４）。

さらに、ＤＢ制御部１１０１では、ソース情報ＤＢ１１０４への商品画像の特徴点データ、商品ＩＤの登録（Ｓ１０５）が行われる。

画像認識部１１０３において、ソース情報ＤＢ１１０４を用いた画像照合（Ｓ１０３）が行われ、その結果、取得された商品ＩＤが、宛先情報を用いて端末１００へ送信される。

また、画像認識部１１０３において、画像解析（Ｓ１０２）が行われ、その結果、すなわち、本実施の形態では一致率が、ＤＢ制御部１１０１に送信され、ユーザ情報ＤＢ１１０２への登録（Ｓ１０４）が行われる。

上述のように、画像の取得（Ｓ１０１）と共に、画像データに関連する音データの記録を行う場合、ソース情報ＤＢ１１０４に商品画像に対応付けて音情報がさらに登録され、音情報、及び、音データをさらに用いて、画像データ及び音データに対応する商品ＩＤを取得する。より具体的には、ソース情報ＤＢ１１０４に商品画像に対応付けて音情報をさらに登録しておき、画像認識部１１０３が、端末１００から送信された音データと、ソース情報ＤＢ１１０４に登録された音情報とを照合し、一致又は近似する音情報を特定し、特徴点データに音情報を組み合わせて、画像データに対応する商品ＩＤを得ることもできる。また、画像認識部１１０３が、ソース情報ＤＢ１１０４には商品の商品名がさらに登録されていれば、音データから音声を認識してテキストを取得し、画像認識部１１０３が特徴点データにテキストを組み合わせて商品ＩＤを得ることもできる。

このように、音データを利用する場合、例えば、端末１００において、テレビＣＭをカメラ部１０４で撮影すると共に、テレビＣＭの音を、マイク１１１を介して記録し、端末１００が特徴点データ及び音データを管理サーバ２に送信する。一方、管理サーバ２では、ソース情報ＤＢ１１０４に、テレビＣＭで用いられている商品画像と共に、同じくテレビＣＭで用いられているナレーションや音楽の音情報が登録されている。そして、画像認識部１１０４では、画像照合（Ｓ１０３）の際に、端末１００から送信された音データと、ソース情報ＤＢ１１０４に登録された音情報とを照合することで、端末１００で撮影した商品をより高い精度で特定することができるようになる。

買い物カメラアプリ１００１は、画像認識部１１０３から商品ＩＤを受信すると、商品情報の問い合わせ（Ｓ１０６）を行う。すなわち、買い物カメラアプリ１００１は、サイトＩＤを用いて商品比較サイトサーバ３を特定し、さらに商品ＩＤを商品比較サイトサーバ３に送信し、対応する商品の商品情報のＵＲＬの送信を要求する。

これに対し、商品比較サイトサーバ３では、買い物カメラアプリ１００１から受信した商品ＩＤに基づいて、商品情報ＤＢの照合（Ｓ１０７）を行い、商品情報を提示するホームページのＵＲＬ（商品情報ＵＲＬ）を、買い物カメラアプリ１００１に返信する。

買い物カメラアプリ１００１では、商品情報ＵＲＬを用いて、商品情報の取得及び表示（Ｓ１０８）を行う。すなわち、買い物カメラアプリ１００１から、商品比較サイトサーバ３に対して、商品情報ＵＲＬを用いた商品情報のリクエストが送信される。これに対応して、商品比較サイトサーバ３において、商品情報ＵＲＬに対応する商品情報の提供（Ｓ１０９）が行われ、商品情報がレスポンスとして買い物カメラアプリ１００１に送信される。買い物カメラアプリ１００１では、受信した商品情報を表示する（Ｓ１０８）。

ここで、管理サーバ２の画像認識部１１０３から受信した商品ＩＤが複数であって場合、商品情報の取得を、受信した商品ＩＤの分だけ繰り返し、複数の商品情報を一緒に入手して同時に表示することができる。したがって、例えば、買い物カメラアプリ１００１である雑誌の１ページを撮影したときに複数の商品が写っている場合、管理サーバ２の画像認識部１１０３での照会により、当該雑誌の該当ページをソースとする商品画像が特定され、商品画像に対応付けられた複数の商品ＩＤが買い物カメラアプリ１００１に送信されるので、買い物カメラアプリ１００１では、当該雑誌の該当ページに含まれる複数の商品の商品情報を、例えば、リストやタイル状に同時に表示することができる。同様に、本実施の形態に係る商品情報提供システム１によれば、例えば、テレビＣＭのような動画で一つのシーンに複数の商品が含まれている場合や、複数の現実の商品が一つの展示ブースに陳列されている場合にも、買い物カメラアプリ１００１は、複数の商品の商品情報を一緒に入手して同時に表示することができる。

さらに、買い物カメラアプリ１００１は、クリッピング（Ｓ１１０）が行われると、ユーザＩＤ、及び、クリッピングが行われた商品の商品ＩＤをＤＢ制御部１１０１に送信し、ＤＢ制御部１１０１では、ユーザ情報ＤＢ１１０２へのクリッピング履歴の登録（Ｓ１０４）が行われる。商品ＩＤと共に、クリッピング日時、クリッピング位置情報、ユーザ記入メモが、ＤＢ制御部１１０１に送信され、登録されるようにしてもよい。ここで、クリッピング日時及びクリッピング位置情報とは、モニタリング部１０１１が、クリッピング（Ｓ１１０）が行われた日時を時計部１１０から、地理的位置をＧＰＳ受信部１０３からそれぞれ取得したものである。ユーザ記入メモとは、クリッピング（Ｓ１１０）の際に、買い物カメラアプリ１００１を介してユーザが入力した文字情報である。

また、買い物カメラアプリ１００１で、商品購入（Ｓ１１１）が行われると、販売サイトサーバ５において、商品販売（Ｓ１１２）が行われる。より詳細には、買い物カメラアプリ１００１が、商品情報として、販売サイトサーバ５に対応する販売サイトページを受信、表示し、販売サイトページに埋め込まれたリンクから、販売サイトサーバ５に遷移する。そして、買い物カメラアプリ１００１上で、ユーザは、販売サイトサーバ５と商品の購入手続を行い、商品を購入する。商品販売（Ｓ１１２）が行われると、販売サイトサーバ５は、販売された商品の商品ＩＤを商品比較サイトサーバ３に送信する。商品比較サイトサーバ３は、当該商品ＩＤを買い物カメラアプリ１００１に送信する。買い物カメラアプリ１００１は、ユーザＩＤ及び当該商品ＩＤをＤＢ制御部１１０１に送信し、ＤＢ制御部１１０１では、ユーザ情報ＤＢ１１０２への購入履歴の登録（Ｓ１０４）が行われる。

以下、本実施の形態に係る商品情報提供システム１における端末１００、管理サーバ２、商品比較サイトサーバ３及び販売サイトサーバ５の間での処理の流れを、シーケンス図を用いて説明する。なお、以下の説明では、商品比較サイトサーバ３及び販売サイトサーバ５を例に挙げて説明しているが、他の商品比較サイトサーバ４及び販売サイトサーバ６〜１０であっても同様であることは言うまでもない。

図１３は、本実施の形態に係る商品情報システムにおける端末及び管理サーバの間での処理の流れを示すシーケンス図である。図１３に示すように、まず、端末１００において、カメラ部１０４により画像の撮影が行われる（Ｓ２０１）と、特徴点データの抽出（Ｓ２０２）及び端末情報の取得（Ｓ２０３）が行われる。

次いで、端末１００から管理サーバ２のＤＢ制御部１１０１に特徴点データが送信される（Ｓ２０４）と、ＤＢ制御部１１０１から画像認識部１１０３に特徴点データ及び宛先情報が送信される（Ｓ２０５）。

また、端末１００からＤＢ制御部１１０１に端末情報が送信される（Ｓ２０６）と、ＤＢ制御部１１０１がユーザ情報ＤＢ１１０２に端末情報を登録する（Ｓ２０７）。

画像認識部１１０３では、端末１００から受信した特徴点データを用いてソース情報ＤＢ１１０４を照合して商品ＩＤを取得する（Ｓ２０８）。次いで、画像認識部１１０３は、宛先情報を用いて商品ＩＤを端末１００に送信する（Ｓ２０９）。

また、画像認識部１１０３は、画像解析を行い（Ｓ２１０）、解析結果をＤＢ制御部１１０１に送信する（Ｓ２１１）。ＤＢ制御部１１０１は、解析結果をユーザ情報ＤＢ１１０２に登録する（Ｓ２１２）。

図１４は、本実施の形態に係る商品情報システムにおける端末及び商品比較サイトサーバの間での処理の流れを示すシーケンス図である。図１４に示すように、端末１００は、画像認識部１１０３からサイトＩＤ及び商品ＩＤを受信する（Ｓ３０１）と、サイトＩＤを用いて商品比較サイトサーバ３を特定して商品ＩＤを送信する（Ｓ３０２）。

商品比較サイトサーバ３は、端末１００から受信した商品ＩＤに基づいて、商品情報ＤＢの照合を行う（Ｓ３０３）。その結果、商品ＩＤに対応する商品情報を提示するホームページのＵＲＬ（商品情報ＵＲＬ）を取得する。次いで、商品比較サイトサーバ３は、取得した商品情報ＵＲＬを端末１００に送信する（Ｓ３０４）。

次に、端末１００は、商品比較サイトサーバ３に対して、商品情報ＵＲＬを用いた商品情報のリクエストを送信する（Ｓ３０５）。これに対応して、商品比較サイトサーバ３は、商品情報ＵＲＬに対応する商品情報を端末１００に返信する（Ｓ３０６）。端末１００は、受信した商品情報をディスプレイ部１０５に表示する（Ｓ３０７）。

さらに、端末１００においてクリッピング（Ｓ３０８）が行われると、端末１００は、ユーザＩＤ、及び、クリッピングが行われた商品の商品ＩＤを管理サーバ２へ送信する（Ｓ３０９）。管理サーバ２では、ＤＢ制御部１１０１が、受信した商品ＩＤに基づいてユーザ情報ＤＢ１１０２にクリッピング履歴を登録する。

また、端末１００と販売サイトサーバ５との間で商品購入が行われる（Ｓ３１０）と、販売サイトサーバ５は、販売された商品の商品ＩＤを商品比較サイトサーバ３に送信する（Ｓ３１１）。次いで、商品比較サイトサーバ３は、当該商品ＩＤを、端末１００に送信する（Ｓ３１２）。端末１００は、ユーザＩＤ及び当該商品ＩＤを管理サーバ２のＤＢ制御部１１０１に送信する（Ｓ３１３）。ＤＢ制御部１１０１では、ユーザ情報ＤＢ１１０２へ購入履歴が登録される。

なお、以上説明した処理の順番は一例に過ぎず、当業者であれば適宜変更可能であることは容易に理解されるであろう。また、以上の説明において、端末１００とある記載を、買い物カメラアプリ１００１と読み替えることにより、買い物カメラアプリ１００１の処理についても容易に理解することができるであろう。

以上説明したように、本実施の形態に係る商品情報提供システム１によれば、管理サーバ２は、特徴点データを用いて商品画像を特定し、それに対応する、識別情報としてのサイトＩＤ及び商品ＩＤを取得し、端末１００に送信する。端末１００は、受信したサイトＩＤに基づいて複数の商品比較サイト３、４のうち一つを選択し、商品ＩＤを用いて商品情報の取得を要求することができる。これにより、複数の商品比較サイトサーバ３、４のうち、画像データに含まれている商品の情報を取り扱っている一つの商品比較サイトサーバが選択されるので、端末１００のユーザは、商品比較サイトの選択を行うことなく、必要な商品情報を取得することができる。つまり、端末１００のユーザは、商品を調べたいときに、当該商品について調べるのに最も適切と思われる商品比較サイトを選び、インターネットブラウザを用いて当該商品比較サイトにアクセスしたり、当該商品比較サイトの専用アプリを用いて商品を検索したり、する必要がない。この結果、迅速かつ簡便に商品比較サイトから必要な情報を取得することができる。

また、本実施の形態に係る商品情報提供システム１によれば、ソース情報ＤＢ１１０４は、図６に示すように、商品画像に対して、商品画像のソース（出所）にユニークに割り当てられたソースＩＤを付与し、さらに、一つのソースＩＤに対して商品画像に含まれる、少なくとも１つの商品の商品ＩＤが対応付けて登録されるように構成されているので、一つの商品ＩＤは複数の商品画像と対応付けることが可能であるため、ユーザは、複数のソースから同一の商品の商品情報を取得することができる。例えば、同一の商品が、平面媒体、実際の商品又はデジタル空間のような種々の媒体を介して、又は、様々なプロモーションや消費者間のコミュニケーション（口コミなど）を通じて、広く知られた場合に、それぞれの媒体で用いられた商品画像を利用して、当該商品の商品情報を商品比較サイトサーバ３、４から取得することができる。

管理サーバ２において、特にソース情報ＤＢ１１０４に登録されている商品画像が広告メディアに使用されているものである場合には、ユーザ情報ＤＢ１１０２に蓄積されたユーザＩＤ、端末情報、商品ＩＤなどを利用することにより、広告効果を評価することができる。

また、端末１００では、情報表示処理部１００８による商品情報の表示が終了するまで、モニタリング部１０１１が、商品購入やクリッピングが行われたかどうかをモニタし、画像の撮影から商品情報の表示に至る一連の処理の結果として、商品が購入されたり、商品情報のクリッピングが行われたり、といったユーザ行動を把握し、ユーザ情報ＤＢ１１０２に登録することができる。

また、上述の一致率を用いることにより、一致率が閾値よりも高い場合は、カメラ部１０４で撮影された画像が、ソース情報ＤＢ１１０４に登録された商品画像と同一であると判断し、ユーザが広告メディアで使用された画像を撮影したと推察する。一方、一致率が閾値よりも低い場合は、カメラ部１０４で撮影された画像が、実際の商品を撮影したものであると推察する。このように、一致率に基づいて、特徴点データを用いた商品画像の検索、商品の購入や商品情報のクリッピングが、広告メディアによる効果なのか、口コミや商品展示などの広告メディア以外の情報に基づく効果なのか評価することが可能になる。

なお、本発明は上記実施の形態に限定されず、種々変更して実施することが可能であり、本発明の効果を発揮する範囲内で適宜変更することが可能である。

上記実施の形態では、端末１００で撮影した画像データの特徴点データを用いて、管理サーバ２が商品画像を特定し、対応付けられた商品ＩＤを取得しているが、これに限定されるものではない。商品画像のような画像関連情報に替えて、例えば、商品に関するテキスト、商品識別バーコード（例えば、ＪＡＮコード）、音データ、商品が掲載されたＷｅｂページのＵＲＬやタイトルなどのＷｅｂページ関連情報を、商品検索キーとして用いることができる。つまり、ソース情報ＤＢ１１０２において、商品に関する商品検索キーと商品ＩＤとを対応付けて登録しておき、端末１００から、例えば、特徴点データのような画像関連情報、テキスト、商品識別バーコード、音情報又はＷｅｂページ関連情報のような検索条件情報を受信し、検索条件情報に対応する商品ＩＤを取得し、端末１００に送信することができる。

より具体的には、例えば、端末１００において、端末１００のキーボード（図せず）でテキストの入力を受け付け、管理サーバ２にネットワークインターフェイス１０２を介して送信する。管理サーバ２では、リソース情報ＤＢ１１０４において、テキストと商品ＩＤとが対応付けて登録されており、端末１００から受信したテキストを用いて商品ＩＤを取得する。テキストの入力は、例えば、カメラ部１０４で撮影した画像データからＯＣＲ機能によりテキストを認識しても良い。また、マイク部１１１により入力された音声データからテキストを音声認識しても良い。ＯＣＲ機能及び音声認識機能は、プログラムを中央制御部１０１で実行することにより実現される。

また、端末１００が、カメラ部１０４で商品バーコードを含む画像データを取得し、画像データからバーコードリーダ機能により商品識別用バーコードを読み取り、読み取ったバーコード情報を、ネットワークインターフェイス１０２を介して管理サーバ２に送信する。管理サーバ２では、リソース情報ＤＢ１１０４において、バーコード情報と商品ＩＤとが対応付けて登録されており、端末１００から受信したバーコードを用いて商品ＩＤを取得する。なお、バーコードリーダ機能は、プログラムを中央制御部１０１で実行することにより実現される。

また、端末１００が、マイク部１１１により入力された音データを録音機能により記録し、ネットワークインターフェイス１０２を介して管理サーバ２に送信する。管理サーバ２では、リソース情報ＤＢ１１０４において、音情報と商品ＩＤとが対応付けて登録されており、端末１００から受信した音データを用いて商品ＩＤを取得する。なお、録音機能は、プログラムを中央制御部１０１で実行することにより実現することができる。

また、端末１００において、中央制御部１０１が実行する汎用のインターネットブラウザにより閲覧中のＷｅｂページのＵＲＬ、タイトルなどのＷｅｂ関連情報を取得し、ネットワークインターフェイス１０２を介して管理サーバ２に送信する。管理サーバ２では、リソース情報ＤＢ１１０４において、Ｗｅｂ関連情報と商品ＩＤとが対応付けて登録されており、端末から受信したＷｅｂ関連情報を用いて商品ＩＤを取得する。

上述のように、商品検索キーと、検索条件情報とは、互いに同じタイプのものを用いる。例えば、商品検索キーが画像に関するものであれば、検索条件情報も画像に関するものであり、商品検索キーが音に関するものであれば、検索条件情報も音に関するものである。

上述のように、商品検索キーは、例えば、テキスト、商品識別コードを除く画像（静止画及び動画）、及び、音情報等のような音響情報を含む視聴覚情報を用いることができる。これにより、商品識別コードのような商品情報の取得のために特別に用意された商品検索キーだけでなく、平面媒体、実際の商品又はデジタル空間のような種々の媒体、又は、様々なプロモーションや消費者間のコミュニケーション（口コミなど）の中で登場する商品検索キーを用いて商品情報を取得することができる。

以上説明した種々の商品検索キーは、単独で用いても、少なくともいずれか二つを組み合わせ用いても良い。リソース情報ＤＢ１１０４は、使用する商品検索キーの種類や数に応じて、当業者が適宜設計できることは言うまでもない。

上記実施の形態では、複数の商品比較サイトサーバ３、４のうち一つ及び商品を示す識別情報として、サイトＩＤ及び商品ＩＤを用いて、端末１００では、問い合わせ処理部１００６が、複数の商品比較サイトサーバ３、４のそれぞれについて商品検索ＡＰＩを記憶しており、そのうち一つを選択して、商品情報の問い合わせに利用している。しかしながら、上述のように識別情報が、商品比較サイトの商品情報を表示するホームページを示すＵＲＬに商品ＩＤを組み合わせたもの（例えば、ｈｔｔｐ／／：ｈｉｋａｋｕ．ｃｏｍ／１２３４５６）である場合、端末１００が商品検索ＡＰＩなどを記憶している必要はなく、当該ＵＲＬを用いて、商品比較サイトサーバ３、４から商品情報を取得することができる。この場合、図８に示すＳ３２〜Ｓ３４は不要になり、図４に示す問い合わせ処理部１００６も不要となり、商品情報受信部１００７が商品比較サイトサーバ３、４からＵＲＬに対応する商品情報を受信することができる。

上記実施の形態では、画像から特徴点を抽出し、商品画像の照合に用いているが、特に限定されない。すなわち、本発明では、様々な画像関連情報を用いて商品画像の照合に用いることができる。画像関連情報としては、例えば、商品の画像そのもの（商品の全体及び一部を含む）、商品の輪郭、サイズ、色、或いは、商品の画像の特徴点、特徴点の座標、特徴ベクトル、特徴量、その他の画像の特徴を示すデータのように商品それ自体に関連するものや、画像中に含まれる文字列、バーコード、ＱＲコード（登録商標）のように商品、パッケージ又はタグに付与されている商品に付帯される情報に関連するものが利用できる。本発明では、画像関連情報としては、少なくとも商品それ自体に関連する情報、特に少なくとも特徴点又は特徴量を含んでいることが好ましい。

また、本発明では、上述のように、画像には静止画及び動画（映像）が含まれ、画像認識部１１０３において、静止画どうしを直接比較することや動画どうしを直接比較することも可能である。画像どうしを直接比較して照合を行う技術は広く知られており、当業者であれば、本発明に容易に適用できるであろう。

また、上記実施の形態では、管理サーバ２が、画像認識部１１０３を備えているが、画像認識部１１０３が他のサーバにあってもよい。この場合、特徴点データは、管理サーバ２から他のサーバにネットワークを介して送信される。このように、管理サーバ２の機能は単一のサーバで実現される必要は必ずしもない。

また、上記実施の形態では、ユーザ情報ＤＢ１１０２に、端末１００のユーザに関するユーザ情報として、ユーザＩＤ、端末情報、商品ＩＤ（識別情報）、クリッピング履歴及び購入履歴を登録しているが、特に限定されるものではなく、これらのうち少なくともユーザＩＤを含んでいればよい。また、これら以外に、位置情報、メモ、日時、操作ログ、認識対象の内容などを登録することができる。ここで、位置情報とは、買い物カメラアプリ１１０１が、定期的に又は所定の操作（起動、終了等）が行われたときにＧＰＳ受信部１０３から取得した地理的位置である。また、メモとは、買い物カメラアプリ１１０１を介してユーザが入力したテキスト情報である。また、日時とは、買い物カメラアプリ１１０１が所定の操作（起動、終了等）を行ったときに時計部１１０から取得した日時の情報である。

また、上記実施の形態では、特徴点データのみを用いて商品画像を照合していたが、買い物カメラアプリ１００１において、画像データからテキストをＯＣＲで認識し、テキストを管理サーバ２に送信し、管理サーバ２において、ソース情報ＤＢ１１０４には、商品の商品名がさらに登録されており、特徴点データにテキストを組み合わせて商品ＩＤを得ることもできる。

また、買い物カメラアプリ１００１において、画像データからバーコードから商品コードを認識し、商品コードを管理サーバ２に送信し、管理サーバ２において、ソース情報ＤＢ１１０４には、商品に付与された商品コードがさらに登録されており、特徴点データに商品コードを組み合わせて商品ＩＤを得ることもできる。

また、上記実施の形態では、端末１００のカメラ部１０４から入力された画像データの特徴点データと、ソース情報ＤＢ１１０４に登録され、画像の照合の結果、当該画像データと特徴点データが一致又は近似した商品画像の特徴点データとの一致率を算出しているが、一致率はこれに限定されず、端末１００のカメラ部１０４から入力された画像データと、ソース情報ＤＢ１１０４に登録され、画像の照合の結果、当該画像データと特徴点データが一致又は近似した商品画像との間のスコア又は類似度を一致率として算出しても良い。

また、端末１００がパーソナルコンピュータの場合、上述のような専用のアプリケーションである買い物カメラアプリ１１０１をインストールしても良いが、汎用のインターネットブラウザに専用のプラグインを追加し、買い物カメラアプリ１１０１と同様の機能を実現しても良い。

また、端末１００において、カメラ部１０５は必須ではなく、画面取込部１００２のような他の画像入力手段を備えていれば足りる。

本発明は、商品や広告メディアから購入サイトでの商品購入を促進することができるので、電子商取引システムなどに好適に利用できる。

１ 商品情報提供システム
２ 管理サーバ
３、４ 商品比較サイトサーバ
５〜１０ 販売サイトサーバ
１００ 端末
１００１ 買い物カメラアプリ
１１０１ ＤＢ制御部
１１０２ ユーザ情報ＤＢ
１１０３ 画像認識部
１１０４ ソース情報ＤＢ

Claims (12)

1. 管理サーバと、同一の商品について複数の販売サイトから得た商品情報を一元的に提供する、複数の商品比較サイトサーバと、前記管理サーバに検索条件情報を送信する端末と、で構成された商品情報提供システムにおいて、
   前記管理サーバは、
   商品に関連する商品検索キー、並びに、前記商品及び複数の商品比較サイトのうちの一つを示す識別情報が対応付けられて登録されている第１のデータベースと、
   前記第１のデータベースを用いて、前記検索条件情報に基づいて前記商品検索キーを特定し、前記商品検索キーに対応する前記識別情報を前記端末に送信する照合部と、を具備することを特徴とする商品情報提供システム。
2. 前記商品検索キーが、商品を含む商品画像に関する画像関連情報、商品に関連するテキスト、商品識別コード、音情報及びＷｅｂページ関連情報のいずれかを含むことを特徴とする請求項１記載の商品情報提供システム。
3. 前記第１のデータベースは、ユニークに付与されたレコード識別情報に、前記商品検索キー及び前記識別情報の少なくとも一組が対応付けて登録されていることを特徴とする請求項１又は請求項２記載の商品情報提供システム。
4. 前記管理サーバが、前記端末のユーザに関するユーザ情報と、前記照合部が取得した前記識別情報とを、第２のデータベースに対応付けて登録するデータベース制御部をさらに具備することを特徴とする請求項１から請求項３のいずれかに記載の商品情報提供システム。
5. 前記データベース制御部は、前記商品比較サイトから送信された前記識別情報に基づいて、前記第２のデータベースに購入履歴を登録することを特徴とする請求項４記載の商品情報提供システム。
6. 前記データベース制御部は、前記端末において前記ユーザによりクリッピングが行われた前記商品及び前記識別情報を前記端末から取得し、前記第２のデータベースに、前記ユーザ情報と対応付け、前記端末におけるクリッピング履歴を登録することを特徴とする請求項４又は請求項５記載の商品情報提供システム。
7. 前記商品検索キーが前記商品画像であり、前記照合部は、前記第１のデータベースに登録された前記商品画像の画像関連情報及び画像データから抽出された画像関連情報を用いて、前記画像データに対応する前記識別情報を取得して前記端末に送信することを特徴とする請求項２から請求項６のいずれかに記載の商品情報提供システム。
8. 前記管理サーバは、前記画像データから抽出された前記画像関連情報と前記商品画像の前記画像関連情報との一致率を算出する画像解析部をさらに具備し、前記データベース制御部は、前記第２のデータベースに前記一致率を登録することを特徴とする請求項７記載の商品情報提供システム。
9. 前記第１のデータベースには、前記商品画像に対応付けて音情報がさらに登録され、前記照合部は、前記音情報及び音データをさらに用いて、前記画像データ及び前記音データに対応する前記識別情報を取得することを特徴とする請求項７又は請求項８記載の商品情報提供システム。
10. 前記商品画像は、広告メディアに使用されているものであることを特徴とする請求項７から請求項９のいずれかに記載の商品情報提供システム。
11. 管理サーバが、商品に関連する検索条件情報を端末から受信する工程と、
    前記管理サーバが、前記検索条件情報に基づいて商品検索キーを特定する工程と、
    前記管理サーバが、前記商品検索キーを用いて、前記商品検索キーと、同一の商品について複数の販売サイトから得た商品情報を一元的に提供する、複数の商品比較サイトサーバの一つ及び商品を示す識別情報と、が対応付けて登録されている第１のデータベースを検索し、前記商品検索キーに対応する前記識別情報を取得して前記端末に送信する工程と、
    を具備することを特徴とする商品情報提供方法。
12. 商品に関連する商品検索キー、並びに、前記商品及び複数の商品比較サイトのうちの一つを示す識別情報が対応付けられて登録されている第１のデータベースと、
    前記第１のデータベースを用いて、端末から受信した検索条件情報に基づいて前記商品検索キーを特定し、前記商品検索キーに対応する前記識別情報を端末に送信する照合部と、を具備することを特徴とする管理サーバ。

Images