JP4337892B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、ユーザの嗜好情報を登録する登録処理において、より簡便に、嗜好情報を入力することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。

例えば、インターネットなどから、自分の所望の情報を検索しようとする場合、検索目的の情報と関連性の強いキーワードを複数入力し、その入力されたキーワードを基に所望の情報を検索することが一般的に行われている。

また、近年では、キーワードを入力せずに所望の情報を検索する手法も提案されている。例えば、特許文献１で提案されている手法では、キーワードを入力する代わりに、携帯電話機の撮影機能を用いて撮影された画像が入力（指定）される。これにより、キーワードを入力する手間が省けるほか、例えば、ユーザが、ある特定の靴についての情報を検索したいが、その靴の名前やメーカ名などが分からず、文字（キーワード）として入力することが不可能な場合などにも、靴を撮影した画像を入力することで、その靴に関連する情報を検索することが可能である。

キーワードなどの文字または数字を入力するという操作は、嗜好情報の登録などにおいても行われる。嗜好情報の登録は、例えば、テレビジョン放送番組などを記録および再生する記録再生装置において行われる。嗜好情報の登録機能を備える記録再生装置では、テレビジョン放送番組に対する自分の好みの情報（嗜好情報）を、ユーザが予め登録（入力）しておき、記録再生装置は、その登録された嗜好情報に基づいて、テレビジョン放送番組を記録する。

特開２００５−２１５９２２号公報

しかしながら、このような嗜好情報の入力においても、やはり、ユーザが、入力の手間を煩わしいと感じることがあった。

本発明は、このような状況に鑑みてなされたものであり、ユーザの嗜好情報を登録する登録処理において、より簡便に、嗜好情報を入力することができるようにするものである。

本発明の第１の側面の情報処理装置は、予め指定されたアイテムに対するユーザの嗜好情報を登録する登録処理を行う情報処理装置において、前記アイテムに対する前記ユーザの嗜好情報を登録するために撮像された画像である所定の物体が撮影された物体画像から、その特徴量を抽出する特徴量抽出手段と、前記物体画像と比較される画像である比較画像の特徴量を、前記比較画像の画像IDと対応付けて記憶する特徴量データベースと、前記比較画像の画像IDと対応付けた前記嗜好情報を記憶する嗜好情報データベースと、前記物体画像と前記特徴量が合致する前記比較画像であるマッチング画像の画像IDを、前記特徴量データベースから検出するマッチング画像検出手段と、前記マッチング画像の画像IDが前記特徴量データベースで検出された場合に、前記マッチング画像の画像IDと対応付けられている前記嗜好情報を前記嗜好情報データベースから取得し、出力する嗜好情報取得手段と、前記嗜好情報取得手段から出力された嗜好情報を、前記アイテムに対する前記ユーザの嗜好情報として登録する登録手段とを備える。

前記マッチング画像の画像IDが前記特徴量データベースで検出されなかった場合に、前記ユーザが前記物体を撮影したときの撮影パラメータを、前記物体画像から算出するパラメータ算出手段と、算出された前記撮影パラメータを、前記アイテムに対する前記ユーザの嗜好情報に変換し、出力する嗜好情報変換手段とをさらに設け、前記登録手段には、前記嗜好情報変換手段が出力した嗜好情報を、前記アイテムに対する前記ユーザの嗜好情報として登録させることができる。

本発明の第１の側面の情報処理方法は、所定の物体が撮影された物体画像と比較される画像である比較画像の特徴量を、前記比較画像の画像IDと対応付けて記憶する特徴量データベースと、前記比較画像の画像IDと対応付けた嗜好情報を記憶する嗜好情報データベースとを用いて、予め指定されたアイテムに対するユーザの嗜好情報を登録する登録処理を行う情報処理方法において、前記アイテムに対する前記ユーザの嗜好情報を登録するために撮像された画像である前記物体画像から、その特徴量を抽出し、前記物体画像と前記特徴量が合致する前記比較画像であるマッチング画像の画像IDを、前記特徴量データベースから検出し、前記マッチング画像の画像IDが前記特徴量データベースで検出された場合に、前記マッチング画像の画像IDと対応付けられている前記嗜好情報を前記嗜好情報データベースから取得して出力し、出力された嗜好情報を、前記アイテムに対する前記ユーザの嗜好情報として登録するステップを含む。

本発明の第１の側面のプログラムは、所定の物体が撮影された物体画像と比較される画像である比較画像の特徴量を、前記比較画像の画像IDと対応付けて記憶する特徴量データベースと、前記比較画像の画像IDと対応付けた嗜好情報を記憶する嗜好情報データベースとを用いて、予め指定されたアイテムに対するユーザの嗜好情報を登録する登録処理を、コンピュータに実行させるプログラムにおいて、前記アイテムに対する前記ユーザの嗜好情報を登録するために撮像された画像である前記物体画像から、その特徴量を抽出し、前記物体画像と前記特徴量が合致する前記比較画像であるマッチング画像の画像IDを、前記特徴量データベースから検出し、前記マッチング画像の画像IDが前記特徴量データベースで検出された場合に、前記マッチング画像の画像IDと対応付けられている前記嗜好情報を前記嗜好情報データベースから取得して出力し、出力された嗜好情報を、前記アイテムに対する前記ユーザの嗜好情報として登録するステップを含む処理をコンピュータに実行させる。

本発明の第１の側面においては、アイテムに対するユーザの嗜好情報を登録するために撮像された画像である所定の物体が撮影された物体画像から、その特徴量が抽出され、物体画像と特徴量が合致する比較画像であるマッチング画像の画像IDが、特徴量データベースから検出される。そして、マッチング画像の画像IDが特徴量データベースで検出された場合に、マッチング画像の画像IDと対応付けられている嗜好情報が、アイテムに対するユーザの嗜好情報として、嗜好情報データベースから取得され、登録される。

本発明の第２の側面の情報処理装置は、予め指定されたアイテムに対するユーザの嗜好情報を登録する登録処理を行う情報処理装置において、前記アイテムに対する前記ユーザの嗜好情報を登録するために撮像された画像である所定の物体が撮影された物体画像から、前記ユーザが前記物体を撮影したときの撮影パラメータを算出するパラメータ算出手段と、算出された前記撮影パラメータを、前記アイテムに対する前記ユーザの嗜好情報に変換して出力する嗜好情報変換手段と、前記嗜好情報変換手段から出力された嗜好情報を、前記アイテムに対する前記ユーザの嗜好情報として登録する登録手段とを備える。

本発明の第２の側面の情報処理方法は、予め指定されたアイテムに対するユーザの嗜好情報を登録する登録処理を行う情報処理方法において、前記アイテムに対する前記ユーザの嗜好情報を登録するために撮像された画像である所定の物体が撮影された物体画像から、前記ユーザが前記物体を撮影したときの撮影パラメータを算出し、算出された前記撮影パラメータを、前記アイテムに対する前記ユーザの嗜好情報に変換して出力し、出力された嗜好情報を、前記アイテムに対する前記ユーザの嗜好情報として登録するステップを含む。

本発明の第２の側面のプログラムは、予め指定されたアイテムに対するユーザの嗜好情報を登録する登録処理を、コンピュータに実行させるプログラムにおいて、前記アイテムに対する前記ユーザの嗜好情報を登録するために撮像された画像である所定の物体が撮影された物体画像から、前記ユーザが前記物体を撮影したときの撮影パラメータを算出し、算出された前記撮影パラメータを、前記アイテムに対する前記ユーザの嗜好情報に変換して出力し、出力された嗜好情報を、前記アイテムに対する前記ユーザの嗜好情報として登録するステップを含む登録処理をコンピュータに実行させる。

本発明の第２の側面においては、アイテムに対するユーザの嗜好情報を登録するために撮像された画像である所定の物体が撮影された物体画像から、ユーザが物体を撮影したときの撮影パラメータが算出され、算出された撮影パラメータが、アイテムに対するユーザの嗜好情報に変換され、登録される。

本発明によれば、より簡便に、嗜好情報を入力することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の第１の側面の情報処理装置は、予め指定されたアイテムに対するユーザの嗜好情報を登録する登録処理を行う情報処理装置（例えば、図１の情報処理装置３）において、前記アイテムに対する前記ユーザの嗜好情報を登録するために撮像された画像である所定の物体が撮影された物体画像から、その特徴量を抽出する特徴量抽出手段（例えば、図４の画像特徴量抽出部４３）と、前記物体画像と比較される画像である比較画像の特徴量を、前記比較画像の画像IDと対応付けて記憶する特徴量データベース（例えば、図４の物体画像特徴量DB４１）と、前記比較画像の画像IDと対応付けた前記嗜好情報を記憶する嗜好情報データベース（例えば、図４の物体画像嗜好情報DB４２）と、前記物体画像と前記特徴量が合致する前記比較画像であるマッチング画像の画像IDを、前記特徴量データベースから検出するマッチング画像検出手段（例えば、図４のマッチング画像検出部４４）と、前記マッチング画像の画像IDが前記特徴量データベースで検出された場合に、前記マッチング画像の画像IDと対応付けられている前記嗜好情報を前記嗜好情報データベースから取得し、出力する嗜好情報取得手段（例えば、図４の嗜好情報取得部４５）と、前記嗜好情報取得手段から出力された嗜好情報を、前記アイテムに対する前記ユーザの嗜好情報として登録する登録手段（例えば、図１のアイテム登録部１１）とを備える。

前記マッチング画像の画像IDが前記特徴量データベースで検出されなかった場合に、前記ユーザが前記物体を撮影したときの撮影パラメータを、前記物体画像から算出するパラメータ算出手段（例えば、図４の撮影パラメータ算出部５１）と、算出された前記撮影パラメータを、前記アイテムに対する前記ユーザの嗜好情報に変換し、出力する嗜好情報変換手段（例えば、図４の嗜好情報変換部５２）とをさらに設け、前記登録手段には、前記嗜好情報変換手段が出力した嗜好情報を、前記アイテムに対する前記ユーザの嗜好情報として登録させることができる。

本発明の第１の側面の情報処理方法は、所定の物体が撮影された物体画像と比較される画像である比較画像の特徴量を、前記比較画像の画像IDと対応付けて記憶する特徴量データベースと、前記比較画像の画像IDと対応付けた嗜好情報を記憶する嗜好情報データベースとを用いて、予め指定されたアイテムに対するユーザの嗜好情報を登録する登録処理を行う情報処理方法において、前記アイテムに対する前記ユーザの嗜好情報を登録するために撮像された画像である前記物体画像から、その特徴量を抽出し（例えば、図７のステップＳ１２の処理）、前記物体画像と前記特徴量が合致する前記比較画像であるマッチング画像の画像IDを、前記特徴量データベースから検出し（例えば、図７のステップＳ１３の処理）、前記マッチング画像の画像IDが前記特徴量データベースで検出された場合に、前記マッチング画像の画像IDと対応付けられている前記嗜好情報を前記嗜好情報データベースから取得して出力し（例えば、図７のステップＳ１５の処理）、出力された嗜好情報を、前記アイテムに対する前記ユーザの嗜好情報として登録するステップを含む。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した情報処理システムの一実施の形態の構成例を示している。

図１の情報処理システムは、ネットワーク通信機能および撮影機能の付いた携帯電話機１と、インターネットまたはLAN（Local Area Network）などのネットワーク２を介して、携帯電話機１からの情報を受信して処理する情報処理装置３とにより構成されている。

ユーザPは、被写体としての物体４を撮影する操作を携帯電話機１で行う。携帯電話機１は、物体４を撮影し、物体４が撮影された画像である物体画像５（のデータ）を、ネットワーク２を介して、情報処理装置３に送信する。物体４は、本実施の形態では、図１に示すようにワインボトルであるとする。

情報処理装置３は、アイテム登録部１１、嗜好情報決定部１２、およびアイテムDB(Data Base)１３を少なくとも備える。情報処理装置３は、各種のアイテムに対するユーザPの嗜好情報を登録する登録処理を行う。ここで、アイテムとは、ユーザが利用するソフトウエアまたはハードウエア（物品）をいう。例えば、テレビジョン放送番組、文章、映画、写真、楽曲等（動画像、静止画像、若しくは音声、または、それらの組合せ等）といったソフトウエア（データ）、靴、服、食物等の物品（ハードウエア）が、本明細書でいうアイテムである。また、嗜好情報とは、嗜好度を表す情報である。

アイテム登録部１１は、所定のアイテムQに対するユーザPの嗜好情報を嗜好情報決定部１２から取得し、アイテムQと対応付けてアイテムDB１３に記憶させる（登録する）。嗜好情報決定部１２は、携帯電話機１から送信されてくる物体画像５に基づいて、ユーザPの嗜好情報を決定し、アイテム登録部１１に供給する。アイテムDB１３は、アイテム登録部１１から供給される、アイテムQとそれに対するユーザPの嗜好情報とを記憶する。アイテムDB１３には、多数のユーザの、多数のアイテムについての嗜好情報を記憶することが可能であるが、各ユーザについて必ずしも同一のアイテムについての嗜好情報が記憶されている必要はなく、登録されるアイテムの種類は、ユーザごとに異なっていてよい。アイテムDB１３に記憶された、各アイテムに対する各ユーザの嗜好情報は、情報処理装置３自身で使用してもよいし、他の装置に供給し、供給を受けた他の装置が使用してもよい。

次に、図１において、ユーザPがアイテムQについての嗜好情報をアイテムDB１３に登録する場合の情報処理システムの動作について説明する。なお、アイテムQの指定は、ユーザPおよびアイテム登録部１１により既に為されているものとする。

最初に、ユーザPは、物体４を予め決められた規則（図２および図３を参照して後述する）に従って撮影する。携帯電話機１は、ユーザPの操作に基づいて撮影された物体４の物体画像５（のデータ）を、ネットワーク２を介して情報処理装置３に送信する。

情報処理装置３で受信された物体画像５は、嗜好情報決定部１２に供給される。そして、嗜好情報決定部１２は、物体画像５に物体４のどの部分が写っているか、または、物体画像５に写っている物体４の角度に応じて嗜好情報を決定し、その決定された嗜好情報をアイテム登録部１１に供給する。

ここで、嗜好情報は、アイテムQに対するユーザPの嗜好度を表す、−１から１までの範囲の値であり、アイテムQに対して「好き」または「気に入っている」最大の度合いの値が１であり、「嫌い」な最大の度合いの値が−１であるとする。「（それについてよく）知らない」または「（好きと嫌いの）どちらでもない」場合の嗜好情報は、中間値の０となる。

そして、アイテム登録部１１は、嗜好情報決定部１２から供給された嗜好情報を、アイテムQの嗜好情報として、アイテムDB１３に登録する。アイテムDB１３は、供給されたアイテムQとその嗜好情報を記憶する。

次に、嗜好情報決定部１２が、携帯電話機１で撮影された物体画像５に基づいて嗜好情報を決定する場合の処理（嗜好情報決定処理）について、図２および図３を参照して説明する。

図２は、嗜好情報決定部１２による嗜好情報決定処理のうちの、第１の嗜好情報決定処理を説明する図である。

第１の嗜好情報決定処理では、嗜好情報に対応して、物体４をどの方向から撮影するかが予め決められており、物体画像５のなかに写った物体４の部分によって、嗜好情報を決定する。

例えば、ユーザPが嗜好情報として「好き」を表す「１」を入力したい場合、ユーザPは、携帯電話機１を用いて、直立したワインボトルの物体４を、正面の位置（貼り付けられているラベルの面と正対する位置）から撮影する。また、ユーザPが嗜好情報として「嫌い」を表す「−１」を入力したい場合には、ユーザPは、ラベルの面を正面としたときの側面からの向きで、物体４を撮影する。さらに、ユーザPが嗜好情報として「知らない」を表す「０」を入力したい場合には、ユーザPは、垂直方向上部から、物体４を撮影する。

嗜好情報決定部１２は、物体４を正面から撮影した画像、側面から撮影した画像、および、上方から撮影した画像それぞれについて、画像の特徴量と対応付けて、嗜好情報をデータベースに記憶している。嗜好情報決定部１２は、携帯電話機１から送信されてきた物体画像５の特徴量を抽出し、その特徴量に基づいて、データベースに記憶されている画像のなかから、送信されてきた画像と合致する画像（以下、マッチング画像という）を検出する。そして、嗜好情報決定部１２は、検出されたマッチング画像と対応付けて記憶されている嗜好情報を、アイテムQに対する嗜好情報として決定し、出力する。

次に、図３を参照して、嗜好情報決定部１２による嗜好情報決定処理のうちの、第２の嗜好情報決定処理について説明する。

第２の嗜好情報決定処理では、嗜好情報に対応して、正対する物体４をどの角度で撮影するかが予め決められており、物体画像５のなかに写った物体４の角度θによって、嗜好情報を決定する。ここで、物体４の角度θとは、物体４の正面から視線方向を軸として物体４を回転させたときの角度をいい、その単位は、ラジアン[rad]である。

例えば、ユーザPが嗜好情報として「好き」を表す「１」を入力したい場合、ユーザPは、正面（ラベルの面と正対する位置）から、直立したワインボトルの物体４を、そのまま、注ぎ口が上にある状態となるように撮影する。この場合、角度θ＝０の物体４が写された物体画像５Ａが、嗜好情報決定部１２に送信される。

また、ユーザPが嗜好情報として「嫌い」を表す「−１」を入力したい場合には、ユーザPは、携帯電話機１を上下逆さまにして、物体４を正面から撮影する。この場合、角度θ＝π（または−π）の物体４が写された物体画像５Ｂが、嗜好情報決定部１２に送信される。さらに、ユーザPが嗜好情報として「知らない」を表す「０」を入力したい場合には、ユーザPは、携帯電話機１を９０度回転させて、物体４を正面から撮影する。この場合には、角度θ＝π／２（または−π／２）の物体４が写された物体画像５Ｃが嗜好情報決定部１２に送信される。

嗜好情報決定部１２は、携帯電話機１から送信されてきた物体画像５（５Ａ，５Ｂ，５Ｃ）の特徴量を抽出し、物体画像５に写された物体４の傾きを表す角度θ（−π≦θ≦π）を検出する。この角度θは、ユーザPが物体４を撮影したときの撮影パラメータであると言うことができる。嗜好情報決定部１２は、嗜好情報T＝１−｜２θ｜／πの変換式により、撮影パラメータである角度θを嗜好情報に変換し、アイテムQに対する嗜好情報として出力する。ここで、｜２θ｜は、角度θの２倍の絶対値を表す。

嗜好情報決定部１２は、以上の第１または第２の嗜好情報決定処理により、嗜好情報を決定する。

図４は、嗜好情報決定部１２の詳細な構成例を示すブロック図である。

嗜好情報決定部１２は、通信部３１、第１嗜好情報出力部３２、および第２嗜好情報出力部３３により構成される。通信部３１は、携帯電話機１から送信されてきた物体画像５（のデータ）を受信し、第１嗜好情報出力部３２および第２嗜好情報出力部３３に供給する。

第１嗜好情報出力部３２は、図２を参照して説明したように、物体画像５のなかに写る物体４の部分によって嗜好情報を決定する処理を実行し、それにより求められた嗜好情報をアイテム登録部１１に供給する。第２嗜好情報出力部３３は、図３を参照して説明したように、物体画像５のなかに写る物体４の角度θによって嗜好情報を決定する処理を実行し、それにより求められた嗜好情報をアイテム登録部１１に供給する。

第１嗜好情報出力部３２は、物体画像特徴量DB４１、物体画像嗜好情報DB４２、画像特徴量抽出部４３、マッチング画像検出部４４、および嗜好情報取得部４５により構成される。第２嗜好情報出力部３３は、撮影パラメータ算出部５１および嗜好情報変換部５２により構成される。

物体画像特徴量DB４１には、携帯電話機１から受信した物体画像５と比較される比較画像として予め登録された、多数の登録物体画像の特徴量が記憶されている。

図５は、物体画像特徴量DB４１に記憶されているデータの例を示している。

物体画像特徴量DB４１は、図５に示されるように、登録物体画像の特徴量と、登録物体画像を識別する画像ID、および物体を識別する物体IDとを対応付けて記憶している。

図５の画像ID“１”の登録物体画像は、そこに被写体として写っている物体が物体ID“１X”で表されるものであり、特徴Aについては“０．３”、特徴Bについては“０．４”、特徴Cについては“０．１”、および特徴Dについては“０．３”の特徴量を有している。

また、画像ID“２”の登録物体画像は、そこに被写体として写っている物体が物体ID“１X”で表されるものであり、特徴Aについては“０．２”、特徴Bについては“０．２”、特徴Cについては“０．１”、および特徴Dについては“０．５”の特徴量を有している。さらに、画像ID“３”の登録物体画像は、そこに被写体として写っている物体が物体ID“２Y”で表されるものであり、特徴Aについては“０．１”、特徴Bについては“０．４”、特徴Cについては“０．３”、および特徴Dについては“０．５”の特徴量を有している。

図５において、例えば、物体ID“１X”は、ワインボトルを表し、画像ID“１”で表される登録物体画像がワインボトルを正面から撮影した画像で、画像ID“２”で表される登録物体画像がワインボトルを側面から撮影した画像などである。また、物体ID“２Y”で表される物体は、ワインボトル以外の物体である。

このように、登録物体画像の特徴量は、特徴A，特徴B，特徴C、および特徴Dの４種類の特徴量からなり、４つの成分を有する特徴ベクトルと考えることができる。なお、登録物体画像の特徴量は、４以外の、１乃至３または５以上の特徴量からなる特徴ベクトルとして構成することも可能である。

一方、第１嗜好情報出力部３２の物体画像嗜好情報DB４２は、図６に示されるように、登録物体画像の画像IDと嗜好情報とを対応付けて記憶する。図６の例では、画像ID“１”と嗜好情報“＋１”が対応付けて記憶されており、画像ID“１”の登録物体画像には、嗜好情報“＋１”が対応することを表している。また同様に、画像ID“２”と嗜好情報“−１”が、画像ID“３”と嗜好情報“＋０．３”が、それぞれ、対応付けて記憶されている。

図４に戻り、画像特徴量抽出部４３は、通信部３１から供給される物体画像５の特徴量を抽出し、その結果得られる特徴A，特徴B，特徴C、および特徴Dの４種類の特徴量からなる特徴ベクトルをマッチング画像検出部４４に供給する。

ここで、画像特徴量抽出部４３が抽出する画像の特徴量としては、例えば、画像のRGBやCIELABによる色の情報、形状情報、周波数成分などを表すベクトルやヒストグラムを採用することができる。なお、特徴量抽出方式は、特に限定されず、各種の方式を採用することができるが、物体画像特徴量DB４１に登録されている登録物体画像の特徴量を求めたときと同一の方式である必要がある。

マッチング画像検出部４４は、画像特徴量抽出部４３から供給される物体画像５の特徴量を用いて、物体画像５と合致する登録物体画像であるマッチング画像の画像IDを、物体画像特徴量DB４１から検出する。より具体的には、マッチング画像検出部４４は、画像特徴量抽出部４３から供給される物体画像５の特徴量と、物体画像特徴量DB４１に記憶されている登録物体画像の特徴量との類似度を算出し、類似度が所定の規定値ε以下となる登録物体画像の画像IDを、物体画像５と合致するマッチング画像の画像IDとして検出する。

この類似度には、例えば、物体画像５の特徴ベクトルと、登録物体画像の特徴ベクトルとのコサイン距離（cosθ）を採用することができる。コサイン距離は、２つのベクトルの内積を、各ベクトルの絶対値の積で除算して得られる値である。ここで、物体画像５との類似度が規定値ε以下となる登録物体画像は、物体画像５中の物体４と同様の部分が撮影された１つの画像に絞られるものとする。なお、物体画像５との類似度が規定値ε以下である登録物体画像が仮に複数存在する場合には、類似度が最大の登録物体画像をマッチング画像として検出する。

マッチング画像検出部４４は、マッチング画像検出の有無のメッセージを嗜好情報取得部４５および撮影パラメータ算出部５１に供給する。より具体的には、マッチング画像の画像IDが検出された場合、マッチング画像検出部４４は、マッチング画像検出有りのメッセージとして、検出したマッチング画像の画像IDを嗜好情報取得部４５および撮影パラメータ算出部５１に供給する。一方、マッチング画像の画像IDが検出されなかった場合、マッチング画像検出部４４は、その旨のメッセージを嗜好情報取得部４５および撮影パラメータ算出部５１に供給する。

嗜好情報取得部４５は、マッチング画像検出部４４からマッチング画像検出有りを意味する、マッチング画像の画像IDが供給された場合、物体画像嗜好情報DB４２から、供給された画像IDと対応付けられた嗜好情報を取得し、アイテム登録部１１に供給する。一方、マッチング画像の画像IDが検出されなかった旨のメッセージが供給された場合には、嗜好情報取得部４５は、特に何も実行しない。

第２嗜好情報出力部３３の撮影パラメータ算出部５１は、マッチング画像検出部４４から、マッチング画像の画像IDが供給された場合には、特に何も実行しない。一方、マッチング画像検出部４４から、マッチング画像検出無しのメッセージが供給された場合、撮影パラメータ算出部５１は、通信部３１から供給された物体画像５の特徴量を抽出して、撮影パラメータとしての、物体画像５に写された物体４の角度θを算出する。ここでの特徴量の抽出方式についても特に限定されず、物体４の角度θを算出するのに適当な方式が適宜採用される。算出された撮影パラメータは、嗜好情報変換部５２に供給される。

嗜好情報変換部５２は、撮影パラメータ算出部５１から供給される撮影パラメータ（角度θ）を、上述した嗜好情報T＝１−｜２θ｜／πの変換式により、「好き」を最大に表す値である“＋１”から、「嫌い」を最大に表す値である“−１”の範囲を持つ嗜好情報に変換する。そして、嗜好情報変換部５２は、変換後の嗜好情報をアイテム登録部１１に供給する。

次に、図７のフローチャートを参照して、嗜好情報決定部１２の嗜好情報決定処理について説明する。

初めに、ステップＳ１０において、通信部３１は、物体画像５が入力されたか、即ち、物体画像５が、ネットワーク２を介して携帯電話機１から供給されたかを判定する。ステップＳ１０では、物体画像５が入力されたと判定されるまで、処理が繰り返し実行される。

そして、ステップＳ１０で、物体画像５が入力されたと判定された場合、即ち、物体画像５がネットワーク２を介して携帯電話機１から供給された場合、処理はステップＳ１１に進み、通信部３１は、携帯電話機１からの物体画像５（のデータ）を受信し、第１嗜好情報出力部３２の画像特徴量抽出部４３、および第２嗜好情報出力部３３の撮影パラメータ算出部５１に供給する。

ステップＳ１２において、画像特徴量抽出部４３は、通信部３１から供給された物体画像５の特徴量を抽出し、その結果得られる特徴ベクトルをマッチング画像検出部４４に供給する。

ステップＳ１３において、マッチング画像検出部４４は、物体画像特徴量DB４１から、物体画像５と合致するマッチング画像の画像IDを検出（検索）する。即ち、マッチング画像検出部４４は、画像特徴量抽出部４３から供給された物体画像５の特徴ベクトルと、物体画像特徴量DB４１に記憶されている多数の登録物体画像の特徴ベクトルとの類似度をそれぞれ算出し、その値が規定値ε以下となる登録物体画像の画像IDを検出する。

ステップＳ１４において、マッチング画像検出部４４は、マッチング画像の画像IDが検出されたか、即ち、物体画像５の特徴ベクトルと物体画像特徴量DB４１に記憶されている登録物体画像の特徴ベクトルとの類似度が規定値ε以下となる登録物体画像の画像IDが、物体画像特徴量DB４１に存在したかを判定する。

ステップＳ１４で、マッチング画像の画像IDが検出されたと判定された場合、処理はステップＳ１５に進み、マッチング画像検出部４４は、マッチング画像検出有りのメッセージとして、検出したマッチング画像の画像IDを嗜好情報取得部４５および撮影パラメータ算出部５１に供給する。

ステップＳ１６において、嗜好情報取得部４５は、供給されたマッチング画像の画像IDと対応付けられている嗜好情報を物体画像嗜好情報DB４２から取得する。そして、嗜好情報取得部４５は、取得した嗜好情報を、アイテムQの嗜好情報としてアイテム登録部１１に供給（出力）し、処理を終了する。

一方、ステップＳ１４で、マッチング画像の画像IDが検出されなかったと判定された場合、処理はステップＳ１７に進み、マッチング画像検出部４４は、マッチング画像検出無しのメッセージを嗜好情報取得部４５および撮影パラメータ算出部５１に供給する。

マッチング画像検出無しのメッセージが撮影パラメータ算出部５１に供給されると、撮影パラメータ算出部５１は、ステップＳ１８において、通信部３１から供給された物体画像５から、物体画像５の撮影パラメータを算出する。ここで、撮影パラメータとは、上述したように、直立した物体（ワインボトル）４を正面の位置から撮影し、携帯電話機１の傾き（回転）によって物体画像５中に相対的に生じる、物体４の傾き（回転）の角度θである。算出された撮影パラメータは、嗜好情報変換部５２に供給される。

ステップＳ１９において、嗜好情報変換部５２は、撮影パラメータ算出部５１から供給された撮影パラメータ（角度θ）を、嗜好情報T＝１−｜２θ｜／πの変換式により、嗜好情報に変換する。そして、嗜好情報変換部５２は、変換後の嗜好情報を、アイテムQの嗜好情報として、アイテム登録部１１に供給（出力）し、処理を終了する。

以上のように、図７の嗜好情報決定処理によれば、ユーザPの携帯電話機１からネットワーク２を介して送信されてきた物体画像５と特徴量が合致する登録物体画像（比較画像）の画像IDが物体画像特徴量DB４１に記憶されている場合には、すなわち、物体画像５中に写されている物体４と同一の物体を同一の撮影方向から撮影した登録物体画像が物体画像特徴量DB４１に記憶されている場合には、その登録物体画像に対して予め設定されている嗜好情報を、アイテムQに対するユーザPの嗜好情報として出力する。

一方、物体画像５と特徴量が合致する登録物体画像の画像IDが物体画像特徴量DB４１に記憶されていない場合には、物体画像５中に写されている物体４の角度θから嗜好情報を算出し、アイテムQに対するユーザPの嗜好情報として出力する。

これにより、ユーザPがアイテムQに対して嗜好情報を付加する場合に、「好き」、「嫌い」といった文字、または、「＋０．３」「−１」などの数値をわざわざ入力する必要がなく、感覚的な操作によって、簡単に、嗜好情報を入力することができる。

なお、上述した嗜好情報決定処理では、第１嗜好情報出力部３２による第１の嗜好情報決定処理で、嗜好情報を出力することができない場合に、第２嗜好情報出力部３３による第２の嗜好情報決定処理を行うようにしたが、常に、第１および第２の嗜好情報決定処理を行い、所定の優先度に従って、いずれか一方の嗜好情報をアイテム登録部１１に出力するようにしてもよい。また、第１の嗜好情報決定処理か、または、第２の嗜好情報決定処理のいずれか一方のみで、嗜好情報を決定することも可能である。

また、上述した第２の嗜好情報決定処理では、物体画像５中の物体４の角度θを−１から１までの範囲の値（実数）に変換し、嗜好情報として出力したが、第１の嗜好情報決定処理による嗜好情報の出力と同様に、「−１」、「０」、および「１」のいずれかの出力（整数値）とすることも可能である。この場合、例えば、嗜好情報変換部５２は、次の変換式を採用することができる。

なお、「−１」、「０」、および「１」を割り当てる角度θの区分は、この例に限らない。また、嗜好情報を「−１」、「０」、および「１」の３区分以外の複数の区分とすることも可能である。

また、第２の嗜好情報決定処理では、撮影パラメータとして、物体画像５中に写されている物体４の角度θを採用したが、撮影パラメータは、角度θ以外のものでもよい。例えば、ユーザPが物体４を撮影したときの物体４への近接度（近づき具合）によって、アイテムQに対する嗜好情報を決定することができる。

物体４への近接度を表す尺度としては、例えば、ユーザPが物体４を撮影したときの物体４までの距離dist（＞０）を用いることができ、その場合、撮影パラメータ算出部５１は、通信部３１から供給される物体画像５から、ユーザPが物体４を撮影したときの物体４までの距離distを算出し、嗜好情報変換部５２は、距離distを、次式によって嗜好情報に変換する。

ここで、minDistおよびmaxDist（maxDist＞minDist）は、所定の定数である。

また、例えば、物体４への近接度を表す尺度としては、ユーザPが物体４を撮影したときの物体４の撮影サイズsize（＞０）を用いることができ、その場合、撮影パラメータ算出部５１は、通信部３１から供給される物体画像５から、物体４の撮影サイズsizeを算出し、嗜好情報変換部５２は、撮影サイズsizeを、次式によって嗜好情報に変換する。

ここで、minSizeおよびmaxSize（maxSize＞minSize）は、所定の定数である。

以上のように、撮影パラメータとしては、物体画像５から認識することができる各種の値を採用することが可能である。また、特徴量および嗜好情報は、１以上の確率変数の組み合わせなどで表すことも可能である。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエア構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１２１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１２１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア１２１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

上述した実施の形態では、所定のアイテムに対するユーザの嗜好情報に対応する物体画像を撮影する処理と、撮影された物体画像から嗜好情報を決定する処理とが別々の装置、すなわち、携帯電話機１と情報処理装置３で行われていたが、この２つの処理は、携帯電話機１または情報処理装置３のどちらかの装置（機器）だけで行うようにすることも可能である。

例えば、携帯電話機１が、物体画像を撮影する処理に加えて、嗜好情報を決定する処理も行うようにすることができる。この場合、アイテムDB１３、物体画像特徴量DB４１、および物体画像嗜好情報DB４２は、例えば、携帯電話機１に内蔵された、または、図示せぬドライブに装着され着脱可能な、半導体メモリなどの記録媒体に対応する。そして、アイテムDB１３に記憶された、アイテムと、それに対するユーザの嗜好情報は、携帯電話機１の他の処理で利用することができるほか、ネットワーク２や着脱可能な記録媒体を介して、他の装置に送信（提供）することもできる。

本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した情報処理システムの一実施の形態の構成例を示す図である。 第１の嗜好情報決定処理を説明する図である。 第２の嗜好情報決定処理を説明する図である。 嗜好情報決定部の詳細な構成例を示すブロック図である。 物体画像特徴量DBの例を示す図である。 物体画像嗜好情報DBの例を示す図である。 嗜好情報決定処理について説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１ 携帯電話機， ３ 情報処理装置， １２ 嗜好情報決定部， ３１ 通信部， ３２ 第１嗜好情報出力部， ３３ 第２嗜好情報出力部， ４１ 物体画像特徴量DB， ４２ 物体画像嗜好情報DB， ４３ 画像特徴量抽出部， ４４ マッチング画像検出部， ４５ 嗜好情報取得部， ５１ 撮影パラメータ算出部， ５２ 嗜好情報変換部

Claims (11)

1. 予め指定されたアイテムに対するユーザの嗜好情報を登録する登録処理を行う情報処理装置において、
   前記アイテムに対する前記ユーザの嗜好情報を登録するために撮像された画像である所定の物体が撮影された物体画像から、その特徴量を抽出する特徴量抽出手段と、
   前記物体画像と比較される画像である比較画像の特徴量を、前記比較画像の画像IDと対応付けて記憶する特徴量データベースと、
   前記比較画像の画像IDと対応付けた前記嗜好情報を記憶する嗜好情報データベースと、
   前記物体画像と前記特徴量が合致する前記比較画像であるマッチング画像の画像IDを、前記特徴量データベースから検出するマッチング画像検出手段と、
   前記マッチング画像の画像IDが前記特徴量データベースで検出された場合に、前記マッチング画像の画像IDと対応付けられている前記嗜好情報を前記嗜好情報データベースから取得し、出力する嗜好情報取得手段と、
   前記嗜好情報取得手段から出力された嗜好情報を、前記アイテムに対する前記ユーザの嗜好情報として登録する登録手段と
   を備える情報処理装置。
2. 前記マッチング画像の画像IDが前記特徴量データベースで検出されなかった場合に、前記ユーザが前記物体を撮影したときの撮影パラメータを、前記物体画像から算出するパラメータ算出手段と、
   算出された前記撮影パラメータを、前記アイテムに対する前記ユーザの嗜好情報に変換し、出力する嗜好情報変換手段と
   をさらに備え、
   前記登録手段は、前記嗜好情報変換手段が出力した嗜好情報を、前記アイテムに対する前記ユーザの嗜好情報として登録する
   請求項１に記載の情報処理装置。
3. 前記撮影パラメータは、前記物体画像中の前記物体の角度である
   請求項２に記載の情報処理装置。
4. 前記撮影パラメータは、撮影時の前記物体の撮影サイズである
   請求項２に記載の情報処理装置。
5. 所定の物体が撮影された物体画像と比較される画像である比較画像の特徴量を、前記比較画像の画像IDと対応付けて記憶する特徴量データベースと、前記比較画像の画像IDと対応付けた嗜好情報を記憶する嗜好情報データベースとを用いて、予め指定されたアイテムに対するユーザの嗜好情報を登録する登録処理を行う情報処理方法において、
   前記アイテムに対する前記ユーザの嗜好情報を登録するために撮像された画像である前記物体画像から、その特徴量を抽出し、
   前記物体画像と前記特徴量が合致する前記比較画像であるマッチング画像の画像IDを、前記特徴量データベースから検出し、
   前記マッチング画像の画像IDが前記特徴量データベースで検出された場合に、前記マッチング画像の画像IDと対応付けられている前記嗜好情報を前記嗜好情報データベースから取得して出力し、
   出力された嗜好情報を、前記アイテムに対する前記ユーザの嗜好情報として登録する
   ステップを含む情報処理方法。
6. 所定の物体が撮影された物体画像と比較される画像である比較画像の特徴量を、前記比較画像の画像IDと対応付けて記憶する特徴量データベースと、前記比較画像の画像IDと対応付けた嗜好情報を記憶する嗜好情報データベースとを用いて、予め指定されたアイテムに対するユーザの嗜好情報を登録する登録処理を、コンピュータに実行させるプログラムにおいて、
   前記アイテムに対する前記ユーザの嗜好情報を登録するために撮像された画像である前記物体画像から、その特徴量を抽出し、
   前記物体画像と前記特徴量が合致する前記比較画像であるマッチング画像の画像IDを、前記特徴量データベースから検出し、
   前記マッチング画像の画像IDが前記特徴量データベースで検出された場合に、前記マッチング画像の画像IDと対応付けられている前記嗜好情報を前記嗜好情報データベースから取得して出力し、
   出力された嗜好情報を、前記アイテムに対する前記ユーザの嗜好情報として登録する
   ステップを含む処理をコンピュータに実行させるプログラム。
7. 予め指定されたアイテムに対するユーザの嗜好情報を登録する登録処理を行う情報処理装置において、
   前記アイテムに対する前記ユーザの嗜好情報を登録するために撮像された画像である所定の物体が撮影された物体画像から、前記ユーザが前記物体を撮影したときの撮影パラメータを算出するパラメータ算出手段と、
   算出された前記撮影パラメータを、前記アイテムに対する前記ユーザの嗜好情報に変換して出力する嗜好情報変換手段と、
   前記嗜好情報変換手段から出力された嗜好情報を、前記アイテムに対する前記ユーザの嗜好情報として登録する登録手段と
   を備える情報処理装置。
8. 前記撮影パラメータは、前記物体画像中の前記物体の角度である
   請求項７に記載の情報処理装置。
9. 前記撮影パラメータは、撮影時の前記物体の撮影サイズである
   請求項７に記載の情報処理装置。
10. 予め指定されたアイテムに対するユーザの嗜好情報を登録する登録処理を行う情報処理方法において、
    前記アイテムに対する前記ユーザの嗜好情報を登録するために撮像された画像である所定の物体が撮影された物体画像から、前記ユーザが前記物体を撮影したときの撮影パラメータを算出し、
    算出された前記撮影パラメータを、前記アイテムに対する前記ユーザの嗜好情報に変換して出力し、
    出力された嗜好情報を、前記アイテムに対する前記ユーザの嗜好情報として登録する
    ステップを含む情報処理方法。
11. 予め指定されたアイテムに対するユーザの嗜好情報を登録する登録処理を、コンピュータに実行させるプログラムにおいて、
    前記アイテムに対する前記ユーザの嗜好情報を登録するために撮像された画像である所定の物体が撮影された物体画像から、前記ユーザが前記物体を撮影したときの撮影パラメータを算出し、
    算出された前記撮影パラメータを、前記アイテムに対する前記ユーザの嗜好情報に変換して出力し、
    出力された嗜好情報を、前記アイテムに対する前記ユーザの嗜好情報として登録する
    ステップを含む登録処理をコンピュータに実行させるプログラム。

Images