JP2015097036A - 推薦画像提示装置及びプログラム - Google Patents

Abstract

【課題】画像によって示される状況と、ユーザの嗜好とに応じた組み合わせを提示すること。【解決手段】ユーザに推薦する対象となる対象物が撮像された画像である推薦画像と、ユーザの対象物に対する嗜好度を算出するための嗜好パラメータとに基づいて対象物に対する嗜好度を算出する嗜好度算出部と、対象物と画像によって示される状況との組み合わせの適合度を算出するための適合パラメータと、ユーザによって対象物を組み合わせる対象として選択された画像によって示される状況と、推薦画像とに基づいて画像によって示される状況と推薦画像と組み合わせの適合度を算出する適合度算出部と、嗜好度と適合度とに応じた推薦画像を出力する出力部と、を備える推薦画像提示装置。【選択図】図２

Description

本発明は、画像の検索技術に関する。

従来、通信販売などのサイトでは、パーティ用、オフィス用、和風、洋風などのシーンを表すキーワードをユーザに選択させて、選択されたキーワードに関連する衣服の組み合わせを表示することが行われている（例えば、非特許文献１参照）。これにより、ユーザは、各シーンにおける衣服の組み合わせの参考にしたり、表示されている衣服の組み合わせを購入することができる。

［online］、［平成25年10月29日検索］、インターネット（URL:http://with.woman.excite.co.jp/coordinate/）

ところで、実際のパーティ会場などの雰囲気に合わせた衣服の組み合わせが所望される場合がある。しかしながら、パーティ会場などの場所の雰囲気をキーワードで表現することは難しい。そのため、雰囲気に合わせた衣服の組み合わせを要求することが困難である。さらに、雰囲気をキーワードで表現することができたとしても、ユーザの嗜好とは無関係な衣服の組み合わせが表示されてしまうおそれもある。そのため、場所の雰囲気とユーザの嗜好とに応じた衣服の組み合わせを推薦、提示できないという問題があった。このような問題は、衣服の組み合わせや場所の雰囲気に限らず、画像によって示される状況との組み合わせが要求される対象物全般に関する問題である。

上記事情に鑑み、本発明は、画像によって示される状況と、ユーザの嗜好とに応じた組み合わせを提示する技術の提供を目的としている。

本発明の一態様は、ユーザに推薦する対象となる対象物が撮像された画像である推薦画像と、前記ユーザの前記対象物に対する嗜好度を算出するための嗜好パラメータとに基づいて前記対象物に対する嗜好度を算出する嗜好度算出部と、前記対象物と画像によって示される状況との組み合わせの適合度を算出するための適合パラメータと、前記ユーザによって前記対象物を組み合わせる対象として選択された画像によって示される状況と、前記推薦画像とに基づいて前記画像によって示される状況と前記推薦画像と組み合わせの適合度を算出する適合度算出部と、前記嗜好度と前記適合度とに応じた推薦画像を出力する出力部と、を備える推薦画像提示装置である。

本発明の一態様は、コンピュータを、上記推薦画像提示装置として機能させるためのプログラムである。

本発明により、画像によって示される状況と、ユーザの嗜好とに応じた組み合わせを提示することが可能となる。

本実施形態における組み合わせ決定システムのシステム構成を示す図である。 本実施形態における通信端末１０及び推薦画像提示装置２０の機能構成を表す概略ブロック図である。 ユーザ嗜好ＤＢ２０５の構成図である。 学習用画像から対象物領域を分割した具体例を示す図である。 本実施形態における推薦画像提示装置２０の推薦画像送信処理の流れを示すフローチャートである。 本実施形態における通信端末１０の画像要求処理の流れを示すフローチャートである。 学習用画像とトピックとの関係を表す図である。 画像特徴量を低次元化するための行列式の概念図である。

以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、本実施形態における組み合わせ決定システムのシステム構成を示す図である。本実施形態の組み合わせ決定システムは、複数の通信端末１０−１〜１０−Ｎ（Ｎは２以上の整数）、推薦画像提示装置２０及び共有サーバ４０を備える。複数の通信端末１０−１〜１０−Ｎと推薦画像提示装置２０と共有サーバ４０とのそれぞれは、ネットワーク３０を介して通信可能に接続されている。なお、以下の説明では、通信端末１０−１〜１０−Ｎを特に区別しない場合には、通信端末１０と記載する。

組み合わせ決定システムの理解のため、本実施形態では、具体例として場所（背景）の雰囲気に適合し、かつ、ユーザの嗜好に合わせたフラワーアレンジメントの組み合わせを決定するシステムについて説明する。まず、以下の説明において使用する文言を定義する。
推薦画像とは、ユーザに推薦する対象となる対象物が撮像された画像である。本実施形態では、対象物としてフラワーアレンジメントが撮像された画像が推薦画像である。なお、対象物として服装や、食器などのテーブルウェアが撮像された画像が推薦画像として用いられてもよい。
嗜好度とは、ユーザが推薦画像に撮像されている対象物を好む度合いの高さを表す。嗜好度が高いほど、ユーザが対象物を好む。
背景画像（画像によって示される状況）とは、対象物以外の背景が撮像された画像である。背景画像の具体例として、景色や建物や部屋や壁などが撮像された画像がある。
適合度とは、背景画像に撮像されている背景と推薦画像に撮像されている対象物とが適合する度合いの高さを表す。適合度が高いほど、背景と対象物との組み合わせが適合している。
まず、背景の雰囲気に合わせたフラワーアレンジメントの組み合わせを要求したいユーザは、通信端末１０を操作して背景画像を推薦画像提示装置２０に送信する。推薦画像提示装置２０は、要求元であるユーザの推薦画像に撮像されている対象物に対する嗜好度と、背景画像に撮像されている背景と対象物との適合度とに基づいて推薦画像を提示する。
以下、組み合わせ決定システムの詳細について説明する。

通信端末１０は、例えばスマートフォン、タブレット装置、携帯電話、パーソナルコンピュータ、ノートパソコン、ゲーム機器、ＰＤＡ（Personal Digital Assistant）等の情報処理装置を用いて構成される。通信端末１０は、ユーザによって入力された組み合わせ要求の指示に応じて組み合わせ要求情報を生成し、生成した組み合わせ要求情報をネットワーク３０を介して推薦画像提示装置２０に送信する。組み合わせ要求とは、ユーザが検索エンジン（例えば、検索用ウェブサイト）に入力した背景画像に関連する推薦画像を推薦画像提示装置２０に送信させるための要求である。

推薦画像提示装置２０は、情報処理装置を用いて構成される。推薦画像提示装置２０は、通信端末１０から送信された組み合わせ要求情報に応じて推薦画像を検索する。推薦画像提示装置２０は、例えば背景画像に対して適合度が高く、かつ、ユーザの嗜好に合った推薦画像を検索する。また、推薦画像提示装置２０は、検索された推薦画像を通信端末１０に送信する。
ネットワーク３０は、どのように構成されたネットワークでもよい。例えば、ネットワーク３０はインターネットを用いて構成されてもよい。

共有サーバ４０は、情報処理装置を用いて構成される。共有サーバ４０は、通信端末１０から送信された対象物画像を、通信端末１０のユーザに割り当てられたユーザＩＤに対応付けて蓄積する。対象物画像とは、ユーザがライフログとして撮りためている、対象物が撮像された画像である。本実施形態では、対象物画像としてフラワーアレンジメントが撮像された画像が用いられる。以下の説明では、共有サーバ４０に蓄積された対象物画像を蓄積画像と記載する。共有サーバ４０は、例えば画像共有サイトを提供するサーバとして構築されてもよい。

図２は、本実施形態における通信端末１０及び推薦画像提示装置２０の機能構成を表す概略ブロック図である。まず、通信端末１０の機能構成を説明する。通信端末１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、画像要求プログラムを実行する。画像要求プログラムの実行によって、通信端末１０は、入力部１０１、要求部１０２、通信部１０３、表示部１０４を備える装置として機能する。なお、通信端末１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、画像要求プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像要求プログラムは、電気通信回線を介して送受信されてもよい。

入力部１０１は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。入力部１０１は、ユーザの組み合わせ要求の指示を通信端末１０に入力する際にユーザによって操作される。入力部１０１は、例えばユーザから背景画像の選択を受け付ける。入力部１０１は、入力装置を通信端末１０に接続するためのインタフェースであってもよい。この場合、入力部１０１は、入力装置においてユーザの入力に応じ生成された入力信号を通信端末１０に入力する。
要求部１０２は、入力部１０１に入力された組み合わせ要求の指示に基づいて組み合わせ要求情報を生成する。組み合わせ要求情報には、例えばユーザＩＤ及び背景画像の画像データなどの情報が含まれる。

通信部１０３は、推薦画像提示装置２０との間で通信を行う。通信部１０３は、例えば要求部１０２によって生成された組み合わせ要求情報を推薦画像提示装置２０に送信する。また、通信部１０３は、例えば推薦画像の画像データ（以下、単に「推薦画像」という。）を推薦画像提示装置２０から受信する。

表示部１０４は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の画像表示装置である。表示部１０４は、例えば推薦画像を表示する。表示部１０４は、画像表示装置を通信端末１０に接続するためのインタフェースであってもよい。この場合、表示部１０４は、推薦画像を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。

次に、推薦画像提示装置２０の機能構成を説明する。推薦画像提示装置２０は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、推薦画像送信プログラムを実行する。推薦画像送信プログラムの実行によって、推薦画像提示装置２０は、通信部２０１、画像取得部２０２、特徴量抽出部２０３、嗜好パラメータ推定部２０４、ユーザ嗜好ＤＢ（データベース：database）２０５、適合パラメータ推定部２０６、組み合わせＤＢ２０７、推薦画像記憶部２０８、嗜好度算出部２０９、適合度算出部２１０、検索部２１１、送信制御部２１２を備える装置として機能する。なお、推薦画像提示装置２０の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、推薦画像送信プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、推薦画像送信プログラムは、電気通信回線を介して送受信されてもよい。

通信部２０１は、通信端末１０との間で通信を行う。通信部２０１は、例えば通信端末１０から送信された組み合わせ要求情報を受信する。また、通信部２０１は、例えば受信された組み合わせ要求情報に応じた推薦画像を通信端末１０に送信（出力）する。
画像取得部２０２は、共有サーバ４０に記憶されている蓄積画像や、ネットワーク３０上から組み合わせ画像を取得する。組み合わせ画像とは、背景と対象物との組み合わせが撮像されている画像である。

特徴量抽出部２０３は、画像取得部２０２によって取得された蓄積画像から特徴量を抽出する。
嗜好パラメータ推定部２０４は、特徴量抽出部２０３によって抽出された特徴量を用いて嗜好パラメータを推定する。嗜好パラメータとは、ユーザ毎の嗜好度を算出する際に用いられるパラメータである。
ユーザ嗜好ＤＢ２０５は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。ユーザ嗜好ＤＢ２０５は、嗜好パラメータをユーザＩＤごとに記憶する。

適合パラメータ推定部２０６は、画像取得部２０２によって取得された組み合わせ画像を用いて適合パラメータを推定する。適合パラメータとは、適合度を算出する際に用いられるパラメータである。
組み合わせＤＢ２０７は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。組み合わせＤＢ２０７は、適合パラメータを記憶する。
推薦画像記憶部２０８は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。推薦画像記憶部２０８は、推薦画像を記憶している。

嗜好度算出部２０９は、組み合わせ要求情報に含まれるユーザＩＤと、嗜好パラメータと、推薦画像とに基づいてユーザＩＤで識別されるユーザの各推薦画像に対する嗜好度を算出する。嗜好度算出部２０９の具体的な処理については後述する。
適合度算出部２１０は、組み合わせ要求情報に含まれる背景画像と、適合パラメータと、推薦画像とに基づいて背景画像と各推薦画像との適合度を算出する。適合度算出部２１０の具体的な処理については後述する。

検索部２１１は、嗜好度算出部２０９によって算出された嗜好度と、適合度算出部２１０によって算出された適合度とに基づいて要求元であるユーザに送信する対象となる推薦画像を検索する。検索部２１１は、例えば推薦画像毎に、嗜好度の値と適合度の値とを合算した値（以下、「合算値」という。）が閾値以上である推薦画像を推薦画像記憶部２０８から検索する。
送信制御部２１２は、検索部２１１によって検索された推薦画像を合算値に応じて通信部２０１に送信させる。送信制御部２１２は、例えば合算値が高い順に推薦画像を通信部２０１に送信させてもよい。

次に、ユーザ嗜好ＤＢ２０５の生成方法の具体例を２つ説明する。
（１．単一法）
まず、単一法について説明する。単一法では、１人のユーザが共有サーバ４０に蓄積した複数の蓄積画像に基づいて嗜好パラメータが推定される。以下、単一法について詳細に説明する。
単一法では、画像取得部２０２は、共有サーバ４０から１つのユーザＩＤに対応付けられた複数の蓄積画像を取得する。次に、特徴量抽出部２０３は、取得された蓄積画像毎に画像特徴量を取得する。画像特徴量は、蓄積画像の特徴を表す値であり、例えば色ヒストグラムであってもよい。嗜好パラメータ推定部２０４は、取得された複数の画像特徴量に基づいて、そのユーザの画像特徴量の傾向を判定する。例えば、嗜好パラメータ推定部２０４は、色ヒストグラムに基づいて、最も頻繁に出現する色を判定してもよい。より具体的には、嗜好パラメータ推定部２０４は、ＲＧＢ成分のヒストグラムを画像特徴量として取得し、推薦画像がユーザの好みであるか否か判定するための識別器を作成してもよい。識別器には、例えば、１クラスＳＶＭ（Support Vector Machine）が用いられてもよい。

（２．複数法）
次に、複数法について説明する。複数法では、共有サーバ４０に蓄積された複数人分の蓄積画像に基づいて嗜好パラメータが推定される。例えば、協調フィルタリングを用いることによって、複数法を実現することができる。以下、複数法について詳細に説明する。
まず、ユーザｕが複数の蓄積画像検索結果の中から代表特徴量ｉを選択する確率を式１のようにモデル化する。
ｕはユーザを表す。ｚはトピックを表す。εｕはユーザのトピック比率集合を表す。ｉは代表特徴量を表す。Φはトピック毎の出現確率を表す。トピックとは、トピックモデルで学習することによって得られる変数を表す。トピックの具体例としては、『アウトドアかつ活動的な雰囲気のトピック』や『和風かつシンプル風のトピック』や『モダンかつレトロな雰囲気のトピック』など好みを表現するグループにクラスタリングされることが期待される。トピックは、ユーザのトピック比率に従って選択される。トピック比率とは、ユーザがトピックを好む確率を表す。トピック比率集合とは、ユーザ毎のトピック比率の集合を表す。トピック比率は、ユーザ及びトピックの組み合わせ毎に算出される。あるユーザに関する各トピックに対するトピック比率の集合が、トピック比率集合である。出現確率は、あるトピックにおいてある代表特徴量が出現する確率を表す。出現確率は、トピック及び代表特徴量の組み合わせ毎に算出される。

代表特徴量とは、複数の蓄積画像（例えば、共有サーバ４０に蓄積されているユーザ毎の対象物画像）をクラスタリングすることによって得られる各クラスタの代表として選択した画像特徴量を表す。
また、式１のようにモデル化する場合、トピックｚの数は予め設定することが可能となる。以下の説明では、取得するトピックの数をＺとする。トピック比率εと出現確率Φとの組み合わせが嗜好パラメータである。

以下、ユーザ嗜好ＤＢ２０５の生成方法についてさらに具体的に説明する。
画像取得部２０２は、共有サーバ４０から蓄積画像とユーザＩＤとを取得する。その後、特徴量抽出部２０３は、蓄積画像から代表特徴量ｉを取得する。

以下、代表特徴量ｉの算出方法について説明する。
特徴量抽出部２０３は、学習画像群（複数の蓄積画像）から画像特徴量を抽出し、それらをクラスタリングし、量子化することによって、代表特徴量ｉを算出する。具体的には、まず、特徴量抽出部２０３は、蓄積画像から画像特徴を抽出する。画像特徴としてＳＩＦＴやＳＵＲＦやカラーヒストグラムなどから抽出された各種特徴量を用いる。

特徴量抽出部２０３は、抽出された各種特徴量をベクトル量子化辞書によって離散的な値に量子化する。量子化辞書とは、画像集合全体の特徴ベクトルに対して、ｋ−ｍｅａｎｓ法などを用いてクラスタリングを適用することによって構成される。このｋ個に量子化された各クラスタの中心特徴ベクトルを代表特徴量ｉとする。中心特徴ベクトルとは、各クラスタの中心に存在する特徴ベクトルである。また、中心特徴ベクトルは、必ずしも各クラスタの中心に存在する特徴ベクトルである必要なく、各クラスタの中心に一番近い位置に存在する特徴ベクトルを中心特徴ベクトルとしてもよい。蓄積画像から抽出された画像特徴は、一番距離の近い代表特徴量に量子化される。距離はユークリッド距離など何を用いてもよい。
以上で、代表特徴量ｉの算出方法についての説明を終了する。

次に、嗜好パラメータ推定部２０４は、特徴量抽出部２０３が取得した代表特徴量ｉを用いて各ユーザの嗜好パラメータを推定する。嗜好パラメータ推定部２０４は、例えばＥＭアルゴリズム（Expectation Maximization algorithm）を用いて各ユーザｕ∈Ｕと各蓄積画像ｉ∈Ｉに対して、ユーザｕのトピック比率ε及び出現確率Φを嗜好パラメータとして推定する。その後、嗜好パラメータ推定部２０４は、推定した嗜好パラメータをユーザＩＤに対応付けて格納することによってユーザ嗜好ＤＢ２０５を生成する。
以上で、ユーザ嗜好ＤＢ２０５の生成方法についての説明を終了する。

図３は、ユーザ嗜好ＤＢ２０５の構成図である。
ユーザ嗜好ＤＢ２０５は、レコード５０を複数有する。レコード５０は、ユーザＩＤ、嗜好パラメータの各値を有する。
ユーザＩＤは、ユーザを一意に識別するための識別情報を表す。嗜好パラメータの値は、ユーザ毎の嗜好度を算出する際に用いられるパラメータを表す。嗜好パラメータの具体例として、トピック比率ε及び出現確率Φがある。トピック比率εの値は、ユーザがトピックを好む確率を表す。出現確率Φの値は、各トピックからの代表特徴量の出現確率を表す。

次に、嗜好度の算出方法について説明する。
嗜好度算出部２０９は、通信端末１０から送信された組み合わせ要求情報に含まれるユーザＩＤと、推薦画像と、ユーザ嗜好ＤＢ２０５とに基づいて要求であるユーザの嗜好度を算出する。嗜好度の算出には、以下の参考文献１に開示されている技術が用いられてもよい。（参考文献１：片岡香織、木村昭悟、村崎和彦、数藤恭子、谷口行信、「ＳＮＳを利用したトピックモデルによる画像へのユーザ嗜好性の解析」、電子情報通信学会技術研究報告 信学技法、Vol.112、No.441（PRMU2012 133）、p19-ｐ24.）
嗜好度算出部２０９は、推薦画像記憶部２０８に記憶されている全ての推薦画像に対するユーザの嗜好度を算出する。
以上で、嗜好度の算出方法についての説明を終了する。

次に、組み合わせＤＢ２０７の生成方法について説明する。
まず、前処理として識別器を作成する方法について説明する。識別器を作成するための学習用画像として、背景（例えば、景色や建物や部屋や壁など）と対象物（例えば、テーブルウェア、服装、フラワーアレンジメントなど）との組み合わせが撮像されている画像が複数枚用意される。学習用画像の具体例として、プロによる背景と対象物との組み合わせ例の本や雑誌、又は、Ｗｅｂ上に公開されている背景と対象物との組み合わせ例などがある。識別器の作成方法として、以下の参考文献２に開示されている技術が用いられてもよい。（参考文献２：Blei+, JMLR2003, Latent Dirichlet Allocation）

参考文献２では、まず、学習用画像から複数のトピックが抽出される。次に、抽出された各トピックから各画像特徴量が出現する確率が算出される。より具体的には、手順として、学習用画像から対象物領域の抽出を行うステップ、対象物領域と背景領域とのそれぞれから画像特徴量の抽出を行うステップ、トピックモデルにより対象物領域と背景領域とのそれぞれの画像特徴量の各トピックからの出現確率を算出するステップ、の３つのステップが実行される。対象物領域とは、学習用画像内で対象物が撮像されている領域である。背景領域とは、対象物領域以外の領域である。例えば、背景領域は、壁や部屋や景色が撮像されている領域である。以下、各ステップの処理について説明する。

まず、学習用画像から対象物領域を抽出する処理について説明する。
適合パラメータ推定部２０６は、学習用画像に背景と、対象物としてテーブルウェアやフラワーアレンジメントとの組み合わせが撮像されている場合には、参考文献３に開示されている技術を適用することで学習用画像から対象物領域を抽出する。参考文献３では、対象物の画像と、対象物が撮像されていない画像とを用意してＳＶＭ識別器などを作成し、学習用画像から対象物領域を抽出する。（参考文献３：柳井啓司、「一般物体認識の現状と今後」、情報処理学会論文誌、Vol.48 No.SIG 16(CVIM 19)、Nov.2007.）

上記参考文献３に開示されている技術により学習用画像から対象物領域が抽出された図を図４に示す。図４は、学習用画像から対象物領域を分割した具体例を示す図である。図４（Ａ）は、学習用画像の具体例を示す図である。図４（Ａ）に示されるように学習用画像には、背景として和室、対象物としてフラワーアレンジメント６０との組み合わせが撮像されている。適合パラメータ推定部２０６が図４（Ａ）の学習用画像に対して上記参考文献３に開示されている技術を適用することで、図４（Ａ）の学習用画像が図４（Ｂ）に示される対象物領域と図４（Ｃ）に示される背景領域とに分割される。

また、適合パラメータ推定部２０６は、学習用画像に背景と、対象物として服装との組み合わせが撮像されている場合には、参考文献４に開示されている技術を適用することで学習用画像から対象物領域を抽出する。参考文献４では、人検出器により人物領域と背景領域とに分離する。人物領域とは、衣服を着用している人物が撮像されている領域である。（参考文献４：服部博憲、他３名、「固定カメラ映像を対象としたHOG人物検出器のシーン適応手法」、電子情報通信学会技術研究報告 信学技法、画像ラボ、Vol.21、No.12、pp.1-8.2010.12.）

また、適合パラメータ推定部２０６は、その他の手法として参考文献５に開示されている技術を適用することで学習用画像から対象物領域を抽出する。参考文献５では、Saliency Map（サリエンシーマップ）を作成し、サリエンシーの値が高い（閾値以上）画素を前景部分（本実施形態では、対象物領域）とみなし、サリエンシーの値が低い（閾値未満）画素を背景部分（本実施形態では、背景領域）とみなす手法である。（参考文献５：L. Itti, C. Koch, E. Niebur, “A Model of Saliency-Based Visual Attention for Rapid Scene Analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence”, Vol. 20, No. 11, Nov 1998, pp. 1254-1259.）
以上で、学習用画像から対象物領域を抽出する処理についての説明を終了する。

次に、対象物領域と背景領域とのそれぞれから画像特徴量の抽出する処理について説明する。
適合パラメータ推定部２０６は、対象物領域及び背景領域それぞれから画像特徴量を抽出する。抽出される特徴量は、例えばカラーヒストグラムやＢａｇ ｏｆ ｖｉｓｕａｌ ｗｏｒｄｓなどであってもよい。Ｂａｇ ｏｆ ｖｉｓｕａｌ ｗｏｒｄｓとしては、例えば以下の参考文献６に開示されている技術が適用されてもよい。（参考文献６：八木康史、斎藤英雄、「コンピュータビジョン最先端ガイド３ “４章 Bag-of-Featuresに基づく物体認識（２） - 一般物体認識 -”）
以上で、対象物領域と背景領域とのそれぞれから画像特徴量の抽出する処理についての説明を終了する。

次に、トピックモデルにより対象物領域と背景領域とのそれぞれの画像特徴量の各トピックからの出現確率を算出する処理について説明する。
本実施形態では、上記参考文献２に開示されているトピックモデルが利用される。学習用画像１枚が参考文献２におけるドキュメントにあたり、各画像特徴量がワードにあたる。例えば、画像特徴量がヒストグラムの場合、対象物領域に対するヒストグラムと背景領域に対するヒストグラムとを合わせてワードとして学習させる。これにより、適合パラメータ推定部２０６は、学習用画像から抽出された各トピックから各画像特徴量が出現する出現確率を算出する。適合パラメータ推定部２０６は、この処理を、全ての学習用画像に対して行う。その後、適合パラメータ推定部２０６は、算出した出現確率を格納することによって組み合わせＤＢ２０７を生成する。
以上で、組み合わせＤＢ２０７の生成方法についての説明を終了する。

次に、適合度の算出方法について具体的に説明する。
適合度算出部２１０は、組み合わせＤＢ２０７に記憶されている各画像特徴量の各トピックからの出現確率を用いて、推薦画像ごとに、通信端末１０から送信された背景画像との適合度を算出する。より具体的には、手順として、背景画像の各出現確率を算出するステップ、各推薦画像の各出現確率を算出するステップ、背景画像の各出現確率と照合するステップ、の３つのステップが実行される。以下、各ステップの処理について説明する。

まず、背景画像の各出現確率を算出する処理について説明する。
適合度算出部２１０は、組み合わせＤＢ２０７生成時の学習に用いられた学習用画像の画像特徴量と同じ画像特徴量を背景画像から算出する。次に、適合度算出部２１０は、組み合わせＤＢ２０７を参照し、算出した背景画像の各画像特徴量の各トピックからの出現確率を合算することによって背景画像全体に対する各トピックからの出現確率を算出する。
以上で、背景画像の各出現確率を算出する処理についての説明を終了する。

次に、各推薦画像の各出現確率を算出する処理について説明する。
適合度算出部２１０は、背景画像の各出現確率を算出する処理と同様に、推薦画像全体に対する各トピックからの出現確率を推薦画像ごとに算出する。
以上で、各推薦画像の各出現確率を算出する処理についての説明を終了する。
次に、背景画像の各出現確率と各推薦画像の各出現確率とを照合する処理について説明する。適合度算出部２１０は、背景画像全体に対する各トピックからの出現確率と、推薦画像全体に対する各トピックからの出現確率とを推薦画像ごとに比較して、各トピックからの出現確率の値の類似度を算出する。類似度とは、各トピックからの出現確率の類似の度合いの高さを表す。類似度を算出する方法として、例えば負のＫＬダイバージェンス（Kullback Leibler divergence）が用いられてもよい。類似度が高いほど、背景画像と推薦画像との適合度が高い。
以上で、背景画像の各出現確率と各推薦画像の各出現確率とを照合する処理についての説明を終了する。

図５は、本実施形態における推薦画像提示装置２０の推薦画像送信処理の流れを示すフローチャートである。
通信部２０１は、通信端末１０から組み合わせ要求情報を受信する（ステップＳ１０１）。嗜好度算出部２０９は、受信された組み合わせ要求情報に含まれるユーザＩＤと、ユーザ嗜好ＤＢ２０５と、推薦画像とに基づいて当該ユーザＩＤで識別されるユーザの各推薦画像に対する嗜好度を算出する（ステップＳ１０２）。適合度算出部２１０は、受信された組み合わせ要求情報に含まれる背景画像と、組み合わせＤＢ２０７と、推薦画像とに基づいて当該背景画像と各推薦画像との適合度を算出する（ステップＳ１０３）。検索部２１１は、推薦画像毎に算出された嗜好度と適合度とに応じて推薦画像を検索する（ステップＳ１０４）。具体的には、まず、検索部２１１は、嗜好度と適合度との合算値を推薦画像毎に算出する。次に、検索部２１１は、合算値が所定の閾値以上である推薦画像を推薦画像記憶部２０８から検索する。そして、検索部２１１は、検索結果として所定の閾値以上である推薦画像を取得し、取得した推薦画像を送信制御部２１２に出力する。送信制御部２１２は、通信部２０１の送信を制御して、検索部２１１から出力された推薦画像を要求元である通信端末１０に送信させる（ステップＳ１０５）。例えば、送信制御部２１２は、合算値が高い順に推薦画像を通信端末１０に送信させる。通信部２０１は、送信制御部２１２の制御に従って、推薦画像を通信端末１０に送信する（ステップＳ１０６）。その後、推薦画像提示装置２０の処理が終了する。

図６は、本実施形態における通信端末１０の画像要求処理の流れを示すフローチャートである。
入力部１０１は、ユーザから組み合わせ要求の指示を受け付ける（ステップＳ２０１）。ユーザから組み合わせ要求の指示が入力されると、要求部１０２は組み合わせ要求情報を生成する（ステップＳ２０２）。通信部１０３は、生成された組み合わせ要求情報を推薦画像提示装置２０に送信する（ステップＳ２０３）。その後、通信部１０３は、推薦画像提示装置２０から推薦画像を受信する（ステップＳ２０４）。表示部１０４は、受信された推薦画像を画面に表示する（ステップＳ２０５）。例えば、表示部１０４は、推薦画像提示装置２０から送信された順番で推薦画像を表示する。その後、通信端末１０の処理が終了する。

以上のように構成された推薦画像提示装置２０によれば、通信端末１０から送信されたユーザＩＤ及び背景画像に基づいて嗜好度及び適合度が算出される。具体的には、嗜好度算出部２０９は、ユーザＩＤを元に通信端末１０のユーザの嗜好パラメータを取得し、推薦画像に対する嗜好度を算出する。また、適合度算出部２１０は、背景画像を元に推薦画像との適合度を算出する。そして、嗜好度及び適合度の合算値が所定の閾値以上である推薦画像のみが選択される。したがって、背景に適合し、かつ、ユーザの嗜好に合った推薦画像が選択される。そのため、画像によって示される状況と、ユーザの嗜好とに応じた組み合わせを提示することが可能になる。

＜変形例＞
本実施形態では、画像取得部２０２は、共有サーバ４０から各ユーザの蓄積画像を取得する構成で示したが、これに限定される必要はない。例えば、各ユーザが画像の公開を許可した場合、画像取得部２０２は通信端末１０に蓄積されている画像を蓄積画像として取得してもよい。
フラワーアレンジメントの他に、背景の雰囲気に合わせた服装の組み合わせやテーブルウェアの組み合わせを対象物としてもよい。
ユーザ嗜好ＤＢ２０４及び組み合わせＤＢ２０７は、通信端末１０から組み合わせ要求情報が受信された際に生成されてもよいし、事前に生成されていてもよい。
本実施形態では、送信制御部２１２は、合算値が高い推薦画像から順番に通信端末１０に送信させる構成を示したが、これに限定される必要はない。例えば、送信制御部２１２は、合算値が閾値以上の推薦画像を送信させるように構成されてもよい。つまり、送信制御部２１２は、検索部２１１から出力された順番で推薦画像を送信させる。
本実施形態では、推薦画像提示装置２０は、合算値が閾値以上である推薦画像を送信する構成を示したが、これに限定される必要はない。例えば、推薦画像提示装置２０は、嗜好度及び適合度のそれぞれが異なる閾値以上である推薦画像を送信するように構成されてもよい。

本発明の組み合わせ決定システムでは、ユーザによって選択された背景画像に適合し、かつ、ユーザの嗜好に合った対象物の推薦画像を提示する構成を示したが、これに限定される必要はない。例えば、ユーザが通信端末１０を操作することによって対象物が撮像された画像（画像によって示される状況）を選択し、推薦画像提示装置２０が、対象物が撮像された画像に適合し、かつ、ユーザの嗜好に合った対象物の推薦画像を提示するように構成されてもよい。
これにより、画像によって示される状況として背景以外の画像が選択された場合であっても、ユーザの要求に対応することができる。具体的には、ユーザが通信端末１０を操作して花の画像を選択した場合、推薦画像提示装置２０は選択された画像によって示される花に適合し、かつ、ユーザの嗜好に合った花瓶の画像を推薦画像として送信する。そのため、画像によって示される状況と、ユーザの嗜好とに応じた組み合わせを提示することが可能になる。

本実施形態では、ユーザ嗜好ＤＢ２０５生成のために使用される学習用画像から取得される代表特徴量ｉを用いて嗜好パラメータを算出する構成を示したが、これに限定される必要はない。例えば、嗜好パラメータ推定部２０４は、適合度を算出するために導入される潜在変数を元に計算される画像特徴量を用いて嗜好パラメータを算出してもよい。以下、具体的に説明する。
適合パラメータの推定にトピックモデルが利用された場合、学習用画像の各トピックの生成確率が算出される。図７に各トピックの生成確率を説明する図を示す。図７は、学習用画像とトピックとの関係を表す図である。図７に示す例では、学習用画像の具体例として、「学習用画像Ｉａ」、「学習用画像Ｉｂ」、「学習用画像Ｉｃ」、「学習用画像Ｉｄ」の４つの例が示されている。また、図７には、潜在変数であるトピックの具体例として、「トピック１」、「トピック２」、「トピック３」、「トピック４」、「トピック５」、「トピック６」の６つの例が示されている。また、各学習用画像と各トピックとの間には、トピックモデルにより算出された生成確率に基づいてそれぞれ太さの異なる直線が示されている。具体的には、学習用画像Ｉａから各トピック（トピック１〜トピック６）に対して直線が６本示されている。学習用画像Ｉａでは、トピック１に対して伸びる線が学習用画像Ｉａから伸びる直線の中で最も太い。したがって、「学習用画像Ｉａ」で生成される確率が最も高いトピックは「トピック１」であることが表されている。また、領域７０内の複数の物体は、画像特徴量である。トピック１から各物体に伸びる直線は、トピック１からの各画像特徴量の出現確率を表す。あるトピックから出現確率の高い画像特徴量に伸びる線ほど、太い直線で表される。

嗜好パラメータ推定部２０４は、各トピック（トピック１〜トピック６）においてトピックの生成確率が高い学習用画像を複数枚ずつ抽出し、当該トピックを表現するトピック代表画像とする。嗜好パラメータ推定部２０４は、複数枚のトピック代表画像からトピックを算出するにあたって計算された画像特徴量を抽出し、各画像特徴量にトピックの番号をラベル付けする。図７の場合は、[Ｉａの特徴量、トピック1]、[Ｉｂの特徴量、トピック２]、[Ｉｃの特徴量、トピック３]、[Ｉｄの特徴量、トピック４]、・・・というように特徴量低次元化のための学習用データを作成する。これを学習用データとし、下記参考文献７に開示されているＬＦＤＡ（Local Fisher Discriminant Analysis）などを用いてラベル（トピック番号）ごとに分離できるような低次元の新しい特徴量を決定する。（参考文献７：「Local Fisher discriminant analysis for supervised dimensionality reduction」ICML '06 Proceedings of the 23rd international conference on Machine learning Pages 905-912 ACM New York, NY, USA (c)2006）
具体的には、ＬＦＤＡにより図８に示される式の行列Ａを算出し、ユーザの嗜好のモデル化に用いた画像特徴量、たとえば学習用画像のカラーヒストグラムに行列Ａをかけることで、画像特徴量の低次元化を行う。図８は、画像特徴量を低次元化するための行列式の概念図である。嗜好パラメータ推定部２０４は、上述の処理を、全ての学習用画像の低次元化を行った後でその画像特徴量を用いて、嗜好のモデルを学習させる。

以上のように、適合度を算出するモデルから作成された低次元の特徴量をユーザの嗜好の解析に用いることにより、スパースネスの問題に対処することができる。実際に観測されるカラーヒストグラムの組み合わせは限られていて、このようなデータをデータ行列にすると、ほとんどの要素が０となることが多い。これをトピックごとにうまく分離することができる低次元特徴量を用いることで、さらに精度よく効率よくユーザの嗜好を推定することが可能になる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０（１０−１〜１０−Ｎ）…通信端末， ２０…推薦画像提示装置， ３０…ネットワーク， ４０…共有サーバ， １０１…入力部， １０２…要求部， １０３…通信部， １０４…表示部， ２０１…通信部（出力部）， ２０２…画像取得部， ２０３…特徴量抽出部， ２０４…嗜好パラメータ推定部， ２０５…ユーザ嗜好ＤＢ， ２０６…適合パラメータ推定部， ２０７…組み合わせＤＢ， ２０８…推薦画像記憶部， ２０９…嗜好度算出部， ２１０…適合度算出部， ２１１…検索部， ２１２…送信制御部

Claims (2)

1. ユーザに推薦する対象となる対象物が撮像された画像である推薦画像と、前記ユーザの前記対象物に対する嗜好度を算出するための嗜好パラメータとに基づいて前記対象物に対する嗜好度を算出する嗜好度算出部と、
   前記対象物と画像によって示される状況との組み合わせの適合度を算出するための適合パラメータと、前記ユーザによって前記対象物を組み合わせる対象として選択された画像によって示される状況と、前記推薦画像とに基づいて前記画像によって示される状況と前記推薦画像と組み合わせの適合度を算出する適合度算出部と、
   前記嗜好度と前記適合度とに応じた推薦画像を出力する出力部と、
   を備える推薦画像提示装置。
2. コンピュータを、請求項１に記載の推薦画像提示装置として機能させるためのプログラム。