JP2005202485A - 映像提示装置 - Google Patents

Abstract

【課題】番組キーワードとユーザ嗜好キーワードとのマッチング精度を向上できる映像提示装置を提供することを目的とする。
【解決手段】属性情報の付加された映像を入力するメタデータ記憶部１０１と、ユーザ嗜好情報を記憶するプリファレンス記憶部１０２と、ユーザ嗜好情報を類義語で拡張するプリファレンス拡張部１０４と、属性情報と拡張ユーザ嗜好情報との間でマッチングするマッチング判定部１０６と、マッチング結果に基づいて番組を推薦する推薦番組決定部１０７と、推薦番組をユーザに提示する表示部１０８とを具備することを特徴とする映像提示装置。
【選択図】 図１

Description

本発明は、映像に付加されたメタデータとユーザ嗜好データとのマッチングに応じて映像を提示する映像提示装置に関する。

映像に付加されたメタデータとユーザ嗜好データのマッチング方法に関して従来から研究されている。例えば、ＥＰＧ（Electric Program Guide、電子番組表）からキーワードを抽出してユーザ嗜好データとマッチングして番組を推薦する技術がある（特許文献１参照）。これは、キーワードを出現頻度、視聴時間、録画予約などのユーザ操作に応じて重み付けしたものをユーザ嗜好データとして蓄積している。しかし、ここで用いられているマッチング方法は、キーワード文字列の完全一致であり、同じ意味を持つキーワードでも、漢字による表記とひらがなによる表記の違いや類義語は別のキーワードとして処理されるという問題があった。

また、複数のキーワードをまとめるテーマ辞書とテーマで構成されたユーザ嗜好データをあらかじめ定義しておき、EPGの番組説明文から抽出したキーワードについてテーマ別スコアとユーザ嗜好データとの積の値で推薦番組を選択する技術がある（特許文献２参照）。この技術によると、異なるキーワードを同じテーマに属するものとしてマッチング処理することができる。しかし、漢字やひらがな表記や別名に対応するには、これらをすべて登録した膨大なデータ量のテーマ辞書が必要となる。このような専用の辞書を作成するには高いコストが必要となる。たとえこのような辞書を作成できたとしても、意味が似ているが同一ではない類義語に対応することはできない。また、マッチング処理はすべての登録されたすべてのキーワードと比較を行うため、処理時間がかかるという問題があった。

更に、ジャンル別、番組タイトル別、出演者別、といったように複数のユーザプロファイルを用意しておき、ユーザが番組推薦をさせる際にどのプロファイルを使って番組を推薦させるかを選択できる技術がある（特許文献３参照）。この技術によると、ユーザの嗜好をより細かく反映した番組推薦が可能となるが、あらかじめ用意されたプロファイル以外のものには対応できない上に、プロファイルを選択する操作はユーザにとって煩雑であるという問題があった。
特許第３３５１０５８号公報 特開２００２−３２０１５９号公報 特開２００２−１４２１６０号公報

映像に付加されたメタデータとユーザ嗜好データとの従来のマッチング方法では、類義語によるマッチングができなかった。また、ユーザの状況に合わせてマッチングをするためには、ユーザが重視する項目を明示的に指示しなければならず煩雑であった。

従って、本発明は、映像に付加されたメタデータとユーザ嗜好データとのマッチングにおいて、メタデータやユーザ嗜好データを構成するキーワードを類義語で拡張することによってマッチング精度を向上させる映像提示装置を提供することを目的とする。

本発明は、属性情報が付加された映像を入力する手段と、ユーザ嗜好情報を記憶するユーザ嗜好記憶手段と、前記ユーザ嗜好情報を類義語で拡張する情報拡張手段と、前記属性情報と拡張ユーザ嗜好情報との間でマッチングを取る手段と、前記マッチング結果に基づいて映像を特定する映像特定手段と、特定された映像をユーザに提示する手段とを具備することを特徴とする映像提示装置を提供する。

本発明の類義語によるユーザ嗜好マッチングを用いた映像提示装置を用いれば、ユーザ嗜好を表すキーワードと番組のキーワードが厳密に一致していなくても類義語であれば検出できるため、ユーザの好む番組を精度よく推薦することができる。さらには、ユーザの嗜好をセンサーで感知してユーザ嗜好を表すキーワードを動的に変化させることにより、動的に変化するユーザ嗜好にも対応できる。

以下に図面を参照しながら本発明の実施形態を説明する。

（第1の実施形態）
図１は、本発明の第1の実施形態による映像提示装置の概略構成図である。本装置によると、番組表を受信する番組表受信部１００は、番組表からキーワード（属性情報）を抽出して記憶するメタデータ記憶部１０１に接続される。プリファレンス記憶部１０２はユーザの嗜好（プリファレンス）をキーワードで記憶するものであり、類義語を蓄積した類義語辞書１０３と共にプリファレンス拡張部１０４に接続される。プリファレンス拡張部１０４はプリファレンスに類義語を追加してプリファレンスを拡張する機能を有する。プリファレンス拡張部１０４はプリファレンス拡張部１０４の出力部は拡張されたプリファレンスを記憶する拡張プリファレンス記憶部１０５に接続される。この拡張プリファレンス記憶部１０５の出力部はメタデータ記憶部１０１の出力部と共にマッチング判定部１０６に接続される。マッチング判定部１０６はメタデータと拡張プリファレンスを比較して各番組のスコアを算出する。マッチング判定部１０６の出力部は判定結果に応じてユーザに推薦する番組を決定する推薦番組決定部１０７に接続される。推薦番組決定部１０７は番組表受信部１００およびマッチング判定部１０６の出力データに従って推薦する番組を決定し、該番組の番組表をユーザに提示するため表示部１０８に出力する。

番組受信部１００は、例えばＥＰＧ対応テレビチューナーで構成され、受信した電波からＥＰＧによって記述された番組表を取り出す。図２は番組表の一部の一例であり、ひとつの番組情報は、識別子、放送局名、開始時刻、終了時刻、番組タイトル、番組内容の項目から構成される。タイトルと番組内容は単語または文章によって記述される。

メタデータ記憶部１０１は、例えばハードディスクから構成され、受信した番組表から単語を抽出して番組表を記憶する。単語の抽出にはキーワードマッチングや構文解析などの一般的な手法が用いられる。図３はメタデータ記憶部１０１が番組情報を記憶する状態を示しており、番組情報は識別子と番組タイトルと番組内容から抽出したキーワードにより構成される。

プリファレンス記憶部１０２は、例えばハードディスクにより構成され、ユーザが興味を持つキーワードを記憶する。図４はユーザプリファレンスの一例を示し、好ましい番組に関するキーワードと好ましくない番組に関するキーワード（プリファレンス）の二種類のキーワードがプリファレンス記憶部１０２に記憶されている。好ましいキーワードには、「ショッピング」、「料理」が登録されており、好ましくないキーワード（非プリファレンス）には「野球」が登録されている。先頭に記憶するキーワードほどユーザの興味が強いものとする。この例では、「ショッピング」は「料理」よりも興味が強いことを表している。ユーザは興味のある任意のキーワードを登録、削除できるものとする。

類義語辞書１０３は、例えばハードディスクで構成された、数万語の単語を意味別に木構造に接続した汎用オントロジー辞書であり、例えば（株）日本電子化辞書研究所のＥＤＲ電子化辞書、分類語彙表[国立国語研究所 1964]や、日本語語彙体系[池原ほか 1997]などが利用できる。

プリファレンス拡張部１０４は、例えば電子回路により構成され、プリファレンス記憶部１０２に記憶されたキーワードに類義語辞書１０３を用いて検索した類義語を追加する。ここでは表現は異なるが同一の意味を持つ同義語のみを追加する。類義語の検索は、例えば辞書に登録されたすべての単語について０から1の間の値をとる類似度を計算して、この類似度が1のキーワードを追加する。類似度の計算は、例えばLeacockらの文献（Leacock, C. and Chodorow, M. (1998). “Combining Local Context and WordNet Similarity for Word Sense Idenfication.” In Fellbaum, C. (Ed.), WordNet, An Electronic Lexical Database, pp.265-283. MIT Press）による式1を用いて求める。ただし、w1、ｗ2は類似度を計算するキーワード、Nはw1からw2へのオントロジー辞書を構成する木構造のパスpのノード数、Ｄは辞書木の最深の長さを表すものとする。

図５は、プリファレンス記憶部１０２に記憶されたキーワードの類義語を検索した結果であり、「ショッピング」は「買い物」が類義語として検索され、「料理」は「クッキング」と「調理」が検索されている。プリファレンス拡張部１０４は検索された類義語をユーザプリファレンスに追加する。図６は、類義語で拡張されたユーザプリファレンスの一例であり、キーワードの追加はプリファレンス記憶部１０２に記憶されたキーワードの先頭のキーワードから順に行っている。「ショッピング」を例にとると、類義語は「買い物」であり、このキーワードを「ショッピング」の後に追加する。

拡張プリファレンス記憶部１０５は、例えばハードディスクによって構成され、プリファレンス記憶部１０２に記憶されたキーワードをプリファレンス拡張部１０４が拡張した結果を記憶する。この例では図６に示した拡張プリファレンスを記憶する。図中の灰色で塗りつぶしたキーワードは拡張されたプリファレンスであることを示す。

マッチング判定部１０５は、例えば電子回路により構成され、メタデータ記憶部１０１に記憶された番組情報を表すキーワードと、拡張プリファレンス記憶部１０５に記憶されたユーザプリファレンスを表すキーワードとを比較してスコアを算出して、ユーザに推薦すべき番組の優先順位をつける。

図７は、番組のスコアを算出するために用いるキーワードのスコアを表しており、図中の灰色で塗りつぶしたキーワードは拡張されたプリファレンスであることを示す。好ましいキーワードに関しては、拡張プリファレンス記憶部１０５に記憶された好ましいキーワードの末尾が１で先頭方向に移動する非類義語毎に１を和算して先頭のキーワードのスコアを高くする。同様に、好ましくないキーワードに関しては、拡張プリファレンス記憶部１０５に記憶された好ましくないキーワードの末尾が−１で先頭方向に移動する非類義語毎に１を減算して先頭のキーワードのスコアを最も低くする。

図８は、番組のスコアを算出する一例を示し、メタデータ記憶部１０１に記憶された番組情報を表すキーワードと拡張プリファレンス記憶部１０５に記憶されたユーザプリファレンスを表すキーワードが一致する場合は、図６に示すスコアをつけて、一致しない場合には０をつける。例えば識別子４の番組情報の場合には、「今晩」というキーワードは図７に示す表にないからスコアは０で、同様に「焼き魚」も０となる。「料理」は図７に示す表に存在してスコアは１なのでスコアが１となる。番組情報のスコアはキーワードのスコアを合計して求める。この例では、識別子３、４、５、６のスコアはそれぞれ−１、＋１、０、＋２となる。

このように、プリファレンス記憶部１０２に記憶されたキーワード「ショッピング」と、メタデータ記憶部１０１に記憶された「買い物」はそのままでは一致しないが、プリファレンスを類義語によって拡張することによって、一致させることができるようになる。

推薦番組決定部１０７は、例えば電子回路により構成され、マッチング判定部１０５によって算出された番組のスコアを比較して、最もスコアの高い番組を選択する。図８の例では、最も合計スコアが高い番組は識別子６の番組であるため、推薦番組決定部１０７は識別子６を選択して、番組表受信部１００から入力した識別子６の番組情報を表示部１０８に出力する。

表示部１０８は、例えばディスプレイにより構成され、推薦番組決定部１０７によって選択された番組情報を画面上に表示してユーザに推薦する。図９は識別子６の番組を推薦する画面の一例を示す。

図１０は、以上の処理手順を説明するためのフローチャートである。これによると、まず、番組受信部１００は番組情報を受信する（ステップＳ９００）。メタデータ記憶部１０１は番組表からキーワードを構文解析によって抽出して記憶する（ステップＳ９０１）。プリファレンス拡張部１０４は類義語辞書１０３を用いてプリファレンス記憶部１０２に記憶されたキーワードに同義語を追加して拡張する（ステップ９０２）。

マッチング判定部１０６はメタデータ記憶部１０１に記憶された番組のスコアを算出する（ステップ９０３）。推薦番組決定部１０７は最もスコアの高い番組を選択して（ステップＳ９０４）、表示部１０８に番組情報を表示する（ステップＳ９０５）。

図１１は、ステップ９０３で番組のスコアを算出する処理手順を説明するためのフローチャートである。このフローチャートはひとつの番組のスコアを算出する手順を表している。これによると、まず、メタデータ記憶部１０１に記憶された番組に対応付けられた先頭のキーワードを選択する（ステップＳ１０００）。選択されたキーワードと一致するキーワードが拡張プリファレンス記憶部１０５に記憶されたキーワードの中にあるかどうかを判定する（Ｓ１００１）。この判定がＹＥＳであると、処理はステップＳ１００２に進む。判定がＮＯであると、処理はステップＳ１００３に進む。

一致するキーワードが見つかった場合には、キーワードに対応するスコアを加算する（ステップＳ１００２）。次に、すべてのキーワードをチェックしたかが判定される（Ｓ１００３）。この判定がＹＥＳであると、処理はステップ１００４に進み、そうでない場合にはステップＳ１０００に戻って次のキーワードについて調べる。ステップＳ１００４ではスコアの総和を出力する。この処理を各番組で繰り返してすべての番組のスコアを算出する。

上述した第１の実施形態を用いれば、ユーザプリファレンスのキーワードと同一のキーワードが番組情報にない場合でも類義語であれば検出できるため、精度よく番組を推薦することができる。

第１の実施形態において、番組受信部１００は番組表を電波で受信したが、これに限らず番組表を受信できる手段であれば何でもよい。例えば、インターネットでiEPG（Internet EPG）を受信してもよい。また、プリファレンス拡張部１０４では、類似度をLeacockらの方法で算出したが、これに限らずキーワード間の類似度を計算できる方法であれば何でも良い。更に、プリファレンス拡張部１０４では同義語のみを追加したがこれに限らず、予め閾値を設定しておいて、この閾値を超える類似度のキーワードを追加しても良い。また、推薦番組決定部１０７はひとつだけ選択したが、これに限らず、順番をつけて、表示部１０８でユーザが順番に閲覧させてもよい。

更に、上記実施形態では、ユーザ嗜好情報を類義語で拡張しているが、属性情報を類義語で拡張してもよい。この場合、拡張された属性情報とユーザ嗜好情報との間でマッチングが取られる。図２８はユーザプリファレンスを拡張しない場合のキーワードのスコアを表しており、キーワードのスコアの付け方は図７の場合と同様である。図２９は番組情報を類義語で拡張したものを表しており、図６でユーザプリファレンスを拡張したのと同様に、ひとつのプリファレンスの後にそのプリファレンスの類義語を挿入する。図中の灰色のプリファレンスが拡張されたプリファレンスである。図３０は図２８に示した番組情報のスコア表と図２９に示した拡張されたユーザプリファレンスとを使って番組のスコアを計算する様子を表したものであり、灰色の番組情報は拡張されたことを示している。この結果、「野球」が−１、「料理」が＋１、「ショッピング」が＋２にマッチングした結果、識別子３、４、５、６の番組の合計スコアがそれぞれ−１、＋１、０、＋２と算出される。識別子６の番組の合計スコアが最も大きいため、推薦番組決定部１０７は識別子６を選択する。

また、上記実施形態では、マッチング判定部１０５はキーワードが完全一致するかどうかでマッチング判定を行っているが、キーワードとユーザプリファレンスの間の類似度を用いてもよい。図３１は類似度を用いた番組スコアの算出方法を説明するための図であり、図８に示したキーワードの完全一致による番組スコアの算出方法と同じ属性情報を用いている。例えば、キーワード「焼き魚」は単語スコアが３のユーザプリファレンス「料理」と類似度０．６であり、図中では「３×０．６」と表記されている。この例では、スコアは各キーワードと各ユーザプリファレンスとの間で単語の類似度を算出して、その中で最も大きいスコアとなるものを番組スコア算出に用いており、例えばキーワード「焼き魚」とユーザプリファレンス「クッキング」との類似度が０．４であっても単語スコアは「２×０．４＝０．８」となり、ユーザプリファレンス「料理」との類似度を用いた場合の「１．８」よりも小さいために採用されない。番組スコアはこのようにして算出した単語スコアの和として算出する。なお、この例では単語類似度の最高値を採用したが、これに限らず類似度の和を用いても良い。また、この例では属性情報と拡張されたユーザ情報との間で類似度を求めたが、これに限らず拡張された属性情報とユーザ情報との間や、拡張しない属性情報と拡張しないユーザ情報との間で算出した類似度を用いてもよい。

（第２の実施形態）
第１の実施形態は、ユーザ嗜好を表すキーワードを類義語で拡張することによってマッチング精度を向上させるものであったが、第２の実施形態は、ユーザの状況をセンサーで取り込んでユーザ状況に対応するキーワードを追加してユーザ嗜好を拡張するものである。本実施形態は、第１の実施形態におけるプリファレンス拡張部１０４が、プリファレンス記憶部１０２に記憶されたキーワードを類義語で拡張する代わりに、ユーザ状況に応じてキーワードを拡張する。

図１２は、第２の実施形態による映像提示装置の概略構成図である。本装置は、第１の実施形態の概略構成に状況情報取得部１０９と状況プリファレンス記憶部１１０を追加して構成される。

ユーザ状況情報取得部１０９は、例えばユーザに取り付けられた人物特定センサーと血糖値センサーとから構成され、テレビを視聴している人物とユーザの血糖値とを取得する。人物特定センサーは例えばバッジに組み込まれた無線ＩＤタグとテレビに組み込まれた無線ＩＤ読み取り器とから構成され、テレビの周辺にいる人物を特定する。血糖値センサーは、例えば携帯型の光学的血糖値測定器と無線装置から構成され、これらを装着したユーザの血糖値を読み込む。センサーで読み取ったデータは意味を持った単位に分類してセンサーＩＤを割り振る。

図１３は、センサーデータとセンサーＩＤの対応付けの一例であり、センサーＩＤ１はユーザが食事中であることを表しており、例えばユーザのうち誰かひとりでも血糖値センサーの値がある閾値を越えている場合に食事中であることを判定する。センサーＩＤ２はユーザＡがテレビを視聴していることを表しており、例えば無線ＩＤタグで読み取ったＩＤがユーザＡのＩＤを含むものと判定する。同様にセンサーＩＤ３はユーザＢがテレビを視聴していることを表している。

ユーザ状況情報取得部１０９は、センサーＩＤがセンサー条件を満たす場合にはＴｒｕｅ、そうでない場合にはＦａｌｓｅを出力する。図の例では、センサーＩＤ２のみがセンサー条件を満たし、それ以外のＩＤはセンサー条件を満たしていない。状況プリファレンス記憶部１１０は、例えばハードディスクから構成され、センサーＩＤの状態と関連のあるキーワードを記憶する。

図１４は、センサーＩＤとキーワードの対応付けの一例である。センサーＩＤ１は食事中であることを表しており、食事中には「嘔吐」と「血」というキーワードは好ましくないものとして登録されている。センサーＩＤ２はユーザＡの嗜好を表しており、好ましいキーワードとして「音楽」が登録され、好ましくないキーワードとして「クッキング」が登録されている。同様に、センサーＩＤ３はユーザＢの嗜好を表しており、好ましいキーワードとして「野球」が登録されている。

第２の実施形態のプリファレンス拡張部１０４は、センサーＩＤの状態を参照して、センサーＩＤがＴｒｕｅのキーワードを、プリファレンス記憶部１０２の記憶情報に対して追加および削除を行い、ユーザ嗜好情報を更新する。この例では図１３に示したセンサーＩＤのうち、センサーＩＤ２の状態がＴｒｕｅであり、ユーザＡがテレビを見ていることを表している。この場合、センサーＩＤ２と対応付けられたキーワードについて類義語が図１５に示すように検索される。類義語の検索は第１の実施形態と同様の方法で行い、「音楽」の類義語は「ミュージック」、「楽」とが検索され、「クッキング」の類義語は「料理」と「調理」とが検索される。

次に、好ましいキーワードとして追加すべきキーワードやその類義語が既に好ましくないキーワードとして登録されたり、好ましくないキーワードとして追加すべきキーワードやその類義語が既に好ましいキーワードとして登録されたりすることを防ぐために、図１５のように検索されたセンサーＩＤ２に対応づけられたキーワードとその類義語をユーザプリファレンスから削除する。この例では、図４に示したユーザプリファレンスのうち、「料理」は図１５で検索されたキーワードと一致するからこれを削除する。その後に、センサーＩＤ２に対応付けられたキーワードをプリファレンスの先頭に追加する。

図１６は、このようにして拡張されたユーザプリファレンスであり、「料理」が削除されて、「クッキング」が好ましくないキーワードとして先頭に追加されている。「音楽」は削除すべきキーワードがなかったため単に好ましいキーワードの先頭に追加されている。

状態がＴｒｕｅであるセンサーが複数ある場合には、センサーＩＤの小さいものから同様の処理を繰り返し行って、最終的にひとつの拡張されたユーザプリファレンスを生成する。これ以降は第１の実施形態と同様に処理するので説明を省略するが、最終的には図２に示したＩＤ４の音楽番組をユーザに推薦する。

図１７は、第２の実施形態のプリファレンス拡張部１０４でユーザプリファレンスを拡張する処理のフローチャートを示す。これによると、まず、センサーＩＤを記憶する変数ｎに０を設定し（ステップＳ１７００）、変数ｎに１を足してすべてのセンサーＩＤについて繰り返し処理できるようにする（ステップＳ１７０１）。

次に、センサーＩＤがｎの状態がＴｒｕｅかどうかを調べ（ステップＳ１７０２）、Ｔｒｕｅの場合にはステップＳ１７０３に進み、そうでない場合にはステップＳ１７０６に進む。ステップＳ１７０３ではセンサーＩＤがｎのセンサーに対応付けられて登録されたキーワードの類義語を検索して（ステップＳ１７０３）、ユーザプレファレンスから登録キーワードと検索された類義語を削除する（ステップＳ１７０５）。その後に、登録キーワードをユーザプリファレンスの先頭に追加して拡張プリファレンスを生成する（ステップＳ１７０５）。この処理をすべてのセンサーについて行うために、変数ｎがセンサー数Ｎよりも小さいかどうかを比較して、小さい場合には次のセンサーについて処理を行うためにステップＳ１７０１に戻り、そうでない場合には処理を停止する（ステップＳ１７０６）。

上述した第２の実施形態によれば、ユーザの状況に応じてユーザプリファレンスを動的に変化させることができるため、ユーザの状況に応じた番組を推薦することができる。

上記第２の実施形態においては、プリファレンス拡張部１０４では、プリファレンス記憶部１０２に記憶されたキーワードから、環境プリファレンス記憶部１１０に記憶されたキーワードだけではなくその類義語も削除したが、これに限らず、環境プリファレンス記憶部１１０に記憶されたキーワードについてのみ処理してもよい。また、マッチング判定以降の処理は第１の実施形態と同様としたが、これに限らず、マッチング判定を行うものであれば何でも良い。例えば、第２の実施形態では、図１６に示した環境情報によって拡張されたユーザプリファレンスを第１の実施形態と同様にさらに類義語で拡張するが、類義語で拡張することなくマッチング判定を行っても良い。

（第３の実施形態）
第１の実施形態は、ユーザ嗜好を表すキーワードを類義語で拡張して番組情報のマッチングを行ったが、第３の実施形態は同様にユーザ嗜好の類義語による拡張によって部分映像を隠蔽したりハイライトしたりする表示制御を行うものである。この表示制御は、たとえばユーザにとって不快な部分映像を自動的に隠蔽したり、強く興味を持っている部分映像を強調したりする。

なお、実施形態の説明において、例えばテレビなどで表示される動画像を「映像」と呼び、映像中の人物や物体などの意味のある部分について映像全体とは別のまとまりとして記述したものを「映像オブジェクト」と呼ぶことにする。映像オブジェクトが部分画像でもよいし、映像中の部分を例えば座標値で表したメタデータでもよく、ここでは後者のメタデータが用いられているものとして説明する。

本実施形態は、第１の実施形態における番組表受信部１００が番組表を受信する代わりに映像と映像オブジェクトを受信し、推薦番組決定部１０７が推薦する番組を決定する代わりに映像オブジェクトの表示方法を決定し、さらに表示部１０８がユーザに推薦する番組情報を表示する代わりに映像オブジェクトを隠蔽したりハイライトしたりして映像と合成して表示する違いがあるのみなので、この部分についてのみ説明する。

図１８は、第３の実施形態による映像提示装置の概略構成図である。本装置は、第１の実施形態の概略構成において、番組受信部１００の代わりに映像受信部１１１を使用し、推薦番組決定部１０７の代わりに映像オブジェクト表示方法決定部１１２を使用し、表示部１０８の代わりに映像表示部１１３を使用して構成される。

映像受信部１１１は、例えばＥＰＧ（Electric Program Guide）対応テレビチューナーで構成され、映像信号と映像オブジェクト信号を受信する。図１９は受信した信号の一例を示す。この例では、映像１９００としてチョウ、ヘビ、ゴキブリが映った映像を受信しており、映像オブジェクトはチョウの部分映像を囲む楕円の図形情報１９０１、ヘビの図形情報１９０２、ゴキブリの図形情報１９０３として受信する。この図では、説明のために図形情報を破線で示しているが、実際の画面にはこの破線は表示されない。映像信号と映像オブジェクト信号は１／３０秒に１回放送局から送信されるものとし、１回の受信で映像信号は１フレーム分の映像データを入力して、映像オブジェクト信号は各フレームにデータを受信するものとする。

図２０は、１回の受信で入力した映像オブジェクト信号（メタデータ）の一例を示し、映像信号を受信するたびにメタデータ記憶部１０１に記憶する。この例では、メタデータは、映像オブジェクトの識別子２０００、映像オブジェクトの図形情報２００１、映像オブジェクトを説明するキーワード２００２とから構成される。図形情報２００１は楕円の中心座標、短径、長径、傾きから構成される。キーワード２００２は単語の列で構成され、この例では、識別子１３４の映像オブジェクトには「ヘビ」、識別子１３５の映像オブジェクトには「ゴキブリ」と「昆虫」、識別子１３６の映像オブジェクトには「蝶」、「昆虫」が映像オブジェクトの説明として付加されている。

図２１は、ユーザプリファレンス記憶部１０２に記憶されたユーザ嗜好情報を示している。この例では、好ましいキーワードとして「昆虫」、好ましくないキーワードとして「油虫」、「へび」が記憶されているものとする。

図２２は、拡張プリファレンス記憶部１０５に記憶された内容の一例を示す。本装置は映像信号を受信すると、プリファレンス拡張部１０４は第１の実施形態と同様にユーザ嗜好情報を類義語で拡張する。この例では、「油虫」は別名の「ゴキブリ」や別表記の「アブラムシ」が追加されている。

図２３は、マッチング判定部１０６でマッチング判定するために、第１の実施形態と同様の方法で作成したユーザ嗜好スコア表の一例を示す。

図２４は、マッチング判定部１０６でマッチング判定するために、第１の実施形態と同様の方法で各映像オブジェクトのスコアを算出した結果の一例を示す。映像オブジェクト表示方法決定部１１２は、マッチング判定部１０６で算出したスコアを入力して、映像オブジェクトをそのまま表示するか、あるいは塗りつぶすかを決定する。ここでは、スコアが負でない映像オブジェクトは何も行わないものとして判定して、スコアが負の映像オブジェクトは塗りつぶすものとして判定する。

図２５は、映像オブジェクト表示方法決定部１１２の判定に従って映像と映像オブジェクトを合成して表示した一例を示す。この例では、識別子１３４の「ヘビ」の映像オブジェクトと識別子１３５の「ゴキブリ」の映像オブジェクトのスコアは負であるため、塗りつぶして表示する。塗りつぶしは、映像受信部１１１で受信した映像オブジェクトを表す図形情報を用いて楕円形に塗りつぶす。識別子１３６の「チョウ」の映像オブジェクトは正であるためそのまま表示する。

図２６は、上述した処理手順のフローチャートを示す。これによると、まず、映像受信部１１１は映像と映像オブジェクトを受信する（ステップＳ２６００）。メタデータ記憶部１０１は映像オブジェクトを図形情報とキーワードとして記憶する（ステップＳ２６０１）。プリファレンス拡張部１０４はプリファレンス記憶部１０２に記憶されたキーワードを類義語で拡張する（ステップＳ２６０２）。マッチング判定部１０６はメタデータ記憶部に記憶された映像オブジェクトのスコアを算出する（ステップＳ２６０３）。映像オブジェクト表示方法決定部１１２は映像オブジェクトのスコアを参照して、スコアが負の映像オブジェクトを塗りつぶして表示するように決定する（ステップ２６０４）。表示部１１３は塗りつぶすと決定された映像オブジェクトは映像受信部１１１で受信した図形で塗りつぶし、そうでない映像オブジェクトはそのまま表示する（ステップＳ２６０５）。

ユーザ嗜好キーワードの類義語による拡張には処理時間がかかるが、本実施形態のマッチング方法では番組を視聴する前に準備することができるため、フレーム単位の高速なマッチングに適している。

上記の第３の実施形態を用いれば、映像オブジェクトに対しても、ユーザプリファレンスのキーワードと同一のキーワードが映像オブジェクトのキーワードにない場合でも類義語であれば検出できるため、精度良く映像オブジェクトの表示制御ができる。

上記の第３の実施形態によると、ユーザ嗜好キーワードはユーザによって予め設定されるものとしたが、これに限らず、ユーザの現在の嗜好を参照して動的に設定してもよい。例えば第２の実施形態と同様に、センサーとキーワードを対応付けておいて、動的にユーザ嗜好キーワードを変化させてもよい。また、映像受信部１１１は、映像フレームごとに映像オブジェクト情報を受信したが、これに限らず、間引いて受信したり、先読みしたりしても良い。間引く場合には、前に２回受信したデータから予測すればよいし、先読みする場合には、前後のデータから線形補間すればよい。

図１８の実施形態に対して図２７に示すように番組受信部１００および推薦番組決定部１０７を含む図１の実施形態の機能または状況情報取得部１０９および状況プリファレンス記憶部１１０を含む図１８の実施形態の機能或いは両者の機能を付加してもよい。これによると、ユーザ嗜好の類義語による拡張によって部分映像を隠蔽したりハイライトしたりする表示制御を行うだけでなく、ユーザプリファレンスのキーワードと同一のキーワードが番組情報にない場合でも類義語であれば、精度よく番組を推薦することができる。また、ユーザ嗜好の類義語による拡張によって部分映像を隠蔽したりハイライトしたりする表示制御を行うだけでなく、ユーザの状況に応じてユーザプリファレンスを動的に変化させることができるため、ユーザの状況に応じた番組を推薦することができる。

上記実施形態では、ユーザ嗜好情報を類義語で拡張しているが、第１の実施形態と同様に属性情報を類義語で拡張しても良い。

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

本発明の第１実施形態に従った映像提示装置のブロック図 番組表の一例を示す図 メタデータ記憶部の記憶されている番組情報の一例を示す図 ユーザプリファレンスの一例を示す図 キーワードの類義語検索結果の一例を示す図 類義語で拡張されたユーザプリファレンスの一例を示す図 キーワードとスコアとを示す図 番組スコアを算出する一例を示す図 番組推薦の画面を示す図 図１の映像提示装置の処理を示すフローチャート図 番組のスコアを算出する処理手順を示すフローチャート図 本発明の第２実施形態に従った映像提示装置のブロック図 センサーデータとセンサーＩＤとの対応付の一例を示す図 センサーＩＤとキーワードとの対応付の一例を示す図 類義語の検索を説明するための図 拡張されたプリファレンスを示す図 図２の映像提示装置の処理を示すフローチャート図 本発明の第３実施形態に従った映像提示装置のブロック図 映像オブジェクトを示す図 映像オブジェクト信号を説明する図 ユーザ嗜好情報を示す図 類義語で拡張されたユーザプリファレンスの一例を示す図 スコア表の一例を示す図 映像オブジェクトのスコアを算出した結果の一例を示す図 選択的に映像オブジェクトの表示する状態を示す図 図１８の映像提示装置の処理を示すフローチャート図 図１８の実施形態に図１の実施形態または／および図１８の実施形態を含めた映像提示装置のブロック図。 拡張されないユーザ情報とスコアを示す図 拡張した番組の属性情報を示す図 拡張した属性情報と拡張されないユーザ情報と用いて、番組スコアを算出する一例を示す図 類似度を用いて番組スコアを算出する一例を示す図

符号の説明

１００…番組表受信部、１０１…メタデータ記憶部、１０２…プリファレンス記憶部、１０３…類義語辞書、１０４…プリファレンス拡張部、１０５…拡張プリファレンス記憶部、１０６…マッチング判定部、１０７…推薦番組決定部、１０８…表示部、１０９…状況情報取得部、１１０…状況プリファレンス記憶部、１１１…映像受信部、１１２…映像オブジェクト表示方法決定部、１１３…映像表示部

Claims (11)

1. 属性情報が付加された映像を入力する手段と、
   ユーザ嗜好情報を記憶するユーザ嗜好記憶手段と、
   前記ユーザ嗜好情報を類義語で拡張する情報拡張手段と、
   前記属性情報と拡張されたユーザ嗜好情報との間でマッチングを取る手段と、
   前記マッチング結果に基づいて映像を特定する映像特定手段と、
   特定された映像をユーザに提示する手段と、
   を具備することを特徴とする映像提示装置。
2. 属性情報が付加された映像を入力する手段と、
   ユーザ嗜好情報を記憶するユーザ嗜好記憶手段と、
   前記属性情報を類義語で拡張する情報拡張手段と、
   拡張された属性情報と前記ユーザ嗜好情報との間でマッチングを取る手段と、
   前記マッチング結果に基づいて映像を特定する映像特定手段と、
   特定された映像をユーザに提示する手段と、
   を具備することを特徴とする映像提示装置。
3. 前記ユーザ嗜好情報を類義語で拡張する情報拡張手段を更に含み、前記マッチングを取る手段は拡張された前記属性情報と拡張されたユーザ嗜好情報との間でマッチングを取ることを特徴とする請求項２の映像提示装置。
4. ユーザ状況を取得する状況取得手段と、
   前記取得された状況に対応するキーワードを記憶する状況キーワード記憶手段と、
   前記状況取得手段が取得した状況に応じて前記ユーザ嗜好情報を更新するために、前記キーワードを前記ユーザ嗜好記憶手段に対して追加または削除する状況キーワード制御手段とを更に具備することを特徴とする請求項１または２記載の映像提示装置。
5. 類義語による拡張を同義語のみに限定することを特徴とする請求項１乃至４のいずれか１記載の映像提示装置。
6. 前記マッチングを取る手段は、属性情報とユーザ嗜好情報との間の類似度を用いることを特徴とする請求項１乃至４のいずれか１記載の映像提示装置。
7. 映像と映像オブジェクトを入力する手段と、
   ユーザ嗜好情報を記憶するユーザ嗜好記憶手段と、
   前記ユーザ嗜好情報を類義語で拡張する情報拡張手段と、
   前記映像オブジェクトと前記拡張されたユーザ嗜好情報との間でマッチングを取る手段と、
   前記マッチング結果に基づいて前記映像オブジェクトを加工し、映像に合成して表示映像を生成する映像加工手段と、
   前記表示映像をユーザに提示する手段と、
   を具備することを特徴とする映像提示装置。
8. 属性情報が付加された映像と映像オブジェクトを入力する手段と、
   ユーザ嗜好情報を記憶するユーザ嗜好記憶手段と、
   前記属性情報を類義語で拡張する情報拡張手段と、
   拡張された属性情報と前記ユーザ嗜好情報との間でマッチングを取る手段と、
   前記マッチング結果に基づいて前記映像オブジェクトを加工し、映像に合成して表示映像を生成する映像加工手段と、
   特定された映像をユーザに提示する手段と、
   を具備することを特徴とする映像提示装置。
9. 前記ユーザ嗜好情報を類義語で拡張する情報拡張手段を更に含み、前記マッチングを取る手段は拡張された前記属性情報と拡張されたユーザ嗜好情報との間でマッチングを取ることを特徴とする請求項８の映像提示装置。
10. 前記マッチング結果に基づいて映像オブジェクトを特定する映像特定手段を更に有し、前記提示手段は、特定された映像オブジェクトをユーザに提示することを特徴とする請求項７５記載の映像提示装置。
11. ユーザ状況を取得する状況取得手段と、取得した状況に対応するキーワードを記憶する状況キーワード記憶手段と、取得した状況に応じて前記ユーザ嗜好情報を更新するために前記キーワードを前記ユーザ嗜好記憶手段に対して追加または削除する状況キーワード制御手段とを更に具備することを特徴とする請求項５または６記載の映像提示装置。

Images