JP2006186426A - 情報検索表示装置、情報検索表示方法および情報検索表示プログラム - Google Patents

Abstract

【課題】ユーザの嗜好に応じて情報を検索表示できる情報検索表示装置を提供する。
【解決手段】映像情報や前記映像情報に関連する情報をユーザに対して表示する表示部１２４と、ユーザの嗜好に関する情報であるユーザ嗜好情報を記憶した視聴履歴記憶部１３０、嗜好キーワード記憶部１３１、検索履歴記憶部１３２と、前記ユーザ嗜好情報に基づいて、前記映像情報の一部である部分情報および前記ユーザ嗜好情報に関連する情報である関連情報を検索する関連情報検索部１１０と、前記関連情報検索部１１０が検索した前記関連情報と前記映像情報とを前記表示部１２４に表示する表示制御部１２３とを備えた。
【選択図】 図１

Description

本発明は、ユーザが映像視聴中または視聴後に内容を確認および検索する手間を軽減するために映像情報に含まれる内容に関連する情報を検索および表示する情報検索表示装置、情報検索表示方法および情報検索表示プログラムに関するものである。

近年、テレビ視聴支援の一機能として、番組内の特定のシーンや特定のコンテンツを検索する機能や、このような番組を構成する特定のシーンや特定のコンテンツだけでなく、直接番組を構成する映像情報内には含まれない関連情報を検索する機能が求められている。このような機能に関しては、番組の送信者が番組を構成する映像情報に関連情報を埋め込む技術や、番組中の特定のシーンについての関連情報を配信するサーバから関連情報を提供する技術が提案されており、それらの関連情報を検索する手法も提案されている(例えば、特許文献１)。

また、画像認識技術などを利用して映像情報中のユーザにより指定された部分画像に関する情報を取得する方法や(例えば、特許文献２)、テロップなど画面上の文字情報を利用して関連情報の検索を行う方法も提案されている。

特開２００３−１１０９６０号公報 特開２００２−３３４０９２号公報

しかしながら、番組中の特定のシーンに関連する情報の検索は、映像情報中の画像から認識された結果や、テロップなどの文字情報を認識した結果、番組コンテンツに埋め込まれた情報など、その番組に直接関係する情報のみを利用して行われ、ユーザの視聴履歴や、ユーザが過去に関連情報を検索した結果を利用した検索は行われていない。

例えば、特許文献２においては、前述のような関連情報の検索方法について述べられているが、ユーザの嗜好を参照した情報の検索等については開示されていない。特許文献１においては、他のユーザの視聴した番組情報等に基づき、デジタル映像機器の一般的なユーザがどのような番組を好むかを示す関連番組情報を表示する方法を開示しているが、個々のユーザの嗜好を参照し、ユーザごとに異なる映像情報の関連情報を提供する方法については述べられていない。

このように、従来の方法においては、検索および表示される関連情報は、番組を視聴している全ユーザに共通であり、個々のユーザの嗜好に合致した、真にユーザが希望する有用な情報のみを適切に表示することができないという問題があった。

本発明は、上記に鑑みてなされたものであって、ユーザの嗜好、視聴履歴、過去の検索結果などを参照して関連情報の検索を実行することにより、個々のユーザの嗜好に応じた有用な情報を取得することができる情報検索表示装置、情報検索表示方法および情報検索表示プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、映像情報に関連する情報の検索および表示を行う情報検索表示装置において、前記映像情報や前記映像情報に関連する情報をユーザに対して表示する表示手段と、ユーザの嗜好に関する情報であるユーザ嗜好情報を記憶したユーザ嗜好情報記憶手段と、前記ユーザ嗜好情報記憶手段に記憶された前記ユーザ嗜好情報に基づいて、前記映像情報の一部である部分情報および前記ユーザ嗜好情報に関連する情報である関連情報を検索する関連情報検索手段と、前記関連情報検索手段が検索した前記関連情報と前記映像情報とを前記表示手段に表示する表示制御手段と、を備えたことを特徴とする。

また、本発明は、上記装置を実行することができる情報検索表示方法および情報検索表示プログラムである。

本発明によれば、ユーザの嗜好、視聴履歴、過去の検索結果などのユーザ嗜好情報に関連した映像情報の関連情報を検索するので、映像情報を視聴している全ユーザに対し同じ関連情報が提供されることはなく、個々のユーザは各自の嗜好に応じて有用な情報のみを取得することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる情報検索表示装置、情報検索表示方法および情報検索表示プログラムの最良な実施の形態を詳細に説明する。

（第１の実施の形態）
第１の実施の形態にかかる情報検索表示装置は、映像情報から検索キーワードを抽出し、抽出した検索キーワードにより映像情報中の部分情報に関連する情報を検索し、検索結果をユーザの嗜好に合わせて選別し、選別した検索結果である関連情報を画面に表示するものである。

また、番組中の映像情報は、テロップなどの映像情報に関連付けられたメタデータや、音声、画像などの部分情報から構成されるが、検索された関連情報が、映像情報に含まれるどの部分情報に基づいて検索されたものであるかを視覚的に明確に表示する方法は提案されていない。そこで、第１の実施の形態にかかる情報検索表示装置は、検索の根拠となった部分情報を視覚的に明確に対応付けて画面に表示するものである。

図１は、第１の実施の形態にかかる情報検索表示装置１００の構成を示すブロック図である。同図に示すように、情報検索表示装置１００は、関連情報検索部１１０と、入力部１２１と、検索要求取得部１２２と、表示制御部１２３と、表示部１２４とを備えている。また、第１の実施の形態にかかる情報検索表示装置１００は、ハードディスクドライブ装置（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）に視聴履歴記憶部１３０と、嗜好キーワード記憶部１３１と、検索履歴記憶部１３２と、映像情報記憶部１４０とを備えている。視聴履歴記憶部１３０、嗜好キーワード記憶部１３１、検索履歴記憶部１３２が、本発明におけるユーザ嗜好情報記憶手段に相当する。

第１の実施の形態にかかる情報検索表示装置１００は、インターネット１０１に接続され、後述する検索部１１５により、インターネット１０１に接続された検索システムから関連情報を検索する。

関連情報検索部１１０は、ユーザによる映像情報に関連する情報の検索要求に応じて、映像情報の関連情報の検索処理を実行し、検索結果を嗜好キーワード記憶部１３１および検索履歴記憶部１３２に記憶するものであり、メタデータ取得部１１１と、音声認識部１１２と、画像認識部１１３と、検索キーワード生成部１１４と、検索部１１５と、意味解析部１１６と、検索結果選択部１１７とを備えている。

メタデータ取得部１１１は、映像情報に付与されているメタデータを、映像情報から取得し、テキストデータとして出力する。ここで、メタデータとは、映像を提供する放送事業者等により予め埋め込まれた映像情報に関連する情報をいい、例えば、番組のタイトル、番組のジャンル、番組の概要、番組の制作日などが該当する。

音声認識部１１２は、映像情報中の音声または音楽を認識し、認識された音声または認識された音楽の曲名をテキストデータとして出力する。画像認識部１１３は、映像中の人物、建物、テロップなどの部分画像を認識し、認識した部分画像の範囲と認識結果の内容を表すテキストデータを出力する。

検索キーワード生成部１１４は、メタデータ取得部１１１、音声認識部１１２、画像認識部１１３によって出力されたテキストデータを単語に分割し、検索時に使用する検索キーワードを生成する。

検索部１１５は、検索キーワード生成部１１４が生成した検索キーワードを使用して、検索キーワードを含む情報または検索キーワードに関連する情報を、ネットワークに接続されたデータベースまたはインターネット等により接続された検索システムから検索する。

意味解析部１１６は、検索部１１５が検索した関連情報を解析し、番組の文脈にあった意味属性を付与する。

検索結果選択部１１７は、意味解析部１１６が解析し、意味属性を付与した関連情報から、視聴履歴記憶部１３０、嗜好キーワード記憶部１３１、検索履歴記憶部１３２に記憶されているユーザ嗜好情報を参照してユーザ嗜好情報に関連する関連情報を選択する。

入力部１２１は、ユーザが検索要求を入力するための操作端末であり、例えば、テレビのリモコンなどが該当する。入力部１２１は、ユーザを識別するユーザ認証手段を備えている。例えば、個々のユーザが固有の端末を所持することによりユーザを識別するように構成してもよいし、端末にパスワード入力などの一般的なユーザ認証手段を備えるように構成してもよい。

検索要求取得部１２２は、ユーザが入力部１２１から入力した検索要求を受け取り、関連情報検索部１１０に送信する。表示部１２４は、映像情報や、映像情報を基に検索した関連情報を表示する。表示制御部１２３は、表示部１２４への映像情報や関連情報の表示の制御を行う。

視聴履歴記憶部１３０は、ユーザによる映像情報の視聴の履歴を記憶する。図２は、視聴履歴記憶部１３０の構造の一例を示す説明図である。同図に示すように、視聴履歴記憶部１３０は、視聴したユーザ、視聴した日付、視聴した時刻、視聴したチャンネル、視聴した番組名を格納している。

嗜好キーワード記憶部１３１は、ユーザの嗜好を表すキーワードを記憶する。図３は、嗜好キーワード記憶部１３１の構造の一例を示す説明図である。同図に示すように、嗜好キーワード記憶部１３１は、ユーザごとに、ユーザの嗜好を表すキーワードを格納している。キーワードとしては、例えば、“野球”、“時代劇”、“ニュース”、“料理”、“グルメ”などの番組のジャンルや、出演者名などの項目を格納する。

嗜好キーワード記憶部１３１は、ユーザが入力部１２１により指定したキーワードを登録するように構成してもよいし、ユーザが番組を視聴したときや、関連情報を検索したときに、番組名や関連情報からキーワードを抽出して、自動的に登録するように構成してもよい。

検索履歴記憶部１３２は、ユーザが関連情報を検索したとき、その日時や検索内容、検索結果である関連情報を検索履歴として記憶する。図４は、検索履歴記憶部１３２の構造の一例を示す説明図である。同図に示すように、検索履歴記憶部１３２は、検索したユーザ、検索した日付、検索した時刻、検索対象とした番組のチャンネル、検索内容、検索結果である関連情報を格納している。

同図においては、例えば、ユーザ“お父さん”が、２００４年９月１日の１９時４１分５３秒に放送されていた６チャンネルの番組の視聴中に関連情報の検索を要求し、その映像情報中に含まれる音声“インフィールドフライ”に関連する情報が検索され、検索の結果得られた情報が関連情報として格納された状態が示されている。なお、同図には図示していないが、音声認識の基となった音声が放送された開始時刻と終了時刻を保存する、または、音声認識の基となった音声そのものを保存するように構成してもよい。

なお、映像情報中の部分画像を基に検索した場合は、その部分画像の位置を示す情報を格納する。例えば、ある人物の部分画像を基に検索した場合は、その部分画像の左上座標（３０、３０）と、右上座標（１００、２００）とを検索内容欄に格納する。これにより、表示制御部１２３が、検索した関連情報と検索の基になった部分情報とを対応付けて表示部１２４に表示することが可能となる。

映像情報記憶部１４０は、放送された映像を録画した映像情報などを記憶する。映像情報には、静止画像、動画像、音声、音楽、テキスト記述されたメタデータが含まれる。

次に、このように構成された第１の実施の形態にかかる情報検索表示装置１００による情報検索表示処理について説明する。図５は、第１の実施の形態にかかる情報検索表示装置１００おいて、関連情報を検索し表示する処理の全体の流れを示すフローチャートである。

まず、ユーザが入力部１２１から関連情報の検索要求を入力すると、検索要求取得部１２２が、入力部１２１から関連情報の検索要求を受付ける（ステップＳ５０１）。次に、関連情報検索部１１０により関連情報検索処理が実行され（ステップＳ５０２）、表示制御部１２３により、関連情報表示処理が実行される（ステップＳ５０３）。関連情報検索処理、関連情報表示処理の詳細については後述する。

図６は、図５において示したステップＳ５０２の関連情報検索処理の流れを示すフローチャートである。以下、関連情報検索処理の詳細について説明する。

まず、メタデータ取得部１１１が、検索が要求された映像情報から、当該映像情報に付与されているメタデータをテキストデータとして取得する（ステップＳ６０１）。次に、音声認識部１１２が、映像情報に含まれる音声を認識し、認識結果をテキストデータとして取得する（ステップＳ６０２）。音声認識の方法としては、音声を周波数分析し、単語辞書等を参照しながら音素認識、単語認識、文認識を行う方法など、一般的な音声認識のいずれにより構成してもよい。

次に、画像認識部１１３が、映像情報に含まれる人物、建物、テロップなどの部分画像を認識し、認識した部分画像の範囲とともに、認識結果をテキストデータとして取得する（ステップＳ６０３）。ここで、画像認識には、画像内に存在する物体が何であるかを認識するパターン認識と、画像内に存在する文字を認識する文字認識の両方を含む。画像認識の方法としては、最短距離法、相互相関法、フーリエ位相相関法などの一般的な画像認識方法のいずれにより構成してもよい。

次に、検索キーワード生成部１１４が、メタデータ取得部１１１、音声認識部１１２、画像認識部１１３がそれぞれ取得したテキストデータを単語に分割し、検索に使用する検索キーワードを生成する（ステップＳ６０４）。例えば、一般的な形態素解析技術を適用し、テキストデータを形態素に分割し、自立語を抽出して検索キーワードとするように構成することができる。また、メタデータ取得部１１１、音声認識部１１２、画像認識部１１３が取得したテキストデータをそのまま検索キーワードとするように構成してもよい。なお、これは一例であり、関連情報を検索するために意味のある検索キーワードをテキストデータから抽出する方法であればあらゆる方法を適用することができる。

次に、検索キーワード生成部１１４が生成した検索キーワードを指定して、検索部１１５が、インターネットに接続された検索システムに対して検索処理を実行する（ステップＳ６０５）。なお、検索の対象はインターネットに接続された検索システムに限るものではなく、あるキーワードに対する関連情報を取得できるものであれば、あらゆる情報格納手段を対象とすることができる。例えば、インターネット以外の通信回線により接続された検索システムや、ネットワークに接続され、様々な情報を格納した社内または社外のデータベースを検索の対象とするように構成してもよい。

次に、意味解析部１１６が、検索部１１５が検索した検索結果を受け取り、意味解析を行うことにより、それぞれの検索結果に含まれる単語に対して意味属性を付与する（ステップＳ６０６）。

例えば、「〇〇レストラン」という単語が得られた場合、それがグルメ番組における飲食する場所としての意味で利用されるのか、道案内のためのランドマークとして利用されるのかを単語だけでは区別できない。そこで、意味解析を実行し単語に詳細な属性を付与することにより、曖昧性を排除するとともに、よりユーザ嗜好に合致した関連情報を取得することができるようになる。意味解析は、自然言語処理における一般的な意味解析手法のいずれにより構成してもよい。

次に、意味解析部１１６が意味属性を付与した関連情報の検索結果から、検索結果選択部１１７が、ユーザの視聴履歴、ユーザの嗜好、過去に検索された関連情報などのユーザに固有の情報であるユーザ嗜好情報を参照して、検索結果の選択を行う（ステップＳ６０７）。

ここで、検索結果の選択には、検索結果からユーザの嗜好に合わない検索結果を除外すること、およびユーザの嗜好に合致した情報を追加することを含む。例えば、検索結果に和食以外のレストランに関する情報が含まれる場合でも、嗜好キーワード記憶部１３１に格納された当該ユーザについての嗜好キーワードに“和食”が存在するときは、その和食以外のレストランの検索結果を削除する。また、例えば、ある人物の検索結果にその人物のプロフィールが存在しないが、検索履歴記憶部１３２に当該人物のプロフィールが格納されている場合は、そのプロフィールを検索結果として追加する。

次に、関連情報検索部１１０は、検索結果選択部１１７が選択した結果である関連情報を検索履歴記憶部１３２に格納するとともに、関連情報から形態素解析等により単語を抽出し、嗜好キーワード記憶部１３１に格納する（ステップＳ６０８）。これにより、後に再度検索要求を受けたときに、これらの情報を参照してユーザの嗜好にあった検索結果の選択をより高い精度で実行することができるようになる。

図７は、図５において示したステップＳ５０３の関連情報表示処理の流れを示すフローチャートである。以下、関連情報表示処理の詳細について説明する。

まず、表示制御部１２３が、検索結果である関連情報を読込むとともに（ステップＳ７０１）、検索対象となった映像情報を読込む（ステップＳ７０２）。次に、表示制御部１２３が、読込んだ映像情報に含まれる部分情報のうち、検索の基になった部分情報が明確になるように表示部１２４に表示する（ステップＳ７０３）。

例えば、人物、建物、テロップ等の画像については認識された部分画像を、メタデータについては検索に使用された検索キーワードを囲み表示する。このとき、検索履歴記憶部１３２に格納された部分画像の座標情報を利用することができる。音声については映像情報を音声認識した結果であるテキストデータを表示部１２４に表示した上で、そのテキストデータを囲み表示する。また、嗜好キーワードは映像情報に含まれる情報ではないが、検索結果の選択に使用された嗜好キーワードが存在する場合は、その嗜好キーワードを表示部１２４に表示する。なお、部分情報の表示方法はこれらに限られるものではなく、検索の基になった部分情報が明確になるように表示するものであればどのような表示方法であってもよい。

次に、表示制御部１２３が、ステップＳ７０１で読込んだ関連情報と、ステップＳ７０３で表示した部分情報とを対応付けて表示部１２４に表示する（ステップＳ７０４）。ここで、対応付けて表示するとは、検索結果の関連情報が、映像情報中のどの部分情報に基づいて検索されたものかが明確にわかるように情報を提示することをいう。

例えば、関連情報とその検索の基になった部分情報とを、線で結びつけることにより対応付けて表示する方法、同じ色の枠で囲むことにより対応付けて表示する方法、同一の符号を付すことにより対応付けて表示する方法、ポップアップ表示により対応付けて表示する方法などが該当する。また、情報の提示は画面に表示することに限られず、情報を音声により読み上げる方法であってもよい。なお、これらは一例であり、検索結果の関連情報が、映像情報中のどの部分情報に基づいて検索されたものかが明確にわかるように情報を提示する方法であればこれらに限られるものではない。

次に、検索要求取得部１２２が、表示部１２４に表示中の関連情報について、さらに検索が要求されたか否かについて判断する（ステップＳ７０５）。検索が要求された場合は（ステップＳ７０５：ＹＥＳ）、関連情報検索部１１０が、関連情報検索処理を再度実行する（ステップＳ７０６）。検索が要求されない場合は（ステップＳ７０５：ＮＯ）、関連情報表示処理が終了する。

図８は、第１の実施の形態にかかる情報検索表示装置１００において、関連情報検索処理、関連情報表示処理の結果、表示部１２４に表示された関連情報表示画面８００の一例を示した説明図である。

関連情報表示画面８００の右側には、ユーザ番組を視聴中に検索要求を出した映像シーンのサムネイルが表示されている。このうちの１つのサムネイル８０１を選択すると、それに対応する映像シーンが関連情報表示画面８００の中央に、その映像シーンに関して検索された関連情報８２０、８２１、８２２が、関連情報表示画面８００の下側に表示されている。また、番組名、チャンネル、視聴日時などの番組情報は、関連情報表示画面８００の左側に表示されている。番組に戻るボタン８０２を押下すると、通常の番組視聴画面に戻る。

同図に示す例では、画像認識が行われた部分画像８１０、８１１については当該部分画像が囲み表示により表示されている。また、映像情報には含まれないが、関連情報検索に使用された嗜好キーワード８１２が、映像シーンの下側に表示されている。同様に、映像情報に埋め込まれたメタデータが存在する場合は、映像シーンの周囲に表示される。

検索結果である関連情報８２０、８２１は映像下部に表示され、それぞれ検索対象となった部分画像８１０、８１１と線で結んで表示することで対応付けが明示されている。レストランに関する情報である関連情報８２２は、ユーザ嗜好に合致するものが選択されたため、選択に使用された嗜好キーワード８１２と対応付けて表示されている。

このように、第１の実施の形態にかかる情報検索表示装置は、映像情報に基づいて検索した検索結果を、ユーザの嗜好に合わせて選択し、個々のユーザにとって有用な情報だけを画面に表示することができる。また、検索結果である関連情報と、検索の根拠となった映像情報中の部分情報を視覚的に対応付けて明確に表示することができる。これにより、映像情報に関してユーザごとに有用な情報のみを的確に把握することができる。

（第２の実施の形態）
第２の実施の形態にかかる情報検索表示装置は、映像情報から検索キーワードを抽出し、抽出したキーワードをユーザの嗜好に合わせて選別し、選別した検索キーワードにより映像情報中の部分情報に関連する情報を検索し、検索結果である関連情報と、検索の根拠となった部分情報を視覚的に明確に対応付けて画面に表示するものである。

図９は、第２の実施の形態にかかる情報検索表示装置９００の構成を示すブロック図である。同図に示すように、情報検索表示装置９００は、関連情報検索部９１０と、入力部１２１と、検索要求取得部１２２と、表示制御部１２３と、表示部１２４とを備えている。また、第２の実施の形態にかかる情報検索表示装置９００は、ＨＤＤに視聴履歴記憶部１３０と、嗜好キーワード記憶部１３１と、検索履歴記憶部１３２と、映像情報記憶部１４０とを備えている。

関連情報検索部９１０は、メタデータ取得部１１１と、音声認識部１１２と、画像認識部１１３と、検索キーワード生成部１１４と、検索部１１５と、意味解析部１１６と、検索キーワード選択部９１１とを備えている。

図９に示すように、第２の実施の形態においては、関連情報検索部９１０に、検索結果選択部１１７に代えて検索キーワード選択部９１１を追加したことが第１の実施の形態と異なっている。その他の構成および機能は、第１の実施の形態にかかる構成を表すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

検索キーワード選択部９１１は、検索キーワード生成部１１４が生成した検索キーワードから、視聴履歴記憶部１３０、嗜好キーワード記憶部１３１、検索履歴記憶部１３２に記憶されているユーザ嗜好情報を参照してユーザ嗜好情報に関連する検索キーワードを選択する。

このように、第１の実施の形態にかかる情報検索表示装置１００においては、検索結果選択部１１７が、検索結果をユーザの嗜好に合わせて選別したのに対し、第２の実施の形態にかかる情報検索表示装置９００においては、検索キーワードを生成した後、検索を実行する前に、検索キーワードをユーザの嗜好に合わせて選別することにより、個々のユーザに対し有用な関連情報のみを検索する点が異なっている。

次に、このように構成された第２の実施の形態にかかる情報検索表示装置９００による関連情報検索処理について説明する。なお、関連情報を検索し表示する処理の全体の流れは、第１の実施の形態にかかる情報検索表示装置１００におけるフローチャートである図５と同様であるので、その説明を省略する。また、関連情報表示処理の流れは、第１の実施の形態にかかる情報検索表示装置１００におけるフローチャートである図７と同様であるので、その説明を省略する。

図１０は、第２の実施の形態にかかる情報検索表示装置９００における関連情報検索処理の流れを示すフローチャートである。

ステップＳ１００１からステップＳ１００４までの、メタデータ取得処理、音声・画像認識処理、検索キーワード生成処理は、第１の実施の形態にかかる情報検索表示装置１００におけるステップＳ６０１からステップＳ６０４までと同様の処理なので、その説明を省略する。

検索キーワード生成部１１４が検索キーワードを生成した後、検索キーワード選択部９１１が、ユーザの視聴履歴、ユーザの嗜好、過去に検索された関連情報などのユーザに固有の情報であるユーザ嗜好情報を参照して、検索キーワードの選択を行う（ステップＳ１００５）。

ここで、検索キーワードの選択には、検索キーワードからユーザの嗜好に合わないキーワードを除外すること、およびユーザの嗜好を表す情報を検索キーワードとして追加することを含む。例えば、検索キーワード生成部１１４が生成した検索キーワードに“野球”というキーワードが存在する場合でも、嗜好キーワード記憶部１３１に格納された当該ユーザについての嗜好キーワードの番組ジャンルに“野球”が存在しない場合は、その検索キーワードを削除する。また、例えば、検索キーワード生成部１１４が生成した検索キーワードに“レストラン”というキーワードが存在し、ユーザの嗜好キーワードに“和食”が存在した場合は、“和食”を検索キーワードとして追加する。

次に、検索キーワード選択部９１１が選択した検索キーワードを指定して、検索部１１５が、インターネットに対して検索処理を実行する（ステップＳ１００６）。さらに、意味解析部１１６が、検索部１１５が検索した検索結果を受け取り、それぞれの検索結果に含まれる単語に対して意味属性を付与する（ステップＳ１００７）。最後に、関連情報検索部１１０は、関連情報を検索履歴記憶部１３２に格納するとともに、関連情報から形態素解析等により単語を抽出し、嗜好キーワード記憶部１３１に格納する（ステップＳ１００８）。

なお、第１の実施の形態にかかる情報検索表示装置１００と同様、検索の対象はインターネットに接続された検索システムに限るものではなく、あるキーワードに対する関連情報を取得できるものであれば、あらゆる情報格納手段を対象とすることができる。

このように、第２の実施の形態にかかる情報検索表示装置は、ユーザの嗜好に合わせて選択した有用な検索キーワードだけを使用して関連情報を検索し、検索結果の関連情報を画面に表示することができる。これにより、検索処理および検索結果の選択処理の負荷軽減を図ることができる。

第１および第２の実施の形態にかかる情報検索表示装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭなどの記憶装置と、ＨＤＤなどの外部記憶装置と、ディスプレイ装置などの表示装置と、リモコンなどの入力装置と、テレビ受信装置とを備えた、一般的なデジタルテレビに適用することができる。

また、第１および第２の実施の形態にかかる情報検索表示装置は、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えた、通常のコンピュータを利用したハードウェア構成とすることもできる。

第１および第２の実施の形態にかかる情報検索表示装置で実行される情報検索表示プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、第１および第２の実施の形態にかかる情報検索表示装置で実行される情報検索表示プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、第１および第２の実施の形態にかかる情報検索表示装置で実行される情報検索表示プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、第１および第２の実施の形態の情報検索表示プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

第１および第２の実施の形態にかかる情報検索表示装置で実行される情報検索表示プログラムは、上述した各部（検索要求取得部、表示制御部、関連情報検索部、メタデータ取得部、音声認識部、画像認識部、検索キーワード生成部、検索部、意味解析部、検索結果選択部、検索キーワード選択部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から情報検索表示プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、検索要求取得部、表示制御部、関連情報検索部、メタデータ取得部、音声認識部、画像認識部、検索キーワード生成部、検索部、意味解析部、検索結果選択部、検索キーワード選択部が主記憶装置上に生成されるようになっている。

以上のように、本発明にかかる情報検索表示装置、情報検索表示方法および情報検索表示プログラムは、映像情報を表示し、ユーザが映像視聴中または視聴後に映像情報に関連する情報を検索および表示する情報検索表示システムに適している。

第１の実施の形態にかかる情報検索表示装置の構成を示すブロック図である。 視聴履歴記憶部の構造の一例を示す説明図である。 嗜好キーワード記憶部の構造の一例を示す説明図である。 関連情報記憶部の構造の一例を示す説明図である。 第１の実施の形態にかかる情報検索表示装置における関連情報を検索し表示する処理の全体の流れを示すフローチャートである。 第１の実施の形態にかかる情報検索表示装置における関連情報検索処理の流れを示すフローチャートである。 第１の実施の形態にかかる情報検索表示装置における関連情報表示処理の流れを示すフローチャートである。 関連情報表示画面の一例を示す説明図である。 第２の実施の形態にかかる情報検索表示装置の構成を示すブロック図である。 第２の実施の形態にかかる情報検索表示装置における関連情報検索処理の流れを示すフローチャートである。

符号の説明

１００ 情報検索表示装置
１０１ インターネット
１１０ 関連情報検索部
１１１ メタデータ取得部
１１２ 音声認識部
１１３ 画像認識部
１１４ 検索キーワード生成部
１１５ 検索部
１１６ 意味解析部
１１７ 検索結果選択部
１２１ 入力部
１２２ 検索要求取得部
１２３ 表示制御部
１２４ 表示部
１３０ 視聴履歴記憶部
１３１ 嗜好キーワード記憶部
１３２ 検索履歴記憶部
１４０ 映像情報記憶部
８００ 関連情報表示画面
８０１ サムネイル
８０２ 番組に戻るボタン
８１０、８１１ 部分画像
８１２ 嗜好キーワード
８２０、８２１、８２２ 関連情報
９００ 情報検索表示装置
９１０ 関連情報検索部
９１１ 検索キーワード選択部

Claims (12)

1. 映像情報に関連する情報の検索および表示を行う情報検索表示装置において、
   前記映像情報や前記映像情報に関連する情報をユーザに対して表示する表示手段と、
   ユーザの嗜好に関する情報であるユーザ嗜好情報を記憶したユーザ嗜好情報記憶手段と、
   前記ユーザ嗜好情報記憶手段に記憶された前記ユーザ嗜好情報に基づいて、前記映像情報の一部である部分情報および前記ユーザ嗜好情報に関連する情報である関連情報を検索する関連情報検索手段と、
   前記関連情報検索手段が検索した前記関連情報と前記映像情報とを前記表示手段に表示する表示制御手段と、
   を備えたことを特徴とする情報検索表示装置。
2. 前記関連情報検索手段は、
   前記部分情報から検索キーワードを生成する検索キーワード生成手段と、
   前記検索キーワード生成手段が生成した前記検索キーワードを使用して前記部分情報に関連する情報である映像関連情報を検索する検索手段と、
   前記検索手段が検索した前記映像関連情報から、前記ユーザ嗜好情報記憶手段に記憶された前記ユーザ嗜好情報に基づいて、前記関連情報を選択する検索結果選択手段と、
   を備えたことを特徴とする請求項１に記載の情報検索表示装置。
3. 前記ユーザ嗜好情報記憶手段は、前記ユーザ嗜好情報としてユーザの前記映像情報の視聴履歴を記憶し、
   前記検索結果選択手段は、前記ユーザ嗜好情報記憶手段に記憶された前記視聴履歴に基づいて前記関連情報を選択することを特徴とする請求項２に記載の情報検索表示装置。
4. 前記ユーザ嗜好情報記憶手段は、前記ユーザ嗜好情報としてユーザの嗜好を表すキーワードである嗜好キーワードを記憶し、
   前記検索結果選択手段は、前記ユーザ嗜好情報記憶手段に記憶された前記嗜好キーワードに基づいて前記関連情報を選択することを特徴とする請求項２に記載の情報検索表示装置。
5. 前記ユーザ嗜好情報記憶手段は、前記ユーザ嗜好情報としてユーザが前記関連情報を検索した履歴である検索履歴を記憶し、
   前記検索結果選択手段は、前記ユーザ嗜好情報記憶手段に記憶された前記検索履歴に基づいて前記関連情報を選択することを特徴とする請求項２に記載の情報検索表示装置。
6. 前記関連情報検索手段は、
   前記部分情報から検索キーワードを生成する検索キーワード生成手段と、
   前記検索キーワード生成手段が生成した前記検索キーワードから、前記ユーザ嗜好情報記憶手段に記憶された前記ユーザ嗜好情報に基づいて、前記ユーザ嗜好情報に関連する検索キーワードであるユーザ嗜好関連検索キーワードを選択する検索キーワード選択手段と、
   前記キーワード選択手段が選択した前記ユーザ嗜好関連検索キーワードを使用して前記関連情報を検索する検索手段と、
   を備えたことを特徴とする請求項１に記載の情報検索表示装置。
7. 前記ユーザ嗜好情報記憶手段は、前記ユーザ嗜好情報としてユーザの前記映像情報の視聴履歴を記憶し、
   前記検索キーワード選択手段は、前記ユーザ嗜好情報記憶手段に記憶された前記視聴履歴に基づいて前記ユーザ嗜好関連検索キーワードを選択することを特徴とする請求項６に記載の情報検索表示装置。
8. 前記ユーザ嗜好情報記憶手段は、前記ユーザ嗜好情報としてユーザの嗜好を表すキーワードである嗜好キーワードを記憶し、
   前記検索キーワード選択手段は、前記ユーザ嗜好情報記憶手段に記憶された前記嗜好キーワードに基づいて前記ユーザ嗜好関連検索キーワードを選択することを特徴とする請求項６に記載の情報検索表示装置。
9. 前記ユーザ嗜好情報記憶手段は、前記ユーザ嗜好情報としてユーザが前記関連情報を検索した履歴である検索履歴を記憶し、
   前記検索キーワード選択手段は、前記ユーザ嗜好情報記憶手段に記憶された前記検索履歴に基づいて前記ユーザ嗜好関連検索キーワードを選択することを特徴とする請求項６に記載の情報検索表示装置。
10. 前記ユーザ嗜好情報記憶手段は、前記部分情報に基づいて検索された前記関連情報と前記部分情報とを対応付けて記憶し、
    前記表示制御手段は、前記ユーザ嗜好情報記憶手段に記憶された前記関連情報と前記部分情報との対応付けに基づき、前記関連情報と前記部分情報とを対応付けて前記表示手段に表示することを特徴とする請求項１〜９のいずれか１つに記載の情報検索表示装置。
11. 映像情報に関連する情報の検索および表示を行う情報検索表示方法において、
    ユーザの嗜好に関する情報であるユーザ嗜好情報を記憶したユーザ嗜好情報記憶手段に記憶された前記ユーザ嗜好情報に基づいて、前記映像情報の一部である部分情報および前記ユーザ嗜好情報に関連する情報である関連情報を検索する関連情報検索ステップと、
    前記関連情報検索ステップが検索した前記関連情報と前記映像情報とを前記映像情報や前記映像情報に関連する情報をユーザに対して表示する表示手段に表示する表示制御ステップと、
    を備えたことを特徴とする情報検索表示方法。
12. 映像情報に関連する情報の検索および表示を行う情報検索表示プログラムにおいて、
    ユーザの嗜好に関する情報であるユーザ嗜好情報を記憶したユーザ嗜好情報記憶手段に記憶された前記ユーザ嗜好情報に基づいて、前記映像情報の一部である部分情報および前記ユーザ嗜好情報に関連する情報である関連情報を検索する関連情報検索手順と、
    前記関連情報検索手順が検索した前記関連情報と前記映像情報とを前記映像情報や前記映像情報に関連する情報をユーザに対して表示する表示手段に表示する表示制御手順と、
    をコンピュータに実行させる情報検索表示プログラム。

Images