JP2008040891A - 表示システム、その制御方法及びプログラム - Google Patents

Abstract

【課題】ユーザが撮影し保存した動画・静止画を期間が経過して未視聴のまま埋もれてしまっていても、それらを視聴するきっかけを与えてくれる表示システムを提供することを目的とする。
【解決手段】本発明の表示システムは、ユーザが撮影し保存した動画・静止画を記憶する記憶手段１０７と、デジタルＴＶ放送などの映像情報を表示する表示手段１０３と、デジタルＴＶ放送などの映像情報を基に記憶手段１０７で記憶された動画・静止画を検索する検索手段１０６とを有し、検索手段１０６により検索された動画・静止画を表示手段１０３により表示することを特徴とする。
【選択図】図１

Description

本発明は、表示システムに関し、特に、放送された映像の表示や、またその映像を録画したものの再生表示可能で、さらに別途、動画・静止画などを記憶できる表示システム、その制御方法及びプログラムに関する。

従来から、ユーザがビデオやデジタルカメラで撮影した動画・静止画を保存できる表示システムが知られている。この表示システムは、撮像した動画・静止画を一覧表示することができ、この一覧表示の形態も様々である。また、いわゆるHDDレコーダではHDDの容量が近年、増加している。そのため、録画できる番組数が増加してきている。

上述した装置においては、通常のアルバムと違って簡単に目に付くものではない。したがって、ユーザが撮影した動画・静止画を保存したとしても、視聴する意思がなければ、（又は、そのような操作をしないと）当然、撮影した写真などの動画・静止画が視聴されることはない。また、いつか視聴するつもりで保存していたとしても、期間の経過によってそのような写真などを保存していたことさえ忘れてしまう。

また、HDDの大容量化にともない録画する件数が増えているため、一覧表示を行っても、全部の表示をするには時間と手間がかかる。その結果、一覧表示をする機会が少なくなり、録画したにもかかわらず、未視聴のまま埋もれてしまうことがある。

さらに、電子データを記憶する媒体は小型化しているため紛失など管理の面で使いづらいうえ、その媒体に記憶されている内容が分かりづらく、情報にアクセスする機会が減少している。

本発明は上記のような問題点に鑑みてなされたものであり、本発明の表示システムは、第１の情報を記憶する記憶手段と、第２の情報を表示する表示手段と、前記第２の情報を基に前記記憶手段により記憶された第１の情報を検索する検索手段とを有し、前記検索手段により検索された前記第１の情報を前記表示手段により表示することを特徴とするものである。

本発明によれば、第１の情報と共に第２の情報が表示手段によって表示されるので、ユーザが撮影、録画し、未視聴のまま埋もれてしまった動画・静止画を思い出すことができ、視聴するきっかけを与えてくれる。また、一度視聴すれば削除してもよい録画内容の場合は、視聴後録画内容を削除することができ、記憶部の整理を行うことができる。

以下に、本発明にかかる実施形態を図面を用いて説明する。図１は本実施形態である表示システムの構成を示すブロック図であり、ここでは、デジタルＴＶ放送受信機システムを例にあげて説明する。通常、表示システムは、受信データ処理部１０１でデータを受信し、そのデータをデコードし、そのデータを表示制御部１０２で表示形態にあわせ表示部１０３で表示を行う。

デジタルＴＶ放送ではデジタルＴＶ放送データ（第２の情報）として図２に示すような映像情報２０１とデータ情報２０２とを送っている。いずれも受信データ処理部１０１で処理され、表示制御部１０２ではその一方又は両方を、表示部１０３でどのように表示するかを制御している。

また、デジカメでとられた画像などを本システムに記憶させるために、情報ソース供給部１０４とそれから供給されたデータを記憶する記憶部１０７で構成される。情報ソース供給部１０４は、半導体メモリカードの画像データを取り込むためのコネクタとそのコントローラで構成したり、または、USBでデジカメと情報のやりとりをしてデジカメの画像を受け取るための制御を行うブロックで構成することができる。

本実施形態では、さらに、受信データ処理部１０１でデコードされた情報から検索に必要な情報を抽出する情報抽出部１０５と情報抽出部１０５で抽出されたキーワードをもとに、記憶部１０７に記憶されている情報を検索する検索部１０６が設けられている。記憶部１０７に保存されるデータ（第１の情報）は図３に示すように画像データ３０２と、このデータに関する情報タグ３０１とで構成される。あるデータが入学式の写真データであれば、情報タグ３０１には、「入学式」といった情報を記憶しておく。情報タグ３０１への記憶はデジカメで記憶させたり、本システム内で新たに入力、編集してもよい。

図４に記憶部内のデータ構成を示す。ここでは５つのデータ、ファイルの名前でFile1からFile5まで５つのデータがある。それぞれ、情報タグ３０１とそのイメージ実体を有する。たとえば、File1の名前のデータファイルは情報タグ３０１として「入学式」をもち、そのイメージはImage1である。同様にFile2は情報タグ３０１として「卒業式」でそのイメージはImage2である。

図５及び図６に本実施形態における表示部１０３に表示されるの表示形態の一例を示す。デジタルＴＶ放送では５０１で示すような放送映像情報（映像データ）２０１がその内容を示すデータ情報（情報）２０２と共に送られる。その情報２０２の中で映像に関する情報として「入学式」という語句がある。その「入学式」という語句を検索値として記憶部１０７にあるデータの情報タグ３０１の内容を検索し、「入学式」とあったものの画像を図６の６０１のように表示部１０３の隅部に表示を行う。つまり図４のImage1が表示制御部１０２でイメージ化されて表示部１０３に表示される。

図７で示すように、複数の候補があった場合（File1とFile5とFile6とは同じキーワード「入学式」が情報タグにある）には、表示部１０３に一度に表示することが可能である場合にはこれらの表示を行う。しかし、本発明の主眼としているところは、ユーザーの記憶の呼び起こしであるため、これらの中から任意に抽出し、少ない枚数の表示を行うのが効果的である。

その手順としては最初に情報タグ３０１の検索を行い、候補が複数あった場合には任意にその中から抽出を行う。抽出する手段としては、もともとの記憶部１０７にあるファイルをグループ化し、どのグループを選択するかを任意に抽出し、その抽出されたグループの中のファイルでキーワード検索することが考えられる。このグループ化はユーザ指定、システムの任意（日付等）のどちらでも可能である。このグループ化は検索時間を短くする効果がある。さらに、グループ化としてデータがフォルダ分け（階層化）して記憶されているとそのフォルダをグループと同一とみなすことで処理的には短時間でできる。この処理の中で複数の候補があれば、さらにランダムに選択する。

上記実施の形態ではデジタルＴＶ放送を例にあげて説明をした。そして、内容を示す情報２０２は、デジタルＴＶ放送の番組連動型情報である。番組の内容を示す情報としては、あらすじなどがある。そのなかでも、シーン連動型のデータが情報として流れれば、シーンに応じた検索を行うことが可能となる。

次に放送と同時でなく第３の情報であるEPG（電子番組ガイド）データを、内容を示す情報２０２とする場合について、以下に説明する。図８にEPGのデータをもとに検索するシステム構成図を示す。図８は概ね図１と同じであるが、EPG処理部８０１と、EPG処理部８０１で処理なされたEPGデータを記憶するEPG記憶部８０２が追加される。また、情報抽出部８０３、表示制御部８０４は新しく機能が追加される。

EPG処理部８０１は受信データ処理部１０１からのデータストリームを受けて、EPGのデータを、EPG記憶部８０２へ記憶できる形に変換しEPG記憶部８０２に記憶を行う。表示制御部８０４は不図示のEPG表示トリガをうけて、EPG記憶部８０２のデータをもとに、表示を行う機能が追加となる。情報抽出部８０３では現行表示中の放送の映像データを受信データ処理部１０１の出力をもとに解析し、現行表示中の番組に応じたEPG記憶部８０２のデータを検索する。EPG情報の番組タイトル、あらすじなどから語句を抽出し、検索部１０６へ渡す。それ以降は前述の実施形態と同一である。なお、この構成は図１の構成と同じであるので、情報抽出部８０３がデータ放送とEPGと両方に対応するように構成すれば、両方から語句を抽出し検索することが可能となる。

図９にEPGデータをシステム外部より入手する場合の構成図を示す。新たにEPG IO処理部９０１を設け、EPG IO処理部９０１はネットワーク９０２を通じて外部EPGデータベース９０３へアクセスする。これにより、放送を通じて入手できるEPGデータより詳細な情報を入手することが可能となる。EPG IO処理部９０１は定期的に外部データベースへアクセスし、EPG記憶部８０２に蓄えておくことでスムースな処理が可能となる。

図１０に受信データを蓄積するシステムの場合の構成図を示す。新たに蓄積制御部１００１、蓄積部１００２と受信データと蓄積データとの切り替えをする切り替え手段１００３をあらたに追加する。蓄積制御部１００１は不図示のトリガに応じて受信データ処理部１０１のデータを蓄積部１００２に蓄えるべく制御を行う。蓄積されたデータと受信されたデータとの切り替えは１００３で不図示のトリガにより行われる。

これにより、受信データと同時に送られるデータとEPGデータも蓄積できるように構成することで、第１の実施形態と同様に処理ができる。EPGデータに関しては蓄積された放送データに関連するものだけを蓄積するようにすれば記憶領域を有効に利用できる。放送データに含まれる（番組連携データ放送）データや、連携・関連のあるデータ（EPG）は番組のタイトルからの語句抽出であれば、多くはないが、あらすじなどであれば、多くの語句が抽出される。それらすべてについて検索を行うと多くの時間が必要となるので、適度にサンプリングして検索を行うことが考えられる。また、頻度の高い語句のみ検索するという処理であってもよい。

図１１にサンプリングを行い、検索を行うフローチャートを示す。まず、情報抽出部１０５において、Ｓ１１０１で語句を抽出する。この語句の抽出としては、例えば、体言を切り出したり、用言との関連で切り出す手法を用いることができる。次に、Ｓ１１０２で乱数を呼び出す。ここでは０以上、１未満の数字が返ってくる。Ｓ１１０３ではＳ１１０２で呼び出された乱数の値を閾値と比較する。ここで例えば、閾値を0.2として説明する。つまり確率的には約２０％で次の処理Ｓ１１０４へすすみ、約８０％の確率でＳ１１０５の処理へすすむ。Ｓ１１０４において検索部１０６は検索処理を行う。その後、Ｓ１１０５で語句抽出する対象である、あらすじの文章が終わりかどうかを判断する。終わりでない場合には、Ｓ１１０１へ処理は戻り、次の語句を抽出する。Ｓ１１０５であらすじの文章が終わりであればこの処理は終了する。

図１２に頻度に応じて検索をする場合のフローチャートを示す。ここでは最頻度のもので検索を行う。Ｓ１２０１ではＳ１１０１と同様な処理で語句の抽出を行い、Ｓ１２０２で抽出された語句のカウント表を作成する。不図示であるが、このフローに入る前には語句のカウント表には何もうまっておらず、最初に出た語句をまず、「語句」に登録し、カウント数に１を登録する。それ以降、抽出された語句がこの表にあれば、その語句のカウント値を＋１し、なければ、新しい「語句」を登録し、カウント値に１をセットする。つまり図１３で示す表のように、語句に対してその語句がどのくらい存在したかを示す値をカウントしていく。それをあらすじ文章の終わりまで行い、その後、図１３の表をもとに、もっとも現れた語句を検出し、（図１３の表では「入学式」）その語句をもとにＳ１２０５で検索を実行する。

次に抽出された語句からだけでなく、その語句に関連する語句（類似語、関連語）を含めて検索する実施形態の説明をする。図１４にその構成図を示す。新たに類似語関連語辞書１４０１を搭載し、情報抽出部１０５で抽出された語句に関連する語句を類似語関連語辞書１４０１から検索し、抽出された語句とあわせてそれらを検索語とし、記憶部１０７の情報タグの検索を行う。一例をあげると、語句として「桜」とあった場合、類似語関連語辞書１４０１に「花見」が登録されていれば「桜」と「花見」を検索値として情報検索を行う。

このようにすることで、記憶部１０７の情報タグ３０１にまったく一致しなくとも、検索され、その情報が表示されることとなるのでより記憶連想できる状態をかもしだせる。現在放送している番組や、録画している番組の再生中の番組に関連する情報を検索語句として、録画している番組の検索をし、それを上記実施形態と同様に表示してもよい。

なお、番組に関連する情報２０２としてデータ放送（番組連携型）やEPGによる番組のジャンル・カテゴリ、出演者・撮影場所・撮影時期などがある。それらを検索語句として、録画記憶されている番組について検索を行う。録画するときに、データ放送であれば同時に、EPG情報であれば、その録画される番組に関して関連付けして記憶することで、検索するときにはその記憶された情報をもとに検索をすることが可能となる。また、録画時に番組の放送日、チャンネル、時間等が記録されていて、外部に過去EPGデータベースがあれば、それを検索することで同様な機能を実現できる。

上述の実施形態では、第２の情報としてデジタルＴＶ放送を取り上げて説明した。しかし、記憶している第１の情報の再生・表示においても同様なことが可能である。具体的には、図１の構成で、表示制御部１０２へ記憶部１０７の情報を選択し、表示部１０３で再生・表示させる手段を設ける。現在表示している記憶部１０７に記憶されていた情報に関連する情報をさらに記憶部１０７内から検索し、表示させることで実現できる。検索語句は情報タグ３０１に基づくことで容易に達成ができる。

上述の実施形態ではデータ放送として説明した。しかし、表示部１０３へ表示させるソースとして外部からの情報を入力することが可能である。例えば、図９のシステムで受信データ処理部１０１を外部入力処理部に置き換える。この外部入力自体に検索語句を類推できるものが含まれていなければ、EPGの代わりに外部入力ソース、例えばDVDの識別データをもとに外部データベース９０３を検索し、あらすじなどから検索語句を抽出することが可能である。具体的には、例えば入力されているDVDが映画であれば、DVDの識別データ（コンテンツデータ）がわかるので、それから映画自体のあらすじのあるデータベースへの検索を行う。

上述の実施形態ではデジタルＴＶ放送のデータ放送から検索語句の抽出を行ったが、映像信号、音声信号、テロップデータ及びメタデータの中から検索値として抽出することも可能である。情報抽出部の機能として、映像を解析し、その中に存在するオブジェクト自体、オブジェクトの構成、オブジェクトの配置等などから語句を抽出する。例えば、図５の５０１の映像で５０２の「入学式」のタテ看板自体でその「入学式」を文字認識することで「入学式」の語句が抽出できる。また、５０４が学校らしきと認識でき、５０３が桜と認識できれば、この構成では「入学式」と類推ができる。また、音声自体で「入学式」があれば、音声認識により容易に「入学式」の語句が抽出できる。同様に、映像に埋め込まれたテロップ自体からも文字認識することで語句の抽出は可能である。上述したメタデータには、作者名、タイトル、内容の要約、作成日や更新日など、検索する際に有効な検索値となる情報が含まれる。

上述した本発明の実施形態における表示システムを構成する各手段、並びに表示システムの制御方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。

なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システムまたは装置に直接、または遠隔から供給する。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明に係る実施形態の構成を示す図である。 本発明に係る実施形態の受信データの構成を示す図である。 本発明に係る実施形態の記憶データの構成を示す図である。 本発明に係る実施形態の記憶部内のデータ構成を示す図である。 本発明に係る実施形態のＴＶ放送表示例を示す図である。 本発明に係る実施形態のＴＶ放送表示にイメージ情報を同時に表示した例を示す図である。 本発明に係る実施形態の複数候補がある記憶部内の構成を示す図である。 本発明に係る実施形態のEPG対応の構成を示す図である。 本発明に係る実施形態の外部EPGアクセス対応の構成を示す図である。 本発明に係る実施形態の受信データを保存できるようにした構成を示す図である。 本発明に係る実施形態の語句抽出のフローチャートである。 本発明に係る実施形態の頻度をもとに語句抽出する場合のフローチャートである。 本発明に係る実施形態の語句抽出の説明表を示す図である。 本発明に係る実施形態の類似語関連語辞書を加えた構成を示す図である。

符号の説明

１０１ 受信データ処理部
１０２ 表示制御部
１０３ 表示部
１０４ 情報ソース供給部
１０５ 情報抽出部
１０６ 検索部
１０７ 記憶部
２０１ 放送映像情報
２０２ データ情報
３０１ 情報タグ
３０２ 画像データ
６０１ 検索されたイメージの表示
８０１ EPG処理部
８０２ EPGの記憶部
８０３ 情報抽出部
８０４ 表示制御部
９０１ EPG IO処理部
９０２ ネットワーク
９０３ EPGデータベース
１００１ 蓄積制御部
１００２ 蓄積部
１４０１ 類似語関連語辞書

Claims (10)

1. 第１の情報を記憶する記憶手段と、
   第２の情報を表示する表示手段と、
   前記第２の情報を基に前記記憶手段により記憶された第１の情報を検索する検索手段とを有し、
   前記検索手段により検索された前記第１の情報を前記表示手段により表示することを特徴とする表示システム。
2. 前記検索手段は、前記第２の情報に関連する第３の情報を基に、前記記憶手段により記憶された第１の情報を検索することを特徴とする請求項１に記載の表示システム。
3. 前記検索手段により複数の前記第１の情報を検索した場合に、前記検索された複数の第１の情報から任意に前記表示手段により表示することを特徴とする請求項１又は２に記載の表示システム。
4. 前記第２の情報は、デジタルＴＶ放送データであることを特徴とする請求項１〜３のいずれか１項に記載の表示システム。
5. 前記第２の情報は、前記記憶手段により記憶された前記第１の情報であることを特徴とする請求項１〜３のいずれか１項に記載の表示システム。
6. 前記第２の情報は、外部から入力される情報であることを特徴とする請求項１〜３のいずれか１項に記載の表示システム。
7. 前記検索手段は、前記第２の情報の映像、音声、テロップデータ及びメタデータのうち少なくとも１つを検索値として検索することを特徴とする請求項１〜６のいずれか１項に記載の表示システム。
8. 前記検索手段は、前記第２の情報の映像データに含まれるオブジェクトの構成、配置及びオブジェクト自体のうち少なくともいずれか１つを検索値として検索することを特徴とする請求項１〜７のいずれか１項に記載の表示システム。
9. 第１の情報を記憶する記憶ステップと、
   第２の情報を表示する表示ステップと、
   前記第２の情報を基に前記記憶ステップにより記憶された第１の情報を検索する検索ステップと、
   前記検索ステップにより検索された前記第１の情報を表示するステップを有することを特徴とする表示システムの制御方法。
10. 第１の情報を記録部に記憶する記憶ステップと、
    第２の情報を表示部に表示する表示ステップと、
    前記第２の情報を基に前記記憶部に記憶された第１の情報を検索する検索ステップと、
    前記検索ステップにより検索された前記第１の情報を前記表示部に表示するステップをコンピュータに実行させるためのプログラム。

Images