JP2008004985A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】動画コンテンツの内容を把握し易いタイトルリストを容易に生成する。
【解決手段】サムネイルパターン記憶部９２は、所定のシーンの特徴を表すサムネイルパターンを記憶し、マッチングシーン検出部２７２は、動画コンテンツから、サムネイルパターンに合致するシーンを、マッチングシーンとして検出する。さらに、リスト生成部２７４は、動画コンテンツのタイトルと、動画コンテンツから検出されたマッチングシーンのサムネイルとを少なくとも含むタイトルリストを生成する。本発明は、例えば、HDDレコーダに適用することができる。
【選択図】図１０

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えば、HDD(Hard Disk Drive)レコーダなどにおいて、動画コンテンツの内容を把握し易いタイトルリストを容易に生成することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。

従来、例えば、HDDレコーダなどに記憶されている動画コンテンツのタイトルの一覧であるタイトルリストには、例えば、動画コンテンツのタイトルと、その動画コンテンツの、最初に表示される初期シーンのサムネイルとが表示される。

また、例えば、ユーザが、動画コンテンツのうちのシリーズ番組の１の放送回において、放送回などが表示された特徴的なシーンを基準フレームとして設定すると、そのシリーズ番組の異なる放送回からは、設定された基準フレームと相関の高いフレームがサムネイルとする画像として抽出されるサムネイル抽出技術が、開示されている（例えば、特許文献１を参照）。
特開２００５−２９４９０４号公報

しかしながら、例えば、連続ドラマなどのシリーズ番組については、一般に、放送回が異なっても、初期シーンは、例えば、所定の背景に、タイトルが表示された同一のシーンであるので、タイトルリストにおいて、複数の異なる放送回の初期シーンのサムネイルを表示しても、ユーザは、タイトルやサムネイルから何の連続ドラマであるかは把握することはできるが、放送回、つまり、動画コンテンツが第何話の内容のものであるかを把握することは困難であった。

なお、特許文献１に記載されているサムネイル抽出技術では、基準フレームと相関の高いフレームが、サムネイルとする画像として抽出されるため、例えば、同一のシリーズ番組において、放送回などが表示された特徴的なシーンが、基準フレームの背景などと異なる場合には、特徴的なシーンが抽出されないことがあり得る。

本発明は、このような状況に鑑みてなされたものであり、動画コンテンツの内容を把握し易いタイトルリストを容易に生成することができるようにするものである。

本発明の一側面の情報処理装置は、記録媒体に記録された動画コンテンツのタイトルの一覧であるタイトルリストを生成する情報処理装置であり、所定のシーンの特徴を表すサムネイルパターンを記憶するサムネイルパターン記憶手段と、前記動画コンテンツから、前記サムネイルパターンに合致するシーンを、マッチングシーンとして検出するマッチングシーン検出手段と、前記動画コンテンツのタイトルと、前記動画コンテンツから検出されたマッチングシーンのサムネイルとを少なくとも含むタイトルリストを生成するタイトルリスト生成手段とを備える。

一側面の情報処理装置には、ユーザにより操作される操作手段の操作により指定された動画コンテンツのシーンに基づいて、前記サムネイルパターンを算出するサムネイルパターン算出手段をさらに設けることができ、前記サムネイルパターン記憶手段には、前記サムネイルパターン算出手段により算出された前記サムネイルパターンを記憶させることができる。

前記サムネイルパターン記憶手段には、動画コンテンツのうちのシリーズ番組のタイトルまたはシリーズ名と対応付けて、前記サムネイルパターンを記憶させることができ、前記マッチングシーン検出手段には、前記動画コンテンツから、その動画コンテンツのタイトルまたはシリーズ名と一致するタイトルまたはシリーズ名と対応付けられているサムネイルパターンに合致するシーンを、マッチングシーンとして検出させることができる。

一側面の情報処理装置には、前記マッチングシーンから、文字を検出する文字検出手段をさらに設けることができ、前記タイトルリスト生成手段には、前記文字検出手段により検出された文字をさらに含むタイトルリストを生成させることができる。

前記サムネイルパターンは、前記所定のシーンに表示されている文字の文字領域を表すパラメータ、動画コンテンツにおいて前記所定のシーンが開始される開始時刻を表すパラメータ、または前記所定のシーンが継続する継続時間を表すパラメータのうちの少なくとも１つのパラメータで構成することができる。

本発明の一側面の情報処理方法、またはプログラムは、記録媒体に記録された動画コンテンツのタイトルの一覧であるタイトルリストを生成する情報処理方法、または記録媒体に記録された動画コンテンツのタイトルの一覧であるタイトルリストを生成する情報処理をコンピュータに実行させるプログラムにおいて、前記動画コンテンツから、所定のシーンの特徴を表すサムネイルパターンに合致するシーンを、マッチングシーンとして検出し、
前記動画コンテンツのタイトルと、前記動画コンテンツから検出されたマッチングシーンのサムネイルとを少なくとも含むタイトルリストを生成するステップを含む。

本発明の一側面においては、前記動画コンテンツから、所定のシーンの特徴を表すサムネイルパターンに合致するシーンが、マッチングシーンとして検出され、前記動画コンテンツのタイトルと、前記動画コンテンツから検出されたマッチングシーンのサムネイルとを少なくとも含むタイトルリストが生成される。

本発明によれば、動画コンテンツの内容を把握し易いタイトルリストを容易に生成することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の情報処理装置は、記録媒体に記録された動画コンテンツのタイトルの一覧であるタイトルリストを生成する情報処理装置（例えば、図１のHDDレコーダ３１）において、所定のシーンの特徴を表すサムネイルパターンを記憶するサムネイルパターン記憶手段（例えば、図１のサムネイルパターン記憶部９２）と、前記動画コンテンツから、前記サムネイルパターンに合致するシーンを、マッチングシーンとして検出するマッチングシーン検出手段（例えば、図１０のマッチングシーン検出部２７２）と、前記動画コンテンツのタイトルと、前記動画コンテンツから検出されたマッチングシーンのサムネイルとを少なくとも含むタイトルリストを生成するタイトルリスト生成手段（例えば、図１０のリスト生成部２７４）とを備える。

一側面の情報処理装置は、ユーザにより操作される操作手段（例えば、図１のリモートコントローラ３３）の操作により指定された動画コンテンツのシーンに基づいて、前記サムネイルパターンを算出するサムネイルパターン算出手段（例えば、図４のサムネイルパターン算出部１８４）をさらに備え、前記サムネイルパターン記憶手段は、前記サムネイルパターン算出手段により算出された前記サムネイルパターンを記憶する。

一側面の情報処理装置は、前記マッチングシーンから、文字を検出する文字検出手段（例えば、図１０の文字検出部２７３）をさらに備え、前記タイトルリスト生成手段は、前記文字検出手段により検出された文字をさらに含むタイトルリストを生成する。

本発明の一側面の情報処理方法、またはプログラムは、記録媒体に記録された動画コンテンツのタイトルの一覧であるタイトルリストを生成する情報処理方法、または記録媒体に記録された動画コンテンツのタイトルの一覧であるタイトルリストを生成する情報処理をコンピュータに実行させるプログラムにおいて、前記動画コンテンツから、所定のシーンの特徴を表すサムネイルパターンに合致するシーンを、マッチングシーンとして検出し（例えば、図１４のステップＳ９５）、前記動画コンテンツのタイトルと、前記動画コンテンツから検出されたマッチングシーンのサムネイルとを少なくとも含むタイトルリストを生成する（例えば、図１４のステップＳ１００）ステップを含む。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用したHDD（Hard Disk Drive）レコーダシステムの一実施の形態の構成例を示すブロック図である。

HDDレコーダシステムは、HDDレコーダ３１、アンテナ３２、リモートコントローラ３３、スピーカ３４、およびディスプレイ３５により構成される。

HDDレコーダ３１は、チューナ６１、映像処理部６２、HDD６３、サムネイルパターン登録部６４、タイトルリスト登録部６５、および受光部６６により構成される。

チューナ６１は、アンテナ３２から供給されるＲＦ（Radio Frequency）信号を受信し、所定のチャンネル（周波数帯域）で放送される、動画コンテンツである番組の音声信号と映像信号とを検波、復調などして、映像処理部６２に供給する。

また、チューナ６１は、アンテナ３２から供給されるＲＦ信号から、適宜、EPG(Electronic Program Guide)データを取得し、映像処理部６２に供給する。

映像処理部６２は、チューナ６１から供給されたEPGデータを、HDD６３の動画コンテンツ記憶部９１に供給し、記憶させる。ここで、EPGデータには、番組のタイトルや、その番組がシリーズ番組であるか否かを表すシリーズ情報（シリーズ名を含む）、放送日時などが含まれている。

また、映像処理部６２は、番組の録画や、録画された番組の再生を制御する。即ち、映像処理部６２は、チューナ６１から供給された番組の音声信号と映像信号とを、動画コンテンツ記憶部９１に供給し、記憶させる。また、映像処理部６２は、動画コンテンツ記憶部９１に記憶された番組の音声信号と映像信号とを読み出し、それぞれ、スピーカ３４とディスプレイ３５とに供給する。

さらに、映像処理部６２は、チューナ６１または動画コンテンツ記憶部９１から供給される番組の音声信号を、スピーカ３４により音声として出力することができる信号に復号し、スピーカ３４に供給する。

また、映像処理部６２は、チューナ６１または動画コンテンツ記憶部９１から供給される番組の映像信号を、ディスプレイ３５により映像として表示することができる信号に復号し、ディスプレイ３５に供給して、表示させる。

その他、映像処理部６２は、HDD６３の動画コンテンツ記憶部９１に記憶（録画）された番組のタイトルの一覧であるタイトルリストを、HDD６３のタイトルリスト記憶部９３から読み出し、ディスプレイ３５に供給して、表示させる。

HDD６３は、各種の情報を記憶する。

即ち、HDD６３の一部の記憶領域である動画コンテンツ記憶部９１は、映像処理部６２から供給されるEPGデータや番組（の音声信号と映像信号）を記憶する。

また、HDD６３の他の一部の記憶領域であるサムネイルパターン記憶部９２は、サムネイルパターンを記憶する。ここで、サムネイルパターンとは、所定のシーンの特徴を表すパラメータであり、その詳細については、後述する。

HDD６３の、さらに他の一部の記憶領域であるタイトルリスト記憶部９３は、タイトルリスト登録部６５から供給されるタイトルリストを記憶する。

サムネイルパターン登録部６４は、サムネイルパターンを取得し、サムネイルパターン記憶部９２に供給して記憶させる。

即ち、例えば、サムネイルパターンが、インターネットのWebサーバで提供されている場合には、サムネイルパターン登録部６４は、Webサーバからサムネイルパターンをダウンロードし、サムネイルパターン記憶部９２に供給して記憶させる。

また、サムネイルパターン登録部６４は、例えば、ユーザの要求に応じて、サムネイルパターンを算出（生成）し、サムネイルパターン記憶部９２に供給して記憶させる。

タイトルリスト登録部６５は、動画コンテンツ記憶部９１に記憶（録画）された番組について、サムネイルを含むタイトルリストを生成し、タイトルリスト記憶部９３に供給して記憶させる。

即ち、タイトルリスト登録部６５は、動画コンテンツ記憶部９１に記憶された番組から、サムネイルパターン記憶部９２に記憶されたサムネイルパターンに合致するシーンを、マッチングシーンとして検出する。さらに、タイトルリスト登録部６５は、動画コンテンツ記憶部９１に記憶された番組のタイトルと、その番組から検出したマッチングシーンのサムネイルとを少なくとも含むタイトルリストを生成し、タイトルリスト記憶部９３に供給して、記憶させる。

受光部６６は、リモートコントローラ３３から出射される操作信号を受信（受光）し、チューナ６１、映像処理部６２、サムネイルパターン登録部６４、またはタイトルリスト登録部６５に供給する。このとき、チューナ６１、映像処理部６２、サムネイルパターン登録部６４、またはタイトルリスト登録部６５は、リモートコントローラ３３から受光部６６を介して供給された操作信号に応じた各種の処理を行う。

アンテナ３２は、地上波または衛星波などのデジタルテレビジョン放送波（EPGデータを含む）を受信し、その結果得られるＲＦ信号をチューナ３２に供給する。

リモートコントローラ３３は、例えば、電源ボタンや、チャンネルボタンなどを有し、ユーザにより操作される。また、リモートコントローラ３３は、ユーザによるリモートコントローラ３３の操作に対応した操作信号を、赤外線などの無線により、HDDレコーダ３１（受光部６６）に出射する。

スピーカ３４は、映像処理部６２から供給された信号に対応する音声を出力する。

ディスプレイ３５は、映像処理部６２から供給された信号に対応する映像を表示する。

図２は、ディスプレイ３５に表示されるタイトルリストを示す図である。

タイトルリストには、動画コンテンツ記憶部９１に記憶されている番組に対応する、その番組に関する情報が表示される矩形の番組表示欄１３１が垂直方向に配列されて表示される。

番組表示欄１３１には、その番組表示欄１３１に対応する番組のタイトル１４１、サブタイトル１４２、放送日時１４３、および番組のあるシーンのサムネイル１４４が表示される。

また、タイトルリストには、番組表示欄１３１を囲むようにカーソル１３２が表示される。ユーザは、リモートコントローラ３３を操作することにより、カーソル１３２が囲んでいる番組表示欄１３１に対応する番組の削除や再生を行うことができる。

なお、タイトルリストを構成する番組表示欄１３１の数が所定数以上の場合、スクロールバー１３３が表示され、ユーザは、リモートコントローラ３３を操作することにより、タイトルリストに表示されている番組表示欄１３１をスクロールすることができる。

次に、図３のフローチャートを参照して、図１の映像処理部６２が、図２のタイトルリストをディスプレイ３５に表示させる表示処理を説明する。

この表示処理は、例えば、ユーザが、タイトルリストをディスプレイ３５に表示させるように、リモートコントローラ３３を操作したときに、開始される。このとき、ユーザによるリモートコントローラ３３の操作に応じた操作信号が、リモートコントローラ３３から受光部６６を介して、映像処理部６２に供給される。

ステップＳ３１において、映像処理部６２は、受光部６６からの操作信号に応じて、タイトルリストを、タイトルリスト記憶部９３から読み出し、ステップＳ３２に進む。

ステップＳ３２において、映像処理部６２は、タイトルリスト記憶部９３から読み出したタイトルリストを、ディスプレイ３５に供給する。これにより、ディスプレイ３５は、図２に示したようなタイトルリストを表示する。

その後、表示処理は終了される。

図４は、ユーザの要求に応じてサムネイルパターンを生成する図１のサムネイルパターン登録部６４の詳細な構成例を示すブロック図である。

即ち、サムネイルパターン登録部６４においては、ディスプレイ３５に番組の映像が表示されているときに、ユーザが、そのディスプレイ３５に表示された映像を見て、所望のシーンを指示するように、リモートコントローラ３３を操作すると、そのリモートコントローラ３３の操作によって指示されたシーンに基づき、サムネイルパターンを生成することができる。図４は、そのようなサムネイルパターン登録部６４の構成例を示している。

図４において、サムネイルパターン登録部６４は、ユーザ設定シーン検出部１８１、静止領域判定部１８２、文字領域判定部１８３、およびサムネイルパターン算出部１８４により構成される。

ユーザ設定シーン検出部１８１は、図１の受光部６６から供給された操作信号に基づいて、図１の動画コンテンツ記憶部９１に記憶されている番組の、複数の連続するフレームを、ユーザ設定シーンとして設定する。

さらに、ユーザ設定シーン検出部１８１は、ユーザ設定シーンを、動画コンテンツ記憶部９１から読み出し、静止領域判定部１８２に供給する。

静止領域判定部１８２は、ユーザ設定シーン検出部１８１から供給されたユーザ設定シーンから、動きの（殆ど）ない領域を検出する。即ち、静止領域判定部１８２は、ユーザ設定シーンを構成する各フレーム（またはフィールド）の動きベクトルに基づき、各フレームにおいて動きのない静止領域を検出する。

そして、静止領域判定部１８２は、ユーザ設定シーン検出部１８１から供給されたユーザ設定シーンを、静止領域を表す情報とともに、文字領域判定部１８３に供給する。

ここで、静止領域の検出に用いる動きベクトルは、例えば、静止領域判定部１８２が、ユーザ設定シーンを構成する各フレームから検出する。また、動画コンテンツ記憶部９１において、番組が、例えば、MPEG(Moving Picture Expert Group)ストリームとして記憶されている場合には、そのMPEGストリームに含まれる動きベクトルを、そのまま、静止領域の検出に用いることができる。この場合、静止領域判定部１８２では、動きベクトルの検出を行う必要はない。

文字領域判定部１８３は、静止領域判定部１８２から供給されたユーザ設定シーンを構成する複数のフレームの静止領域の中から、文字を含んでいる領域である文字領域を検出する。そして、文字領域判定部１８３は、ユーザ設定シーンを構成する複数のフレームのうちの文字領域が検出されたフレームを、文字領域ありシーンとして、文字領域を表す情報とともに、サムネイルパターン算出部１８４に供給する。

サムネイルパターン算出部１８４は、文字領域判定部１８３から供給された文字領域ありシーンに基づいて、サムネイルパターンを算出（生成）し、そのサムネイルパターンの算出に用いた番組のタイトルまたはシリーズ名と対応付けて、サムネイルパターン記憶部９２に供給して記憶させる。

次に、図５乃至図７を参照して、図４のサムネイルパターン登録部６４で行われるサムネイルパターンの生成を、より具体的に説明する。

図５は、ユーザ設定シーン検出部１８１における処理を説明する図である。

例えば、動画コンテンツ記憶部９１に、タイトルまたはシリーズ名が「AAAA」のシリーズ番組（以下、適宜、シリーズ番組「AAAA」ともいう）が記憶されており、ユーザが、そのシリーズ番組「AAAA」のサムネイルパターンを生成するように、リモートコントローラ３３を操作すると、シリーズ番組「AAAA」は、動画コンテンツ記憶部９１から読み出され、映像処理部６２を介して、ディスプレイ３５に供給され、そのシリーズ番組「AAAA」の映像が表示される。

そして、ディスプレイ３５に、サムネイルパターンとしたいシーン（フレーム）が表示されたときに、ユーザが、そのシーンを指定するように、リモートコントローラ３３を操作すると、その操作に対応した操作信号が、リモートコントローラ３３から受光部６６を介してユーザ設定シーン検出部１８１に供給される。

ユーザ設定シーン検出部１８１は、リモートコントローラ３３からの操作信号に応じて、ユーザがリモートコントローラ３３を操作したときにディスプレイ３５に表示されていたフレームを、ユーザが指定した指定フレームとして特定し、その指定フレームを中心とする複数のフレーム、即ち、例えば、図５に示すように、指定フレーム、並びに、指定フレームの直前の４フレーム、および指定フレームの直後の４フレームの、合計で９フレームを、ユーザ設定シーンとして設定し、静止領域判定部１８２に供給する。

図６は、静止領域判定部１８２における処理を説明する図である。

静止領域判定部１８２は、ユーザ設定シーン検出部１８１から供給されたユーザ設定シーンを構成する複数のフレームそれぞれについて、動きベクトルの大きさが（殆ど）０のブロックを、動きなしブロックとして検出し、その動きなしブロックの領域を静止領域として検出する。

図６では、ユーザ設定シーンを構成する９フレームについて、図中、斜線を付してある部分が、静止領域として検出されている。

図７は、文字領域判定部１８３およびサムネイルシーン算出部１８４における処理を説明する図である。

文字領域判定部１８３は、静止領域判定部１８２からのユーザ設定シーンを構成する複数のフレームの静止領域から、文字が表示されている文字領域を検出する。さらに、文字領域判定部１８３は、同一の文字が表示されている文字領域を検出し、その同一の文字が表示されている文字領域を有する、連続するフレームを、文字領域ありシーンとして、サムネイルパターン算出部１８４に供給する。

図７では、ユーザ設定シーンを構成する９フレームの先頭から４，５，６番目の３つのフレームの静止領域から、同一の文字が表示されている文字領域（図中、斜線を付してある部分）が検出され、これにより、その３つのフレームが、文字領域ありシーンとされている。

サムネイルパターン算出部１８４は、文字領域判定部１８３からの文字領域ありシーンから、サムネイルパターンを生成する。

即ち、サムネイルパターン算出部１８４は、例えば、図７に示すように、文字領域ありシーンの各フレームにおいて、同一の文字が表示されている文字の位置や大きさなどの文字領域を表すパラメータＰ２、シリーズ番組「AAAA」において文字領域ありシーンの表示が開始される開始時刻（シリーズ番組「AAAA」の先頭を基準とする相対時刻）を表すパラメータＰ３、および、文字領域ありシーンが継続する継続時間を表すパラメータＰ４を求める。

そして、サムネイルパターン算出部１８４は、パラメータＰ２，Ｐ３，Ｐ４を、サムネイルパターンとして、そのサムネイルパターンが得られたシリーズ番組「AAAA」のタイトルまたはシリーズ名を表すパラメータＰ１と対応付け、サムネイルパターン記憶部９２に供給して記憶させる。

図８は、サムネイルパターン記憶部９２に記憶されたサムネイルパターンを示す図である。

サムネイルパターン記憶部９２において、サムネイルパターンとしてのパラメータＰ２乃至Ｐ４は、そのサムネイルパターンを得るのに用いた番組のタイトルまたはシリーズ名を表すパラメータＰ１と対応付けられて記憶される。

なお、図８において、１行目のサムネイルパターンは、デフォルトのサムネイルパターンであり、このサムネイルパターンには、番組のタイトルまたはシリーズ名を表すＰ１は対応付けられていない。

ここで、デフォルトのサムネイルパターンとは、サムネイルパターン記憶部９２において、サムネイルパターンと対応付けられて記憶されているタイトルまたはシリーズ名と一致しないタイトルまたはシリーズ名の番組について、タイトルリストを生成する場合に用いられるサムネイルパターンである。

従って、デフォルトのサムネイルパターンは、どのような番組に対しても、ある程度の精度で所定のシーンを検出することができるサムネイルパターンであることが望ましい。このため、デフォルトのサムネイルパターンには、サムネイルパターン登録部６４で生成されたサムネイルパターンと比較して、大きめの文字領域を表すパラメータＰ２や、長めの継続時間を表すパラメータＰ４などの、いわば大まかなパラメータが採用される。

なお、デフォルトのサムネイルパターンは、例えば、番組の所定のシーンに表示される文字の文字領域や、その所定のシーンの開始時刻および継続時間などの統計の結果に基づいて決定される。

また、連続ドラマなどのシリーズ番組は、オープニングのシーンから始まり、CM(Commercial Message)に遷移して、その後、その連続ドラマのサブタイトルなどが表示されたシーンに遷移することが多いため、HDDレコーダ３１がCMを検出することができる場合には、番組の開始後、最初のCM明けに、所定の時間だけ表示されるシーンを検出するサムネイルパターンを、デフォルトのサムネイルパターンとして採用することができる。

次に、図９のフローチャートを参照し、図４のサムネイルパターン登録部６４における処理を説明する。

この処理は、例えば、ユーザが、あるシリーズ番組のサムネイルパターンを生成するように、リモートコントローラ３３を操作すると、開始される。このとき、その操作に対応した操作信号が、リモートコントローラ３３から受光部６６を介してサムネイルパターン登録部６４のユーザ設定シーン検出部１８１に供給される。

ステップＳ６１において、ユーザ設定シーン検出部１８１は、リモートコントローラ３３から受光部６６を介して供給された操作信号に応じて、あるシリーズ番組を動画コンテンツ記憶部９１から読み出し、映像処理部６２を介して、ディスプレイ３５に供給する。これにより、ディスプレイ３５には、あるシリーズ番組の映像が表示される。

そして、ディスプレイ３５に、サムネイルパターンとしたいシーンが表示されたときに、ユーザが、そのシーンを指定するように、リモートコントローラ３３を操作すると、その操作に対応した操作信号が、リモートコントローラ３３から受光部６６を介してユーザ設定シーン検出部１８１に供給される。

その後、ステップＳ６１からステップＳ６２に進み、ユーザ設定シーン検出部１８１は、リモートコントローラ３３からの操作信号に応じて、ユーザがリモートコントローラ３３を操作したときにディスプレイ３５に表示されていたフレームを、ユーザが指定した指定フレームとして特定し、例えば、図５で説明したように、その指定フレームを中心とする複数のフレームを、ユーザ設定シーンとして設定して、静止領域判定部１８２に供給する。

ステップＳ６２からステップＳ６３に進み、静止領域判定部１８２は、例えば、図６で説明したように、ユーザ設定シーン検出部１８１から供給されたユーザ設定シーンを構成する複数のフレームそれぞれについて、静止領域を検出し、静止領域を表す情報とともに、ユーザ設定シーンを、文字領域判定部１８３に供給して、ステップＳ６４に進む。

ステップＳ６４において、文字領域判定部１８３は、例えば、図７で説明したように、静止領域判定部１８２から供給されたユーザ設定シーンを構成する複数のフレームの静止領域の中から、文字領域を検出し、ユーザ設定シーンを構成する複数のフレームのうちの文字領域が検出されたフレームを、文字領域ありシーンとして、文字領域を表す情報とともに、サムネイルパターン算出部１８４に供給して、ステップＳ６５に進む。

ステップＳ６５において、サムネイルパターン算出部１８４は、例えば、図７で説明したように、文字領域判定部１８３から供給された文字領域ありシーンに基づいて、サムネイルパターンを算出（生成）し、ステップＳ６６に進み、算出したサムネイルパターンを、そのサムネイルパターンの算出に用いた番組のタイトルまたはシリーズ名と対応付けて、サムネイルパターン記憶部９２に供給して記憶させる。

その後、処理は終了される。

以上のように、あるシリーズ番組について、ユーザが指定したフレームから設定されたユーザ設定シーンに基づいて、サムネイルパターンを生成する場合には、そのシリーズ番組の各放送回を区別することができるような、例えば、サブタイトルが表示されたシーンなどの特徴的なシーンのフレームを、ユーザに指定してもらうことにより、シリーズ番組の各放送回を区別することができるシーンを検出することができるサムネイルパターンを得ることができる。

図１０は、図１のタイトルリスト登録部６５の詳細な構成例を示すブロック図である。

タイトルリスト登録部６５は、サムネイルパターン検索部２７１、マッチングシーン検出部２７２、文字検出部２７３、およびリスト生成部２７４により構成される。

サムネイルパターン検索部２７１は、動画コンテンツ記憶部９１に記憶された番組の中から、タイトルリストの生成の対象とする番組を、対象番組として読み出し、その対象番組のタイトルまたはシリーズ名に基づいて、サムネイルパターン記憶部９２からサムネイルパターンを読み出す。

さらに、サムネイルパターン検索部２７１は、動画コンテンツ記憶部９１から読み出した対象番組と、サムネイルパターン記憶部９２から読み出したサムネイルパターンとを、マッチングシーン検出部２７２に供給する。

マッチングシーン検出部２７２は、サムネイルパターン検索部２７１から供給された対象番組から、同じくサムネイルパターン検索部２７１から供給されたサムネイルパターンに合致（マッチ）するシーンをマッチングシーンとして検出し、文字検出部２７３およびリスト生成部２７４に供給する。

文字検出部２７３は、マッチングシーン検出部２７２から供給されたマッチングシーンに、文字が表示されているか否かを判定し、文字が表示されていると判定した場合、その文字をマッチングシーンから検出し、リスト生成部２７４に供給する。なお、文字の検出に用いる文字認識（検出）手法としては、特に限定されるものではなく、どのような手法を用いてもよい。

リスト生成部２７４は、マッチングシーン検出部２７２から供給されたマッチングシーンを、所定の縮小率で縮小し、サムネイルを生成する。また、リスト生成部２７４は、生成したサムネイルと、文字検出部２７３からの文字が供給された場合には、その文字とを用いて、対象番組に対応する、上述した図２に示した番組表示欄１３１を生成する。

さらに、リスト生成部２７４は、タイトルリスト記憶部９３からタイトルリストを読み出し、そのタイトルリストに、対象番組に対応する番組表示欄１３１を追加することで、新たなタイトルリストを生成する。そして、リスト生成部２７４は、新たなタイトルリストを、タイトルリスト記憶部９３に供給し、上書きする形で、記憶させる。

次に、図１１乃至図１３を参照し、タイトルリスト登録部６５における処理を、より具体的に説明する。

図１１は、図１のサムネイルパターン記憶部９２に記憶されたサムネイルパターンを模式的に示す図である。

図１１には、シリーズ番組「AAAA」のタイトルまたはシリーズ名を表すパラメータＰ１に対応付けられたサムネイルパターンとして、文字領域ありシーンに表示されている文字領域を表すパラメータＰ２、シリーズ番組「AAAA」において文字領域ありシーンが開始される開始時刻を表すパラメータＰ３、および、文字領域ありシーンが継続する継続時間を表すパラメータＰ４が表されている。

図１２は、マッチングシーン検出部２７２における処理を説明する図である。

図１２は、対象番組を構成するフレームの時系列を示している。

マッチングシーン検出部２７２は、図１２の対象番組から、図１１のサムネイルパターンとしてのパラメータＰ３が表す開始時刻から、パラメータＰ４が表す継続時間内のフレームを、マッチング基準シーンとして検出する。図１２では、３フレームからなるマッチング基準シーンが検出されている。

また、マッチングシーン検出部２７２は、マッチング基準シーンの直前の複数のフレームとしての、例えば、３フレームと、直後の複数のフレームとしての、例えば、３フレームとを、マッチング基準シーンに加え、マッチング対象シーンとする。図１２では、９フレームがマッチング対象シーンとなっている。

そして、マッチングシーン検出部２７２は、マッチング対象シーンを構成するフレームから、サムネイルパターンとしてのパラメータＰ２が表す文字領域と一致する領域に文字が表示されているフレームを、マッチングシーンとして検出する。図１２では、４フレームがマッチングシーンとして検出されている。

さらに、マッチングシーン検出部２７２は、マッチングシーンとしてのフレームを、文字検出部２７３およびリスト生成部２７４に供給する。なお、マッチングシーンが複数のフレームで構成される場合には、マッチングシーン検出部２７２は、その複数のフレームのうちの、例えば、最初の１フレームを、文字検出部２７３およびリスト生成部２７４に供給する。

図１３は、文字検出部２７３における処理を説明する図である。

マッチングシーン検出部２７２から文字検出部２７３に対しては、例えば、図１３に示すような、下部に、サブタイトルの文字列が表示されたマッチングシーンとしてのフレームが供給される。

文字検出部２７３は、所定の文字認識手法を用いて、マッチングシーン検出部２７２からのマッチングシーンに表示された文字列を検出し、リスト生成部２７４に供給する。

次に、図１４のフローチャートを参照して、図１０のタイトルリスト登録部６５における処理を説明する。

この処理は、例えば、HDD６３の動画コンテンツ記憶部９１への録画が終了した直後の番組や、ユーザによるリモートコントローラ３３の操作によって指定された番組を、対象番組として行われる。

ステップＳ９１において、サムネイルパターン検索部２７１は、対象番組を、動画コンテンツ記憶部９１から読み出し、ステップＳ９２に進み、対象番組のタイトルまたはシリーズ名と一致するパラメータＰ１に対応付けられたサムネイルパターンが、サムネイルパターン記憶部９２に登録（記憶）されているかどうかを判定する。

ステップＳ９２において、サムネイルパターン検索部２７１は、対象番組のタイトルまたはシリーズ名と一致するパラメータＰ１に対応付けられたサムネイルパターンが、サムネイルパターン記憶部９２に登録されていると判定した場合、ステップＳ９３に進み、サムネイルパターン記憶部９２から、対象番組のタイトルまたはシリーズ名と一致するパラメータＰ１に対応付けられたサムネイルパターンを読み出す。

一方、ステップＳ９２において、サムネイルパターン検索部２７１は、対象番組のタイトルまたはシリーズ名と一致するパラメータＰ１に対応付けられたサムネイルパターンが、サムネイルパターン記憶部９２に登録されていないと判定した場合、ステップＳ９４に進み、サムネイルパターン記憶部９２から、デフォルトのサムネイルパターンを読み出す。

ステップＳ９３またはステップＳ９４における処理の終了後、サムネイルパターン検索部２７１は、動画コンテンツ記憶部９１から読み出した対象番組と、サムネイルパターン記憶部９２から読み出したサムネイルパターンとを、マッチングシーン検出部２７２に供給し、ステップＳ９５に進む。

ステップＳ９５において、マッチングシーン検出部２７２は、サムネイルパターン検索部２７１から供給された対象番組から、同じくサムネイルパターン検索部２７１から供給されたサムネイルパターンに合致（マッチ）するシーンをマッチングシーンとして検出し、文字検出部２７３およびリスト生成部２７４に供給して、ステップＳ９６に進む。

ステップＳ９６において、文字検出部２７３は、マッチングシーン検出部２７２から供給されたマッチングシーンに、文字が表示されているか否かを判定し、文字が表示されていないと判定した場合、ステップＳ９８に進む。

一方、ステップＳ９６において、文字検出部２７３は、文字が表示されていると判定した場合、ステップＳ９７に進み、その文字をマッチングシーンから検出し、リスト生成部２７４に供給して、ステップＳ９８に進む。

ステップＳ９８において、リスト生成部２７４は、マッチングシーン検出部２７２から供給されたマッチングシーンを、所定の縮小率で縮小し、サムネイルを生成して、ステップＳ９９に進み、生成したサムネイルと、文字検出部２７３からの文字が供給された場合には、その文字とを用いて、対象番組に対応する番組表示欄を生成し、ステップＳ１００に進む。

ステップＳ１００において、リスト生成部２７４は、タイトルリスト記憶部９３からタイトルリストを読み出し、そのタイトルリストに、対象番組に対応する番組表示欄を追加することで、新たなタイトルリストを生成する。また、ステップＳ１００において、リスト生成部２７４は、生成した新たなタイトルリストを、タイトルリスト記憶部９３に供給し、上書きする形で、記憶させる。

その後、処理は終了される。

以上のように、サムネイルパターンを用いて、所定のシーンとして、例えば、番組の特徴的なシーンを検出し、そのシーンのサムネイルを、タイトルリストに表示させるようにしたので、ユーザは、タイトルリストに表示されたサムネイルを閲覧するだけで、番組の内容を、容易に把握することができる。

また、マッチングシーン検出部２７２により検出されたマッチングシーンに、放送回やサブタイトルなどの文字が表示されている場合には、その文字を検出し、タイトルリストに表示させることができるため、ユーザは、サムネイルに加えて、その文字を参照することにより、例えば、シリーズ番組の各放送回を、容易に把握することができる。

なお、検出した文字（列）が、番組のタイトルである場合や、同一の文字を複数検出した場合には、検出した文字を、タイトルリストに表示しないようにすることができる。これにより、タイトルリストの番組表示欄１３１に、同じ文字が２重に表示されることを防止することができる。

また、文字検出部２７３により検出された文字をタイトルリストに表示させるか否かは、ユーザに選択させることができる。即ち、リスト生成部２７４では、ユーザが、文字検出部２７３により検出された文字をタイトルリストに表示させるように、リモートコントローラ３３を操作したときのみ、検出された文字をタイトルリストに表示させることができる。

上述した図１のサムネイルパターン登録部６４およびタイトルリスト登録部６５が行う一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。

図１５は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。

CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）５０３には、CPU５０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU５０１、ROM５０２、およびRAM５０３は、バス５０４により相互に接続されている。

CPU５０１にはまた、バス５０４を介して入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。CPU５０１は、入力部５０６から入力される指令に対応して各種の処理を実行する。そして、CPU５０１は、処理の結果を出力部５０７に出力する。

入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスクからなり、CPU５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部５０９を介してプログラムを取得し、記憶部５０８に記憶してもよい。

入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部５０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１５に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１、または、プログラムが一時的もしくは永続的に格納されるROM５０２や、記憶部５０８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部５０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本実施の形態において、図２のタイトルリストでは、番組表示欄１３１に、サムネイル１４４として、静止画の他、例えば、アニメーションGIF(Graphic Interchange Format)のような動画を表示させることができる。この場合、サムネイル１４４としての動画の再生は、常時行ってもよいし、カーソル１３２により番組表示欄１３１が選択されているときにだけ行うようにしてもよい。

さらに、図２のタイトルリストには、番組表示欄１３１が垂直方向に配列されて表示されるようにしたが、例えば、番組表示欄１３１が水平方向に配列されて表示されるようにすることもできる。

また、本実施の形態において、図４のサムネイルパターン登録部６４は、ユーザが指定した指定フレームに基づいて設定されたユーザ設定シーンから、サムネイルパターンを算出することにより取得するようにしたが、サムネイルパターンを取得する方法としては、これに限定されるものではない。

即ち、上述したように、サムネイルパターンは、Webノードからダウンロードすることにより取得してもよいし、例えば、放送局において、番組のサムネイルパターンを含むEPGデータを放送するようにして、そのEPGデータからサムネイルパターンを抽出することにより取得するようにしてもよい。

さらに、図８では、サムネイルパターン記憶部９２に、１つのデフォルトのサムネイルパターンを記憶させておくようにしたが、サムネイルパターン記憶部９２には、複数のデフォルトのサムネイルパターンを記憶させておくことができる。この場合、タイトルリスト登録部６５は、デフォルトのサムネイルパターンについては、サムネイルパターン記憶部９２に記憶された複数のデフォルトのサムネイルパターンの中から、１つのデフォルトのサムネイルパターンを選択し、マッチングシーンの検出に用いることができる。

ここで、サムネイルパターン記憶部９２に記憶させておく、複数のデフォルトのサムネイルパターンとしては、例えば、シリーズ番組用のデフォルトのサムネイルパターンと、シリーズ番組以外の番組用のデフォルトのサムネイルパターンとを採用することができる。この場合、タイトルリスト登録部６５は、対象番組のシリーズ情報から、対象番組がシリーズ番組であるか否かを判定し、その判定結果に基づいて、シリーズ番組用のデフォルトのサムネイルパターン、またはシリーズ番組以外の番組用のデフォルトのサムネイルパターンのうちのいずれかのデフォルトのサムネイルパターンを、マッチングシーンの検出に用いるサムネイルパターンとして選択することができる。

また、図１０のタイトルリスト登録部６５では、対象番組から、サムネイルパターンに合致するマッチングシーンを検出し、そのマッチングシーンのサムネイルが表示された番組表示欄を生成することとしたが、番組表示欄に表示するサムネイルとしては、マッチングシーンのサムネイルではなく、図４のサムネイルパターン登録部６４により検出された文字領域ありシーンのサムネイルを採用することができる。

即ち、本実施の形態において、図４のサムネイルパターン登録部６４は、ユーザが指定した指定フレームに基づいてユーザ設定シーンを設定し、そのユーザ設定シーンから検出した文字領域ありシーンに基づいて、サムネイルパターンを算出するようにしたが、ユーザ設定シーンから検出した文字領域ありシーンのサムネイルが表示された番組表示欄を生成させるために、その文字領域ありシーンをタイトルリスト登録部６５に供給するようにしてもよい。このとき、タイトルリスト登録部６５は、サムネイルパターンに合致するマッチングシーンを検出する処理を省略し、マッチングシーンのサムネイルが表示された番組表示欄を生成する代わりに、サムネイルパターン登録部６４から供給された文字領域ありシーンのサムネイルが表示された番組表示欄を生成することができる。

さらに、HDDレコーダ３１において、動画コンテンツ記憶部９１に記憶されている番組を記録したDVDを作成する場合には、例えば、その番組の開始から所定の時間ごとにマッチングシーンを検出することができるサムネイルパターンを登録しておけば、そのサムネイルパターンにより、所定の時間ごとに検出されるマッチングシーンをサムネイルとしたDVDのチャプターメニューを作成することができる。これにより、ユーザは、DVDのチャプターメニューを閲覧するだけで、そのDVDに記録されている番組を再生することなく、内容を把握することができる。

また、タイトルリスト登録部６５によるサムネイル（タイトルリスト）の生成の対象は、デジタル放送の番組に限定されることはなく、例えば、ビデオカメラで撮像した動画コンテンツ、その他の任意の動画コンテンツを、サムネイルの生成の対象とすることができる。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用したHDDレコーダシステムの一実施の形態の構成例を示すブロック図である。 図１のディスプレイに表示されるタイトルリストを示す図である。 図１の映像処理部が、図２のタイトルリストをディスプレイに表示させる処理を説明するフローチャートである。 ユーザの要求に応じてサムネイルパターンを生成する図１のサムネイルパターン登録部の詳細な構成例を示すブロック図である。 図４のユーザ設定シーン検出部における処理を説明する図である。 図４の静止領域判定部における処理を説明する図である。 図４の文字領域判定部およびサムネイルシーン算出部における処理を説明する図である。 図１のサムネイルパターン記憶部に記憶されたサムネイルパターンを示す図である。 図４のサムネイルパターン登録部における処理を説明するフローチャートである。 図１のタイトルリスト登録部の詳細な構成例を示すブロック図である。 図１のサムネイルパターン記憶部に記憶されたサムネイルパターンを模式的に示す図である。 図１０のマッチングシーン検出部における処理を説明する図である。 図１０の文字検出部における処理を説明する図である。 図１０のタイトルリスト登録部における処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

符号の説明

３３ リモートコントローラ， ６４ サムネイルパターン登録部， ６５ タイトルリスト登録部， ９１ 動画コンテンツ記憶部， ９２ サムネイルパターン記憶部， ９３ タイトルリスト記憶部， １８１ ユーザ設定シーン検出部， １８２ 静止領域判定部， １８３ 文字領域判定部， １８４ サムネイルパターン算出部， ２７１ サムネイルパターン検索部， ２７２ マッチングシーン検出部， ２７３ 文字検出部， ２７４ リスト生成部

Claims (7)

1. 記録媒体に記録された動画コンテンツのタイトルの一覧であるタイトルリストを生成する情報処理装置において、
   所定のシーンの特徴を表すサムネイルパターンを記憶するサムネイルパターン記憶手段と、
   前記動画コンテンツから、前記サムネイルパターンに合致するシーンを、マッチングシーンとして検出するマッチングシーン検出手段と、
   前記動画コンテンツのタイトルと、前記動画コンテンツから検出されたマッチングシーンのサムネイルとを少なくとも含むタイトルリストを生成するタイトルリスト生成手段と
   を備える情報処理装置。
2. ユーザにより操作される操作手段の操作により指定された動画コンテンツのシーンに基づいて、前記サムネイルパターンを算出するサムネイルパターン算出手段をさらに備え、
   前記サムネイルパターン記憶手段は、前記サムネイルパターン算出手段により算出された前記サムネイルパターンを記憶する
   請求項１に記載の情報処理装置。
3. 前記サムネイルパターン記憶手段は、動画コンテンツのうちのシリーズ番組のタイトルまたはシリーズ名と対応付けて、前記サムネイルパターンを記憶し、
   前記マッチングシーン検出手段は、前記動画コンテンツから、その動画コンテンツのタイトルまたはシリーズ名と一致するタイトルまたはシリーズ名と対応付けられているサムネイルパターンに合致するシーンを、マッチングシーンとして検出する
   請求項１に記載の情報処理装置。
4. 前記マッチングシーンから、文字を検出する文字検出手段をさらに備え、
   前記タイトルリスト生成手段は、前記文字検出手段により検出された文字をさらに含むタイトルリストを生成する
   請求項１に記載の情報処理装置。
5. 前記サムネイルパターンは、前記所定のシーンに表示されている文字の文字領域を表すパラメータ、動画コンテンツにおいて前記所定のシーンが開始される開始時刻を表すパラメータ、または前記所定のシーンが継続する継続時間を表すパラメータのうちの少なくとも１つのパラメータで構成される
   請求項１に記載の情報処理装置。
6. 記録媒体に記録された動画コンテンツのタイトルの一覧であるタイトルリストを生成する情報処理方法において、
   前記動画コンテンツから、所定のシーンの特徴を表すサムネイルパターンに合致するシーンを、マッチングシーンとして検出し、
   前記動画コンテンツのタイトルと、前記動画コンテンツから検出されたマッチングシーンのサムネイルとを少なくとも含むタイトルリストを生成する
   ステップを含む情報処理方法。
7. 記録媒体に記録された動画コンテンツのタイトルの一覧であるタイトルリストを生成する情報処理をコンピュータに実行させるプログラムにおいて、
   前記動画コンテンツから、所定のシーンの特徴を表すサムネイルパターンに合致するシーンを、マッチングシーンとして検出し、
   前記動画コンテンツのタイトルと、前記動画コンテンツから検出されたマッチングシーンのサムネイルとを少なくとも含むタイトルリストを生成する
   ステップを含む情報処理をコンピュータに実行させるプログラム。

Images