JP2006332765A - コンテンツ検索・再生方法、コンテンツ検索・再生装置、並びにプログラムおよび記録媒体 - Google Patents

Abstract

【課題】デジタル放送を受信し、蓄積されたコンテンツを検索・再生する場合、より少ないデータ量で、しかもより精度よく利用者が所望の部分（場面、シーン）を容易に検索・再生することができるコンテンツ検索・再生装置を提供する。
【解決手段】このコンテンツ検索・再生装置は、デジタル放送を受信して、蓄積されたコンテンツ（番組蓄積部１０１）の利用者の所望する部分を検索・再生する場合に、利用者の指定するキーワードを入力する入力手段（ＫＷ入力部１０２）と、前記コンテンツを参照して、前記入力手段で入力したキーワードにマッチする字幕情報を含み、かつ視聴し始める位置として適当である位置、あるいは区間を検索する検索手段（ＫＷ検索部１０３、境界抽出部１０４）と、前記検索手段で検索された位置からあるいは区間で前記コンテンツを再生する再生手段（再生部１０５）とを備えるようにした。
【選択図】図１

Description

本発明は、テレビなどのデジタル放送映像を受信・記録し、再生するコンテンツ検索・再生方法、コンテンツ検索・再生装置、並びにプログラムおよび記録媒体に関する。

従来、放送された映像を記録したものの中から自分の見たい場面を見つけるには、早送りを行うなどしていた。しかしながら、ストレージメディアが大容量化するなかで、記録されたすべての番組の中から、このような早送り再生で所望の部分を探すのでは面倒であり、効率も悪い。

このような問題点を解決する技術として、特許文献１，２，３がある。
特許文献１は、映像信号に多重化されているクローズドキャプション信号を分離し、映像信号中に上記信号の存在を判別するとともに、その開始タイムコードを読み取る。このデータを元に検索リストを生成し、検索ボタンを保持した検索メニューを自動生成し、ユーザの選択入力を促す。通知されたボタン番号に対応するタイムコードを得て、その映像にジャンプして再生を開始する。これにより、ビデオやＤＶＤの映画タイトルの映像信号に多重化されているクローズドキャプションを利用して、映画の中に出てくるセリフを検索キーとし、目的のセリフを選んで瞬時にその場面から映画を再生することができる。

また、特許文献２は、ユーザから番組の録画指令を受けたとき、デマルチプレクサから出力されるその番組を構成するパーシャルＴＳを内蔵ハードディスクドライブに書き込むと共に、字幕文字データとその提示時刻情報とを対応付けたテーブルを作成し、録画番組とリンクさせて記憶する。字幕文字による映像検索指令を受けたときには、文字入力画面をＯＳＤ表示し、文字入力を受け付ける。入力された文字に一致する、あるいは類似する字幕文字をテーブルから検索し、その字幕文字の提示時刻の映像を再生する。これにより、所望の場面を素早く探し出すことができる。

特許文献３は、視聴するために適当な切れ目を次のいずれかによって判断し、その切れ目の時刻と、テレビ信号に多重された文字情報とを対応付けて記録媒体（ＤＶＤ−ＲＯＭ）に記録しておく。
１）文章の終端を検出する。
２）１フレーム内に存在するｎ個の画素のうち、輝度データの差が所定の値よりも大きい画素の数が所定の値よりも多い場合にシーン変化と判断する。
３）無音区間が所定の長さよりも長い場合に話題変化と判断する。
再生するときには、ユーザに指定された検索文字列に合致する文字列情報を記録媒体の中から検出し、その文字列情報に対応した切れ目の時刻よりテレビ信号を再生する。
特開平１１−１８４８６７号公報 特開２００４−８０４７６号公報 特開２００４−３６３７２９号公報

しかしながら、上記特許文献１および２は、ユーザに指定された文字列と字幕の文字列が一致した位置から再生するものである。そのため、文字列が一致した位置がユーザの見たい頭だしの位置になっているとは限らず、視聴するには必ずしも適当とは言えない場合がある。

また、特許文献３は、上記課題を解決するものであるが、切れ目を探すために膨大な計算量とデータ量を必要とする。

本発明は、上述した実情を考慮してなされたものであって、デジタル放送を受信して、蓄積されたコンテンツの利用者の所望する部分を検索・再生する場合に、より少ないデータ量で、しかもより精度よく利用者が所望の部分（場面、シーン）を容易に検索・再生することができるコンテンツ検索・再生方法、コンテンツ検索・再生装置、並びにプログラムおよび記録媒体を提供することを目的とする。

上記の課題を解決するために、本発明のコンテンツ検索・再生装置は、デジタル放送を受信して、蓄積されたコンテンツの利用者の所望する部分を検索・再生する場合に、利用者の指定するキーワードを入力する入力手段と、前記コンテンツを参照して、前記入力手段で入力したキーワードにマッチする字幕情報を含み、かつ視聴し始める位置として適当である位置、あるいは区間を検索する検索手段と、前記検索手段で検索された位置からあるいは区間の前記コンテンツを再生する再生手段とを備えるようにした。

上記の検索手段では、次のようにして利用者が所望する再生部分を決定する。
字幕情報を検索して、利用者が入力したキーワードにマッチする位置を候補として決める。この位置候補のうち、視聴し始める位置として適当な開始位置、あるいは、区間を字幕文データユニットの境界を基に抽出する。
字幕文データユニットとは、ここでは、放送信号として送られてくる字幕データの画面上への表示単位を指す。デジタル放送システムにおいては、放送局は字幕データを、映像や音情報とは別のＰＥＳ（Packetized Elementary Stream）中に格納してトランスポートストリームに多重して送出しており、デジタル放送受信装置はこのデータをトランスポートストリームから分離・解析して、字幕を画面上に表示している。本発明では、この字幕ＰＥＳデータから字幕データを、画面上への表示開始時刻とともに、あるいは表示開始時刻・表示終了時刻とともに取り出して、利用する。詳細は後述する。
または、連続する字幕文データユニットの境界の、境界らしさの度合いを基に抽出するようにしてもよい。

この境界または境界らしさの度合いは、伝送されてくる字幕情報、映像情報、音情報のいずれか１つあるいは組み合わせを基に抽出する。
このとき、視聴し始める位置として複数の候補がある場合に、再生時間に応じて再生開始位置あるいは再生区間を選択することができる。
以上のようにして決定した再生開始位置からコンテンツを再生させる。あるいは、決定した再生区間のコンテンツを再生させる。

また、再生開始位置あるいは再生区間の候補は、コンテンツに予め記録しておくようにしてもよく、利用者の検索・再生要求に応じてその都度決定するようにしてもよい。

また、本発明は、コンピュータに、上述したコンテンツ検索・再生装置の機能を実現させるためのプログラム、あるいはそのプログラムを記録したコンピュータ読み取り可能な記録媒体によっても上記課題を解決することができる。

本発明によれば、デジタル放送を受信して、蓄積されたコンテンツの利用者の所望する部分を検索・再生する場合に、より少ないデータ量で、しかもより精度よく利用者が所望の部分（場面、シーン）を容易に検索・再生することができる。

さらに、利用者がコンテンツの所望の部分を検索する場合に、次のような効果がある。
（１）再生開始位置あるいは再生区間を、字幕文データユニットを基に抽出するため、少ない計算量とデータ量で実行可能である。
（２）利用者の検索要求のキーワードを含み、かつ視聴し始める位置として適当である位置から、あるいは、その前後を含むあるまとまった単位で再生することが可能になり、利用者の視聴性を高めることができる。
即ち、映像・音・字幕の各データ単位で、途中で途切れることなく再生することができるので、利用者に、見やすく、聞きやすく、あるいは／かつ理解しやすいように提示することができる。
（３）境界らしさの度合いによって候補を抽出するため、より柔軟で精度よく、視聴し始める位置として適当な位置を決定することができる。
（４）所望の部分の位置候補が複数ある場合、利用者は、再生区間の長さに応じて選択することができるため、より利用者のニーズに合った再生が可能になる。

以下、図面を参照して本発明のコンテンツ検索・再生装置に係る好適な実施形態について説明する。なお、図中、同じ機能の部分には同一の符号を付しその説明は繰り返さない。

＜実施形態１＞
Ａ．装置の基本構成：
図１は、本実施形態に係るコンテンツ検索・再生装置の基本構成を示すブロック図である。同図において、コンテンツ検索・再生装置１０は、番組蓄積部１０１、ＫＷ（キーワード）入力部１０２、ＫＷ検索部１０３、境界抽出部１０４、再生部１０５を含んで構成されている。

番組蓄積部１０１は、ハードディスク、ＤＶＤ−ＲＡＭ、Ｄ−ＶＨＳなどで構成され、デジタル放送で放送され、受信したデジタル信号が記録される。

デジタル放送システムにおいては、放送局は字幕情報を、映像や音情報とは別のＰＥＳ（Packetized Elementary Stream）中に格納してトランスポートストリームに多重して送出しており、デジタル放送受信装置はこの字幕情報をトランスポートストリームから分離・解析して、字幕を画面上に表示している。

この字幕ＰＥＳデータは、ストリームＩＤ、ＰＴＳ(Presentation Time Stamp)、ＤＴＳ(Decoding Time Stamp)、データグループＩＤ、および一つのデータグループデータを含んでいる。データグループデータは、一つあるいは複数のデータユニットを含む。また、データグループデータには、字幕管理データを示すものと、字幕文データを示すものとがあり、それらはデータグループＩＤによって区別される。
字幕管理データのデータユニットには、字幕の言語識別や表示書式等の字幕の属性を示す情報が含まれている。

一方、字幕文データのデータユニットには、表示される字幕や文字スーパーの内容と、ＴＭＤ（時刻制御モード）とＳＴＭ（提示開示時刻）が含まれている。
画面に表示される字幕は、字幕文データ中のＴＭＤと字幕文データの含まれるデータグループ中のＰＴＳに従うことにより、映像に同期させて表示することができる。
また、文字スーパーは、字幕文データ中のＴＭＤとＳＴＭによって、特定の時刻に同期させて表示することができる。本発明では、この特定の時刻に表示される字幕データを、字幕文データユニットと呼び、画面上への表示開始時刻とともに、あるいは表示開始時刻・表示終了時刻とともに取り出して、利用する。

番組蓄積部１０１には、映像ならびに音情報だけでなく、字幕文データユニットごとの字幕、文字スーパーとＴＭＤ、およびそれの含まれるデータグループのＰＴＳ情報が格納されている。なお、以下では、これら時刻情報を合わせて字幕文データユニットのタイムコードと呼ぶ。

ＫＷ入力部１０２は、リモコンのキーやマイク、カメラ、センサーなどで構成され、利用者指定するキーワードを入力する。なお、カメラやセンサーは、文字認識機能を備え、新聞や雑誌等の文字を入力できるようにしてもよい。

ＫＷ検索部１０３は、ＫＷ入力部１０２によって、利用者が入力したキーワードを含む字幕文データユニットを、番組蓄積部１０１に格納された字幕データ中から検索する。

境界抽出部１０４は、ＫＷ検索部１０３で検出された字幕文データユニットを含み、かつ視聴し始める位置として適当である字幕文データユニットの開始位置を決定する。
なお、上記開始位置は、ＫＷ検索部１０３で検出された字幕文データユニットを含み、かつ、その前後の、視聴区間として適当なあるまとまった区間（複数個の字幕文データユニット）でもよい。

再生部１０５は、液晶ディスプレイやスピーカなどで構成され、境界抽出部１０４において決定された再生開始位置から番組蓄積部１０１に格納されたコンテンツを再生し、再生区間が決定された場合には、その決定された区間のコンテンツを再生する。なお、再生時、字幕情報は表示してもしなくてもよい。

Ｂ．ハードウェアの構成：
図２は、本実施形態に係るコンテンツ検索・再生装置１０の具体的なハードウェアの構成である。図２において、コンテンツ検索・再生装置１０は、少なくとも、受信部１、ＣＰＵ（中央演算装置）２、ワーキングメモリ３、入力部４、データベース５、表示部６、外部記憶装置７、外部記憶ドライバ８から構成される。

受信部１は、デジタル放送信号を受信し、映像・音・字幕情報をデータベース５に格納する。
ＣＰＵ２は、ワーキングメモリ３に記憶されたプログラム（システムプログラムやコンテンツ検索・再生プログラム）を実行させて、装置全体を制御する。

ワーキングメモリ３は、表示に関するデータや演算に使用するデータおよび演算結果等を一時的に記憶するいわゆるワーキングメモリであり、ＣＰＵ２により実行されるプログラム処理において利用されるプログラムやテキスト・音・映像処理データ等を格納する。
なお、このプログラムは、図示していないＲＯＭ（Read Only Memory）に格納されるものでもよい。また、ワーキングメモリ３として用いられるＲＡＭ（Random Access Memory）の一部の記憶領域は、電源バックアップするか、あるいはＥＥＰＲＯＭ (electrically erasable programmable ROM)やフラッシュメモリ等の不揮発性メモリにより構成され、電源ＯＦＦ後も設定条件を保持する。この記憶領域には、各種設定データや処理データ等が格納される。

入力部４は、上述のＫＷ入力部１０２と同じであり、キーワード（ＫＷ）を入力する。
データベース５は、上述の番組蓄積部１０１と同じであり、受信部１で受信したデータおよびＣＰＵ２の演算処理結果を格納する。

表示部６は、ドットマトリックス構成の液晶表示装置（ＬＣＤ）等で構成され、データベース５に格納されるテキスト・音・映像情報やＣＰＵ２の演算処理結果が表示される。
外部記憶装置７は、電源バックアップされたメモリカードやＤＶＤ−ＲＯＭ等からなり、コンテンツ検索・再生処理プログラム等を記録した記録媒体である。
外部記憶ドライバ８は、外部記憶装置７の内容を読み取る。

以下、上述したコンテンツ検索・再生装置１０の動作について説明する。
まず、図１を用いて、コンテンツ検索・再生装置１０の基本動作を述べる。
受信された放送番組（コンテンツ）から、映像・音データの他、放送受信信号に多重化されている字幕文データユニット（表示される字幕データとタイムコード）を取り出して番組蓄積部１０１に蓄積される。

利用者が所望のキーワード（ＫＷ）をリモコンのキーなどのＫＷ入力部１０２から入力すると、入力されたキーワードはＫＷ検索部１０３に渡される。

ＫＷ検索部１０３では、ＫＷ入力部１０２で入力されたキーワードを基に、番組蓄積部１０１に格納された字幕データを検索し、対応するキーワードが検出されたときは、そのキーワードを含む字幕文データユニットのタイムコードＴを取得し、該タイムコードＴを境界抽出部１０４に渡す。

境界抽出部１０４では、ＫＷ検索部１０３で抽出されたタイムコードＴに相当する映像・音データと字幕データを基に、後述する方法で視聴し始めるのに適当な再生開始位置を抽出して、再生部１０５へ渡す。

再生部１０５では、境界抽出部１０４で抽出された再生開始位置から、番組蓄積部１０１に格納されたコンテンツを再生する。

次に、境界抽出部１０４について詳細に説明する。
まず、図３を用いて、番組蓄積部１０１に蓄積されているデータの構造を説明する。
受信した放送信号のデータは、映像データ、音（音声および音）データ、字幕データなどから構成されており、字幕文データユニットはタイムコードＴ（Ｔ＝101、102、・・・）とともに伝送されてくる字幕文データの単位であり、この単位で時刻Ｔに当該ユニットの字幕文が画面上に表示される。

ＫＷ検索部１０３は、ＫＷ入力部１０２で入力されたキーワードで、番組蓄積部１０１に格納された字幕データを検索し、キーワードを含む字幕データが検出されたときは、そのキーワードを含む字幕文データユニットのタイムコードＴを取得し、該タイムコードＴを境界抽出部１０４に渡す。
例えば、図３において、利用者がキーワード「ジャガイモ」を入力したとすると、字幕文データユニット中を検索して、文字列「ジャガイモ」を含む字幕文データユニットのタイムコードＴ（１０４、１０６）が取得され、境界抽出部１０４にそれらを渡す。

境界抽出部１０４は、これらのタイムコードＴを基に、視聴し始めるのに適当な位置（タイムコード）を抽出する。
例えば、図３において、字幕データを基に抽出すると、取得されたタイムコードＴ１０４、１０６を含む位置で、視聴し始めるのに適当な位置（すなわち、境界位置）となり得るのは、１０２ｔと判断される。

ここで、字幕データとは、字幕の他に文字スーパーなどのテキスト情報を含み、連続する字幕文データユニット間の、例えば文字スーパーの有無や変化、話題の変化を表す言葉（「ところで」「では次に」「話は変わって」など）の有無、出現単語の意味内容の類似度や話題の変化などで決定される。連続する字幕文データユニットとは、隣り合う２つのユニットでもよいし、連続するある一定個数のユニットでもよい。
図３において、１０３t、１０４t、１０５t、１０６ｔが存在しないのは、タイムコード１０３、１０４、１０５、１０６において、字幕データのレベルではその前後に変化が認められず、境界とは見なされなかったことを示す。

また、図３の音データを基に抽出すると、取得されたタイムコード１０４、１０６に対応する位置で、視聴し始めるのに適当な位置（すなわち、境界位置）となり得るのは、１０２aと１０５aと判断される。ただし、１０２aと１０５aは隣り合う境界位置であるから、先行する１０２aが境界位置として判断される。
ここで、音データを基にした境界位置は、例えば、背景音の有無や変化、雑音レベルの変化、音声認識を利用した話者の変化、無音状態の変化などで決定される。
図３において、１０３a、１０４a、・・・が存在しないのは、タイムコード１０３、１０４、・・・において、音データのレベルではその前後に変化が認められず、境界とは見なされなかったことを示す。

また、図３の映像データを基に抽出すると、取得されたタイムコード１０４、１０６に対応する位置で、視聴し始めるのに適当な位置（すなわち、境界位置）となり得るのは、１０３ｖ、１０５ｖと判断される。ただし、１０３ｖ、１０５ｖは連続する境界位置であるから、先行する１０３ｖが境界位置として判断される。
ここで、映像データを基にした境界位置は、例えば、動きベクトル、輝度レベル、色度ヒストグラムの変化量などで決定される。
図３において、１０４ｖ、１０６ｖ、・・・が存在しないのは、タイムコード１０４、１０６、・・・において、映像データのレベルではその前後に変化が認められず、境界とは見なされなかったことを示す。

上記映像データ、音データ、字幕データのいずれか一つ乃至複数の組合せにより、最適な境界位置を決定する。一つのデータに対して複数種類の情報の組合せを用いて境界位置を決めることにより、字幕、音、映像のいずれにおいても視聴し始めるのに適した位置を求めることができ、再生単位の視聴性（見易さ、理解し易さ）を高め、更には再生単位そのものの精度を高めることができる。
なお、映像データ（ｖ）、音データ（ａ）、字幕データ（ｔ）を組合せて最適な境界位置を決定するには、たとえば、キーワードを含む字幕文データユニットの或るタイムコードＴ１からＴ１＋ＷＴ（たとえば０.５秒）の間に存在する各データの境界位置ｖ,ａ,ｔのベイズ識別による。
このように複数のデータを組合わせることにより、図３の例では、タイムコード１０２から１０７の区間が最適な再生区間として決定される。

この抽出された境界位置は、番組蓄積部１０１に蓄積されているコンテンツの管理情報として、独立したファイルとして記録してもよいし、コンテンツの一部として記録してもよい。
また、この境界位置情報は、当該コンテンツ検索・再生装置１０に格納されていてもよいし、あるいは、別個の記録媒体に格納して、他のコンテンツ処理装置などと接続、またはネットワークを介して当該装置に転送して用いるような形態であってもよい。

また、境界抽出部１０４における境界位置の決定は、番組蓄積部１０１に新たなデータが受信される度に逐次実行してもよいし、ある一定時間間隔毎に実行するようにしてもよい。

なお、図３では、境界位置の候補が予めコンテンツに記録されている例を示したが、利用者がキーワードを入力する都度、字幕文データユニットを検索してタイムコードＴを取得し、該タイムコードＴに対応する位置を基に、境界位置となり得る位置（境界位置候補）を抽出するようにしてもよい。

この場合、各コンテンツすべてに対して境界位置を設定する必要がなくなり、しかも、入力されたキーワードに対応する部分においてのみ境界位置を抽出すればよいため、蓄積すべきデータ量を減らせるという利点がある。
また、各番組に予め設定された境界位置ではなく、利用者が指定したキーワードに対応した境界位置が抽出される可能性があるので、より利用者のニーズにあった部分（場面、シーン）が再生されることが期待できる。

例えば、図４に示すように、「ジャガイモ」を使った料理数品を取り扱った料理番組があった場合、利用者から、「ジャガイモを使った料理が知りたい」という検索要求があったときと、「ジャガイモとチーズを使った料理の作り方を知りたい」という検索要求があったときとでは、視聴に最適な境界位置は異なる。

即ち、「ジャガイモを使った料理が知りたい」という検索要求の場合、最適な境界位置は２０１であり、「ジャガイモとチーズを使った料理の作り方を知りたい」という検索要求の場合は、２０２および２０４である。
あるいは、より狭い範囲の検索要求、例えば「ベーコンの切り方を知りたい」などの場合には、最適な境界位置は３０２である。

上記のようにして、境界抽出部１０４で抽出された境界位置（タイムコードＴ）は、再生部１０５に渡され、番組蓄積部１０１に記録されているコンテンツを、当該境界位置から再生出力する。
なお、再生途中に利用者から再生停止の要求があった場合は、そこで停止するようにする。

次に、図５のフローチャートを用いて、本実施形態１に係るコンテンツ検索・再生装置１０の動作について説明する。

利用者が本コンテンツ検索・再生装置１０を駆動させ、所望のコンテンツを検索するためのキーワードを入力する（ステップＳ１０１）。
利用者が入力したキーワードが、番組蓄積部１０１に蓄積された字幕文データユニット中に含まれるか否かを判定し、検出されない場合（ステップＳ１０２／ＮＯ）、ステップＳ１０１に戻り、利用者に別のキーワードの入力を促す。

一方、検出された場合（ステップＳ１０２／ＹＥＳ）、検出された字幕文データユニットのタイムコードＴを取得し、該タイムコードＴに対応する字幕・映像・音データのいずれか１乃至複数のデータを基に、視聴し始めるのに適切な位置（境界位置）を抽出する（ステップＳ１０３）。

抽出した境界位置候補が一つの場合（ステップＳ１０４／ＮＯ）、抽出した境界位置からコンテンツを再生し（ステップＳ１０６）、検索・再生の動作を終了する。
一方、抽出した境界位置候補が複数存在する場合（ステップＳ１０４／ＹＥＳ）、利用者に抽出した複数の境界位置を提示して選択を促し（ステップＳ１０５）、選択された境界位置からコンテンツを再生し（ステップＳ１０６）、本検索・再生の動作を終了する。

＜実施形態２＞
上記の実施形態１では、境界位置として、再生開始位置を抽出している。本実施形態２では、再生開始位置だけでなく、再生区間（始点と終点）を抽出し、その始点から終点までを再生するようにした。

本実施形態２におけるデータ構造は実施形態１の場合と同じであるので、説明を省略する。図３において、利用者が入力したＫＷが「ジャガイモ」であったとすると、字幕文データユニット中を検索し、文字列「ジャガイモ」を含む字幕文データユニットのタイムコード１０４、１０６を抽出して、境界抽出部１０４に渡す。

境界抽出部１０４は、抽出されたタイムコードＴを基に、再生区間として適当な区間（始点と終点）を抽出する。
例えば、図３において、字幕データを基にすると、抽出されたタイムコード１０４、１０６に対応する位置で、再生区間として適当な区間となり得るのは、１０２ｔ−１０７ｔと判断される。

また、図３の音データを基にすると、取得されたタイムコード１０４、１０６に対応する位置で、再生区間として適当な区間となり得るのは、１０２a−１０５aと１０５a−１０７aと判断される。ただし、これらは隣り合う区間であるから統合して、１０２a−１０７aが再生区間として判断される。

また、図３の映像データを基にすると、取得されたタイムコード１０４、１０６に対応する位置で、再生区間として適当な区間となり得るのは、１０３ｖ−１０５ｖ、１０５ｖ−１０７ｖと判断される。ただし、これらは連続する隣接した区間であるから統合して、１０３ｖ−１０７ｖが再生区間として判断される。

上記映像データ、音データ、字幕データのいずれか一つ乃至複数の組合せにより、最適な再生区間を決定する。一つのデータに対して複数種類の情報の組合せを用いて再生区間を決めることにより、字幕、音、映像のいずれにおいても視聴し始めるのに適した区間を求めることができ、再生単位の視聴性（見易さ、理解し易さ）を高め、更には再生単位そのものの精度を高めることができる。すなわち、字幕、音、映像データのすべてを用いると、たとえばベイズ識別により、図３の例において、タイムコード１０２から１０７の区間が最適な再生区間として決定される。

上記のようにして境界抽出部１０４で抽出された再生区間は再生部１０５に渡され、番組蓄積部１０１に記録されているコンテンツを当該区間で再生出力する。
なお、再生途中に利用者から再生停止の要求があった場合は、そこで停止するようにする。

＜実施形態３＞
実施形態１は、利用者が入力したキーワードが１箇所、あるいは複数箇所であっても、それらを含む区間が単一、あるいは連続する区間に納まっている場合について説明した。
本実施形態３は、利用者が入力したキーワードが複数の区間に点在する場合、再生開始位置を決定する方法について説明する。なお、再生区間に関しても、同様に決定されるので、ここでは再生区間の説明を省く。

例えば、図６において、利用者がキーワード「ジャガイモ」を入力した場合、文字列「ジャガイモ」を含む字幕データユニットのタイムコードとして、１０１、１０２、１１２が抽出される。
境界抽出部１０４が、字幕・音・映像データを基に、例えばタイムコード１０１と１０２に対応する最適な境界位置を１０１ｔ、タイムコード１１２に対応する最適な境界位置を１１１ｔと判断した場合、これらは境界位置が離れているため、再生開始位置候補は１０１ｔと１１１ｔとなる。

このように複数の境界位置が候補となった場合は、たとえば図７に示すように境界位置候補を利用者に提示して、選択を求める。図７では、境界位置の先頭画像をサムネイル式に提示して利用者に選択を求める例を示している。単一のコンテンツだけでなく、複数のコンテンツから候補が抽出される場合もありうるため、コンテンツ（番組）名も提示している。利用者は、リモコンの十字キー等を用いて、見たいコンテンツの境界位置（ここでは画像）を選択する。ここでは画像を提示する例を示したが、字幕を併記してもあるいは字幕のみを提示してもよい。あるいはまた、複数のコンテンツから選択してもらう場合は、まずコンテンツ（番組）名のみを提示し、次に、選択されたコンテンツについて、境界位置候補を提示しても良い。あるいはまた、最初にジャンル別に提示し、次にコンテンツ（番組）名、次に境界位置候補というように段階的に提示しても良い。なお、利用者への提示方法、内容あるいは順番、また利用者の選択方法は上記の例に限定されるものではない。
また、複数の再生区間を候補として提示する場合には、再生区間（始点と終点）の長さ（時間）を提示して、利用者はその再生区間の長さに応じて選択するようにしてもよい。
境界位置候補を複数提示する場合は、当該コンテンツの終わりまでの長さ（時間）あるいは、初めからの長さ（時間）を示すことにより、利用者は再生時間を知ることができ、選択の助けとすることが出来るようになる。
再生部１０５は、利用者が選択した境界位置（タイムコード）に対応する位置から、あるいは再生区間のコンテンツを再生出力する。

＜実施形態４＞
実施形態１では、利用者が単一のキーワードを入力した場合のコンテンツの検索・再生について説明した。
本実施形態４は、利用者が複数のキーワードを入力した場合、あるいは、文を入力した場合のコンテンツの検索・再生について説明する。
図７のフローチャートを用いて、本実施形態４に係るコンテンツ検索・再生装置１０の動作について説明する。以下の説明では、利用者がキーワードとして「ジャガイモとチーズ」を入力した場合を例にして説明する。

まず、ＫＷ入力部１０２において、文（あるいは複数のキーワード）が入力された場合（ステップＳ２０１）、ＫＷ検索部１０３は、入力された文を形態素解析して、名詞や動詞などの、検索対象となる自立語のみを選別する（ステップＳ２０２）。この例の「ジャガイモとチーズ」の場合は、「ジャガイモ」と「チーズ」が選別される。以下、これらを選別ＫＷと呼ぶ。

ＫＷ検索部１０３は、これらの選別ＫＷで字幕文データユニットを検索し、まず、選別ＫＷすべてを含むコンテンツを検索する（ステップＳ２０３）。
選別ＫＷすべてを含むコンテンツが検索されなかった場合（ステップＳ２０３／ＮＯ）は、ステップＳ２０１に戻り、利用者にキーワードの再入力を促す。

一方、選別ＫＷすべてを含むコンテンツが検索された場合（ステップＳ２０３／ＹＥＳ）は、ＫＷ検索部１０３は、選別ＫＷそれぞれを含む字幕文データユニットを検索し、タイムコードＴを取得して、境界抽出部１０４に渡す（ステップＳ２０４）。
例えば、図６では、「ジャガイモ」を含む字幕文データユニットのタイムコードは１０１、１０２、１１２であり、「チーズ」を含む字幕文データユニットのタイムコードは１１１、１１２、１１３、１１４である。

次に、境界抽出部１０４は、渡されたタイムコードＴに対応する位置で、視聴し始めるのに適当な位置となり得る境界位置を抽出する（ステップＳ２０５）。

図６の字幕データを基にすると、境界位置は、「ジャガイモ」については１０１ｔ、１１１ｔ、「チーズ」については１１１ｔ、１１３ｔである。したがって、境界位置１１１ｔがいずれの選別ＫＷにも含まれる境界位置となっていることから、この境界位置１１１ｔが入力されたキーワード「ジャガイモとチーズ」の最適な境界位置と判断され、再生部１０５にその境界位置（タイムコード）１１１が渡される。

境界抽出部１０４で抽出された境界位置が一つの場合（ステップＳ２０６／ＮＯ）、再生部１０５は番組蓄積部１０１に記録されたコンテンツを当該抽出された境界位置から再生し（ステップＳ２０８）、本検索・再生の動作を終了する。

一方、境界抽出部１０４で抽出された境界位置が複数の場合（ステップＳ２０６／ＹＥＳ）は、抽出された複数の境界位置を提示して選択を促し（ステップＳ２０７）、再生部１０５は番組蓄積部１０１に記録されたコンテンツを、選択された境界位置（タイムコード）から再生出力（ステップＳ２０８）し、本検索・再生の動作を終了する。

＜実施形態５＞
実施形態１および実施形態２では、再生開始位置あるいは再生区間を境界位置に基づいて決定した。本実施形態５では、境界位置の境界の度合いの大きい方を再生開始位置あるいは再生区間として決定するようにした。
ここで、境界の度合いとは、境界としての強度を示すもので、字幕・音・映像それぞれのデータにおいて設定することも可能であるし、字幕・音・映像のデータを複数種類組み合わせて設定してもよい。

例えば、字幕データに基づいて境界の度合いを設定する場合は、話題の変化を表す言葉の種類や意味の強度、文字スーパーの有無や変化の度合い、含まれる単語から導出される意味内容（話題）の変化の度合いなどで決定される。
例えば、話題の変化を表す言葉として、「ところで」、「では次に」などがあるが、前者よりも後者の方が一般に、話題の変化の度合いは“強い”ことが想定される。そこで、このような言葉の出現を的確にとらえることにより、境界の度合いを設定することが可能になり、境界位置がより柔軟で精度の高いものとなることが期待できる。

境界の度合いの表現は、０〜１００の間（１００を最高とし、コンテンツの始端・終端とする）の数値で表現してもよいし、「弱い」、「普通」、「強い」といった３段階程度の分類でもよい。
境界の度合いが「弱い」位置を境界位置と判断した場合は、より短い（詳細な）単位での再生が可能となることを意味する。一方、境界の度合いが「強い」位置を境界位置と判断した場合は、より長い単位での再生が可能となることを意味する。このように再生時間に差が出てくるため、利用者は、再生時間に応じて、境界位置を選択することが可能になる。

また、音データを基に境界の度合いを設定する場合は、背景音の有無や変化の度合い、雑音レベルの変化の度合い、音声認識を利用した話者の変化の度合い（それまで登場している人物と交替したのか、あるいは、それまで全く登場していない人物が登場したのかなど）、無音状態の変化の度合いなどで決定される。

また、映像データを基に境界の度合いを設定する場合は、動きベクトル、輝度レベル、色度ヒストグラムの変化量の度合いなどで決定される。

＜他の実施形態＞
本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態を構成する各機能をそれぞれプログラム化して、予め記録媒体に書き込んでおき、この記録媒体に記録されたこれらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによって、本発明の目的が達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
また、上記プログラムは、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。

なお、上述した実施形態の機能を実現するプログラムは、ディスク系（例えば、磁気ディスク、光ディスク等）、カード系（例えば、メモリカード、光カード等）、半導体メモリ系（例えば、ＲＯＭ、不揮発性メモリ等）、テープ系（例えば、磁気テープ、カセットテープ等）等のいずれの形態の記録媒体で提供されてもよい。あるいは、ネットワークを介して記憶装置に格納されたプログラムをサーバコンピュータから直接供給を受けるようにしてもよい。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
このように、上述した実施形態の機能をプログラム化して流通させることによって、コストの低廉化、および可搬性や汎用性を向上させることができる。

本発明の実施形態に係るコンテンツ検索・再生装置の基本構成を示すブロック図である。 本発明の実施形態に係るコンテンツ検索・再生装置の具体的なハードウェアの構成図である。 番組蓄積部に蓄積されたデータ構造の一例である。 実施形態１の境界位置を説明する図である。 実施形態１の動作を示すフローチャートである。 実施形態３の境界位置を説明する図である。 実施形態３の利用者への提示例である。 実施形態４の動作を示すフローチャートである。

符号の説明

１…受信部、２…ＣＰＵ、３…ワーキングメモリ、４…入力部、５…データベース、６…表示部、７…外部記憶装置、８…外部記憶ドライバ、１０…コンテンツ検索・再生装置、１０１…番組蓄積部、１０２…ＫＷ入力部、１０３…ＫＷ検索部、１０４…境界抽出部、１０５…再生部。

Claims (15)

1. デジタル放送を受信して、蓄積されたコンテンツから、利用者の所望する部分を検索・再生するコンテンツ検索・再生方法において、前記コンテンツを参照して、利用者の指定したキーワードにマッチする字幕情報を含み、かつ視聴し始める位置として適当である位置を検索し、該検索した位置から前記コンテンツを再生させることを特徴とするコンテンツ検索・再生方法。
2. デジタル放送を受信して、蓄積されたコンテンツから、利用者の所望する部分を検索・再生するコンテンツ検索・再生方法において、前記コンテンツを参照して、利用者の指定したキーワードにマッチする字幕情報を含み、かつその前後の、視聴区間として適当なあるまとまった区間を検索し、該検索した区間の前記コンテンツを再生させることを特徴とするコンテンツ検索・再生方法。
3. 請求項１または２に記載のコンテンツ検索・再生方法において、前記再生開始位置あるいは再生区間の候補が複数ある場合、前記候補を利用者へ提示して、再生時間に応じて選択された候補を検索結果とすることを特徴とするコンテンツ検索・再生方法。
4. 請求項１または２に記載のコンテンツ検索・再生方法において、前記再生開始位置あるいは再生区間の候補は、前記コンテンツ中の字幕文データユニットの境界を基に抽出することを特徴とするコンテンツ検索・再生方法。
5. 請求項１または２に記載のコンテンツ検索・再生方法において、前記再生開始位置あるいは再生区間の候補は、前記コンテンツ中の字幕文データユニットの境界の、境界らしさの度合いを基に抽出することを特徴とするコンテンツ検索・再生方法。
6. 請求項４または５に記載のコンテンツ検索・再生方法において、前記境界または境界らしさの度合いは、前記コンテンツ中の字幕情報を基に抽出することを特徴とするコンテンツ検索・再生方法。
7. 請求項４または５に記載のコンテンツ検索・再生方法において、前記境界または境界らしさの度合いは、前記コンテンツ中の映像情報を基に抽出することを特徴とするコンテンツ検索・再生方法。
8. 請求項４または５に記載のコンテンツ検索・再生方法において、前記境界または境界らしさの度合いは、前記コンテンツ中の音情報を基に抽出することを特徴とするコンテンツ検索・再生方法。
9. 請求項４または５に記載のコンテンツ検索・再生方法において、前記境界または境界らしさの度合いは、前記コンテンツ中の字幕情報、映像情報、音情報のうち、一つの情報あるいは複数の組み合わせた情報を基に抽出することを特徴とするコンテンツ検索・再生方法。
10. 請求項１または２に記載のコンテンツ検索・再生方法において、前記再生開始位置あるいは再生区間の候補は、前記コンテンツに予め記録しておくことを特徴とするコンテンツ検索・再生方法。
11. 請求項１または２に記載のコンテンツ検索・再生方法において、前記再生開始位置あるいは再生区間の候補は、利用者の検索・再生要求に応じてその都度決定することを特徴とするコンテンツ検索・再生方法。
12. デジタル放送を受信して、蓄積されたコンテンツ中の利用者の所望する部分を検索・再生するコンテンツ検索・再生装置において、利用者の指定したキーワードを入力する入力手段と、前記コンテンツを参照して、前記入力手段で入力したキーワードにマッチする字幕情報を含み、かつ視聴し始める位置として適当である位置を検索する検索手段と、前記検索手段で検索された位置から前記コンテンツを再生する再生手段とを備えることを特徴とするコンテンツ検索・再生装置。
13. デジタル放送を受信して、蓄積されたコンテンツ中の利用者の所望する部分を検索・再生するコンテンツ検索・再生装置において、利用者の指定したキーワードを入力する入力手段と、前記コンテンツを参照して、前記入力手段で入力したキーワードにマッチする字幕情報を含み、かつその前後の、再生区間として適当なあるまとまった区間を検索する検索手段と、前記検索手段で検索された区間の前記コンテンツを再生する再生手段とを備えることを特徴とするコンテンツ検索・再生装置。
14. コンピュータに、請求項１乃至１１のいずれかに記載のコンテンツ検索・再生方法を実行させる、あるいは、請求項１２または１３に記載のコンテンツ検索・再生装置の機能を実現させるためのプログラム。
15. コンピュータが読み取り可能な記録媒体であって、請求項１４に記載のプログラムを記録したことを特徴とする記録媒体。

Images