JP2010109852A - 映像インデクシング方法、映像録画再生装置、及び映像再生装置 - Google Patents

Abstract

【課題】
番組の録画時に検出された様々なテロップ領域を用いて、ユーザに好適なチャプタ位置を与える。
【解決手段】
番組録画再生装置の番組情報取得部１１２で、デジタル放送データを解析して取得した番組種別情報から、テロップ特徴生成部１１３はテロップを検出すべき特定領域を選定し、映像データを解析してテロップ特徴データを出力する。更に、テーマ連続度生成部１１５で、テロップ特徴データを解析して、テロップが表示されている期間や出現位置や出現位置の変化量よりテーマ連続度を算出した、テーマ連続度データを作成する。録画番組を再生する場合には、チャプタ取得部１１６は、テーマ連続度データに基づき、ユーザが自分で選択したテーマ連続度に応じた番組内のチャプタ位置を生成し、番組再生画面に視覚的に分かり易く表示する。
【選択図】図１Ｂ

Description

本発明は、映像インデクシング方法、映像録画再生装置、映像再生装置に係り、特に、映像データと付随する番組データからテロップ領域を検出して、ユーザ好みのインデックスを表示する技術に関する。

近年の放送では、映像をデジタルデータとして、放送するデジタル放送が主流になってきている。このデジタル化によって、高画質化(ハイビジョン放送)や多チャンネル化、データ放送、移動受信(携帯電話など)向け放送などの新しい放送サービスが可能になると言われている。

デジタルテレビ放送の記憶媒体として、デジタル・バーサタイル・ディスク(Digital Versatile Disk：ＤＶＤ)などの光ディスクやハードディスクドライブ（Hard Disk Drive：ＨＤＤ）などの、番組を大量に予約することができ、編集や消去を高速かつ容易におこなうことが可能なデジタル記憶媒体が用いられている。ユーザは、記憶媒体の容量が許す限り、取り敢えず興味のある番組は録画をおこない、番組を放送時間に縛られることなく自分の好きな時間に閲覧することが容易になっている。このような状況下では、視聴可能な時間は限られているため、ユーザは、所望のシーンを頭だしして視聴したいと考えることになる。

特許文献１には、映像からテロップを検出し、検出したテロップを分類し、分類したテロップの時間的存在範囲に基づいて目次を生成して表示する映像目次生成表示方法が開示されている。これにより、映像の内容を反映した目次を生成することができる。

特許文献２には、ＴＶ映像の中から重要なテロップを抽出し、テロップを内容毎に分類してテロップリストを生成する画像処理装置、画像処理方法、プログラム、及び記録媒体、並びに画像処理システムが開示されている。これにより、ユーザは重要なテロップを選択して再生することができる。

特開平１０−１１２８３７号公報 特開２００４−８０１５６号公報

特許文献１に開示されている映像目次生成表示方法では、テロップを分類する際、空間的配置情報、即ち、テロップ出現領域の４隅の１点（ｘ、ｙ）、幅ｗ及び高さｈに基づき、テロップが例えばタイトルに示すもの、人名を示すものに等に分類するが、映像に出現する全てのテロップを抽出して分類するため、あまり有意でないテロップも混ざる可能性がある。

一方で、ＴＶ放送のテロップの出現パターンは番組毎に、固定パターンで移り変わりながら出現することが多い。例えばニュース番組では、テーマの切り替わり時にニュースタイトルのテロップが画面中央下付近に表示された後に、サブタイトルを示すテロップが右上に現れることが多い。

上記の従来技術においては、テロップ位置の変化を捉えていないため、テーマの切れ目を認識できず過剰なインデックスが生成される問題がある。また同じ入力映像からテロップを全て分類するため計算量が多いという問題がある。

特許文献２に開示されている画像処理装置では、テロップリストを生成する際に、入力映像と保存された画像の類似度を判定し、類似度の高い映像のフレームに対してのみテロップ検出を行い、同一の保存された画像と類似していると判定された該テロップや該映像を同グループのテロップとして分類するため、保存された画像が番組中の重要でないシーンであればユーザが選択しても所望のシーンを再生できない可能性がある。また類似度が低いフレーム中の重要なテロップが漏れてしまう可能性がある。

また上記の従来技術においては、グループ分けされたテロップを目次とした場合、グループ毎のチャプタを生成することができるが、それらグループ同士でどのテロップが重要であるかの尺度がない。よってグループ毎のチャプタを合成する場合には、番組毎のテーマの切れ目としてふさわしくないチャプタとなってしまう可能性が高い。

本発明の目的は、上記従来技術の問題となる過剰なインデックスが生成されることなく、番組に対して最適なインデックスをユーザに提供すると共に、ユーザに最適なインデックスを簡易な操作で提示するインターフェイスを持つ、映像インデックス生成方法、映像録画再生装置及び映像再生装置を提供することである。

前述の目的を達成するために、本発明の映像インデックス方法及び映像録画再生装置は、番組情報からテロップを検出すべき領域を選定し、映像データを解析してテロップ特徴データを出力するテロップ特徴生成部と、さらにテロップ特徴データを解析して、テロップが表示されている期間や出現位置や出現位置の変化量より連続性をスコア化したテーマ連続度を含む、テーマ連続度データを作成するテーマ連続度生成部とを具備しており、録画番組を再生する場合には、装置内に設定されているチャプタ既定値や、番組再生画面上テーマ連続度の選択を可能とするインターフェイスからユーザが選択したテーマ連続度に応じ、番組内のチャプタ位置をテーマ連続度データに基づき生成し、視覚的に分かり易く表示することを特徴とする。

また、本発明のより好適な映像インデックス方法及び映像録画再生装置は、録画番組の字幕や音声データから文字情報を出力する文字情報解析部を具備しており、前記テーマ連続度生成部は前述のテロップ領域により算出されたテーマ連続度に加え、前記文字情報解析部より入力された文字情報と、ワード出現パターンに対するテーマ連続度変化量が設定されているテーマ連続度算出ルールを用いて、文字情報のパターンからテーマ連続度を算出することを特徴とする。

以上のように、本発明によれば、テロップ領域検出を特定の部位のみを行うため計算量を削減することができる。また、テロップ領域の選定に番組情報を用いるため、番組毎に最適なテロップ領域を選定することが可能となり、重要なテロップを見逃すことがなくなる。

以下、本発明の好適な実施例を図面に基づき説明する。

第一の実施例を、図１ないし図１４を用いて説明する。

先ず、図１Ａ, Ｂを用いて第一の実施例に係る映像録画再生装置の構成について説明する。図１Ａは、第一の実施例に係る映像録画再生装置のハードウェア構成を示すブロック図である。

図１Ａに示すように、本実施例の映像録画再生装置は、プロセッサ１５１と、表示装置１０２と、入力装置１０３と、チューナ１０４と、アンテナ１０５と、ランダム・アクセス・メモリ（ＲＡＭ）１０６と、外部記憶装置１０７とを備えている。また、プロセッサ１５１と、表示装置１０２と、入力装置１０３と、チューナ１０４と、ＲＡＭ１０６と、外部記憶装置１０７はバス１０８を介して接続されている。

プロセッサ１５１は、外部記憶装置１０７に放送番組の録画や再生をおこなう部分である。プロセッサ１５１は、中央処理部（ＣＰＵ）などの汎用プロセッサ、あるいは￥特定用途向けの専用集積回路（ＡＳＩＣ）を一つ以上含んでいる。プロセッサ１５１は、番組を録画や再生する際の各処理をおこなうための処理ブロックに分かれる。

表示装置１０２は、映像や音声を表示する表示部であり、録画されたコンテンツを再生した場合に、映像の表示や音声の出力をおこなう。表示装置１０２は、例えばテレビやパソコンのディスプレイあるいは液晶パネル等によって構成される。

入力装置１０３は、ユーザがこの映像録画再生装置に対する操作をおこない、ユーザによって入力される操作に関する制御情報やデータを入力する入力部であり、例えば、例えば、リモコン、キーボード、マウス、ペン入力装置等のポインティングデバイス、あるいは、液晶タッチパネル等によって実現される。

ＲＡＭ１０６は、揮発メモリであり、録画再生装置１０１で処理される一時的なデータやプログラムを記憶する記憶部である。

チューナ１０４は、放送局より受信した電波より、選局して放送番組データを取得する部分である。アンテナ１０５は、デジタル放送の帯域に応じて、放送電波を受信する部分である。例えば、地上波デジタル放送用のアンテナでは、ＵＨＦ帯の電波を受信するようになっている。

外部記憶装置１０７は、大容量の記憶容量を有する記憶部を構成し、例えば、ＤＶＤなどの光ディスクやＨＤＤである。

次に、録画再生部１０１の各処理ブロックについて図１Ｂを用いて説明する。図１Ｂは、第一の実施例に係る映像録画再生装置の処理ブロック構成及びデータフローを示すブロック図である。なお、各処理ブロックは、例えば、中央処理部（ＣＰＵ）などの汎用プロセッサ上で動作するソフトウェアとしてもよく、ブロック毎に専用のハードウェアやＡＳＩＣで処理してもよい。またソフトウェアとハードウェアが混在する装置であってもよい。

録画再生部１０１は、図１Ｂに示されるように、システム制御部１１０と、信号分離部１１１と、番組情報取得部１１２と、テロップ特徴生成部１１３と、番組記録部１１４と、テーマ連続度生成部１１５と、チャプタ取得部１１６と、番組再生部１１７と、映像出力部１１８とで構成される。

システム制御部１１０は、ユーザの操作要求を入力装置１０３より受けとり、録画再生部１０１の各ブロックの動作を制御する。また、番組の録画および再生等における録画再生部１０１の各ブロックの動作を制御する。

信号分離部１１１は、受信した放送データを、映像データ、音声データ、字幕文データ、番組情報データなどの種類毎に分離して他の処理ブロックに渡す機能を有する。また、他の処理部からデータ送信要求があった場合には指定されたデータを、要求元ヘデータを送信する。さらに、信号分離部１１１にはチューナ１０４から受信した放送番組データや外部記憶装置１０７に保存されている録画番組データ１２１を入力することができる。

番組再生部１１７は、システム制御部１１０の指示により、ユーザが指示した番組の外部記憶装置１０７に保存されている録画番組データ１２１を取得して、信号分離部１１１へと入力する。その後、信号分離部１１１から映像ＥＳ（後述する）と音声ＥＳ（後述する）を取得して復号化をおこない、映像出力部１１８へ映像および音声データを出力する。また番組再生部１１７は、録画時において、システム制御部の指示により、信号分離部１１１から、録画番組の映像ＥＳを取得して復号化をおこない、テロップ特徴生成部１１３へ映像データとタイムスタンプを入力することができる。

番組記録部１１４は、システム制御部１１０を介して、番組の録画要求があった場合に、信号分離部１１１に対して、データストリームを要求して、外部記憶装置１０７へ録画番組データ１２１として保存する。番組記録部１１３は、ユーザの指定によりデータストリーム全てを録画番組データ１２１として保存してもよいし、記憶領域削減のため取捨選択することにより、映像ＥＳや音声ＥＳのみを保存してもよい。

映像出力部１１８は、チャプタ取得部１１６および番組再生部１１７の出力を受けて、画面を構成し、表示装置１０２へ映像および音声を出力する。
番組情報取得部１１２は、システム制御部１１０から番組情報取得要求を受けると信号分離部１１１より番組情報データを取得する。そして、番組情報データを解析して、テロップ特徴生成部１１３に入力する。

テロップ特徴生成部１１３は、システム制御部１１０からテロップ特徴生成要求を受けると番組再生部１１７より録画番組の映像データとタイムスタンプを取得する。そして、映像データを解析して、外部記憶装置１０７上にテロップ特徴データ１２２として保存する。

テーマ連続度生成部１１５は、テロップ特徴データ１２２を用いて、外部記憶装置１０７に、テーマ連続度データ１２３を出力する。
チャプタ取得部１１６は、システム制御部１１０からのチャプタ取得要求を受けると、外部記憶装置１０７よりテーマ連続度データ１２３を取得する。その後ユーザの操作指示に応じたチャプタ出力処理等を行う。

外部記憶装置１０７には、録画番組データ１２１、テロップ特徴データ１２２、テーマ連続度データ１２３を格納する。
テロップ特徴データ１２２は、テロップ特徴生成部１１３が、映像データを解析して、独自の形式で外部記憶装置１０７に保存するデータである。テロップ特徴データ１２２は番組毎に生成される。テロップ特徴データ１２２の詳細については、後述する。

録画番組データ１２１は、映像、音声、字幕などの情報を含む番組のデータである。

テーマ連続度データ１２３は、時間毎のテーマの連続性情報を保持するデータである。テーマ連続度データ１２３は、番組ごとに生成される。テーマ連続度データ１２３の詳細については、後述する。

次に図２ないし図５を用いて本実施例の映像インデックス方法に関連するデータ構造について説明する。

図２は、デジタル放送におけるデータストリームのデータ構造を示す図である。図３は、テロップ特徴データ１２２のデータ構造を示す図である。図４は、実際の番組におけるテロップ領域検出パターンの例を示す図である。図５は、テーマ連続度データ１２３のデータ構造を示す図である。

デジタル放送では、伝送方式にＭＰＥＧ−２ ＴＳ（Transport Stream）が用いられている。映像データ、音声データおよびデータ放送で用いられている全てのデータは、図２に示されるＴＳパケット２０１で多重化されて伝送される。

特に、映像データや音声データや字幕文データは、ＥＳ（Elementary Stream）に符号化圧縮され、それぞれ、映像ＥＳ２０２、音声ＥＳ２０３、字幕ＥＳ２０４となる。これらのＥＳには、表示時刻情報などを示すＰＥＳヘッダ２０５が付加されたＰＥＳ（Packetized Elementary Stream）形式でパケット化される。ＰＥＳヘッダ２０５には、タイムスタンプが含まれ、このタイムスタンプによって、各パケットの再生同期をとることが可能である。図２からも分かるように、複数のＴＳパケットのペイロードより、一つのＰＥＳパケットが作られることがある。

またデジタル放送では、現在あるいは今後放送される番組の番組名や番組内容やジャンル情報などを含む番組情報データ２０５を同時に送信される。

図１Ｂに示された信号分離部１１１は、図２のデータストリームを解析してパケットの種類毎に分離する。

次に、図３及び図４用いてテロップ特徴データ１２２について説明する。

テロップ特徴データ１２２は、図３に示されるように、タイムスタンプ３０１とテロップ個数３０２と領域データ３０３とテロップ特徴量３０４のテーブル形式で保存される。

タイムスタンプ３０１は、テロップ領域を検出した映像フレームに与えられる表示時刻であり、ＰＥＳヘッダ２０６に含まれている。あるいは映像ＥＳ２０２に含まれる数枚の映像フレームグループのうち、最初の映像フレームの表示時刻がＥＳヘッダ２０６に含まれている。その場合は当該映像フレームの表示時刻を（フレーム枚数）×（フレーム間隔）で計算すれば良い。

テロップ個数３０２は、領域データ３０３に含まれるテロップ領域の個数である。テロップ領域は、テロップ特徴生成部１１３の処理で検出される。テロップ領域は一画面中に複数個検出される可能性があるため、領域データ３０３のサイズを個数で制御する。

領域データ３０３は、検出されたテロップ領域の座標を示すデータである。具体例として図４に示す映像を用いて説明する。

図４には、４０１及び４０２で示される長方形のテロップ領域が含まれている。よって４０１と４０２のテロップ領域の左上の画素における横方向及び縦方向の座標（ｘ１，ｙ１）と右下の画素における横方向及び縦方向の座標（x２，ｙ２）を領域データ３０３として保存する。

図４のような映像の場合には、図３においてタイムスタンプ３０１が８で示されているように、テロップ個数３０２を２として、領域データ３０３に４０１及び４０２の左上と右下の座標を含むように構成される。

テロップ特徴量３０４は、領域データ３０３中に含まれる各領域のテロップの特徴を数値化したものであり、テロップ中の文字が変化しているかどうかを検出するために用いる。具体的な算出方法については、後述する。

次に、図５を用いてテーマ連続度データ１２３について説明する。

テーマ連続度データ１２３は、図５に示されるように、タイムスタンプ５０１とテーマ連続度５０２のテーブル形式で保存される。

タイムスタンプ５０１は、録画映像の表示時間を示したものであり、最初の映像表示時刻からの差分時刻である。

テーマ連続度５０２は、前後の映像におけるテーマの変化の大きさを数値化したものである。本実施例におけるテーマは、例えばニュース番組における特定のニュースや天気予報などのコーナーなど、番組を意味ある単位で区分けされたものであるとする。

本実施例においては、同じ事件を扱っているコーナー中の映像は連続した同一テーマに含まれていると考えられ、テーマ連続度は大きくなる。一方で例えばスポーツコーナーと天気予報コーナーの境界付近であれば、映像のテーマが不連続となり、テーマ連続度は小さくなる。テーマ連続度５０２は、テーマ連続度生成部１１５においてテロップ特徴データ１２２を用いて算出される。

次に、図６ないし図１０を用いて第一の実施例に係る映像インデックス方法及び映像録画再生装置の各部の処理について説明する。

図６は、テロップ特徴生成部１１３が映像録画開始時に行う処理を示すフローチャートである。図７は、テロップ特徴生成部１１３で扱う、テロップ領域検出ルールの一例である。図８は、テロップ特徴生成部１１３が、テロップ特徴データ１２２を生成する処理を示すフローチャートである。

図６及び図７を用いてテロップ特徴生成部１１３が映像録画開始時の処理フローを説明する。

テロップ特徴生成部１１３は、映像録画開始時にシステム制御部１１０の指示によりテロップ特徴抽出準備を通知されると、最初にテロップ領域検出ルールを取得する（ステップ６０１）。テロップ領域検出ルールについては後述する。

次に番組情報データ２０５の受信を一定時間待つ（ステップ６０２）。番組の録画開始と同時に番組情報データ２０５を取得しているとは限らないので、待ち状態となる。続いて番組情報データ２０５を受信しているかどうかを判定する（ステップ６０３）。番組情報データ２０５を受信していない場合にはステップ６０２に戻る。

ステップ６０３において番組情報データ２０５を取得した場合には、番組情報データ２０５を解析する（ステップ６０４）。例えば番組情報データ２０５より、ジャンル情報や番組名や放送時間等の情報を取得する。

続いてステップ６０４で取得した番組情報を用いてテロップ領域検出ルールを特定する（ステップ６０５）。以上により、テロップ特徴生成部１１３は映像録画開始処理を終了する。以後、テロップ特徴生成が可能となる。

次に図７を用いてテロップ領域検出ルールについて説明する。

ここで、テロップ領域検出ルールは、映像のうちテロップの検出する領域を予め特定するためのルールであり、図７にテロップ領域検出ルールの一例を示す。

テロップ領域検出ルールは、図７に示されているようにジャンル名７０１とテスト対象数７０２と検出テスト対象７０３とパターン名７０４のテーブル形式で持つ。

ジャンル名７０１は、放送番組の内容により区分けされるグループの総称である。例えばデジタル放送規格で規定されているジャンル名とすることができる。

テスト対象数７０２は、番組情報データ２０５より該当するジャンルが特定されたときに、テロップが含まれているかをテストする領域の数を示している。

検出テスト対象７０３は、番組情報データ２０５より該当するジャンルが特定されたときに、テロップが含まれているどうかをテストする領域の、長方形領域における左上及び右下の座標を示している。検出テスト対象７０３の個数はテスト対象数７０２に従う。

一般に番組中でのテロップは、表示領域がパターン化されていることが多い。また番組中のテロップ表示パターンは番組ジャンルにより大別できることが多い。

例えばニュース番組であれば、ニュースキャスターが中央に座り、キャスターの上半身部分辺りの画面中央付近に、ニュースの見出しとなる文字列が表示されるという構図がニュースの冒頭で出現しやすい。ニュースタイトルを説明した後に実況を交えた具体的な内容に移り変わる。その際には右上の部分にニュースの小見出しが表示されていることが多い。よって画面中央付近のテロップ領域が現れ一定時間表示された後に、その後右上に移るというテロップ表示領域の変化を検出されれば、画面中央付近にテロップが出現した時間と以前の映像とはテーマが不連続になっている可能性が高い。逆に画面中央付近でテロップが出現してすぐ消えた場合には出演者のナレーションを文字テロップとして表示された可能性がある。

また一方で例えば音楽番組の場合には、出演者が唄っているシーンにおいて歌詞のテロップが画面下に表示されることがある。その場合にはテロップが出現して消えるパターンが連続することになる。よってこのテロップが一定の領域での表示オン／オフ（ON/OFF）を検出して、またテロップの文字が切り替わっているシーンを検出し、テロップの表示ON/OFFが最初に出現した時間は、曲が変わる場合やトークシーンが曲を歌うなど、テーマが不連続になっている可能性が高いといえる。一方で連続して切り替わっている間は、一つの曲を歌い続けるといった一つのテーマが連続しているといえる。

よってテーマの連続性は、番組ジャンル毎に決定された特定領域にテロップが現れてその後の表示領域の変化により判定されることができる。予め画面全体のテロップ領域を特定領域に限定して検出すればよい。左記の手法によれば、画面全体のテロップを全て検出するよりも計算量を少なくなる。

以上のように、画面中のテーマが不連続となるシーンを検出するためのテロップ領域をジャンル名７０１単位で、検出テスト対象７０３に設定する。

ここで図７のテロップ領域検出ルールは、本実施例における映像録画再生装置に予め組み込まれているものとする。他のプログラムと同様に外部リード・オンリー・メモリ（ＲＯＭ）に格納してもよい。また外部記憶装置１０７に格納してもよい。外部記憶装置１０７に格納されていた場合には、将来の番組内容変更に応じてテロップ領域検出ルールを更新してもよい。

また本実施例においてテロップ領域検出ルールは、一例として図７に示されているテーブル構造を持っているが、ジャンル名７０１は番組情報データ２０５から特定できる別の区分け方法であってもよい。一例として番組名とすることができるが、テロップ領域検出ルールの容量が大きくなり、将来の番組改編などによりテロップ領域検出ルールを頻繁に更新する必要がある。他にも放送時間やチャンネルを条件に加えてもよい。例えば朝の番組では、現在時刻のテロップが常に表示される領域があるため、検出しないようにする。またチャンネルによっては、放送局のロゴマークが常に表示される領域があるため、検出しないようにしてもよい。

次に図８を用いて、テロップ特徴生成部１１３が、録画番組の映像よりテロップ特徴データを出力するフローを説明する。

テロップ特徴生成部１１３は、番組再生部１１７より映像データを受け取ると、最初のステップで受信した映像を処理するか否かを判定する（ステップ８０１）。一般にデジタル放送においては毎秒約30フレームの映像が含まれているので、全フレームを処理対象としてもよい。一方でデジタル放送における映像中のテロップは数秒間同じ座標に映し出されていることが多い。これは視聴者がテロップの内容を理解する前に消えてしまうのを防ぐためである。そこで同一テロップは数秒間表示される性質を利用して、全ての映像フレームを処理する必要はなく、一定間隔おきに、番組再生部１１７より入力された映像フレームを処理すればよい。全フレームを処理する場合と比較して大きく計算量を削減することが可能となる。テロップ特徴検出部１１３のステップ８０１における処理の一例として、前回処理した映像フレームの時刻と、今回受信した映像フレームの時刻の差分が所定の時間より大きければ、は、映像フレームを受け付けるといった処理を行う。ステップ８０１で対象フレームでないと判断されればテロップ特徴生成部１１３は、何も処理を行わず終了する。

ステップ８０１において、番組再生部１１７より入力された映像データが処理対象であると判定された場合、テロップ特徴生成部１１３は、図６の番組録画準備時に行った処理フローに従って設定した図７のテロップ領域検出ルールにおいて、検出テスト対象７０３に示されるテロップ検出領域を設定する（ステップ８０２）。

次に、ステップ８０２で設定したテロップ検出領域のうち一箇所を処理するために切り取りを行う（ステップ８０３）。続いてステップ８０３で取得したテロップ領域についてテロップ領域判定処理を行う（ステップ８０４）。

テロップ領域検出については、エッジ抽出処理や前フレームからの動き補償を用いているかどうかにより判定することができる。前述のエッジ抽出処理は例えば領域内の輝度成分が不連続に変化しているか否かなどにより判定することができる。

ステップ８０４のテロップ領域判定処理後に、ステップ８０５においてテロップ領域が含まれていないと判定された場合には、ステップ８０７に進み次のテスト領域の処理を行う。一方、ステップ８０５のテロップ領域が含まれていると判定された場合には、テロップ特徴抽出処理を行う（ステップ８０６）。ステップ８０６の特徴抽出処理については後述する。

その後全ての検出テスト対象７０３を処理したかどうかをチェックする（ステップ８０７）。まだ未処理の検出テスト対象７０３が存在する場合は、ステップ８０３に戻り次のテスト領域を処理する。またステップ８０７において全ての検出テスト対象７０３が処理されたと判断された場合には処理を終了する。

次にステップ８０６のテロップ特徴抽出処理については図９を用いて説明する。図９は実際の映像からテロップ特徴抽出処理を行う手順について示した図である。

映像フレーム９０１は、実際のテレビ映像である。テロップ領域９０２は、図８のステップ８０３によって切り出されたテロップ領域である。ここでは図９のテロップ領域９０２に示すようなテロップが含まれており、ステップ８０４及びステップ８０５においてもテロップが含まれていたと判定されたとする。

次に、図９の９０３に示すように検出されたテロップ領域を一定の画素毎に区分けする。例えば８×８画素や１６×１６画素の正方形毎に区分けする。以降では区分けされた領域をブロックと呼ぶ。

続いてブロック毎に以下の式（１）、（２）に従った計算により特徴量を計算する。

α_j： ブロック特徴データ
δ(x,y)： ブロック内の(x,y)座標の画素がテロップ内であれば1、そうでなければ0
θ(x,y)： ブロック内の(x,y)座標に位置する画素の輝度成分。元画像が8bitで示されていた場合には4bitに正規化するなどを行ってもよい。
X：ブロック内の横方向の画素数
Y：ブロック内の縦方向の画素数
φ：定数
N：領域内にあるブロックの個数
σ：テロップ特徴量３０４
式（１）による計算を行うと、各ブロックは図９の９０４のような数値データとなる。この数値データを特徴データとして保存する。そして、式（２）によりテロップ特徴量３０４を算出する。

次に、録画再生部１０１内のテーマ連続度生成部１１５の動作を図１０ないし図１１を用いて説明する。テーマ連続度生成部１１５は番組録画終了後にシステム制御部１１０の指示により処理が開始され、テーマ連続度データ１２３を生成する。

図１０を用いてテーマ連続度生成部１１５の処理フローを説明する。テーマ連続度生成部１１５は、システム制御部１１０の指示により録画対象番組のテロップ特徴データ１２２を外部記憶媒体１０７より取得する（ステップ１００１）。図３のテロップ特徴データのうち処理対象となるデータを取得する。続いて取得したテロップ特徴データ１２２を用いて、図５のテーマ連続度データ１２３におけるテーマ連続度５０２を算出する（ステップ１００２）。テーマ連続度５０２の算出方法については後述する。

続いて、算出したテーマ連続度５０２を含むテーマ連続度データ１２３を外部記憶装置１０７に出力する（ステップ１００３）。続いて、未処理のテロップ特徴データ１２２があるかどうかを判定し（ステップ１００４）、未処理のテロップ特徴データ１２２がある場合にはステップ１００１に戻り、処理を続行する。また、ステップ１００４において、全てのテロップ特徴データ１２２の出力処理を終了したと判定された場合には、テーマ連続度データ生成部１１５は処理を終了する。

次に、テーマ連続度生成部１１５のステップ１００２におけるテーマ連続度５０２の算出方法について図１１ないし図１２を用いて説明する。

図１１は、ニュース番組のテーマ連続度を算出する方法を示したものである。１１０２は実際の映像、１１０１は実際の映像に対応する時間、また領域データ１１０３は図３のテロップ特徴データの領域データ３０３、またテロップ特徴量１１０４は図３のテロップ特徴量３０４にそれぞれ対応する。またテーマ連続度１１０５は算出されたテーマ連続度である。

テーマ連続度の算出方法は、テロップ出現位置のパターン及びテロップ特徴量の変化を用いる。テーマ連続度生成部１１５はテロップ特徴量の変化量とテロップ出現位置の変化及びテロップ表示期間を反映したテロップ連続度変化量を算出する手段を所持している。算出手段は以下の式（３）ないし式（７）に従って行う。

テロップ特徴量の変化については一例として以下の式（３）を用いて算出する。

Th0(t)：時間tにおけるテロップ特徴量変化によるテーマ連続度変化量
X(num)：検出されたテロップ領域数(num)に対する重み係数
N：テロップ領域数
α(t,j)：時間tのテロップ領域jにおけるテロップ特徴量
Ex_j：テロップ領域jにおけるテロップ特徴量変化に対する重み係数

ここで重み係数Ex_jはジャンル毎に設定されるパラメータとする。例えば図１１におけるニュース番組の場合は、右上に番組トピックが現れるため左上のテロップ特徴量の変化はほとんど無視してもよい。よってジャンル毎により重視されるテロップ領域の重み係数を大きくすれば良い。

またX(num)は、検出されたテロップ数が大きいときにテーマ連続変化量も比例して大きくなるのを防ぐために用いる。またあるいは特定の個数のみを重視したい場合にも有用である。

図１１のt0に表示されていた右上のテロップ領域は、t1において消滅した。よってTh0(t0)は負となる。続いてt2に中央で表示されるためTh0(t1)は正となる。続いてt3においてはテロップ表示を維持するため、Th0(t2)は0となる。続いてt4におけるテロップは中央から右上に変化するが、中央のテロップ領域におけるEx_jよりも、右上のテロップ領域におけるEx_jを大きく設定しているため、Th0(t3)は正となる。以降の時間の映像についても同様である。

次にテロップの移動によるテーマ連続度変化量を一例として式（４）により算出する。

Th1(t) ： 時間tにおけるテロップ移動によるテーマ連続度変化量
N ： テロップ領域個数
Mv(j,k) ： テロップ領域がjからkに移動した場合の重み係数
α(t,j) ： 時間tのテロップ領域jにおけるテロップ特徴量。
ω(u) ： テロップが移動した時間に関する重み係数。
Ur ： 時間tから先のテロップ領域移動の探索時間範囲を示す定数。

ここで式(４)により計算されるテロップの移動によるテーマ連続度変化量は、消滅や出現による変化ではなく、図１１のt2の映像からt3の映像ように、中央付近に表示されていたテロップが画面右上に変化するような、テロップ領域の移動を重視するために算出する。またテロップ領域位置が変化する時間により重み関数、或いは重み係数を適用することにより一定時間後に位置が変化するテロップ領域を重視するといったことが可能となる。また探索範囲Urまでの間において、Δ(t,u,j,k)≠0となった場合には探索を停止すれば良い。

よって数式３の(4)におけるMv(j,k)はテーマを不連続とさせるような移動パターンに対して大きくすればよい。

図１１においてはt2に表示された中央部のテロップ領域がt4において右上に変化しているため、Th1(t2)がTh1(t3)のみ値が与えられ、Th1(t2) > Th1(t3)となる。

次にテロップ表示期間によりテーマ連続度変化量を算出する方法について説明する。例えば番組中には台詞に代表される短い期間に内容が連続して変化されるテロップが挿入されることがある。これらのテロップよりもニュースのタイトルといった、変化が少なく一定期間表示されるテロップを重視するために用いられるパラメータである。テロップ表示期間により算出したテーマ連続度変化量は一例として次の式（６）により算出させる。

Th2(t)：時間tにおけるテロップ表示期間によるテーマ連続度変化量
N ：テロップ領域個数
S ：表示区間を評価する特徴データの個数
α(t,j)：時間tのテロップ領域jにおけるテロップ特徴量
λ(s) ：重み関数

式(6)において算出されるTh2(t)はテーマ連続度を大きくするために用いる。つまり一定領域で短期間のテロップ特徴量の変化が大きい場合には、テーマが変わらない場合が多いためである。またテロップ特徴生成部１１５において、テロップ領域に実際にはテロップが含まれていないにも関わらず、テロップが存在すると検出された場合には、短い区間でのテロップとして検出されることが多いため、効果を打ち消す効果がある。

式(6)において表示区間を評価する特徴データの個数Sは、特に重視したいテロップの表示長さに応じて設定すればよい。またλ(s)はsの大きさに応じて反比例するような関数にすると、短い区間での変化を重視することができる。

図１１においてはt2に表示された中央部のテロップ領域がt3まで表示され続けるため、Th2(t2)が小さくなる。またt4,及びt5も以降暫く右上にテロップが表示され続けるためTh2(t4),及びTh2(t5)が小さくなる。

最後にテロップ連続度は以下の式（７）により算出される。

TP(t) ： 時間tにおけるテーマ連続度
Tv ：基準となるテーマ連続度(定数)
Th0(t)：時間tにおけるテロップ特徴量変化によるテーマ連続度変化量
(式(3)による)
Th1(ti)：時間tにおけるテロップ移動によるテーマ連続度変化量(式(4)による)
Th2(ti)：時間tにおけるテロップ表示期間によるテーマ連続度変化量
(式(6)による)
m, n, p：それぞれ定数

式(7)においてそれぞれTh0(t), Th1(t), Th2(t)に掛かる係数であるm,n,pは重視したいテーマ連続度変化量に応じて設定すればよい。

また式（３）ないし式（７）に設定される各種定数や重み係数は、番組カテゴリ毎にテーマが区切られるテロップパターンを予め調査しておき設定すれば良い。例えば番組カテゴリ毎に式（３）ないし式（７）に示される各定数や重み係数のテーブルを所持していれば、番組情報より特定した番組ジャンルの項目を取り出すようにすれば良い。

例えば図１１においてニュース番組の場合には、テロップ領域が中央から右上に変化する時間をテーマが不連続であるとしたい場合には、m及びnを大きくすれば良い。よって図１１においてテーマ連続度はt2が小さくなる。

また他のカテゴリで音楽番組を例に挙げる。音楽番組の場合は歌手が歌っているシーンをテーマとすることができる。歌手が歌っているシーンにおいては、曲のタイトルや歌詞のテロップが画面下部中央付近に現れることが多い。よって中央に長く表示されているテロップ領域の変化を特に重視すれば良いので、mを大きくしてpを小さくすれば良い。

以上により、テーマ連続度生成部１１５はテーマ連続度を算出して、テーマ連続度データ１２３として保存する。

次に本実施例の映像録画再生装置における番組再生方法を図１２ないし図１４を用いて説明する。

図１２の上段は実際の再生画面の一例を示したものである。図１２は映像出力部１１８により構成され、映像出力部１１８は番組の再生を開始する際にシステム制御部１１０の指示により、画面構成処理を行う。図１２の再生画面例は、再生画面１２０１と、プログレスバー１２０２と、再生時間表示１２０３と、再生終了時間表示１２０４と、チャプタ位置表示１２０５と、現在再生位置表示１２０６で構成される。

再生画面１２０１は、番組再生部１１７から受信した映像、音声等の画面構成要素を受信して表示する。番組再生部１１７は信号分離部１１１を介して録画番組データ１２１を受信して、映像及び音声データの解析と再生処理を行う。また番組再生部１１７は字幕やデータ放送などのユーザの制御により表示を選択できるデータをシステム制御部１１０の指示により送信することができる。

プログレスバー１２０２は、ユーザがチャプタ位置や現在再生位置を確認するために表示される領域である。プログレスバー１２０２は、再生対象の現在の再生時間である再生時間表示１２０３と、再生対象の長さつまり終了位置を表示する再生終了時間表示１２０４と、チャプタ取得部１１６がテーマ連続度データ１２３より算出したチャプタ情報を表示するチャプタ位置表示１２０５と、現在の再生時間を再生終了時間表示１２０４の長さに占める割合を、プログレスバー１２０２の長さに同割合の位置として表示した、現在再生位置表示１２０６で構成されている。チャプタ取得部１１６がテーマ連続度データ１２０３からチャプタ位置を算出する方法については後述する。

プログレスバー１２０２は、常に表示しておくこともできる一方で、ユーザが入力装置１０３を介して特定の指示を行うときに一瞬表示することも可能である。またプログレスバー１２０２の表示をＯＮ／ＯＦＦできるような入力装置１０３に専用のインターフェイスを備えていてもよい。また、図１２の上段のように再生画面、映像出力部１１８は再生画面１２０１の上にプログレスバー１２０２を半透明で表示する他、１画面を区分け及び、再生画面１２０１とプログレスバー１２０２をそれぞれ別の出力装置に出力しても良いものとする。

次にチャプタ取得部１１６がテーマ連続度データ１２３を用いてチャプタ位置を算出する方法を図１２の下段、及び図１３を用いて説明する。

図１２の下段のグラフ１２１０は、図５に示すテーマ連続度データ１２３を、横軸にタイムスタンプ５０１及び縦軸にテーマ連続度５０２としてグラフ化した図である。

図１３は、チャプタ取得部１１６がテーマ連続度データ１２３よりチャプタ位置を生成するための処理フローである。

チャプタ取得部１１６は、チャプタ位置生成を開始するにあたり、再生対象となる番組のテーマ連続度データ１２３を取得する（ステップ１３０１）。図５のテーマ連続度データ１２３を１レコードずつ処理する。

次にチャプタ取得部１１６は、システム制御部よりチャプタ既定値を取得する（ステップ１３０２）。ここでチャプタ既定値とは、本実施例における映像録画再生装置に設定してある、生成されるチャプタ位置が適切なテーマ毎の区切りになるように値である。チャプタ既定値は予めシステム制御部１１０内や外部記憶装置１０５に保持されている。

次にチャプタ取得部１１６は、取得したテーマ連続度データ１２３のテーマ連続度５０２がシステム制御部１１０より渡されたチャプタ既定値以下であるかを判定する（ステップ１３０３）。
チャプタ既定値１２１１は図１２下段に示すグラブ１２１０において、時間軸と平行に描画されている。よってグラブ１２１０において、テーマ連続度とチャプタ既定値１２１１が交叉する点、もしくはチャプタ規定値１２１１が下回る時間がチャプタ候補となる。ステップ１３０３において、テーマ連続度５０２がチャプタ既定値１２１１以上となっていれば、チャプタとして出力しない時間として次のステップ１３０６へと進む。

一方、ステップ１３０３において、テーマ連続度５０２がチャプタ既定値１２１１以下となっていればチャプタ候補として扱い、チャプタ候補の時間から一定時間内に既にチャプタを出力していないかを判定する（ステップ１３０４）。これはチャプタが密集し過ぎてしまうと、チャプタの使い方の一つである、見たいシーンに飛ぶための操作が煩雑になってしまうのを防ぐためである。本実施例における映像録画再生装置の最小チャプタ間隔は、システム毎に予め設定しておいても良いが、ユーザにより設定させるメニューを用意しても良い。ステップ１３０４において以前のチャプタ時間と今回のチャプタ候補との時間間隔が一定時間内にあると判定されれば、チャプタとして出力せず次のステップ１３０６へと進む。

一方、ステップ１３０４において以前のチャプタ時間と今回のチャプタ候補との時間間隔が一定時間以上であると判定されれば、タイムスタンプ５０１をプログレスバー１２０２の構成に適切な単位の時間に直して出力する（ステップ１３０５）。ステップ１３０４でチャプタ時間を出力した後には、未処理のテーマ連続度データ１２３が存在するかどうかを判定して、未処理のものがあると判定された場合にはステップ１３０１へと進み、次の１レコードの処理を行う（ステップ１３０６）。一方でステップ１３０６において、全てのテーマ連続度データを処理したと判定された場合には、チャプタ取得部１１６は処理を終了する。

以上により番組毎に適切なテーマに区切られたチャプタを出力することができる。

また一方でシステムに予め設定されているチャプタ既定値が、ユーザにとって適切なチャプタ位置を取得できるとは限らないといったことも起こる。またシステムが検出したテーマが不連続となる時間の他に、DVDなどの記録メディアに残す際にユーザ自身でチャプタを設定したいといったことが起こり得る。そこで、本実施例に係る映像録画再生装置はユーザが自分でチャプタの数を調整しつつチャプタ位置を取得するインターフェイスを持つ。

図１４は、本実施例に係る映像録画再生装置はユーザがチャプタ既定値を調整しながらチャプタ位置を取得することができる再生画面構成の一例を示したものである。図１４は多くの構成を図１２における再生画面構成例と同様のため、差異部分のみを説明する。なお、本実施例の説明において、ユーザがチャプタ既定値に代えて調整するテーマ連続度の値をチャプタ設定値と呼ぶ。

図１４の上段の再生画面構成例は図１２の上段の画面構成要素に加えて、スコア表示１４０７を有している。

スコア表示１４０７は、図１４の下段のグラフにおいてチャプタ設定値１４１２を設定するために用いられる。スコア表示１４０７は、ユーザが入力部である入力装置１０３を介して変動させることが可能である。入力装置１０３において数値を直接入力可能なインターフェイスがあれば直接数値を入れてもよい。またスコア表示１４０７を増減させる２方向の方向キーなどによるインターフェイスを用いてもよい。

スコア表示１４０７に表示される数値データは、図１４におけるチャプタ設定値１４１２と連動する。すなわちスコア表示１４０７における値が増加すると、図１４におけるチャプタ設定値１４１２のグラフが上昇する。

チャプタ設定値１４１２を用いた、チャプタ取得部１１６からのチャプタ取得方法は、図１３の処理フローにおいて、ステップ１３０２においてシステム制御部１１０がチャプタ既定値１２１１ではなくチャプタ設定値を渡すことにより他は同様の処理となる。システム制御部は、スコア表示１４０７のより映像出力部１１８よりチャプタ設定値を取得して、チャプタ取得部１１６へ渡す。チャプタ取得部１１６は取得したチャプタ設定値を元にステップ１３０３以降の処理を行う。

以上によりスコア表示１４０７を上昇させることにより、図１４において、テーマ連続度のグラフとチャプタ設定値１４１２のグラフの交点の数が増加すると共に、交点の時間もより早くなり、返却されるチャプタの数が増える傾向にある。よってユーザはより細かいテーマによるチャプタを生成することが可能となるため、テーマを見逃すことが少なくなる。一方でスコア表示１４０７を下降させると、テーマ連続度のグラフとチャプタ設定値１４１２のグラフの交点の数が減少すると共に、交点の時間もより遅くなり、返却されるチャプタの数が減る傾向にある。よってユーザはより粗いチャプタを扱うことができ、少ないリモコン操作で後半のシーンに飛ぶことができる。

スコア表示１４０７においては、チャプタ設定値１４１２の値をそのまま表示してもよいが、インターフェイスの簡易化のため、テーマ連続度を適当な段階に正規化した値を表示してもよい。また一方で数値ではなく「細かい」「普通」「粗い」といった平易なワードにより表示してもよい。左記の場合だと３段階で表示される。

またスコア表示１４０７には、チャプタ既定値１２１１を番組再生開始時の初期値として表示してもよい。スコアを上下した場合にも、チャプタ既定値１２１１に入力装置１０３の専用のキーインターフェイスでジャンプできるようにしてもよいし、数値を変動させた後にチャプタ既定値になった場合には、スコア表示１４０７の色を変えるなど、チャプタ既定値に設定されたことを示すインターフェイスにしてもよい。

また図１２や図１４の画面においては、テーマ連続度のグラフは特にユーザに表示はしていないが、テーマ連続度のグラフを図１２や図１４の上段の画面にオーバーレイして表示してもよい。あるいは２画面構成として片側に図１２や図１４の上段の画面を表示、別側に図１２や図１４の下段のグラフを表示するようなインターフェイスを構成してもよい。この表示方法によれば、テーマ連続度を可視化することができ、番組内容の理解の助けとなる。また、ユーザ好みの粒度に応じてチャプタを設定することができ、極めて簡易な操作で観たいシーンを探すことができる。

本実施例に係る映像録画再生装置は、テーマ連続度データ１２３を外部記憶装置１０７に保存している。よって外部記憶装置１０７がDVDなどの光ディスクあるいは可搬性のあるHDDやフラッシュメモリデバイスなどのリムーバブルメディアで構成されていた場合には、リムーバルメディアを取り扱う再生装置が、本実施例におけるチャプタ取得部１１６を所持していれば同様の処理を行うことが可能である。また予めチャプタを複数種類扱うことのできる規格を所持するリムーバブルメディアの場合には、チャプタ設定値１２１１を適切な段階に設定して、複数種類書き出してもよい。

以下、本発明に係る第二の実施例を、図１５ないし図１８を用いて説明する。

第一の実施例においては、番組内のテーマの連続度を計算する手段として、映像中のテロップ領域を用いた。本実施例は、番組内のテーマの連続度を計算する手段として、字幕データや音声データなどから取得できる文字情報を用いてテーマ連続度をより正確に算出する方法を示す。テーマ連続度生成部は前述のテロップ領域により算出されたテーマ連続度に加え、文字情報のパターンとワード出現パターンに対するテーマ連続度変化量が設定されているテーマ連続度算出ルールを用いて、テーマ連続度を算出する。

なお、本実施例では、第一の実施例と比較し、異なる所を強調して説明する。

図１５は、本発明の第二の実施例に係る映像録画再生装置の処理ブロック構成及びデータフローを示すブロック図である。本実施例の番組録画再生装置の構成は、図１５に示されるように、第一の実施例の図１Ｂの構成に加えて、文字情報解析部１５１２が加わっている。

文字情報解析部１５１２は、番組再生部１１７より取得される字幕データ及び音声データを解析して文字情報として、テーマ連続度生成部１１５に対して入力することができる。字幕データはデジタル放送においては映像データや音声データと共に送信される文字情報であり、表示時間と共にテーマ連続度生成部に渡す。音声データは、一般的な音声認識技術等を用いることで文字データに変換することができる。取得した時間を表示時刻として、一定期間内で音声認識を施した後の文字情報を、表示時刻と共にテーマ連続度生成部１１５に入力してもよい。但し音声認識による文字情報取得は、字幕データからの文字情報取得に処理負荷が高く、１００％正しく認識できるとは限らないため省略することも可能である。また字幕データも全ての放送番組に付けられているとは限らないため、字幕データのない番組については音声データによる音声認識のみを用いる。あるいは字幕データのない番組は文字情報によるテーマ連続度の算出を省略するといった構成も可能である。この場合の処理は第一の実施例と同様である。

次に、図１６Ａ、１６Ｂないし図１８を用いてテーマ連続度生成部１１５における、本実施例の文字情報を用いたテーマ連続度変化量の算出方法について説明する。テーマ連続度生成部１１５は、テーマ連続度変化量を算出するために、式（３）ないし式（６）に従いテロップ特徴データを用いることについては第一の実施例と同様である。

本実施例におけるテーマ連続度生成部１１５は、テーマ区切り文字ルールと呼ばれるテーマの不連続性を発見するためのテーマ連続度算出ルール、ワード出現パターンに対するテーマ連続度変化量が設定されているテーマ連続度算出ルールを使用する。図１６Ａ、Ｂはテーマ区切り文字ルールの一例を示す。

図１６Ａに示すようにテーマ区切り文字ルールは、ジャンル名１６０１、ワードA１６０２、ワードB１６０３、出現パターン１６０４、テーマ連続度変化量ルール１６０５のテーブルデータで構成される。

ジャンル名１６０１は、図７のテロップ領域検出ルールのジャンル名７０１と同様である。インデック生成部は、入力される番組情報と共にジャンルを特定する。

ワードA１６０２及びワードB１６０３は、それぞれ文字情報解析部１５１２より入力される文字情報に含まれているかどうかチェックされるキーワードである。但しワードA１６０２とワードB１６０３は、出現パターン１６０４により文字情報中の探索方法が異なる。

出現パターン１６０４はワードA１６０２とワードB１６０３の探索方法を決定し、その後のテーマ連続度変化量ルール１６０５を適用するか否かを判定する。出現パターン１６０４は、ワードA及びワードBが、文字情報中の存在場所や場所の関連などのパターンを示している。例えば図１６の最初のレコードであるワードA「続いて」とワードB「ニュース」となっており、出現パターンが「ワードA→ワードBの順番で含む」となっていた場合を例に挙げる。上に挙げた例の場合は、例えば文字情報が「さて続いてのニュースは○○です。」といった場合には、適合するとしてテーマ連続度変化量１６０５が適用される。一方で「以上、日本の株価のニュースでした。続いては為替の動きです。」といった文字情報の場合は、ワードBの次にワードAが出現するため不適合となる。以上のように、ワードA１６０２とワードBは、出現パターン１６０４により各種ワードの探索方法が異なる。ワードBが×となっている場合には、ワードAのみの探索を行う。また文中どこでも良い場合の他、文頭になくてはならい、文末になくてはならないなどの出現パターン１６０４は、様々な組み合わせとなる。

次にテーマ連続度変化量ルール１６０５について説明する。テーマ連続度変化量ルール１６０５は、文字情報がワードA１６０２及びワードB１６０３を用いて、出現パターン１６０４による検索が合致した場合に適用される、テーマ連続度変化量と作用時間を記したものである。テーマ連続度変化量は、第一の実施例と同様にテーマ連続度に作用する数値である。ワードA及びワードBのテーマの不連続性に作用する重要度に応じて、テーマ連続度変化量を設定すれば良い。作用時間は、テーマ連続度変化量をどの時間のテーマ連続度に適用するかを定めたものである。

例えばニュースなどの生放送では、字幕などの文字情報と出演者の台詞が同期せず遅れて表示されないことがある。よってカテゴリ毎あるいは番組情報などから生放送だと特定される番組であれば、文字情報に表示される台詞の内容は既に映像中には出現したものだと考えられるため、作用時間を文字情報と共に入力される字幕情報の表示時刻よりも前に設定するようにする。図１６Ａにおいてニュースのテーマ連続度変化量ルールにおける、作用時間が大きくなっているのは左記の理由のためである。一方で音声認識により取得した文字情報や放送局で一旦収録及び編集されて放送される番組の字幕情報に関しては、表示時刻と映像のずれは大きくないため、作用時間を小さくすることができる。

なお図１６Ａにおいては、文字情報が日本語の場合についての例を示した。出現パターン１６０４において、ワードAとワードBの出現パターンについては言語種類により依存している。よって文字情報の種類によってテーマ区切り文字ルールを切り替えるようにすれば良い。文字情報が英語の場合のテーマ区切り文字ルールの一例を図１６Ｂに示す。同図において、１６１１、１６１２、１６１３、１６１４、１６１５は、それぞれジャンル、ワードA、ワードB、パターン、テーマ連続度変化量ルールを示す。

図１６Ａと図１６Ｂの関係は、テーマの連続性を検出するための特定語句が含まれているかどうかを判定するという目的において同じである。よって図１６Ａを基に図１６Ｂを生成する場合、形容詞＋名詞等の語順に変化のないワードについては単純翻訳でもよい。例えば図１６ＡのワードAが「続いて」、ワードBが「ニュース」で出現パターンが「ワードA→ワードBの順番で含む」に対応する、英語のテーマ区切り文字ルールは、図１６Ｂに示すとおり、ワードAが「following」、ワードBが「news」で出現パターンが「ワードA→ワードBの順番で含む」とすれば良い。

しかし、動詞を含むワードを検出する場合には、ワードAとワードBを言語変換あるいはその逆を行う場合には、言語構造の差異から出現パターンを変更する必要がある。例えば図１６Ａにおいて、ワードAが「以上、」、ワードBが「でした。」および出現パターンが「文末がワードBとなれば○」といった場合には、ワードBを翻訳すると動詞であるため語順が文中にあることが多くなるため、ワードAを「over」、ワードBを「informed」とし、出現パターンを「ワードAとワードBを順不同で含みワードBの品詞が動詞であれば○」といった変換を行うようにすればよい。

図１６においては探索ワードをワードA及びワードBの２語に限定したが、この限りではなく３語以上の語数で探索しても良い。

次にテーマ連続度生成部１１５が、文字情報を用いてテーマ連続度変化量を算出するための処理フローについて、図１７を用いて説明する。

テーマ連続度生成部１１５は、文字情報を用いたテーマ連続度変化量を算出するために、最初に図１６のテーマ区切り文字ルールを取得する（ステップ１７０１）。続いて文字情報と表示時刻を文字情報解析部１５１２より取得する（ステップ１７０２）。

続いてステップ１７０２で取得した文字情報が、図１６のテーマ区切り文字ルールにマッチするか否かを判定する（ステップ１７０３）。テーマ連続度生成部１１５は処理対象の番組のジャンル名１６０１については既に番組情報より取得して設定することが可能である。よって当該ジャンルのワードA１６０２及びワードB１６０３と出現パターン１６０４を用いればよい。

また該当ジャンル名の全てのテーマ区切り文字ルールを適用しても良いが、ワードA1６０２とワードB１６０３が最初に出現パターン１６０４に合致した時点で、当該文字情報に対するルール適用を終了してもよい。左記によれば計算量は少なくすることができるが、重要度の高い順番にテーマ区切り文字ルールを整頓する必要がある。

続いてステップ１７０３において文字情報が、テーマ区切り文字ルールのいずれかに含まれていると判定されれば、テーマ連続度変化量ルールを取得して、対象時間の文字情報により設定されたテーマ連続度変化量を既に式(7)で計算済みのテーマ連続度に加える（ステップ１７０４）。具体的には次の式（８）に従うものとする。

TP(t) ： 時間tにおけるテーマ連続度
Tv ：基準となるテーマ連続度(定数)
Th0(t)：時間tにおけるテロップ特徴量変化によるテーマ連続度変化量
(式(3)による)
Th1(t)：時間tにおけるテロップ移動によるテーマ連続度変化量(式(4)による)
Th2(t)：時間tにおけるテロップ表示期間によるテーマ連続度変化量
(式(6)による)
m, n, p：それぞれ定数
ThC(t)：時間tにおける文字情報より設定されたテーマ連続度変化量

続いてステップ１７０３において文字情報が、テーマ区切り文字ルールに合致しないと判定された場合及びステップ１７０４のテロップ連続量の算出が終了した場合には次の文字情報があるかどうかを判定する(ステップ１７０５)。ステップ１７０５において文字情報があると判定された場合には、ステップ１７０２に戻り処理を続行する。ステップ１７０５において全ての文字情報を処理したと判断された場合には処理を終了する。

次に、図１７の処理フローを図１８により具体的に説明する。図１８は図１１のニュース番組のテーマ変化量の算出方法とほぼ同様であり、文字情報１８０６を同時に受信したとする。例えばt1に「＞＞以上、国会前からでした。」といった文字情報を取得したとする。これは図１６のテーマ区切り文字ルールにおける、ワードA「以上、」及びワードB「でした。」及び出現パターン「文末がワードBになれば○」に合致する。「以上、」＋「でした。」はニューストッピクの切り替わる前で使用されることが多いため、次のニュースの先頭は表示位置の後と考えられるため、テーマ連続度変化量ルールは「３秒後にテーマ連続度を−５とする」となっていた。そのためt2(仮にt2とt1の間隔が約３秒であるとすれば)のテーマ連続度が、テロップ領域のみの場合と比較して小さくなる。他の時間のテーマ連続度１１０５についても同様に算出する。

本実施例においては文字情報として、字幕データや音声データを利用したが、テロップ領域に対して文字認識を適用することにより文字情報を取得するようにしても良い。テロップ領域から文字情報を取得するために、テロップ特徴生成部１１３で検出されたテロップ領域を文字情報解析部１５１２に入力する。

文字情報解析部１５１２は入力されたテロップ領域に対して文字認識を適用する。テロップ領域に対する文字認識としては、一般におこなわれるOCRを用いればよい。その後文字情報解析部１５１２は文字認識により取得した文字情報をテーマ連続度生成部１１５に入力する。

映像中のテロップは、字幕情報と異なり多くの番組に含まれているため適用できる番組の範囲が広いという利点がある。但し文字認識の処理の負荷が高いため、システム全体の処理量が大きくなる。よって省略してもよい。

また本実施例においてテーマ連続度の算出においてはテロップ領域と文字情報を相互に活用するインデックス方法について示したが、文字情報のみを活用する方式のみを用いてよい。その場合には図１５においてテロップ特徴生成部１１３を省略することができる。

またテロップ特徴生成部１１３を省略した場合には、テーマ連続度生成部１１５の処理フロー図１７における、ステップ１７０４の処理において、式（８）におけるTh0(t)、Th1(t)、Th2(t)の値を0としてテーマ連続度を算出すればよい。

また本実施例においてテーマ連続度の算出においてはテロップ領域と文字情報を相互に活用するインデックス方法について示したが、番組の種類によってテロップ領域と文字情報を排他的に使用しても良い。

例えば番組情報取得部１１２より、録画番組について字幕情報の含まれないと判断された場合には、システム制御部１１０は、文字情報解析部１５１２に対して処理を停止して、実施例１に示したテーマ連続度を算出するようにする。

また一方で字幕情報が含まれる番組に対しては、システム全体の処理量を削減するために、テロップ特徴生成部１１３を停止するようにしてもよい。その場合には上述のテロップ特徴生成部１１３を省略した構成と同様の手段によりテーマ連続度を算出すればよい。

更に、本実施例においてはインターネットやリムーバブルメディアや他のシーン検出技術（CM検出等）を介して、予め特定の時間に対するテーマ連続度変化量を定義したファイルを受信して、テーマ連続度を作用させてもよい。CM検出を例に挙げると、明らかにトピック区切られる検出結果がある場合には、CM開始時間及び終了時間のテーマ連続度を小さくすると共に、CM開始時間及び終了時間の区間のテーマ連続度を大きくするといった処理を行ってもよい。またCM区間は15秒の倍数おきに区切ることにより、次のCMを検出することが出来る場合には、特定の秒数毎にテーマ連続度を小さくするといったことも可能である。

以下、第三の実施例を、図１９ないし図２１を用いて説明する。

第一及び第二の実施例においては、図１２及び図１４の再生画面例におけるチャプタ情報はテーマ連続度データ１２３を用いて生成していた。本実施例においては、テーマ連続度データの他に、ユーザがあらかじめ設定したチャプタデータやCMなどの他のイベント検出方法に取得されたチャプタ情報が存在する場合に効率よく再生する方法を開示する。

なお、本実施例では、第一の実施例および第二の実施例と比較し、異なる所を強調して説明する。

図１９は、第三の実施例に係る映像録画再生装置の処理ブロック構成及びデータフローを示すブロック図である。本実施例の番組録画再生装置の構成は、図１９に示されるように、第一の実施例の図１Ｂの構成に加えて、外部記憶装置１０７にチャプタデータ１９２４が加わっている。チャプタ取得部１１６は、このチャプタデータ１９２４を直接或いはＲＡＭ１０６経由で取得する。

図２０はチャプタデータの一例を示したものである。チャプタデータ１９２４は、チャプタ種別２００１及びチャプタ数２００２及びチャプタ時間２００３のテーブルデータで構成される。

図２０においてチャプタ種別２００１は、チャプタの種類を区別するために用いられる名前である。例えばユーザが自分で編集して設定した「ユーザ定義」とするほか他の一般に行われるCM検出結果を示す「CM」、あるいはサッカーにおける得点シーンなどの特定のイベント名を付けることも可能である。名前は特に制限を設けないが、重視されるチャプタを上の段とする。チャプタ数２００２は、同一チャプタ種別２００１に含まれるチャプタの数である。チャプタ時間２００３は、実際に既に設定あるいは検出されたチャプタ時間である。

チャプタ取得部１１６は、第一及び第二の実施例においてはテーマ連続度データ１２３を扱っていたが、本実施例においては加えてチャプタデータ１９２４を扱うこととする。具体的には図１２や図１４の再生画面例を構成する際に、チャプタ取得部は、チャプタデータ１９２４とテーマ連続度データ１２３によるチャプタ位置を合成して出力する。

本実施例においてチャプタ取得部１１６は、テーマ連続度データ１２３よりもチャプタデータ１９２４が重要なチャプタ情報として扱う。本実施例におけるチャプタ取得部１１６がチャプタデータ１９２４を合成する方法について図２１を用いて説明する。

図２１はチャプタ取得部１１６がチャプタデータ１９２４を用いて、図１２や図１４のプログレスバー１２０２を構成するチャプタ情報を出力する処理フローを示したものである。チャプタ取得部１１６は、システム制御部１１０の指令によりチャプタ生成命令を受けると最初にチャプタデータ１９２４のうち最初のチャプタ種別２００１に含まれる全てのチャプタ時間２００３を外部記憶装置１０７より取得する（ステップ２１０１）。続いてチャプタ時間２００３を一個取得し、既に出力済みのチャプタ情報が付近に含まれているかどうかを判定する（ステップ２１０２）。近い時間のチャプタを混在することにより、ユーザ操作の煩雑になってしまうのを防ぐためである。ステップ２１０２において付近にチャプタが含まれていないと判断された場合にはチャプタ情報として時間を適切な単位に変換して出力する(ステップ２１０３)。続いてステップ２１０２において、付近にチャプタが含まれていると判定された場合、あるいはステップ２１０３の処理を終了後に、同一チャプタ種別２００１内に含まれる他のチャプタが存在するか否かを判定する（ステップ２１０４）。ステップ２１０４において、他のチャプタが存在すると判定された場合にはステップ２１０２に戻り次のチャプタの処理を行う。ステップ２１０４において、他のチャプタが存在しないと判定された場合には、他のチャプタ種別２００１が存在するか否かを判定する(ステップ２１０５)。ステップ２１０５において他のチャプタ種別２００１が存在すると判定された場合には、ステップ２１０１において次のチャプタ種別内に存在する全てのチャプタデータを取得する。

ステップ２１０５において全てのチャプタ種別を処理したと判定された場合、チャプタ生成部１１６は、チャプタデータ１９２４に関する処理を終了する。その後図１３の処理フローに従い、図２１で出力されたチャプタ情報に対しテーマ連続度データによるチャプタ情報の追加処理を行う。

本実施例によれば、テーマ連続度データにより映像録画再生装置が自動で生成するチャプタ情報よりも、「ユーザ定義」チャプタや「CM」チャプタなどの予め設定されているチャプタデータを優先して活用することができる。

本実施例においては、テーマ連続度データとチャプタデータを合成する方法について示したが、図１４のスコア表示１４０７にチャプタ種別を表示して、チャプタ種別毎のチャプタ情報を表示するインターフェイスを提供してもよい。あるいはチャプタ種別毎にチャプタ位置表示１２０５を色分けで表示するといったインターフェイスを提供してもよい。

また本実施例においては、チャプタデータにおけるチャプタ情報の合成後にテーマ連続度データによるチャプタ情報を合成したが、チャプタデータの一部のカテゴリ種別２００１を合成したあとにテーマ連続度データを合成するようにしてもよい。またチャプタデータの各カテゴリ種別２００１とテーマ連続度データを順不同に合成させてもよい。

以上説明した本発明の実施例の構成として、テロップが表示されている期間や出現位置や出現位置の変化量によりシーンの連続性をスコア化してもよい。それにより、過剰なインデックスが生成することなくテーマの不連続点を検出し易くなり、好適なチャプタを提示することが可能となる。

更にまた、本発明の実施例の構成として、テーマ連続度の算出に録画番組に含まれる文字情報を用いてもよい。それによって、テーマの不連続点をより確実にすることができ、極めて有効なチャプタを提示することが可能となる。

なお、以上詳述してきた各実施例は、映像録画再生装置を例示して説明したが、本発明は記録機能を有せず再生機能を有する映像再生装置にも適用できることは言うまでもない。

本発明の第一の実施例に係る映像録画再生装置のハードウェア構成を示すブロック図である。 本発明の第一の実施例に係る映像録画再生装置の処理ブロック構成及びデータフローを示すブロック図である。 第一の実施例に係るデジタル放送におけるデータストリームのデータ構造を示す図である。 第一の実施例に係るテロップ特徴データ１２２の形式を示す図である。 第一の実施例に係る実際の番組におけるテロップ領域検出パターンの例を示す図である。 第一の実施例に係るテーマ連続度データ１２３のデータ構造を示す図である。 第一の実施例に係るテロップ特徴生成部１１３が映像録画開始時に行う処理を示すフローチャートである。 第一の実施例に係るテロップ特徴生成部１１３で扱う、テロップ領域検出ルールの一例である。 第一の実施例に係るテロップ特徴生成部１１３が、テロップ特徴データ１２２を生成する処理を示すフローチャートである。 第一の実施例に係る実際の映像からテロップ特徴抽出処理を行う手順について示した図である。 第一の実施例に係るテーマ連続度生成部１１５がテーマ連続度データ１２３を生成する処理を示すフローチャートである。 第一の実施例に係る実際の映像及びテロップ特徴データ１２２からテーマ連続度を算出する方法を示した図である 第一の実施例に係る映像録画再生装置における再生画面の一例を示した図である。 第一の実施例に係るチャプタ取得部１１６がテーマ連続度データ１２３からチャプタ位置を決定する処理を示すフローチャートである。 第一の実施例に係る映像録画再生装置における再生画面の一例を示した図である。 第二の実施例に係る映像録画再生装置の処理ブロック構成及びデータフローを示すブロック図である。 第二の実施例に係るテーマ区切り文字ルールの構造の一例を示す図である。 第二の実施例に係るテーマ区切り文字ルールの構造の他の例を示す図である。 第二の実施例に係るテーマ連続度生成部１１５が、文字情報からテーマ連続度を出力する処理を示すフローチャートである。 第二の実施例において、実際の映像及びテロップ特徴データ１２２及び文字情報からテーマ連続度を算出する方法を示した図である 第三の実施例に係る映像録画再生装置の処理ブロック構成及びデータフローを示すブロック図である。 第三の実施例に係るチャプタデータ１９２４の構造を示す図である。 第三の実施例に係るチャプタ取得部１１６がチャプタデータ１９２４からチャプタ位置を決定する処理を示すフローチャートである。

符号の説明

１０１…録画再生装置、１０２…表示装置、１０３…入力装置、１０４…チューナ、１０５…アンテナ、１０６…ＲＡＭ、１０７…外部記憶装置、１１０…システム制御部、１１１…信号分離部、１１２…番組情報取得部、１１３…テロップ特徴生成部 １１４…番組記録部、１１５…テーマ連続度生成部、１１６…チャプタ取得部、１１７…番組再生部、１１８…映像出力部、１２１…録画番組データ、１２２…テロップ特徴データ、１２３…テーマ連続度データ、１２０１…番組再生画面、１２０２…プログレスバー、１４０７…スコア表示部、１５１７…文字情報解析部、１９２４…チャプタデータ。

Claims (20)

1. デジタル放送を受信して得た映像を録画再生する録画再生部を有する映像録画再生装置における映像インデックス方法であって、
   前記録画再生部は、受信した放送データから番組情報データを分離し、
   分離した前記番組情報データを解析して番組種別情報を得、
   前記番組種別情報を用いて、前記放送データから分離された映像データ中のテロップ領域の検出を行う特定領域を決定し、前記特定領域の前記映像データに対してテロップ領域検出処理してテロップ特徴データを生成し、
   生成した前記テロップ特徴データを解析して、テーマ連続度を生成し、
   前記テーマ連続度と設定したチャプタ既定値からチャプタの位置を取得し、
   前記録画データを再生するにあたり、取得した前記チャプタの位置が前記録画データのどの部分にあたるかを表示する、
   ことを特徴とする映像インデックス方法。
2. 請求項１に記載の映像インデックス方法であって、
   前記録画再生部は、前記チャプタ既定値よりも前記テーマ連続度の値が低い時間に対し、前記チャプタを生成して前記チャプタの位置を取得する、
   ことを特徴とする映像インデックス方法。
3. 請求項１に記載の映像インデックス方法であって、
   前記録画データを再生する際、ユーザが前記テーマ連続度を選定し、
   前記録画再生部は、ユーザが選定した前記テーマ連続度から前記チャプタの位置を取得する、
   ことを特徴とする映像インデックス方法。
4. 請求項１に記載の映像インデックス方法であって、
   前記録画再生部は、前記テロップ特徴データの時系列方向の変化を評価することにより、前記テーマ連続度を算出する、
   ことを特徴とする映像インデックス方法。
5. 請求項１に記載の映像インデックス方法であって、
   前記録画再生部は、前記テロップ特徴データに基づき、前記テロップの表示時間を評価することにより、前記テーマ連続度を算出する、
   ことを特徴とする映像インデックス方法。
6. 請求項１に記載の映像インデックス方法であって、
   前記録画再生部は、前記前記テロップ特徴データに基づき、前記テロップの位置の移動量を評価することにより、前記テーマ連続度を算出する、
   ことを特徴とする映像インデックス方法。
7. 請求項１に記載の映像インデックス方法であって、
   前記録画再生部は、前記テロップ特徴データの時系列方向の変化と、前記テロップ特徴データの表示時間と、前記テロップの位置の移動量を評価し、番組カテゴリ毎に各評価結果に関する重み付けして、前記テーマ連続度を算出する、
   こと特徴とする映像インデックス方法。
8. 請求項１に記載の映像インデックス方法であって、
   前記録画再生部は、前記放送データ中の音声データや字幕データを文字情報へと変換し、変換された前記文字情報に基づき、前記テーマ連続度を算出する、
   ことを特徴とする映像インデックス方法。
9. デジタル放送を受信して映像を録画再生する映像録画再生装置であって、
   受信したデータの種類に応じて分離する信号分離部と、
   前記信号分離部により分離された番組情報データを解析し、番組種別情報を出力する番組情報取得部と、
   前記信号分離部により分離された放送データを記憶部に記録する番組記録部と、
   記録された前記放送データを再生して映像データを出力する番組再生部と、
   前記番組種別情報を用いて前記映像データのテロップ領域の検出を行う特定領域を決定し、前記特定領域の前記映像データに対してテロップ領域検出処理を行い、テロップ特徴データを出力するテロップ特徴生成部と、
   前記テロップ特徴データに基づきテロップ出現パターンを解析して、テーマ連続度を算出して出力するテーマ連続度生成部と、
   前記テーマ連続度と設定されたチャプタ既定値に基づきチャプタの位置を取得するチャプタ取得部と、
   前記録画データを再生する際、取得した前記チャプタの位置が前記録画データのどの部分に該当するかを表示する表示部とを備える、
   ことを特徴とする映像録画再生装置。
10. 請求項９に記載の映像録画再生装置であって、
    前記チャプタ取得部は、前記チャプタ既定値よりも前記テーマ連続度の低い時間に対し前記チャプタを生成し、前記チャプタの位置を取得する、
    ことを特徴とする映像録画再生装置。
11. 請求項９に記載の映像録画再生装置であって、
    ユーザが前記テーマ連続度を選択する入力部を有し、
    前記チャプタ取得部は、前記チャプタ既定値に代え、ユーザが選択した前記テーマ連続度から前記チャプタの位置を取得する、
    ことを特徴とする映像録画再生装置。
12. 請求項９に記載の映像録画再生装置であって、
    前記テーマ連続度生成部は、前記テロップ特徴データの時系列方向の変化を評価することにより、前記テーマ連続度を算出する、
    ことを特徴とする映像録画再生装置。
13. 請求項９に記載の映像録画再生装置であって、
    前記テーマ連続度生成部は、前記テロップ特徴データから前記テロップの表示時間を評価することにより、前記テーマ連続度を算出する、
    ことを特徴とする映像録画再生装置。
14. 請求項９に記載の映像録画再生装置であって、
    前記テーマ連続度生成部は、前記テロップ特徴データから前記テロップの位置の移動量を評価することにより、前記テーマ連続度を算出する、
    ことを特徴とする映像録画再生装置。
15. 請求項９に記載の映像録画再生装置であって、
    前記テーマ連続度生成部は、前記テロップ特徴データの時系列方向の変化、前記テロップ特徴データから前記テロップの表示時間、及び前記テロップ特徴データから前記テロップの位置の移動量を評価し、番組カテゴリ毎に各評価結果に関する重み付けをして、前記テーマ連続度を算出する、
    こと特徴とする映像録画再生装置。
16. 請求項９に記載の映像録画再生装置であって、
    前記番組再生部から前記音声データや字幕データを受信し、文字情報へと変換する文字情報解析部を更に備え、
    前記テーマ連続度生成部は前記テーマ連続度として、前記文字情報のパターンに基づくテーマ連続度を算出する、
    ことを特徴とする映像録画再生装置。
17. 放送番組データから映像を再生する映像再生装置であって、
    記憶部に記録された録画データを再生し、映像データや音声データを出力する番組再生部と、
    前記録画データに対応する番組情報データを解析して得られた番組種別情報を用いてテロップ領域検出を行う特定領域を決定し、前記特定領域の前記映像データに基づきテロップ出現パターンを解析して生成したテーマ連続度と、設定されたチャプタ既定値とに基づきチャプタの位置を取得するチャプタ取得部とを有し、
    前記録画データを再生する際、取得した前記チャプタの位置が前記録画データの何処に当たるかを表示するよう制御する、
    ことを特徴とする映像再生装置。
18. 請求項１７に記載の映像再生装置であって、
    前記チャプタ取得部は、前記チャプタの位置を取得する際、前記チャプタ既定値よりも前記テーマ連続度の低い時間に対し前記チャプタを生成する、
    ことを特徴とする映像再生装置。
19. 請求項１７に記載の映像再生装置であって、
    ユーザが前記テーマ連続度を選択する入力部を更に備え、
    前記チャプタ取得部は、前記チャプタ既定値に代え、ユーザが選択した前記テーマ連続度に基づき前記チャプタの位置を取得する、
    ことを特徴とする映像再生装置。
20. 請求項１７に記載の映像再生装置であって、
    前記番組再生部から前記音声データや字幕データを受信し、文字情報へと変換する文字情報解析部を更に備え、
    前記チャプタ取得部は前記テーマ連続度として、前記文字情報のパターンに基づくテーマ連続度を算出する、
    ことを特徴とする映像再生装置。

Images