JP2010109852A - 映像インデクシング方法、映像録画再生装置、及び映像再生装置 - Google Patents
映像インデクシング方法、映像録画再生装置、及び映像再生装置 Download PDFInfo
- Publication number
- JP2010109852A JP2010109852A JP2008281581A JP2008281581A JP2010109852A JP 2010109852 A JP2010109852 A JP 2010109852A JP 2008281581 A JP2008281581 A JP 2008281581A JP 2008281581 A JP2008281581 A JP 2008281581A JP 2010109852 A JP2010109852 A JP 2010109852A
- Authority
- JP
- Japan
- Prior art keywords
- data
- video
- telop
- chapter
- theme
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】
番組の録画時に検出された様々なテロップ領域を用いて、ユーザに好適なチャプタ位置を与える。
【解決手段】
番組録画再生装置の番組情報取得部112で、デジタル放送データを解析して取得した番組種別情報から、テロップ特徴生成部113はテロップを検出すべき特定領域を選定し、映像データを解析してテロップ特徴データを出力する。更に、テーマ連続度生成部115で、テロップ特徴データを解析して、テロップが表示されている期間や出現位置や出現位置の変化量よりテーマ連続度を算出した、テーマ連続度データを作成する。録画番組を再生する場合には、チャプタ取得部116は、テーマ連続度データに基づき、ユーザが自分で選択したテーマ連続度に応じた番組内のチャプタ位置を生成し、番組再生画面に視覚的に分かり易く表示する。
【選択図】図1B
番組の録画時に検出された様々なテロップ領域を用いて、ユーザに好適なチャプタ位置を与える。
【解決手段】
番組録画再生装置の番組情報取得部112で、デジタル放送データを解析して取得した番組種別情報から、テロップ特徴生成部113はテロップを検出すべき特定領域を選定し、映像データを解析してテロップ特徴データを出力する。更に、テーマ連続度生成部115で、テロップ特徴データを解析して、テロップが表示されている期間や出現位置や出現位置の変化量よりテーマ連続度を算出した、テーマ連続度データを作成する。録画番組を再生する場合には、チャプタ取得部116は、テーマ連続度データに基づき、ユーザが自分で選択したテーマ連続度に応じた番組内のチャプタ位置を生成し、番組再生画面に視覚的に分かり易く表示する。
【選択図】図1B
Description
本発明は、映像インデクシング方法、映像録画再生装置、映像再生装置に係り、特に、映像データと付随する番組データからテロップ領域を検出して、ユーザ好みのインデックスを表示する技術に関する。
近年の放送では、映像をデジタルデータとして、放送するデジタル放送が主流になってきている。このデジタル化によって、高画質化(ハイビジョン放送)や多チャンネル化、データ放送、移動受信(携帯電話など)向け放送などの新しい放送サービスが可能になると言われている。
デジタルテレビ放送の記憶媒体として、デジタル・バーサタイル・ディスク(Digital Versatile Disk:DVD)などの光ディスクやハードディスクドライブ(Hard Disk Drive:HDD)などの、番組を大量に予約することができ、編集や消去を高速かつ容易におこなうことが可能なデジタル記憶媒体が用いられている。ユーザは、記憶媒体の容量が許す限り、取り敢えず興味のある番組は録画をおこない、番組を放送時間に縛られることなく自分の好きな時間に閲覧することが容易になっている。このような状況下では、視聴可能な時間は限られているため、ユーザは、所望のシーンを頭だしして視聴したいと考えることになる。
特許文献1には、映像からテロップを検出し、検出したテロップを分類し、分類したテロップの時間的存在範囲に基づいて目次を生成して表示する映像目次生成表示方法が開示されている。これにより、映像の内容を反映した目次を生成することができる。
特許文献2には、TV映像の中から重要なテロップを抽出し、テロップを内容毎に分類してテロップリストを生成する画像処理装置、画像処理方法、プログラム、及び記録媒体、並びに画像処理システムが開示されている。これにより、ユーザは重要なテロップを選択して再生することができる。
特許文献1に開示されている映像目次生成表示方法では、テロップを分類する際、空間的配置情報、即ち、テロップ出現領域の4隅の1点(x、y)、幅w及び高さhに基づき、テロップが例えばタイトルに示すもの、人名を示すものに等に分類するが、映像に出現する全てのテロップを抽出して分類するため、あまり有意でないテロップも混ざる可能性がある。
一方で、TV放送のテロップの出現パターンは番組毎に、固定パターンで移り変わりながら出現することが多い。例えばニュース番組では、テーマの切り替わり時にニュースタイトルのテロップが画面中央下付近に表示された後に、サブタイトルを示すテロップが右上に現れることが多い。
上記の従来技術においては、テロップ位置の変化を捉えていないため、テーマの切れ目を認識できず過剰なインデックスが生成される問題がある。また同じ入力映像からテロップを全て分類するため計算量が多いという問題がある。
特許文献2に開示されている画像処理装置では、テロップリストを生成する際に、入力映像と保存された画像の類似度を判定し、類似度の高い映像のフレームに対してのみテロップ検出を行い、同一の保存された画像と類似していると判定された該テロップや該映像を同グループのテロップとして分類するため、保存された画像が番組中の重要でないシーンであればユーザが選択しても所望のシーンを再生できない可能性がある。また類似度が低いフレーム中の重要なテロップが漏れてしまう可能性がある。
また上記の従来技術においては、グループ分けされたテロップを目次とした場合、グループ毎のチャプタを生成することができるが、それらグループ同士でどのテロップが重要であるかの尺度がない。よってグループ毎のチャプタを合成する場合には、番組毎のテーマの切れ目としてふさわしくないチャプタとなってしまう可能性が高い。
本発明の目的は、上記従来技術の問題となる過剰なインデックスが生成されることなく、番組に対して最適なインデックスをユーザに提供すると共に、ユーザに最適なインデックスを簡易な操作で提示するインターフェイスを持つ、映像インデックス生成方法、映像録画再生装置及び映像再生装置を提供することである。
前述の目的を達成するために、本発明の映像インデックス方法及び映像録画再生装置は、番組情報からテロップを検出すべき領域を選定し、映像データを解析してテロップ特徴データを出力するテロップ特徴生成部と、さらにテロップ特徴データを解析して、テロップが表示されている期間や出現位置や出現位置の変化量より連続性をスコア化したテーマ連続度を含む、テーマ連続度データを作成するテーマ連続度生成部とを具備しており、録画番組を再生する場合には、装置内に設定されているチャプタ既定値や、番組再生画面上テーマ連続度の選択を可能とするインターフェイスからユーザが選択したテーマ連続度に応じ、番組内のチャプタ位置をテーマ連続度データに基づき生成し、視覚的に分かり易く表示することを特徴とする。
また、本発明のより好適な映像インデックス方法及び映像録画再生装置は、録画番組の字幕や音声データから文字情報を出力する文字情報解析部を具備しており、前記テーマ連続度生成部は前述のテロップ領域により算出されたテーマ連続度に加え、前記文字情報解析部より入力された文字情報と、ワード出現パターンに対するテーマ連続度変化量が設定されているテーマ連続度算出ルールを用いて、文字情報のパターンからテーマ連続度を算出することを特徴とする。
以上のように、本発明によれば、テロップ領域検出を特定の部位のみを行うため計算量を削減することができる。また、テロップ領域の選定に番組情報を用いるため、番組毎に最適なテロップ領域を選定することが可能となり、重要なテロップを見逃すことがなくなる。
以下、本発明の好適な実施例を図面に基づき説明する。
第一の実施例を、図1ないし図14を用いて説明する。
先ず、図1A, Bを用いて第一の実施例に係る映像録画再生装置の構成について説明する。図1Aは、第一の実施例に係る映像録画再生装置のハードウェア構成を示すブロック図である。
図1Aに示すように、本実施例の映像録画再生装置は、プロセッサ151と、表示装置102と、入力装置103と、チューナ104と、アンテナ105と、ランダム・アクセス・メモリ(RAM)106と、外部記憶装置107とを備えている。また、プロセッサ151と、表示装置102と、入力装置103と、チューナ104と、RAM106と、外部記憶装置107はバス108を介して接続されている。
プロセッサ151は、外部記憶装置107に放送番組の録画や再生をおこなう部分である。プロセッサ151は、中央処理部(CPU)などの汎用プロセッサ、あるいは¥特定用途向けの専用集積回路(ASIC)を一つ以上含んでいる。プロセッサ151は、番組を録画や再生する際の各処理をおこなうための処理ブロックに分かれる。
表示装置102は、映像や音声を表示する表示部であり、録画されたコンテンツを再生した場合に、映像の表示や音声の出力をおこなう。表示装置102は、例えばテレビやパソコンのディスプレイあるいは液晶パネル等によって構成される。
入力装置103は、ユーザがこの映像録画再生装置に対する操作をおこない、ユーザによって入力される操作に関する制御情報やデータを入力する入力部であり、例えば、例えば、リモコン、キーボード、マウス、ペン入力装置等のポインティングデバイス、あるいは、液晶タッチパネル等によって実現される。
RAM106は、揮発メモリであり、録画再生装置101で処理される一時的なデータやプログラムを記憶する記憶部である。
チューナ104は、放送局より受信した電波より、選局して放送番組データを取得する部分である。アンテナ105は、デジタル放送の帯域に応じて、放送電波を受信する部分である。例えば、地上波デジタル放送用のアンテナでは、UHF帯の電波を受信するようになっている。
外部記憶装置107は、大容量の記憶容量を有する記憶部を構成し、例えば、DVDなどの光ディスクやHDDである。
次に、録画再生部101の各処理ブロックについて図1Bを用いて説明する。図1Bは、第一の実施例に係る映像録画再生装置の処理ブロック構成及びデータフローを示すブロック図である。なお、各処理ブロックは、例えば、中央処理部(CPU)などの汎用プロセッサ上で動作するソフトウェアとしてもよく、ブロック毎に専用のハードウェアやASICで処理してもよい。またソフトウェアとハードウェアが混在する装置であってもよい。
録画再生部101は、図1Bに示されるように、システム制御部110と、信号分離部111と、番組情報取得部112と、テロップ特徴生成部113と、番組記録部114と、テーマ連続度生成部115と、チャプタ取得部116と、番組再生部117と、映像出力部118とで構成される。
システム制御部110は、ユーザの操作要求を入力装置103より受けとり、録画再生部101の各ブロックの動作を制御する。また、番組の録画および再生等における録画再生部101の各ブロックの動作を制御する。
信号分離部111は、受信した放送データを、映像データ、音声データ、字幕文データ、番組情報データなどの種類毎に分離して他の処理ブロックに渡す機能を有する。また、他の処理部からデータ送信要求があった場合には指定されたデータを、要求元ヘデータを送信する。さらに、信号分離部111にはチューナ104から受信した放送番組データや外部記憶装置107に保存されている録画番組データ121を入力することができる。
番組再生部117は、システム制御部110の指示により、ユーザが指示した番組の外部記憶装置107に保存されている録画番組データ121を取得して、信号分離部111へと入力する。その後、信号分離部111から映像ES(後述する)と音声ES(後述する)を取得して復号化をおこない、映像出力部118へ映像および音声データを出力する。また番組再生部117は、録画時において、システム制御部の指示により、信号分離部111から、録画番組の映像ESを取得して復号化をおこない、テロップ特徴生成部113へ映像データとタイムスタンプを入力することができる。
番組記録部114は、システム制御部110を介して、番組の録画要求があった場合に、信号分離部111に対して、データストリームを要求して、外部記憶装置107へ録画番組データ121として保存する。番組記録部113は、ユーザの指定によりデータストリーム全てを録画番組データ121として保存してもよいし、記憶領域削減のため取捨選択することにより、映像ESや音声ESのみを保存してもよい。
映像出力部118は、チャプタ取得部116および番組再生部117の出力を受けて、画面を構成し、表示装置102へ映像および音声を出力する。
番組情報取得部112は、システム制御部110から番組情報取得要求を受けると信号分離部111より番組情報データを取得する。そして、番組情報データを解析して、テロップ特徴生成部113に入力する。
番組情報取得部112は、システム制御部110から番組情報取得要求を受けると信号分離部111より番組情報データを取得する。そして、番組情報データを解析して、テロップ特徴生成部113に入力する。
テロップ特徴生成部113は、システム制御部110からテロップ特徴生成要求を受けると番組再生部117より録画番組の映像データとタイムスタンプを取得する。そして、映像データを解析して、外部記憶装置107上にテロップ特徴データ122として保存する。
テーマ連続度生成部115は、テロップ特徴データ122を用いて、外部記憶装置107に、テーマ連続度データ123を出力する。
チャプタ取得部116は、システム制御部110からのチャプタ取得要求を受けると、外部記憶装置107よりテーマ連続度データ123を取得する。その後ユーザの操作指示に応じたチャプタ出力処理等を行う。
チャプタ取得部116は、システム制御部110からのチャプタ取得要求を受けると、外部記憶装置107よりテーマ連続度データ123を取得する。その後ユーザの操作指示に応じたチャプタ出力処理等を行う。
外部記憶装置107には、録画番組データ121、テロップ特徴データ122、テーマ連続度データ123を格納する。
テロップ特徴データ122は、テロップ特徴生成部113が、映像データを解析して、独自の形式で外部記憶装置107に保存するデータである。テロップ特徴データ122は番組毎に生成される。テロップ特徴データ122の詳細については、後述する。
テロップ特徴データ122は、テロップ特徴生成部113が、映像データを解析して、独自の形式で外部記憶装置107に保存するデータである。テロップ特徴データ122は番組毎に生成される。テロップ特徴データ122の詳細については、後述する。
録画番組データ121は、映像、音声、字幕などの情報を含む番組のデータである。
テーマ連続度データ123は、時間毎のテーマの連続性情報を保持するデータである。テーマ連続度データ123は、番組ごとに生成される。テーマ連続度データ123の詳細については、後述する。
次に図2ないし図5を用いて本実施例の映像インデックス方法に関連するデータ構造について説明する。
図2は、デジタル放送におけるデータストリームのデータ構造を示す図である。図3は、テロップ特徴データ122のデータ構造を示す図である。図4は、実際の番組におけるテロップ領域検出パターンの例を示す図である。図5は、テーマ連続度データ123のデータ構造を示す図である。
デジタル放送では、伝送方式にMPEG−2 TS(Transport Stream)が用いられている。映像データ、音声データおよびデータ放送で用いられている全てのデータは、図2に示されるTSパケット201で多重化されて伝送される。
特に、映像データや音声データや字幕文データは、ES(Elementary Stream)に符号化圧縮され、それぞれ、映像ES202、音声ES203、字幕ES204となる。これらのESには、表示時刻情報などを示すPESヘッダ205が付加されたPES(Packetized Elementary Stream)形式でパケット化される。PESヘッダ205には、タイムスタンプが含まれ、このタイムスタンプによって、各パケットの再生同期をとることが可能である。図2からも分かるように、複数のTSパケットのペイロードより、一つのPESパケットが作られることがある。
またデジタル放送では、現在あるいは今後放送される番組の番組名や番組内容やジャンル情報などを含む番組情報データ205を同時に送信される。
図1Bに示された信号分離部111は、図2のデータストリームを解析してパケットの種類毎に分離する。
次に、図3及び図4用いてテロップ特徴データ122について説明する。
テロップ特徴データ122は、図3に示されるように、タイムスタンプ301とテロップ個数302と領域データ303とテロップ特徴量304のテーブル形式で保存される。
タイムスタンプ301は、テロップ領域を検出した映像フレームに与えられる表示時刻であり、PESヘッダ206に含まれている。あるいは映像ES202に含まれる数枚の映像フレームグループのうち、最初の映像フレームの表示時刻がESヘッダ206に含まれている。その場合は当該映像フレームの表示時刻を(フレーム枚数)×(フレーム間隔)で計算すれば良い。
テロップ個数302は、領域データ303に含まれるテロップ領域の個数である。テロップ領域は、テロップ特徴生成部113の処理で検出される。テロップ領域は一画面中に複数個検出される可能性があるため、領域データ303のサイズを個数で制御する。
領域データ303は、検出されたテロップ領域の座標を示すデータである。具体例として図4に示す映像を用いて説明する。
図4には、401及び402で示される長方形のテロップ領域が含まれている。よって401と402のテロップ領域の左上の画素における横方向及び縦方向の座標(x1,y1)と右下の画素における横方向及び縦方向の座標(x2,y2)を領域データ303として保存する。
図4のような映像の場合には、図3においてタイムスタンプ301が8で示されているように、テロップ個数302を2として、領域データ303に401及び402の左上と右下の座標を含むように構成される。
テロップ特徴量304は、領域データ303中に含まれる各領域のテロップの特徴を数値化したものであり、テロップ中の文字が変化しているかどうかを検出するために用いる。具体的な算出方法については、後述する。
次に、図5を用いてテーマ連続度データ123について説明する。
テーマ連続度データ123は、図5に示されるように、タイムスタンプ501とテーマ連続度502のテーブル形式で保存される。
タイムスタンプ501は、録画映像の表示時間を示したものであり、最初の映像表示時刻からの差分時刻である。
テーマ連続度502は、前後の映像におけるテーマの変化の大きさを数値化したものである。本実施例におけるテーマは、例えばニュース番組における特定のニュースや天気予報などのコーナーなど、番組を意味ある単位で区分けされたものであるとする。
本実施例においては、同じ事件を扱っているコーナー中の映像は連続した同一テーマに含まれていると考えられ、テーマ連続度は大きくなる。一方で例えばスポーツコーナーと天気予報コーナーの境界付近であれば、映像のテーマが不連続となり、テーマ連続度は小さくなる。テーマ連続度502は、テーマ連続度生成部115においてテロップ特徴データ122を用いて算出される。
次に、図6ないし図10を用いて第一の実施例に係る映像インデックス方法及び映像録画再生装置の各部の処理について説明する。
図6は、テロップ特徴生成部113が映像録画開始時に行う処理を示すフローチャートである。図7は、テロップ特徴生成部113で扱う、テロップ領域検出ルールの一例である。図8は、テロップ特徴生成部113が、テロップ特徴データ122を生成する処理を示すフローチャートである。
図6及び図7を用いてテロップ特徴生成部113が映像録画開始時の処理フローを説明する。
テロップ特徴生成部113は、映像録画開始時にシステム制御部110の指示によりテロップ特徴抽出準備を通知されると、最初にテロップ領域検出ルールを取得する(ステップ601)。テロップ領域検出ルールについては後述する。
次に番組情報データ205の受信を一定時間待つ(ステップ602)。番組の録画開始と同時に番組情報データ205を取得しているとは限らないので、待ち状態となる。続いて番組情報データ205を受信しているかどうかを判定する(ステップ603)。番組情報データ205を受信していない場合にはステップ602に戻る。
ステップ603において番組情報データ205を取得した場合には、番組情報データ205を解析する(ステップ604)。例えば番組情報データ205より、ジャンル情報や番組名や放送時間等の情報を取得する。
続いてステップ604で取得した番組情報を用いてテロップ領域検出ルールを特定する(ステップ605)。以上により、テロップ特徴生成部113は映像録画開始処理を終了する。以後、テロップ特徴生成が可能となる。
次に図7を用いてテロップ領域検出ルールについて説明する。
ここで、テロップ領域検出ルールは、映像のうちテロップの検出する領域を予め特定するためのルールであり、図7にテロップ領域検出ルールの一例を示す。
テロップ領域検出ルールは、図7に示されているようにジャンル名701とテスト対象数702と検出テスト対象703とパターン名704のテーブル形式で持つ。
ジャンル名701は、放送番組の内容により区分けされるグループの総称である。例えばデジタル放送規格で規定されているジャンル名とすることができる。
テスト対象数702は、番組情報データ205より該当するジャンルが特定されたときに、テロップが含まれているかをテストする領域の数を示している。
検出テスト対象703は、番組情報データ205より該当するジャンルが特定されたときに、テロップが含まれているどうかをテストする領域の、長方形領域における左上及び右下の座標を示している。検出テスト対象703の個数はテスト対象数702に従う。
一般に番組中でのテロップは、表示領域がパターン化されていることが多い。また番組中のテロップ表示パターンは番組ジャンルにより大別できることが多い。
例えばニュース番組であれば、ニュースキャスターが中央に座り、キャスターの上半身部分辺りの画面中央付近に、ニュースの見出しとなる文字列が表示されるという構図がニュースの冒頭で出現しやすい。ニュースタイトルを説明した後に実況を交えた具体的な内容に移り変わる。その際には右上の部分にニュースの小見出しが表示されていることが多い。よって画面中央付近のテロップ領域が現れ一定時間表示された後に、その後右上に移るというテロップ表示領域の変化を検出されれば、画面中央付近にテロップが出現した時間と以前の映像とはテーマが不連続になっている可能性が高い。逆に画面中央付近でテロップが出現してすぐ消えた場合には出演者のナレーションを文字テロップとして表示された可能性がある。
また一方で例えば音楽番組の場合には、出演者が唄っているシーンにおいて歌詞のテロップが画面下に表示されることがある。その場合にはテロップが出現して消えるパターンが連続することになる。よってこのテロップが一定の領域での表示オン/オフ(ON/OFF)を検出して、またテロップの文字が切り替わっているシーンを検出し、テロップの表示ON/OFFが最初に出現した時間は、曲が変わる場合やトークシーンが曲を歌うなど、テーマが不連続になっている可能性が高いといえる。一方で連続して切り替わっている間は、一つの曲を歌い続けるといった一つのテーマが連続しているといえる。
よってテーマの連続性は、番組ジャンル毎に決定された特定領域にテロップが現れてその後の表示領域の変化により判定されることができる。予め画面全体のテロップ領域を特定領域に限定して検出すればよい。左記の手法によれば、画面全体のテロップを全て検出するよりも計算量を少なくなる。
以上のように、画面中のテーマが不連続となるシーンを検出するためのテロップ領域をジャンル名701単位で、検出テスト対象703に設定する。
ここで図7のテロップ領域検出ルールは、本実施例における映像録画再生装置に予め組み込まれているものとする。他のプログラムと同様に外部リード・オンリー・メモリ(ROM)に格納してもよい。また外部記憶装置107に格納してもよい。外部記憶装置107に格納されていた場合には、将来の番組内容変更に応じてテロップ領域検出ルールを更新してもよい。
また本実施例においてテロップ領域検出ルールは、一例として図7に示されているテーブル構造を持っているが、ジャンル名701は番組情報データ205から特定できる別の区分け方法であってもよい。一例として番組名とすることができるが、テロップ領域検出ルールの容量が大きくなり、将来の番組改編などによりテロップ領域検出ルールを頻繁に更新する必要がある。他にも放送時間やチャンネルを条件に加えてもよい。例えば朝の番組では、現在時刻のテロップが常に表示される領域があるため、検出しないようにする。またチャンネルによっては、放送局のロゴマークが常に表示される領域があるため、検出しないようにしてもよい。
次に図8を用いて、テロップ特徴生成部113が、録画番組の映像よりテロップ特徴データを出力するフローを説明する。
テロップ特徴生成部113は、番組再生部117より映像データを受け取ると、最初のステップで受信した映像を処理するか否かを判定する(ステップ801)。一般にデジタル放送においては毎秒約30フレームの映像が含まれているので、全フレームを処理対象としてもよい。一方でデジタル放送における映像中のテロップは数秒間同じ座標に映し出されていることが多い。これは視聴者がテロップの内容を理解する前に消えてしまうのを防ぐためである。そこで同一テロップは数秒間表示される性質を利用して、全ての映像フレームを処理する必要はなく、一定間隔おきに、番組再生部117より入力された映像フレームを処理すればよい。全フレームを処理する場合と比較して大きく計算量を削減することが可能となる。テロップ特徴検出部113のステップ801における処理の一例として、前回処理した映像フレームの時刻と、今回受信した映像フレームの時刻の差分が所定の時間より大きければ、は、映像フレームを受け付けるといった処理を行う。ステップ801で対象フレームでないと判断されればテロップ特徴生成部113は、何も処理を行わず終了する。
ステップ801において、番組再生部117より入力された映像データが処理対象であると判定された場合、テロップ特徴生成部113は、図6の番組録画準備時に行った処理フローに従って設定した図7のテロップ領域検出ルールにおいて、検出テスト対象703に示されるテロップ検出領域を設定する(ステップ802)。
次に、ステップ802で設定したテロップ検出領域のうち一箇所を処理するために切り取りを行う(ステップ803)。続いてステップ803で取得したテロップ領域についてテロップ領域判定処理を行う(ステップ804)。
テロップ領域検出については、エッジ抽出処理や前フレームからの動き補償を用いているかどうかにより判定することができる。前述のエッジ抽出処理は例えば領域内の輝度成分が不連続に変化しているか否かなどにより判定することができる。
ステップ804のテロップ領域判定処理後に、ステップ805においてテロップ領域が含まれていないと判定された場合には、ステップ807に進み次のテスト領域の処理を行う。一方、ステップ805のテロップ領域が含まれていると判定された場合には、テロップ特徴抽出処理を行う(ステップ806)。ステップ806の特徴抽出処理については後述する。
その後全ての検出テスト対象703を処理したかどうかをチェックする(ステップ807)。まだ未処理の検出テスト対象703が存在する場合は、ステップ803に戻り次のテスト領域を処理する。またステップ807において全ての検出テスト対象703が処理されたと判断された場合には処理を終了する。
次にステップ806のテロップ特徴抽出処理については図9を用いて説明する。図9は実際の映像からテロップ特徴抽出処理を行う手順について示した図である。
映像フレーム901は、実際のテレビ映像である。テロップ領域902は、図8のステップ803によって切り出されたテロップ領域である。ここでは図9のテロップ領域902に示すようなテロップが含まれており、ステップ804及びステップ805においてもテロップが含まれていたと判定されたとする。
次に、図9の903に示すように検出されたテロップ領域を一定の画素毎に区分けする。例えば8×8画素や16×16画素の正方形毎に区分けする。以降では区分けされた領域をブロックと呼ぶ。
続いてブロック毎に以下の式(1)、(2)に従った計算により特徴量を計算する。
δ(x,y): ブロック内の(x,y)座標の画素がテロップ内であれば1、そうでなければ0
θ(x,y): ブロック内の(x,y)座標に位置する画素の輝度成分。元画像が8bitで示されていた場合には4bitに正規化するなどを行ってもよい。
X:ブロック内の横方向の画素数
Y:ブロック内の縦方向の画素数
φ:定数
N:領域内にあるブロックの個数
σ:テロップ特徴量304
式(1)による計算を行うと、各ブロックは図9の904のような数値データとなる。この数値データを特徴データとして保存する。そして、式(2)によりテロップ特徴量304を算出する。
次に、録画再生部101内のテーマ連続度生成部115の動作を図10ないし図11を用いて説明する。テーマ連続度生成部115は番組録画終了後にシステム制御部110の指示により処理が開始され、テーマ連続度データ123を生成する。
図10を用いてテーマ連続度生成部115の処理フローを説明する。テーマ連続度生成部115は、システム制御部110の指示により録画対象番組のテロップ特徴データ122を外部記憶媒体107より取得する(ステップ1001)。図3のテロップ特徴データのうち処理対象となるデータを取得する。続いて取得したテロップ特徴データ122を用いて、図5のテーマ連続度データ123におけるテーマ連続度502を算出する(ステップ1002)。テーマ連続度502の算出方法については後述する。
続いて、算出したテーマ連続度502を含むテーマ連続度データ123を外部記憶装置107に出力する(ステップ1003)。続いて、未処理のテロップ特徴データ122があるかどうかを判定し(ステップ1004)、未処理のテロップ特徴データ122がある場合にはステップ1001に戻り、処理を続行する。また、ステップ1004において、全てのテロップ特徴データ122の出力処理を終了したと判定された場合には、テーマ連続度データ生成部115は処理を終了する。
次に、テーマ連続度生成部115のステップ1002におけるテーマ連続度502の算出方法について図11ないし図12を用いて説明する。
図11は、ニュース番組のテーマ連続度を算出する方法を示したものである。1102は実際の映像、1101は実際の映像に対応する時間、また領域データ1103は図3のテロップ特徴データの領域データ303、またテロップ特徴量1104は図3のテロップ特徴量304にそれぞれ対応する。またテーマ連続度1105は算出されたテーマ連続度である。
テーマ連続度の算出方法は、テロップ出現位置のパターン及びテロップ特徴量の変化を用いる。テーマ連続度生成部115はテロップ特徴量の変化量とテロップ出現位置の変化及びテロップ表示期間を反映したテロップ連続度変化量を算出する手段を所持している。算出手段は以下の式(3)ないし式(7)に従って行う。
テロップ特徴量の変化については一例として以下の式(3)を用いて算出する。
Th0(t):時間tにおけるテロップ特徴量変化によるテーマ連続度変化量
X(num):検出されたテロップ領域数(num)に対する重み係数
N:テロップ領域数
α(t,j):時間tのテロップ領域jにおけるテロップ特徴量
Exj:テロップ領域jにおけるテロップ特徴量変化に対する重み係数
ここで重み係数Exjはジャンル毎に設定されるパラメータとする。例えば図11におけるニュース番組の場合は、右上に番組トピックが現れるため左上のテロップ特徴量の変化はほとんど無視してもよい。よってジャンル毎により重視されるテロップ領域の重み係数を大きくすれば良い。
またX(num)は、検出されたテロップ数が大きいときにテーマ連続変化量も比例して大きくなるのを防ぐために用いる。またあるいは特定の個数のみを重視したい場合にも有用である。
図11のt0に表示されていた右上のテロップ領域は、t1において消滅した。よってTh0(t0)は負となる。続いてt2に中央で表示されるためTh0(t1)は正となる。続いてt3においてはテロップ表示を維持するため、Th0(t2)は0となる。続いてt4におけるテロップは中央から右上に変化するが、中央のテロップ領域におけるExjよりも、右上のテロップ領域におけるExjを大きく設定しているため、Th0(t3)は正となる。以降の時間の映像についても同様である。
次にテロップの移動によるテーマ連続度変化量を一例として式(4)により算出する。
Th1(t) : 時間tにおけるテロップ移動によるテーマ連続度変化量
N : テロップ領域個数
Mv(j,k) : テロップ領域がjからkに移動した場合の重み係数
α(t,j) : 時間tのテロップ領域jにおけるテロップ特徴量。
ω(u) : テロップが移動した時間に関する重み係数。
Ur : 時間tから先のテロップ領域移動の探索時間範囲を示す定数。
ここで式(4)により計算されるテロップの移動によるテーマ連続度変化量は、消滅や出現による変化ではなく、図11のt2の映像からt3の映像ように、中央付近に表示されていたテロップが画面右上に変化するような、テロップ領域の移動を重視するために算出する。またテロップ領域位置が変化する時間により重み関数、或いは重み係数を適用することにより一定時間後に位置が変化するテロップ領域を重視するといったことが可能となる。また探索範囲Urまでの間において、Δ(t,u,j,k)≠0となった場合には探索を停止すれば良い。
よって数式3の(4)におけるMv(j,k)はテーマを不連続とさせるような移動パターンに対して大きくすればよい。
図11においてはt2に表示された中央部のテロップ領域がt4において右上に変化しているため、Th1(t2)がTh1(t3)のみ値が与えられ、Th1(t2) > Th1(t3)となる。
次にテロップ表示期間によりテーマ連続度変化量を算出する方法について説明する。例えば番組中には台詞に代表される短い期間に内容が連続して変化されるテロップが挿入されることがある。これらのテロップよりもニュースのタイトルといった、変化が少なく一定期間表示されるテロップを重視するために用いられるパラメータである。テロップ表示期間により算出したテーマ連続度変化量は一例として次の式(6)により算出させる。
Th2(t):時間tにおけるテロップ表示期間によるテーマ連続度変化量
N :テロップ領域個数
S :表示区間を評価する特徴データの個数
α(t,j):時間tのテロップ領域jにおけるテロップ特徴量
λ(s) :重み関数
式(6)において算出されるTh2(t)はテーマ連続度を大きくするために用いる。つまり一定領域で短期間のテロップ特徴量の変化が大きい場合には、テーマが変わらない場合が多いためである。またテロップ特徴生成部115において、テロップ領域に実際にはテロップが含まれていないにも関わらず、テロップが存在すると検出された場合には、短い区間でのテロップとして検出されることが多いため、効果を打ち消す効果がある。
式(6)において表示区間を評価する特徴データの個数Sは、特に重視したいテロップの表示長さに応じて設定すればよい。またλ(s)はsの大きさに応じて反比例するような関数にすると、短い区間での変化を重視することができる。
図11においてはt2に表示された中央部のテロップ領域がt3まで表示され続けるため、Th2(t2)が小さくなる。またt4,及びt5も以降暫く右上にテロップが表示され続けるためTh2(t4),及びTh2(t5)が小さくなる。
最後にテロップ連続度は以下の式(7)により算出される。
TP(t) : 時間tにおけるテーマ連続度
Tv :基準となるテーマ連続度(定数)
Th0(t):時間tにおけるテロップ特徴量変化によるテーマ連続度変化量
(式(3)による)
Th1(ti):時間tにおけるテロップ移動によるテーマ連続度変化量(式(4)による)
Th2(ti):時間tにおけるテロップ表示期間によるテーマ連続度変化量
(式(6)による)
m, n, p:それぞれ定数
式(7)においてそれぞれTh0(t), Th1(t), Th2(t)に掛かる係数であるm,n,pは重視したいテーマ連続度変化量に応じて設定すればよい。
また式(3)ないし式(7)に設定される各種定数や重み係数は、番組カテゴリ毎にテーマが区切られるテロップパターンを予め調査しておき設定すれば良い。例えば番組カテゴリ毎に式(3)ないし式(7)に示される各定数や重み係数のテーブルを所持していれば、番組情報より特定した番組ジャンルの項目を取り出すようにすれば良い。
例えば図11においてニュース番組の場合には、テロップ領域が中央から右上に変化する時間をテーマが不連続であるとしたい場合には、m及びnを大きくすれば良い。よって図11においてテーマ連続度はt2が小さくなる。
また他のカテゴリで音楽番組を例に挙げる。音楽番組の場合は歌手が歌っているシーンをテーマとすることができる。歌手が歌っているシーンにおいては、曲のタイトルや歌詞のテロップが画面下部中央付近に現れることが多い。よって中央に長く表示されているテロップ領域の変化を特に重視すれば良いので、mを大きくしてpを小さくすれば良い。
以上により、テーマ連続度生成部115はテーマ連続度を算出して、テーマ連続度データ123として保存する。
次に本実施例の映像録画再生装置における番組再生方法を図12ないし図14を用いて説明する。
図12の上段は実際の再生画面の一例を示したものである。図12は映像出力部118により構成され、映像出力部118は番組の再生を開始する際にシステム制御部110の指示により、画面構成処理を行う。図12の再生画面例は、再生画面1201と、プログレスバー1202と、再生時間表示1203と、再生終了時間表示1204と、チャプタ位置表示1205と、現在再生位置表示1206で構成される。
再生画面1201は、番組再生部117から受信した映像、音声等の画面構成要素を受信して表示する。番組再生部117は信号分離部111を介して録画番組データ121を受信して、映像及び音声データの解析と再生処理を行う。また番組再生部117は字幕やデータ放送などのユーザの制御により表示を選択できるデータをシステム制御部110の指示により送信することができる。
プログレスバー1202は、ユーザがチャプタ位置や現在再生位置を確認するために表示される領域である。プログレスバー1202は、再生対象の現在の再生時間である再生時間表示1203と、再生対象の長さつまり終了位置を表示する再生終了時間表示1204と、チャプタ取得部116がテーマ連続度データ123より算出したチャプタ情報を表示するチャプタ位置表示1205と、現在の再生時間を再生終了時間表示1204の長さに占める割合を、プログレスバー1202の長さに同割合の位置として表示した、現在再生位置表示1206で構成されている。チャプタ取得部116がテーマ連続度データ1203からチャプタ位置を算出する方法については後述する。
プログレスバー1202は、常に表示しておくこともできる一方で、ユーザが入力装置103を介して特定の指示を行うときに一瞬表示することも可能である。またプログレスバー1202の表示をON/OFFできるような入力装置103に専用のインターフェイスを備えていてもよい。また、図12の上段のように再生画面、映像出力部118は再生画面1201の上にプログレスバー1202を半透明で表示する他、1画面を区分け及び、再生画面1201とプログレスバー1202をそれぞれ別の出力装置に出力しても良いものとする。
次にチャプタ取得部116がテーマ連続度データ123を用いてチャプタ位置を算出する方法を図12の下段、及び図13を用いて説明する。
図12の下段のグラフ1210は、図5に示すテーマ連続度データ123を、横軸にタイムスタンプ501及び縦軸にテーマ連続度502としてグラフ化した図である。
図13は、チャプタ取得部116がテーマ連続度データ123よりチャプタ位置を生成するための処理フローである。
チャプタ取得部116は、チャプタ位置生成を開始するにあたり、再生対象となる番組のテーマ連続度データ123を取得する(ステップ1301)。図5のテーマ連続度データ123を1レコードずつ処理する。
次にチャプタ取得部116は、システム制御部よりチャプタ既定値を取得する(ステップ1302)。ここでチャプタ既定値とは、本実施例における映像録画再生装置に設定してある、生成されるチャプタ位置が適切なテーマ毎の区切りになるように値である。チャプタ既定値は予めシステム制御部110内や外部記憶装置105に保持されている。
次にチャプタ取得部116は、取得したテーマ連続度データ123のテーマ連続度502がシステム制御部110より渡されたチャプタ既定値以下であるかを判定する(ステップ1303)。
チャプタ既定値1211は図12下段に示すグラブ1210において、時間軸と平行に描画されている。よってグラブ1210において、テーマ連続度とチャプタ既定値1211が交叉する点、もしくはチャプタ規定値1211が下回る時間がチャプタ候補となる。ステップ1303において、テーマ連続度502がチャプタ既定値1211以上となっていれば、チャプタとして出力しない時間として次のステップ1306へと進む。
チャプタ既定値1211は図12下段に示すグラブ1210において、時間軸と平行に描画されている。よってグラブ1210において、テーマ連続度とチャプタ既定値1211が交叉する点、もしくはチャプタ規定値1211が下回る時間がチャプタ候補となる。ステップ1303において、テーマ連続度502がチャプタ既定値1211以上となっていれば、チャプタとして出力しない時間として次のステップ1306へと進む。
一方、ステップ1303において、テーマ連続度502がチャプタ既定値1211以下となっていればチャプタ候補として扱い、チャプタ候補の時間から一定時間内に既にチャプタを出力していないかを判定する(ステップ1304)。これはチャプタが密集し過ぎてしまうと、チャプタの使い方の一つである、見たいシーンに飛ぶための操作が煩雑になってしまうのを防ぐためである。本実施例における映像録画再生装置の最小チャプタ間隔は、システム毎に予め設定しておいても良いが、ユーザにより設定させるメニューを用意しても良い。ステップ1304において以前のチャプタ時間と今回のチャプタ候補との時間間隔が一定時間内にあると判定されれば、チャプタとして出力せず次のステップ1306へと進む。
一方、ステップ1304において以前のチャプタ時間と今回のチャプタ候補との時間間隔が一定時間以上であると判定されれば、タイムスタンプ501をプログレスバー1202の構成に適切な単位の時間に直して出力する(ステップ1305)。ステップ1304でチャプタ時間を出力した後には、未処理のテーマ連続度データ123が存在するかどうかを判定して、未処理のものがあると判定された場合にはステップ1301へと進み、次の1レコードの処理を行う(ステップ1306)。一方でステップ1306において、全てのテーマ連続度データを処理したと判定された場合には、チャプタ取得部116は処理を終了する。
以上により番組毎に適切なテーマに区切られたチャプタを出力することができる。
また一方でシステムに予め設定されているチャプタ既定値が、ユーザにとって適切なチャプタ位置を取得できるとは限らないといったことも起こる。またシステムが検出したテーマが不連続となる時間の他に、DVDなどの記録メディアに残す際にユーザ自身でチャプタを設定したいといったことが起こり得る。そこで、本実施例に係る映像録画再生装置はユーザが自分でチャプタの数を調整しつつチャプタ位置を取得するインターフェイスを持つ。
図14は、本実施例に係る映像録画再生装置はユーザがチャプタ既定値を調整しながらチャプタ位置を取得することができる再生画面構成の一例を示したものである。図14は多くの構成を図12における再生画面構成例と同様のため、差異部分のみを説明する。なお、本実施例の説明において、ユーザがチャプタ既定値に代えて調整するテーマ連続度の値をチャプタ設定値と呼ぶ。
図14の上段の再生画面構成例は図12の上段の画面構成要素に加えて、スコア表示1407を有している。
スコア表示1407は、図14の下段のグラフにおいてチャプタ設定値1412を設定するために用いられる。スコア表示1407は、ユーザが入力部である入力装置103を介して変動させることが可能である。入力装置103において数値を直接入力可能なインターフェイスがあれば直接数値を入れてもよい。またスコア表示1407を増減させる2方向の方向キーなどによるインターフェイスを用いてもよい。
スコア表示1407に表示される数値データは、図14におけるチャプタ設定値1412と連動する。すなわちスコア表示1407における値が増加すると、図14におけるチャプタ設定値1412のグラフが上昇する。
チャプタ設定値1412を用いた、チャプタ取得部116からのチャプタ取得方法は、図13の処理フローにおいて、ステップ1302においてシステム制御部110がチャプタ既定値1211ではなくチャプタ設定値を渡すことにより他は同様の処理となる。システム制御部は、スコア表示1407のより映像出力部118よりチャプタ設定値を取得して、チャプタ取得部116へ渡す。チャプタ取得部116は取得したチャプタ設定値を元にステップ1303以降の処理を行う。
以上によりスコア表示1407を上昇させることにより、図14において、テーマ連続度のグラフとチャプタ設定値1412のグラフの交点の数が増加すると共に、交点の時間もより早くなり、返却されるチャプタの数が増える傾向にある。よってユーザはより細かいテーマによるチャプタを生成することが可能となるため、テーマを見逃すことが少なくなる。一方でスコア表示1407を下降させると、テーマ連続度のグラフとチャプタ設定値1412のグラフの交点の数が減少すると共に、交点の時間もより遅くなり、返却されるチャプタの数が減る傾向にある。よってユーザはより粗いチャプタを扱うことができ、少ないリモコン操作で後半のシーンに飛ぶことができる。
スコア表示1407においては、チャプタ設定値1412の値をそのまま表示してもよいが、インターフェイスの簡易化のため、テーマ連続度を適当な段階に正規化した値を表示してもよい。また一方で数値ではなく「細かい」「普通」「粗い」といった平易なワードにより表示してもよい。左記の場合だと3段階で表示される。
またスコア表示1407には、チャプタ既定値1211を番組再生開始時の初期値として表示してもよい。スコアを上下した場合にも、チャプタ既定値1211に入力装置103の専用のキーインターフェイスでジャンプできるようにしてもよいし、数値を変動させた後にチャプタ既定値になった場合には、スコア表示1407の色を変えるなど、チャプタ既定値に設定されたことを示すインターフェイスにしてもよい。
また図12や図14の画面においては、テーマ連続度のグラフは特にユーザに表示はしていないが、テーマ連続度のグラフを図12や図14の上段の画面にオーバーレイして表示してもよい。あるいは2画面構成として片側に図12や図14の上段の画面を表示、別側に図12や図14の下段のグラフを表示するようなインターフェイスを構成してもよい。この表示方法によれば、テーマ連続度を可視化することができ、番組内容の理解の助けとなる。また、ユーザ好みの粒度に応じてチャプタを設定することができ、極めて簡易な操作で観たいシーンを探すことができる。
本実施例に係る映像録画再生装置は、テーマ連続度データ123を外部記憶装置107に保存している。よって外部記憶装置107がDVDなどの光ディスクあるいは可搬性のあるHDDやフラッシュメモリデバイスなどのリムーバブルメディアで構成されていた場合には、リムーバルメディアを取り扱う再生装置が、本実施例におけるチャプタ取得部116を所持していれば同様の処理を行うことが可能である。また予めチャプタを複数種類扱うことのできる規格を所持するリムーバブルメディアの場合には、チャプタ設定値1211を適切な段階に設定して、複数種類書き出してもよい。
以下、本発明に係る第二の実施例を、図15ないし図18を用いて説明する。
第一の実施例においては、番組内のテーマの連続度を計算する手段として、映像中のテロップ領域を用いた。本実施例は、番組内のテーマの連続度を計算する手段として、字幕データや音声データなどから取得できる文字情報を用いてテーマ連続度をより正確に算出する方法を示す。テーマ連続度生成部は前述のテロップ領域により算出されたテーマ連続度に加え、文字情報のパターンとワード出現パターンに対するテーマ連続度変化量が設定されているテーマ連続度算出ルールを用いて、テーマ連続度を算出する。
なお、本実施例では、第一の実施例と比較し、異なる所を強調して説明する。
図15は、本発明の第二の実施例に係る映像録画再生装置の処理ブロック構成及びデータフローを示すブロック図である。本実施例の番組録画再生装置の構成は、図15に示されるように、第一の実施例の図1Bの構成に加えて、文字情報解析部1512が加わっている。
文字情報解析部1512は、番組再生部117より取得される字幕データ及び音声データを解析して文字情報として、テーマ連続度生成部115に対して入力することができる。字幕データはデジタル放送においては映像データや音声データと共に送信される文字情報であり、表示時間と共にテーマ連続度生成部に渡す。音声データは、一般的な音声認識技術等を用いることで文字データに変換することができる。取得した時間を表示時刻として、一定期間内で音声認識を施した後の文字情報を、表示時刻と共にテーマ連続度生成部115に入力してもよい。但し音声認識による文字情報取得は、字幕データからの文字情報取得に処理負荷が高く、100%正しく認識できるとは限らないため省略することも可能である。また字幕データも全ての放送番組に付けられているとは限らないため、字幕データのない番組については音声データによる音声認識のみを用いる。あるいは字幕データのない番組は文字情報によるテーマ連続度の算出を省略するといった構成も可能である。この場合の処理は第一の実施例と同様である。
次に、図16A、16Bないし図18を用いてテーマ連続度生成部115における、本実施例の文字情報を用いたテーマ連続度変化量の算出方法について説明する。テーマ連続度生成部115は、テーマ連続度変化量を算出するために、式(3)ないし式(6)に従いテロップ特徴データを用いることについては第一の実施例と同様である。
本実施例におけるテーマ連続度生成部115は、テーマ区切り文字ルールと呼ばれるテーマの不連続性を発見するためのテーマ連続度算出ルール、ワード出現パターンに対するテーマ連続度変化量が設定されているテーマ連続度算出ルールを使用する。図16A、Bはテーマ区切り文字ルールの一例を示す。
図16Aに示すようにテーマ区切り文字ルールは、ジャンル名1601、ワードA1602、ワードB1603、出現パターン1604、テーマ連続度変化量ルール1605のテーブルデータで構成される。
ジャンル名1601は、図7のテロップ領域検出ルールのジャンル名701と同様である。インデック生成部は、入力される番組情報と共にジャンルを特定する。
ワードA1602及びワードB1603は、それぞれ文字情報解析部1512より入力される文字情報に含まれているかどうかチェックされるキーワードである。但しワードA1602とワードB1603は、出現パターン1604により文字情報中の探索方法が異なる。
出現パターン1604はワードA1602とワードB1603の探索方法を決定し、その後のテーマ連続度変化量ルール1605を適用するか否かを判定する。出現パターン1604は、ワードA及びワードBが、文字情報中の存在場所や場所の関連などのパターンを示している。例えば図16の最初のレコードであるワードA「続いて」とワードB「ニュース」となっており、出現パターンが「ワードA→ワードBの順番で含む」となっていた場合を例に挙げる。上に挙げた例の場合は、例えば文字情報が「さて続いてのニュースは○○です。」といった場合には、適合するとしてテーマ連続度変化量1605が適用される。一方で「以上、日本の株価のニュースでした。続いては為替の動きです。」といった文字情報の場合は、ワードBの次にワードAが出現するため不適合となる。以上のように、ワードA1602とワードBは、出現パターン1604により各種ワードの探索方法が異なる。ワードBが×となっている場合には、ワードAのみの探索を行う。また文中どこでも良い場合の他、文頭になくてはならい、文末になくてはならないなどの出現パターン1604は、様々な組み合わせとなる。
次にテーマ連続度変化量ルール1605について説明する。テーマ連続度変化量ルール1605は、文字情報がワードA1602及びワードB1603を用いて、出現パターン1604による検索が合致した場合に適用される、テーマ連続度変化量と作用時間を記したものである。テーマ連続度変化量は、第一の実施例と同様にテーマ連続度に作用する数値である。ワードA及びワードBのテーマの不連続性に作用する重要度に応じて、テーマ連続度変化量を設定すれば良い。作用時間は、テーマ連続度変化量をどの時間のテーマ連続度に適用するかを定めたものである。
例えばニュースなどの生放送では、字幕などの文字情報と出演者の台詞が同期せず遅れて表示されないことがある。よってカテゴリ毎あるいは番組情報などから生放送だと特定される番組であれば、文字情報に表示される台詞の内容は既に映像中には出現したものだと考えられるため、作用時間を文字情報と共に入力される字幕情報の表示時刻よりも前に設定するようにする。図16Aにおいてニュースのテーマ連続度変化量ルールにおける、作用時間が大きくなっているのは左記の理由のためである。一方で音声認識により取得した文字情報や放送局で一旦収録及び編集されて放送される番組の字幕情報に関しては、表示時刻と映像のずれは大きくないため、作用時間を小さくすることができる。
なお図16Aにおいては、文字情報が日本語の場合についての例を示した。出現パターン1604において、ワードAとワードBの出現パターンについては言語種類により依存している。よって文字情報の種類によってテーマ区切り文字ルールを切り替えるようにすれば良い。文字情報が英語の場合のテーマ区切り文字ルールの一例を図16Bに示す。同図において、1611、1612、1613、1614、1615は、それぞれジャンル、ワードA、ワードB、パターン、テーマ連続度変化量ルールを示す。
図16Aと図16Bの関係は、テーマの連続性を検出するための特定語句が含まれているかどうかを判定するという目的において同じである。よって図16Aを基に図16Bを生成する場合、形容詞+名詞等の語順に変化のないワードについては単純翻訳でもよい。例えば図16AのワードAが「続いて」、ワードBが「ニュース」で出現パターンが「ワードA→ワードBの順番で含む」に対応する、英語のテーマ区切り文字ルールは、図16Bに示すとおり、ワードAが「following」、ワードBが「news」で出現パターンが「ワードA→ワードBの順番で含む」とすれば良い。
しかし、動詞を含むワードを検出する場合には、ワードAとワードBを言語変換あるいはその逆を行う場合には、言語構造の差異から出現パターンを変更する必要がある。例えば図16Aにおいて、ワードAが「以上、」、ワードBが「でした。」および出現パターンが「文末がワードBとなれば○」といった場合には、ワードBを翻訳すると動詞であるため語順が文中にあることが多くなるため、ワードAを「over」、ワードBを「informed」とし、出現パターンを「ワードAとワードBを順不同で含みワードBの品詞が動詞であれば○」といった変換を行うようにすればよい。
図16においては探索ワードをワードA及びワードBの2語に限定したが、この限りではなく3語以上の語数で探索しても良い。
次にテーマ連続度生成部115が、文字情報を用いてテーマ連続度変化量を算出するための処理フローについて、図17を用いて説明する。
テーマ連続度生成部115は、文字情報を用いたテーマ連続度変化量を算出するために、最初に図16のテーマ区切り文字ルールを取得する(ステップ1701)。続いて文字情報と表示時刻を文字情報解析部1512より取得する(ステップ1702)。
続いてステップ1702で取得した文字情報が、図16のテーマ区切り文字ルールにマッチするか否かを判定する(ステップ1703)。テーマ連続度生成部115は処理対象の番組のジャンル名1601については既に番組情報より取得して設定することが可能である。よって当該ジャンルのワードA1602及びワードB1603と出現パターン1604を用いればよい。
また該当ジャンル名の全てのテーマ区切り文字ルールを適用しても良いが、ワードA1602とワードB1603が最初に出現パターン1604に合致した時点で、当該文字情報に対するルール適用を終了してもよい。左記によれば計算量は少なくすることができるが、重要度の高い順番にテーマ区切り文字ルールを整頓する必要がある。
続いてステップ1703において文字情報が、テーマ区切り文字ルールのいずれかに含まれていると判定されれば、テーマ連続度変化量ルールを取得して、対象時間の文字情報により設定されたテーマ連続度変化量を既に式(7)で計算済みのテーマ連続度に加える(ステップ1704)。具体的には次の式(8)に従うものとする。
TP(t) : 時間tにおけるテーマ連続度
Tv :基準となるテーマ連続度(定数)
Th0(t):時間tにおけるテロップ特徴量変化によるテーマ連続度変化量
(式(3)による)
Th1(t):時間tにおけるテロップ移動によるテーマ連続度変化量(式(4)による)
Th2(t):時間tにおけるテロップ表示期間によるテーマ連続度変化量
(式(6)による)
m, n, p:それぞれ定数
ThC(t):時間tにおける文字情報より設定されたテーマ連続度変化量
続いてステップ1703において文字情報が、テーマ区切り文字ルールに合致しないと判定された場合及びステップ1704のテロップ連続量の算出が終了した場合には次の文字情報があるかどうかを判定する(ステップ1705)。ステップ1705において文字情報があると判定された場合には、ステップ1702に戻り処理を続行する。ステップ1705において全ての文字情報を処理したと判断された場合には処理を終了する。
次に、図17の処理フローを図18により具体的に説明する。図18は図11のニュース番組のテーマ変化量の算出方法とほぼ同様であり、文字情報1806を同時に受信したとする。例えばt1に「>>以上、国会前からでした。」といった文字情報を取得したとする。これは図16のテーマ区切り文字ルールにおける、ワードA「以上、」及びワードB「でした。」及び出現パターン「文末がワードBになれば○」に合致する。「以上、」+「でした。」はニューストッピクの切り替わる前で使用されることが多いため、次のニュースの先頭は表示位置の後と考えられるため、テーマ連続度変化量ルールは「3秒後にテーマ連続度を−5とする」となっていた。そのためt2(仮にt2とt1の間隔が約3秒であるとすれば)のテーマ連続度が、テロップ領域のみの場合と比較して小さくなる。他の時間のテーマ連続度1105についても同様に算出する。
本実施例においては文字情報として、字幕データや音声データを利用したが、テロップ領域に対して文字認識を適用することにより文字情報を取得するようにしても良い。テロップ領域から文字情報を取得するために、テロップ特徴生成部113で検出されたテロップ領域を文字情報解析部1512に入力する。
文字情報解析部1512は入力されたテロップ領域に対して文字認識を適用する。テロップ領域に対する文字認識としては、一般におこなわれるOCRを用いればよい。その後文字情報解析部1512は文字認識により取得した文字情報をテーマ連続度生成部115に入力する。
映像中のテロップは、字幕情報と異なり多くの番組に含まれているため適用できる番組の範囲が広いという利点がある。但し文字認識の処理の負荷が高いため、システム全体の処理量が大きくなる。よって省略してもよい。
また本実施例においてテーマ連続度の算出においてはテロップ領域と文字情報を相互に活用するインデックス方法について示したが、文字情報のみを活用する方式のみを用いてよい。その場合には図15においてテロップ特徴生成部113を省略することができる。
またテロップ特徴生成部113を省略した場合には、テーマ連続度生成部115の処理フロー図17における、ステップ1704の処理において、式(8)におけるTh0(t)、Th1(t)、Th2(t)の値を0としてテーマ連続度を算出すればよい。
また本実施例においてテーマ連続度の算出においてはテロップ領域と文字情報を相互に活用するインデックス方法について示したが、番組の種類によってテロップ領域と文字情報を排他的に使用しても良い。
例えば番組情報取得部112より、録画番組について字幕情報の含まれないと判断された場合には、システム制御部110は、文字情報解析部1512に対して処理を停止して、実施例1に示したテーマ連続度を算出するようにする。
また一方で字幕情報が含まれる番組に対しては、システム全体の処理量を削減するために、テロップ特徴生成部113を停止するようにしてもよい。その場合には上述のテロップ特徴生成部113を省略した構成と同様の手段によりテーマ連続度を算出すればよい。
更に、本実施例においてはインターネットやリムーバブルメディアや他のシーン検出技術(CM検出等)を介して、予め特定の時間に対するテーマ連続度変化量を定義したファイルを受信して、テーマ連続度を作用させてもよい。CM検出を例に挙げると、明らかにトピック区切られる検出結果がある場合には、CM開始時間及び終了時間のテーマ連続度を小さくすると共に、CM開始時間及び終了時間の区間のテーマ連続度を大きくするといった処理を行ってもよい。またCM区間は15秒の倍数おきに区切ることにより、次のCMを検出することが出来る場合には、特定の秒数毎にテーマ連続度を小さくするといったことも可能である。
以下、第三の実施例を、図19ないし図21を用いて説明する。
第一及び第二の実施例においては、図12及び図14の再生画面例におけるチャプタ情報はテーマ連続度データ123を用いて生成していた。本実施例においては、テーマ連続度データの他に、ユーザがあらかじめ設定したチャプタデータやCMなどの他のイベント検出方法に取得されたチャプタ情報が存在する場合に効率よく再生する方法を開示する。
なお、本実施例では、第一の実施例および第二の実施例と比較し、異なる所を強調して説明する。
図19は、第三の実施例に係る映像録画再生装置の処理ブロック構成及びデータフローを示すブロック図である。本実施例の番組録画再生装置の構成は、図19に示されるように、第一の実施例の図1Bの構成に加えて、外部記憶装置107にチャプタデータ1924が加わっている。チャプタ取得部116は、このチャプタデータ1924を直接或いはRAM106経由で取得する。
図20はチャプタデータの一例を示したものである。チャプタデータ1924は、チャプタ種別2001及びチャプタ数2002及びチャプタ時間2003のテーブルデータで構成される。
図20においてチャプタ種別2001は、チャプタの種類を区別するために用いられる名前である。例えばユーザが自分で編集して設定した「ユーザ定義」とするほか他の一般に行われるCM検出結果を示す「CM」、あるいはサッカーにおける得点シーンなどの特定のイベント名を付けることも可能である。名前は特に制限を設けないが、重視されるチャプタを上の段とする。チャプタ数2002は、同一チャプタ種別2001に含まれるチャプタの数である。チャプタ時間2003は、実際に既に設定あるいは検出されたチャプタ時間である。
チャプタ取得部116は、第一及び第二の実施例においてはテーマ連続度データ123を扱っていたが、本実施例においては加えてチャプタデータ1924を扱うこととする。具体的には図12や図14の再生画面例を構成する際に、チャプタ取得部は、チャプタデータ1924とテーマ連続度データ123によるチャプタ位置を合成して出力する。
本実施例においてチャプタ取得部116は、テーマ連続度データ123よりもチャプタデータ1924が重要なチャプタ情報として扱う。本実施例におけるチャプタ取得部116がチャプタデータ1924を合成する方法について図21を用いて説明する。
図21はチャプタ取得部116がチャプタデータ1924を用いて、図12や図14のプログレスバー1202を構成するチャプタ情報を出力する処理フローを示したものである。チャプタ取得部116は、システム制御部110の指令によりチャプタ生成命令を受けると最初にチャプタデータ1924のうち最初のチャプタ種別2001に含まれる全てのチャプタ時間2003を外部記憶装置107より取得する(ステップ2101)。続いてチャプタ時間2003を一個取得し、既に出力済みのチャプタ情報が付近に含まれているかどうかを判定する(ステップ2102)。近い時間のチャプタを混在することにより、ユーザ操作の煩雑になってしまうのを防ぐためである。ステップ2102において付近にチャプタが含まれていないと判断された場合にはチャプタ情報として時間を適切な単位に変換して出力する(ステップ2103)。続いてステップ2102において、付近にチャプタが含まれていると判定された場合、あるいはステップ2103の処理を終了後に、同一チャプタ種別2001内に含まれる他のチャプタが存在するか否かを判定する(ステップ2104)。ステップ2104において、他のチャプタが存在すると判定された場合にはステップ2102に戻り次のチャプタの処理を行う。ステップ2104において、他のチャプタが存在しないと判定された場合には、他のチャプタ種別2001が存在するか否かを判定する(ステップ2105)。ステップ2105において他のチャプタ種別2001が存在すると判定された場合には、ステップ2101において次のチャプタ種別内に存在する全てのチャプタデータを取得する。
ステップ2105において全てのチャプタ種別を処理したと判定された場合、チャプタ生成部116は、チャプタデータ1924に関する処理を終了する。その後図13の処理フローに従い、図21で出力されたチャプタ情報に対しテーマ連続度データによるチャプタ情報の追加処理を行う。
本実施例によれば、テーマ連続度データにより映像録画再生装置が自動で生成するチャプタ情報よりも、「ユーザ定義」チャプタや「CM」チャプタなどの予め設定されているチャプタデータを優先して活用することができる。
本実施例においては、テーマ連続度データとチャプタデータを合成する方法について示したが、図14のスコア表示1407にチャプタ種別を表示して、チャプタ種別毎のチャプタ情報を表示するインターフェイスを提供してもよい。あるいはチャプタ種別毎にチャプタ位置表示1205を色分けで表示するといったインターフェイスを提供してもよい。
また本実施例においては、チャプタデータにおけるチャプタ情報の合成後にテーマ連続度データによるチャプタ情報を合成したが、チャプタデータの一部のカテゴリ種別2001を合成したあとにテーマ連続度データを合成するようにしてもよい。またチャプタデータの各カテゴリ種別2001とテーマ連続度データを順不同に合成させてもよい。
以上説明した本発明の実施例の構成として、テロップが表示されている期間や出現位置や出現位置の変化量によりシーンの連続性をスコア化してもよい。それにより、過剰なインデックスが生成することなくテーマの不連続点を検出し易くなり、好適なチャプタを提示することが可能となる。
更にまた、本発明の実施例の構成として、テーマ連続度の算出に録画番組に含まれる文字情報を用いてもよい。それによって、テーマの不連続点をより確実にすることができ、極めて有効なチャプタを提示することが可能となる。
なお、以上詳述してきた各実施例は、映像録画再生装置を例示して説明したが、本発明は記録機能を有せず再生機能を有する映像再生装置にも適用できることは言うまでもない。
101…録画再生装置、102…表示装置、103…入力装置、104…チューナ、105…アンテナ、106…RAM、107…外部記憶装置、110…システム制御部、111…信号分離部、112…番組情報取得部、113…テロップ特徴生成部 114…番組記録部、115…テーマ連続度生成部、116…チャプタ取得部、117…番組再生部、118…映像出力部、121…録画番組データ、122…テロップ特徴データ、123…テーマ連続度データ、1201…番組再生画面、1202…プログレスバー、1407…スコア表示部、1517…文字情報解析部、1924…チャプタデータ。
Claims (20)
- デジタル放送を受信して得た映像を録画再生する録画再生部を有する映像録画再生装置における映像インデックス方法であって、
前記録画再生部は、受信した放送データから番組情報データを分離し、
分離した前記番組情報データを解析して番組種別情報を得、
前記番組種別情報を用いて、前記放送データから分離された映像データ中のテロップ領域の検出を行う特定領域を決定し、前記特定領域の前記映像データに対してテロップ領域検出処理してテロップ特徴データを生成し、
生成した前記テロップ特徴データを解析して、テーマ連続度を生成し、
前記テーマ連続度と設定したチャプタ既定値からチャプタの位置を取得し、
前記録画データを再生するにあたり、取得した前記チャプタの位置が前記録画データのどの部分にあたるかを表示する、
ことを特徴とする映像インデックス方法。 - 請求項1に記載の映像インデックス方法であって、
前記録画再生部は、前記チャプタ既定値よりも前記テーマ連続度の値が低い時間に対し、前記チャプタを生成して前記チャプタの位置を取得する、
ことを特徴とする映像インデックス方法。 - 請求項1に記載の映像インデックス方法であって、
前記録画データを再生する際、ユーザが前記テーマ連続度を選定し、
前記録画再生部は、ユーザが選定した前記テーマ連続度から前記チャプタの位置を取得する、
ことを特徴とする映像インデックス方法。 - 請求項1に記載の映像インデックス方法であって、
前記録画再生部は、前記テロップ特徴データの時系列方向の変化を評価することにより、前記テーマ連続度を算出する、
ことを特徴とする映像インデックス方法。 - 請求項1に記載の映像インデックス方法であって、
前記録画再生部は、前記テロップ特徴データに基づき、前記テロップの表示時間を評価することにより、前記テーマ連続度を算出する、
ことを特徴とする映像インデックス方法。 - 請求項1に記載の映像インデックス方法であって、
前記録画再生部は、前記前記テロップ特徴データに基づき、前記テロップの位置の移動量を評価することにより、前記テーマ連続度を算出する、
ことを特徴とする映像インデックス方法。 - 請求項1に記載の映像インデックス方法であって、
前記録画再生部は、前記テロップ特徴データの時系列方向の変化と、前記テロップ特徴データの表示時間と、前記テロップの位置の移動量を評価し、番組カテゴリ毎に各評価結果に関する重み付けして、前記テーマ連続度を算出する、
こと特徴とする映像インデックス方法。 - 請求項1に記載の映像インデックス方法であって、
前記録画再生部は、前記放送データ中の音声データや字幕データを文字情報へと変換し、変換された前記文字情報に基づき、前記テーマ連続度を算出する、
ことを特徴とする映像インデックス方法。 - デジタル放送を受信して映像を録画再生する映像録画再生装置であって、
受信したデータの種類に応じて分離する信号分離部と、
前記信号分離部により分離された番組情報データを解析し、番組種別情報を出力する番組情報取得部と、
前記信号分離部により分離された放送データを記憶部に記録する番組記録部と、
記録された前記放送データを再生して映像データを出力する番組再生部と、
前記番組種別情報を用いて前記映像データのテロップ領域の検出を行う特定領域を決定し、前記特定領域の前記映像データに対してテロップ領域検出処理を行い、テロップ特徴データを出力するテロップ特徴生成部と、
前記テロップ特徴データに基づきテロップ出現パターンを解析して、テーマ連続度を算出して出力するテーマ連続度生成部と、
前記テーマ連続度と設定されたチャプタ既定値に基づきチャプタの位置を取得するチャプタ取得部と、
前記録画データを再生する際、取得した前記チャプタの位置が前記録画データのどの部分に該当するかを表示する表示部とを備える、
ことを特徴とする映像録画再生装置。 - 請求項9に記載の映像録画再生装置であって、
前記チャプタ取得部は、前記チャプタ既定値よりも前記テーマ連続度の低い時間に対し前記チャプタを生成し、前記チャプタの位置を取得する、
ことを特徴とする映像録画再生装置。 - 請求項9に記載の映像録画再生装置であって、
ユーザが前記テーマ連続度を選択する入力部を有し、
前記チャプタ取得部は、前記チャプタ既定値に代え、ユーザが選択した前記テーマ連続度から前記チャプタの位置を取得する、
ことを特徴とする映像録画再生装置。 - 請求項9に記載の映像録画再生装置であって、
前記テーマ連続度生成部は、前記テロップ特徴データの時系列方向の変化を評価することにより、前記テーマ連続度を算出する、
ことを特徴とする映像録画再生装置。 - 請求項9に記載の映像録画再生装置であって、
前記テーマ連続度生成部は、前記テロップ特徴データから前記テロップの表示時間を評価することにより、前記テーマ連続度を算出する、
ことを特徴とする映像録画再生装置。 - 請求項9に記載の映像録画再生装置であって、
前記テーマ連続度生成部は、前記テロップ特徴データから前記テロップの位置の移動量を評価することにより、前記テーマ連続度を算出する、
ことを特徴とする映像録画再生装置。 - 請求項9に記載の映像録画再生装置であって、
前記テーマ連続度生成部は、前記テロップ特徴データの時系列方向の変化、前記テロップ特徴データから前記テロップの表示時間、及び前記テロップ特徴データから前記テロップの位置の移動量を評価し、番組カテゴリ毎に各評価結果に関する重み付けをして、前記テーマ連続度を算出する、
こと特徴とする映像録画再生装置。 - 請求項9に記載の映像録画再生装置であって、
前記番組再生部から前記音声データや字幕データを受信し、文字情報へと変換する文字情報解析部を更に備え、
前記テーマ連続度生成部は前記テーマ連続度として、前記文字情報のパターンに基づくテーマ連続度を算出する、
ことを特徴とする映像録画再生装置。 - 放送番組データから映像を再生する映像再生装置であって、
記憶部に記録された録画データを再生し、映像データや音声データを出力する番組再生部と、
前記録画データに対応する番組情報データを解析して得られた番組種別情報を用いてテロップ領域検出を行う特定領域を決定し、前記特定領域の前記映像データに基づきテロップ出現パターンを解析して生成したテーマ連続度と、設定されたチャプタ既定値とに基づきチャプタの位置を取得するチャプタ取得部とを有し、
前記録画データを再生する際、取得した前記チャプタの位置が前記録画データの何処に当たるかを表示するよう制御する、
ことを特徴とする映像再生装置。 - 請求項17に記載の映像再生装置であって、
前記チャプタ取得部は、前記チャプタの位置を取得する際、前記チャプタ既定値よりも前記テーマ連続度の低い時間に対し前記チャプタを生成する、
ことを特徴とする映像再生装置。 - 請求項17に記載の映像再生装置であって、
ユーザが前記テーマ連続度を選択する入力部を更に備え、
前記チャプタ取得部は、前記チャプタ既定値に代え、ユーザが選択した前記テーマ連続度に基づき前記チャプタの位置を取得する、
ことを特徴とする映像再生装置。 - 請求項17に記載の映像再生装置であって、
前記番組再生部から前記音声データや字幕データを受信し、文字情報へと変換する文字情報解析部を更に備え、
前記チャプタ取得部は前記テーマ連続度として、前記文字情報のパターンに基づくテーマ連続度を算出する、
ことを特徴とする映像再生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008281581A JP2010109852A (ja) | 2008-10-31 | 2008-10-31 | 映像インデクシング方法、映像録画再生装置、及び映像再生装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008281581A JP2010109852A (ja) | 2008-10-31 | 2008-10-31 | 映像インデクシング方法、映像録画再生装置、及び映像再生装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010109852A true JP2010109852A (ja) | 2010-05-13 |
Family
ID=42298815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008281581A Pending JP2010109852A (ja) | 2008-10-31 | 2008-10-31 | 映像インデクシング方法、映像録画再生装置、及び映像再生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010109852A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012044615A (ja) * | 2010-08-23 | 2012-03-01 | Nec Personal Computers Ltd | 情報処理装置、動画ファイル編集方法及びプログラム |
WO2012070534A1 (ja) * | 2010-11-26 | 2012-05-31 | シャープ株式会社 | 映像音声出力装置、および映像音声出力方法、ならびに該映像音声出力装置を備えたテレビジョン受像機 |
JP2014110531A (ja) * | 2012-12-03 | 2014-06-12 | Nippon Telegr & Teleph Corp <Ntt> | テロップ検出装置、テロップ検出方法及びテロップ検出プログラム |
KR20200099799A (ko) * | 2019-02-15 | 2020-08-25 | 에스케이텔레콤 주식회사 | 섹션 정보 생성 장치 및 이를 이용하여 섹션 정보를 생성하는 방법 |
CN112486783A (zh) * | 2020-11-25 | 2021-03-12 | 建信金融科技有限责任公司 | 一种进度条的显示方法和装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003018504A (ja) * | 2001-06-28 | 2003-01-17 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
JP2006041794A (ja) * | 2004-07-26 | 2006-02-09 | Nikon Corp | 画像処理装置および画像処理プログラム |
JP2006279290A (ja) * | 2005-03-28 | 2006-10-12 | Nec Personal Products Co Ltd | 番組録画装置、番組録画方法および番組録画プログラム |
JP2007006454A (ja) * | 2005-05-26 | 2007-01-11 | Sony Corp | コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム |
JP2007074091A (ja) * | 2005-09-05 | 2007-03-22 | Pioneer Electronic Corp | テロップ検出装置及び方法並びにレコーダ |
JP2007521736A (ja) * | 2003-07-03 | 2007-08-02 | 松下電器産業株式会社 | 映像処理装置、映像処理装置の集積回路、映像処理方法、及び映像処理プログラム |
JP2007266838A (ja) * | 2006-03-28 | 2007-10-11 | Sharp Corp | 記録再生装置、記録再生方法、及び、記録再生プログラムを記録した記録媒体 |
JP2007274154A (ja) * | 2006-03-30 | 2007-10-18 | Toshiba Corp | 映像分割装置、テロップ抽出装置、方法およびプログラム |
JP2008072232A (ja) * | 2006-09-12 | 2008-03-27 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
-
2008
- 2008-10-31 JP JP2008281581A patent/JP2010109852A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003018504A (ja) * | 2001-06-28 | 2003-01-17 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
JP2007521736A (ja) * | 2003-07-03 | 2007-08-02 | 松下電器産業株式会社 | 映像処理装置、映像処理装置の集積回路、映像処理方法、及び映像処理プログラム |
JP2006041794A (ja) * | 2004-07-26 | 2006-02-09 | Nikon Corp | 画像処理装置および画像処理プログラム |
JP2006279290A (ja) * | 2005-03-28 | 2006-10-12 | Nec Personal Products Co Ltd | 番組録画装置、番組録画方法および番組録画プログラム |
JP2007006454A (ja) * | 2005-05-26 | 2007-01-11 | Sony Corp | コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム |
JP2007074091A (ja) * | 2005-09-05 | 2007-03-22 | Pioneer Electronic Corp | テロップ検出装置及び方法並びにレコーダ |
JP2007266838A (ja) * | 2006-03-28 | 2007-10-11 | Sharp Corp | 記録再生装置、記録再生方法、及び、記録再生プログラムを記録した記録媒体 |
JP2007274154A (ja) * | 2006-03-30 | 2007-10-18 | Toshiba Corp | 映像分割装置、テロップ抽出装置、方法およびプログラム |
JP2008072232A (ja) * | 2006-09-12 | 2008-03-27 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012044615A (ja) * | 2010-08-23 | 2012-03-01 | Nec Personal Computers Ltd | 情報処理装置、動画ファイル編集方法及びプログラム |
WO2012070534A1 (ja) * | 2010-11-26 | 2012-05-31 | シャープ株式会社 | 映像音声出力装置、および映像音声出力方法、ならびに該映像音声出力装置を備えたテレビジョン受像機 |
JP2014110531A (ja) * | 2012-12-03 | 2014-06-12 | Nippon Telegr & Teleph Corp <Ntt> | テロップ検出装置、テロップ検出方法及びテロップ検出プログラム |
KR20200099799A (ko) * | 2019-02-15 | 2020-08-25 | 에스케이텔레콤 주식회사 | 섹션 정보 생성 장치 및 이를 이용하여 섹션 정보를 생성하는 방법 |
KR102161705B1 (ko) * | 2019-02-15 | 2020-10-06 | 에스케이텔레콤 주식회사 | 섹션 정보 생성 장치 및 이를 이용하여 섹션 정보를 생성하는 방법 |
CN112486783A (zh) * | 2020-11-25 | 2021-03-12 | 建信金融科技有限责任公司 | 一种进度条的显示方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5010292B2 (ja) | 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法 | |
US8935169B2 (en) | Electronic apparatus and display process | |
JP4835321B2 (ja) | 番組提供方法、番組提供方法のプログラム、番組提供方法のプログラムを記録した記録媒体及び番組提供装置 | |
JP4774940B2 (ja) | 情報処理装置、表示方法及びそのプログラム | |
JP5322550B2 (ja) | 番組推奨装置 | |
US20080059526A1 (en) | Playback apparatus, searching method, and program | |
JP4920395B2 (ja) | 動画要約自動作成装置、方法、及びコンピュータ・プログラム | |
US20030086692A1 (en) | Special reproduction control information describing method, special reproduction control information creating apparatus and method therefor, and video reproduction apparatus and method therefor | |
US20090129749A1 (en) | Video recorder and video reproduction method | |
JP2008148077A (ja) | 動画再生装置 | |
JP2007148976A (ja) | 関連情報検索装置 | |
JP2008124574A (ja) | 嗜好抽出装置、嗜好抽出方法及び嗜好抽出プログラム | |
JP2009089032A (ja) | 電子機器およびシーン種類表示方法 | |
JPWO2010073355A1 (ja) | 番組データ処理装置、方法、およびプログラム | |
JP2010109852A (ja) | 映像インデクシング方法、映像録画再生装置、及び映像再生装置 | |
JP2008276340A (ja) | 検索装置 | |
JP2005341180A (ja) | 動画像処理装置及びその方法 | |
JP5330551B2 (ja) | 電子機器および表示処理方法 | |
JP2003109022A (ja) | 図書製作システムと図書製作方法 | |
JPWO2007114241A1 (ja) | 映像処理装置 | |
JP5033653B2 (ja) | 映像記録再生装置及び映像再生装置 | |
JP2005252372A (ja) | ダイジェスト映像作成装置及びダイジェスト映像作成方法 | |
JP2008020767A (ja) | 記録再生装置および方法、プログラム、並びに記録媒体 | |
JP2008153920A (ja) | 動画像一覧表示装置 | |
JP3838775B2 (ja) | マルチメディア処理装置、記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121204 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130402 |