JP4556752B2 - コマーシャル視聴制御機能を有する録画再生装置 - Google Patents

Description

本発明は、テレビ放送の内容を録画し、録画した内容をダイジェスト（要約）再生する機能を有する録画再生装置に関し、コマーシャルメッセージ（以下ＣＭと略記する）の視聴を制御する手段に関する。

近年、ハードディスクドライブ（ＨＤＤ）を組み込んだ家庭用テレビ放送録画再生装置やテレビ放送録画再生機能を付加したパソコン等が普及したことで、多数の番組を録画保存しておくことが可能になってきた。

そして、その録画した番組を効率的に視聴するという観点から、いくつかの番組要約作成技術が開発されている。

その要約技術の一例として、ＣＭカット機能として知られる技術がある。

しかしながら、このＣＭカット機能を用いた場合、番組制作のための資金を提供した番組提供者（スポンサー）にとっては、ＣＭ広告効果が図れないという問題が生じていた。

そこで、該問題点を解決すべく、ＣＭを視聴させるための技術として、例えば、特許文献１に開示されている技術が開発された。この技術は視聴者が本編番組を視聴する際、所定の回数のＣＭ提示を行うというＣＭ提示方法である。ＣＭ提示回数を記録し、ＣＭ提示が所定の回数に達しない場合には本編番組の再生を一時停止し、所定の回数に達するまでの残回数だけＣＭを提示した後に本編番組の再生を再開することで視聴者に対するＣＭ提示機会を確保するというものである。

特開２００３−１６３８６５号公報

しかし、上記の従来技術では、視聴者の立場に立てば、短時間で関心のある番組内容だけを視聴したいのに、ＣＭに関しては全てを視聴しなければならなくなるという問題が生じる。例えば、1時間の番組に合計６分のＣＭが挿入されているとする。この番組内容を１０分程度に要約して視聴したい場合でも、挿入された６分分のＣＭは必ず再生され、視聴時間は合計1６分になる。これは短時間で関心のある部分だけを視聴したいという視聴者の志向に反することになる。場合によっては、このようにして再生されたＣＭに対する嫌悪感を招くことも考えられる。このような事態は番組提供者にとっても好ましくない。

本発明では、番組内容の要約を視聴する場合における効率的なＣＭの提示方法を実現する。

動画像要約機能において、例えば動画像を構成するフレーム単位で画像の特徴と音声の特徴を抽出し、これを評価関数で評価し、評価結果をフレーム単位のランキング値として記録する。要約を作成する場合は、このランキング値の高い順にフレームが用いられるため、ＣＭ部分のランキング値を高くして、所定数のＣＭ部分のフレームを抽出することで、ＣＭの表示制御が可能となる。

さらに、該抽出されたＣＭを、要約画像に一定間隔で挿入あるいは、重ね合わせることでＣＭ画像付きの要約画像を作成することが可能となる。

録画したテレビ放送を要約視聴する場合でも、ＣＭを提示することが可能となる。

本発明では、以下に示す実現方法が考えられる。

動画像要約作成手法としてランキング情報を用いる手法がある。このランキング情報を用いれば、例えば、上記動画像の中からＣＭ部分を検出し、検出されたＣＭ部分のフレーム評価においてランキング値を操作すれば、所定のＣＭの再生を制御可能となる。例えば、全てのＣＭ部分のランキング値を常に最大とすれば、録画されたＣＭは全て再生される。

また、ＣＭ部分に関してのみ閾値を変更することによりＣＭ再生を制御することも可能である。例えば、ＣＭ部分に対する閾値を、ＣＭ以外の番組内容部分に対する閾値よりも下げることにより、ＣＭ部分に対してその他の部分と同じランキング評価をしつつ、ＣＭ部分の再生率を他の部分の再生率よりも高めることができる。

また、検出された複数のＣＭにおいて、一定のフレーム数だけ再生するようにランキング値を操作して、例えば各ＣＭ部分のうち、最後の３０フレームだけを再生するようにランキング値を操作することも可能である。この場合はＣＭ部分最後の３０フレームに対するランキング値を最大にすればよい。

さらに、ＣＭの再生フレーム数をＣＭ以外の部分の再生率に比例させることも可能である。各ＣＭのフレーム数合計値に再生率をかけて再生するフレーム数を算出し、算出値を仮にＸとすれば、最後のＸフレームに対するランキング値を最大にすればよい。Ｘフレームの基点は任意に決定可能である。

また、ＣＭの再生方法としては、以下の手法が考えられる。

番組を通して最大のランキング値を持つフレームの属するシーンを特定し、そのシーンの前に複数のＣＭ部分を挿入する。こうすることで、視聴者は、ＣＭの再生頻度の高い範囲がランキング評価の高い部分であると知ることができる。ここで、再生される連続したフレームの集まりをシーンと呼ぶ。

あるいは、要約再生時間中に一定の時間間隔でＣＭを挿入する。例えば、シーンの切れ目に関係なく１０秒経過ごとにＣＭを再生する。視聴者はＣＭ再生のタイミングで経過時間を知ることが出来る。

また、字幕版のＣＭを、シーンを再生している画面に重ね合わせて表示してもよい。

また、ＣＭ再生毎に再生回数を記録し、再生回数が増えるほどそのＣＭのランキング値を低下させて行く。再生回数が増え、ランキング値が低下して閾値より小さくなれば、そのＣＭは再生されなくなるようにしてもよい。

さらには、データ放送にてＣＭの短縮版を放送してよい。例えば、再生時間１５秒の本編ＣＭに対して再生時間２秒の短縮版ＣＭをデータ放送で放送するといった具合である。

あるいは、１件のＣＭに対し何通りかの短縮版ＣＭを用意し、再生回数に応じて再生する版を変えてゆく。例えば、再生時間１５秒のＣＭ、同１０秒のＣＭ、同５秒のＣＭ、同２秒のＣＭを用意し、初めて再生する場合には１５秒のＣＭを、２回目に再生する場合には１０秒のＣＭを、３回目に再生する場合には５秒のＣＭを、４回目に再生する場合には２秒のＣＭを再生する。５回目以降は再生しなくても良いし、もっとも短い版を再生することにしても良い。

また、話題のＣＭなど、視聴者側が積極的に視聴を希望するＣＭがある場合、視聴者は要約再生時に挿入された短縮版ＣＭを見て、ＣＭ本編視聴可能としてもよい。例えば、録画再生装置のリモコンにボタンを設け、短縮版ＣＭの再生中にこのボタンが押下された場合、ＣＭ全体の再生に切り替える。さらに、リモコンに種々のボタンを設け、視聴中のＣＭを反復して再生したり、そのＣＭを記憶装置の保存用領域に保存するようにしてもよい。

以下に、本発明の実施形態を図面を用いて説明する。

本発明の実施例を図面を用いて説明する。

図１に本実施例の録画再生装置の構成図を示す。アンテナ１で取得するテレビ放送の電波からチューナ復調部２によりアナログの画像信号と音声信号を取り出す。画像エンコーダ３はチューナ復調部２から画像信号を受け取り、ディジタル信号にエンコードし、エレメンタリストリーム（ＥＳ）を出力する。画像エンコーダ３におけるエンコードの方式は任意であるが、例えばＭＰＥＧ−２として知られる形式を採用することが出来る。音声エンコーダ４はチューナ復調部２から音声信号を受け取り、ディジタル信号にエンコードし、ＥＳを出力する。音声エンコーダ４におけるエンコードの方式は任意であるが、例えばＡＡＣとして知られる形式を採用することが出来る。ＥＳとは符号化された画像データや音声データのことである。

マルチプレクサ５は、画像エンコーダ３と音声エンコーダ４からＥＳを受け取り、プログラムストリーム（ＰＳ）と呼ばれる画像と音声の両者を合成した映像ストリームに変換する。ＰＳはハードディスク装置６で録画データ１０として記録される。ＰＳとは、ＥＳを画像ならフレーム単位、音声ならブロック単位などの意味のある単位ごとにパケット化したうえで並べてヘッダー情報を付加したものである。

ハードディスク装置６はハードディスクドライブ７とハードディスク記録部８、ハードディスク読み出し部９、データバス１３７、コマンドバス１３８により構成される。録画データ１０、後述のランキングデータ１１などをファイルとして記録することが可能である。また、指定したファイルの内容を読み出すことが可能である。ハードディスク記録部８はコマンドバス１３８を経由してハードディスクドライブ７へコマンドを発行可能である。また、ハードディスク記録部８はデータバス１３７を経由してハードディスクドライブ７へ記録すべきデータを転送可能である。ハードディスク読み出し部９はコマンドバス１３８を経由してハードディスクドライブ７へコマンドを発行可能である。また、ハードディスク読み出し部９はデータバス１３７を経由してハードディスクドライブ７から読み出すべきデータを取得可能である。本動作は、図２及び図１２、図２５においても同様に適用可能である。

次に、映像評価部２２へのデータの流れを説明する。まずランキング作成対象のストリーム（ファイル）をハードディスク読み出し部９より取得し、デマルチプレクサ１２に入力する。デマルチプレクサ１２はストリームを画像ＥＳと音声ＥＳに分離する。各々を画像デコーダ１３、音声デコーダ１４に入力する。画像デコーダ１３はエンコードする前の画像信号を出力する。音声デコーダ１４はエンコードする前の音声信号を出力する。また、デマルチプレクサ１２はストリームの終了を検出し、ストリームの終了を示す信号を後述のランキングデータ合成部２０へ与える。

次に、映像評価部２２の内部を説明する。画像信号は画像特徴抽出部１５に入力される。画像特徴抽出部１５では、画像評価関数により画像を１フレームごとに評価する。例えば画像の動きの大小、輝度信号の変化の程度を評価しその結果をランキングデータ生成及び保持部１８に与える。画像を評価する具体的な評価関数の一例を挙げる。評価中の画像フレームと（時間的に）1つ前の画像フレームとを比較することにより、画像フレーム間の動きの大きさ、輝度信号の変化の大きさを算出する。各画像を縦１６画素、横１６画素のブロックで区切り、ブロックごとに比較を行う。動きの検出は、評価対象のブロックと似た絵柄のブロックを1つ前の画像フレーム内から検索して行う。検索は評価対象ブロックの位置と同じ位置のブロックの周囲から行う。検索がヒットすればブロック間の距離を画素単位で計算し動きの大きさとする。検索がヒットしなければ検索ミスとして、検索ミス回数をカウントアップする。ブロックごとの動きの大きさをフレーム全てについて足し合わせ、動きの大きさの合計値Ｍを算出する。これとは別に検索がヒットしなかったブロックの数の合計数をＮとする。

また、ブロックごとに輝度信号（明るさに相当）の差分を求め、全ブロックの輝度信号の差分の合計値Ｌを算出する。

算出したパラメータＭ、Ｎ、Ｌをランキングデータ生成及び保持部１８に与える。
音声信号は音声特徴抽出部１６に入力される。音声特徴抽出部１６では、音声評価関数により音声を１フレームごとに評価する。例えば音量の変化の程度を評価しその結果をランキングデータ生成及び保持部１８に与える。音声を評価する具体的な評価関数の一例を挙げる。以下説明に用いる音声ブロックとは、画像１フレームの表示時間に相当する時間分の音声データからなる。評価中の音声ブロックの平均音量と（時間的に）１つ前の音声ブロックの平均音量とを比較することにより、音声ブロック間の音量変化の大きさを算出する。算出したパラメータＶをランキングデータ生成及び保持部１８に与える。

ランキングデータ生成及び保持部１８は、画像特徴抽出部１５からの画像評価結果のパラメータと、音声特徴抽出部１６からの音声評価結果のパラメータとに基づき、評価対象映像フレームのランキング値を定める。上記の例にならえば、ランキング値はパラメータＭ、Ｎ、Ｌ、Ｖの関数である。ランキング値算出の一例を説明する。ランキングデータ生成及び保持部１８は、過去のフレームのパラメータおよび評価結果であるランキング値、また評価に用いる内部変数を一定時間記憶して保持する。例えば、時間にして過去１５秒分のフレームのランキング値や後述のシーンチェンジの有無を記憶する。スポーツ番組（サッカーなど）のランキング算出では、音量が急に大きくなり、シーンチェンジが頻発する部分は例えばゴールシーンなどの「重要度」の高い画像フレームであると仮定する。

シーンチェンジ検出の方法を説明する。シーンチェンジ直後の画像フレームでは、輝度信号の変化を表すパラメータＬが過去１５秒分のＬの平均値よりも大きくなり、また、動き検索において検索ミスとなったブロックの数を表すＮの値が一つ前のフレームのＮより大きくなると考えられる。このような条件のフレームではシーンチェンジが起きたとする。過去１５秒分のシーンチェンジ回数をＳとする。
音量については、Ｖが過去１５秒分のＶの平均値よりも大きくなる場合に音量が急に大きくなったフレームであるとする。
ランキング値はα、β、γ、δ、εを係数として
（数１）
α×Ｍ＋β×Ｎ＋γ×Ｌ＋δ×Ｓ＋ε×Ｖ
として算出する。

本実施例においては、映像コンテンツのジャンル（スポーツ、ドラマ、バラエティ等）に応じて係数α、β、γ、δ、εを変更するもとのする。これは、ジャンルによってシーンの重要度の基準が異なるためである。

本実施例におけるランキング値は０から始まる有限の整数であり、ランキング値は画像評価関数および音声評価関数に照らして定まる映像フレームの重要度を表す。画像特徴抽出部１５、音声特徴抽出部１６およびランキングデータ生成及び保持部１８により、映像ストリームの全てのフレームに対してランキング値が定められる。このランキング情報生成の方法については、例えば、“電子情報通信学会論文誌 Ｄ−ＩＩ Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１８４８−１８５５ ２００１年８月”に記載されているものがある。

ここで、評価が高いフレームのランキング値は大きく、評価の低いフレームのランキング値は小さい。ランキング値は有限で一定の値の範囲をとる。要約再生においては、ランキング値が一定の閾値を超えたフレームを再生対象とする。閾値は視聴者によって指定される。各フレームのランキング値と閾値との大小関係によってフレームが再生されるかどうかを決定する。閾値を高くすれば再生されるフレーム数が減り、要約再生に要する時間が短くなる。一定時間内のフレーム数に対する、再生されるフレームの数の割合を「再生率」と呼ぶならば、閾値が高い場合には再生率が小さくなる。閾値を低くすれば再生率が大きくなり、要約再生に要する時間が長くなる。

また、ランキングデータ生成及び保持部１８は、上記のように評価した各フレームに対するランキング値をフレーム番号と対にして記憶する。記憶する情報を表形式で表現すれば、図２０に示すランキングデータフォーマット１４４のようになる。このフォーマットは、フレーム番号カラム１４５とランキング値カラム１４６からなる。ランキングデータ行１４７はフレーム番号１００００のフレームのランキング値が５３であることを示している。以下同様にランキングデータ行１４８〜１５０は、フレーム番号１０００１〜１０００３のランキング値を示している。このランキング情報は映像ストリーム終了後、ランキングデータ合成部２０によって読み出される。全てのランキングデータが読み出されたら、このランキング情報は消去される。

本実施例では、映像ストリームを入力とし各映像フレームのランキング値を生成する映像評価部２２に、ＣＭ検出部１７およびＣＭ用ランキングデータ生成及び保持部１９を追加している。ＣＭ検出部１７は、画像信号および音声信号を入力とし、テレビ放送番組の映像ストリーム中のＣＭ部分を特定する機能を有する。ＣＭ部分を特定する方法としては、音声モード（モノラル／ステレオ／２ヶ国語）の変化する時点や、無音部などの検出による方法がある。検出されたＣＭに対して、ランキング値を定めるのがＣＭ用ランキングデータ生成及び保持部１９である。図１を用いて説明する例においては、ＣＭ用ランキングデータ生成及び保持部１９は一定のランキングデータ（固定値）、あるいは単調変化（増加あるいは減少）するランキングデータと固定値との組み合わせからなるランキングデータを出力する。図９を用いて後述する例とは異なり、ＣＭ用ランキングデータ生成及び保持部１９は画像の特徴や音声の特徴の情報を利用せずにランキングデータを決定する。

また、ＣＭ用ランキングデータ生成及び保持部１９は、上記のように生成したＣＭ用ランキング値をフレーム番号と対にして記憶する。記憶する情報を表形式で表現すれば、図２１に示すランキングデータフォーマット１５１のようになる。このフォーマットは、フレーム番号カラム１５２とランキング値カラム１５３からなる。ランキングデータ行１５４はフレーム番号１９８３０のＣＭ用ランキング値が０であることを示している。ＣＭ用ランキング値が０のフレームはＣＭ以外のフレームである。ランキングデータ行１５５はフレーム番号１９８３１のＣＭ用ランキング値がランキング値の最大値であることを示す。同様にランキングデータ行１５６はフレーム番号２０２８０のＣＭ用ランキング値がランキング値の最大値であることを示す。ランキングデータ行１５７はフレーム番号２０２８１のＣＭ用ランキング値が０であることを示す。このＣＭ用ランキング情報は映像ストリーム終了後、ランキングデータ合成部２０によって読み出される。全てのランキングデータが読み出されたら、このＣＭ用ランキング情報は消去される。

ランキングデータ合成部２０は、映像ストリームのうちＣＭ部分に該当するフレームのランキング値と、その他の部分（テレビ放送のＣＭ以外の番組内容）のランキング値を合成する。ランキングデータ合成部２０によるランキング値の合成は、デマルチプレクサ１２からストリームの終了を示す信号を受けた後に開始される。

図１９を用いてランキングデータ合成部２０の内部を説明する。ランキングデータ合成部２０はランキングデータ生成及び保持部１８及びＣＭ用ランキングデータ生成及び保持部１９から、フレームごとのランキング値を読み出す。比較器１４３はＣＭ用ランキングデータ生成及び保持部１９から読み出したＣＭ用ランキング値が０より大きいかどうかを比較する。読み出したＣＭ用ランキング値が０の場合は論理値「偽」を出力し、ＣＭ用ランキング値が０よりも大きいなら論理値「真」を出力する。

スイッチ１４２は比較器１４３の出力によって切り替えを行う。比較器１４３の出力が論理値「偽」の場合には、ランキングデータ生成及び保持部１８からのランキングデータを選択し出力する。比較器１４３の出力が論理値「真」の場合には、ＣＭ用ランキングデータ生成及び保持部１９からのＣＭ用ランキングデータを選択し出力する。

ランキングデータ合成部２０の出力であるランキングデータ１１はハードディスク装置６のハードディスク記録部８によって、ファイルとして記録される。ランキングデータ１１を表形式で表現した場合のフォーマットを図２２に示す。ランキングデータフォーマット１５８は、フレーム番号カラム１５９、ランキング値カラム１６０からなる。ランキングデータ行１６１はフレーム番号１００００のフレームのランキング値が５３であることを示す。ランキングデータ行１６２はフレーム番号１９８３０のフレームのランキング値が４７であることを示す。ランキングデータ行１６３はフレーム番号１９８３１のフレームのランキング値がランキング値の最大値であることを示す。ランキングデータ行１６４はフレーム番号２０２８０のフレームのランキング値がランキング値の最大値であることを示す。ランキングデータ行１６５はフレーム番号２０２８１のフレームのランキング値が６５であることを示す。

また、図１等に記載の各機能ブロックは、ハードウェア的には、任意のＣＰＵ（図示せず）、メモリ、その他のLSI等で実現可能であり、ソフトウェア的には、CPUが、メモリにロードされた各機能ブロックを実現するプログラムを解釈、実行することにより達成される。また、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせにより様々な形態で実現されることは、当業者に理解されるところである。なお、各プログラムあるいはデータは、メモリまたはハードディスク装置（図示せず）等の記憶装置に格納されている。上記構成は、以下で説明する各構成図においても、同様に適用可能である。

次に、図２を用いて図１における再生部２１を説明する。

ランキングデータ取得部２３は、再生しようとする録画データ１０のランキングデータ１１のファイル読み出しをハードディスク装置６のハードディスク読み出し部９へ要求し、ランキングデータ１１を得る。このとき、ハードディスク読み出し部９はハードディスクドライブ７からランキングデータのファイルを読み出し、ランキングデータ取得部２３に転送している。プレイリスト作成および保持部２４では、ランキングデータ取得部２３からのランキングデータと、閾値入力部２６からの閾値に従って後述のプレイリスト（図４参照）を作成し保持する。閾値入力部２６はリモコンインターフェイス装置２７から視聴者の指定する閾値を取得し、プレイリスト作成および保持部２４へ与える。

プレイリストの情報は、ストリーム指定および読み出し部２５へ出力される。ストリーム指定および読み出し部２５は、再生対象のストリームの録画データをハードディスク読み出し部９に要求する。この際、プレイリストで定義される再生区間の始点および終点を指定する。再生区間とは、ストリームの一部分で、あるフレーム番号Ｆｓ（始点）からあるフレーム番号Ｆｅ（終点）に至る連続するフレームの集まりである。読み出されたストリームの一部分である再生区間のストリームが再生部２１から出力用デマルチプレクサ１３９へ出力される。

出力用デマルチプレクサ１３９は受け取った再生区間のストリームを画像ＥＳと音声ＥＳに分離する。各々を出力用画像デコーダ１４０、出力用音声デコーダ１４１に入力する。出力用画像デコーダ１４０は再生画像のアナログ画像信号を出力し、出力用音声デコーダ１４１はアナログ音声信号を出力する。これらをテレビへ供給すれば再生区間の映像を再生することが出来る。

図３を用いて、ランキングデータと視聴者の指定する閾値によって再生区間が決まる様子を説明する。ランキングデータは上述のようにストリームの各フレームに付与されるランキング値のリストである。これらをフレーム番号順に並べてグラフ化したものが図３の上のランキング値グラフ２８である。横軸のフレームカウントはフレーム番号を表す。フレーム番号は時系列に増加するので、再生開始からの時間に対応する。

視聴者が閾値Ａを指定した場合に、ストリームの中で再生される部分がどのように選択されるかを示すのが再生スケジュール（閾値Ａ）２９である。ランキング値グラフ２８において、ランキング値が閾値Ａを超えるフレームを含む区間が再生対象になる。この例では、再生区間３３、３４、３５が選ばれる。ランキング値は映像フレームの重要度を表すので、再生区間３３、３４、３５は元の映像ストリームの重要な部分と言える。再生区間３３、３４、３５のみを連続して再生すれば、視聴者にとって元の映像ストリームの要約（ダイジェスト）の視聴が可能となる。ランキングデータはランキングデータ取得部２３からプレイリスト作成及び保持部２４へ入力される。また、閾値は閾値入力部２６からプレイリスト作成及び保持部２４へ入力される。プレイリスト作成及び保持部２４においてランキングデータと閾値との比較をフレームごとに行う。

また、視聴者が閾値Ｂを指定した場合に、ストリームの中で再生される部分がどのように選択されるかを示すのが再生スケジュール（閾値Ｂ）３０である。ランキング値が閾値Ｂを超えるフレームを含む区間が再生対象になる。もとの映像ストリームにはＣＭが挿入されており、この例ではＣＭ１の区間３１、ＣＭ２の区間３２が含まれている。閾値Ｂは閾値Ａよりも小さいため、選択される再生区間が増えたり、再生区間の長さが増えたりする。再生区間３６は閾値Ａの場合の再生区間３３を包含し再生区間の長さが増えている。同様に再生区間３８、３９は閾値Ａの場合の再生区間３４、３５を包含し再生区間の長さが増えている。また、閾値Ａの場合には現れなかった再生区間３７が新たに増えている。まとめると閾値Ｂの場合のほうが閾値Ａよりも再生時間が増える。視聴者から見ると、閾値Ａのほうが要約の度合いが強く、閾値Ｂのほうが要約の度合いが低い。閾値を高めれば重要度の高いシーンのみをかいつまんで視聴できることになり視聴時間が短くなり、閾値を低めれば次第に重要度の低いシーンも含まれてゆくこととなり視聴時間が長くなる。

図４で再生区間を定義するプレイリストを説明する。プレイリストは、図２のプレイリスト作成及び保持部２４で作成され保持される。プレイリスト４０は再生すべきストリーム名と始点と終点の情報を持つ。始点と終点はフレーム番号であり、ひとつの再生区間は始点のフレーム番号Ｆｓから終点のフレーム番号Ｆｅまでの連続したフレームの集合である。例えばエントリ４４は図３の再生区間３３を表し、エントリ４５、４６はそれぞれ再生区間３４、３５を表す。エントリ４７はプレイリストの終わりを示し、ストリーム名の欄にプレイリストの終わりを示す記号ＥＯＳが格納される。

民間テレビ放送においては、番組提供者（スポンサー）が番組制作費などを提供し、その対価として番組中に自らのＣＭを挿入する権利を得る。テレビ放送録画再生装置が普及していなかった時代、また単純な録画／再生の機能しか備えていなかった時代には、テレビ放送視聴者はすなわちＣＭ視聴者であるという仮定が成立した。ところが近年、テレビ放送録画再生装置の機能が向上し、録画したテレビ番組のＣＭ部分を飛ばして録画したり、再生したりすること（ＣＭカット）が可能になってきた。またさらに最近では上述のような手段による番組内容の関心の高い部分のみを再生する要約視聴技術も一般に提供されるようになってきている。このような視聴環境の変化により、テレビ放送視聴者はすなわちＣＭ視聴者であるという仮定が崩れる可能性がある。

例えば、図３のランキング値グラフ２８の例においては、閾値Ｂの場合にはＣＭ１の区間３１の一部のみ（再生区間３７）が再生される。閾値Ａの場合にはＣＭの区間３１、３２の再生が行われない。ランキング値を算出する評価関数はＣＭ部分にも適用され、そのランキング値が必ずしも高い値になるとは限らない。視聴者がより短い視聴時間で要約内容のみを求める（要約の度合いを大きくする）場合、閾値の設定値を上げて行くことになりＣＭが再生される機会が減ってゆく。このように閾値の設定によって容易にＣＭの再生をカットすることが可能になってきている。

そこで、次に、図５を用いて視聴者が要約再生機能を使用する場合でも、ＣＭの提示機会を保つ方法について説明する。

ストリームが終了するとランキングデータ合成部によってランキングデータ生成及び保持部１８から、及びＣＭ用ランキングデータ生成及び保持部１９からのランキングデータの読み出しが開始される。ランキングデータ生成及び保持部１８にて読み出し開始時に保持されているランキングデータをグラフで表現したものが図５に示すグラフ２８である。
ＣＭ用ランキングデータ生成及び保持部１９にて読み出し開始時に保持されているＣＭ用ランキングデータをグラフで表現したものが図５に示すグラフ４８である。

グラフ４８に示すＣＭ用ランキングデータはＣＭ検出部１７によってＣＭであると検出されたフレームに対するランキング値を最大値に、ＣＭ以外の部分のランキング値を０にすることで得られる。

ランキングデータ合成部２０は図１９を用いて説明したように、フレーム順にランキングデータとＣＭ用ランキングデータを合成して行く。ＣＭ用ランキングデータが０の場合にはランキングデータ生成及び保持部１８から得られるランキング値を選択し、そうでない場合にはＣＭ用ランキングデータ生成及び保持部１９からのランキング値（この場合は最大値）を選択する。

このようにして合成したランキング値のグラフ５２を図６に示す。ＣＭの区間３１、３２の部分のランキング値が最大値になっている。グラフ５２に示される合成後のランキングデータはハードディスク装置６に送られ、ランキングデータファイル１１として記憶される。

このランキングデータに閾値Ａを適用した場合に選択される再生区間を再生スケジュール４９に示す。ＣＭの区間３１、３２のランキング値は最大値となっている。３１、３２に対応するＣＭ再生区間５０、５１は、視聴者が要約の度合いを変化させるために閾値を変更しても全てのフレームが再生される。

以上の手段により、視聴者が番組内容を要約視聴する場合でも、挿入されているＣＭを全て再生することが可能になり、ＣＭの提示機会を保つことが出来る。

一方で、視聴者は重要なシーンのみを短時間で視聴するために要約再生を行うが、上記のように閾値を最高（要約の度合いを最大）にしても、ＣＭに関しては全てのフレームが再生されることになる。上記の方法は番組提供者にとってはＣＭの提示機会が保たれると言う点でよい方法だが、要約再生を行う視聴者にとっては好ましくない方法である。例えば８分のＣＭが挿入されている１時間の番組を１０分程度に要約して視聴したいと望む場合、ＣＭの８分は全てが再生されるのに、肝心の番組内容部分は２分程度しか視聴できないことになる。視聴者の望む要約再生の利点が損なわれることになる。

この問題をＣＭ用ランキングデータの操作により解決しようとする例を図７を用いて説明する。図７の上のランキング値グラフ２８は図５と同じである。ＣＭ用ランキング値グラフ５３は、ＣＭの区間３１、３２に対応するＣＭ用ランキングデータが図５とは異なっている。ＣＭ全表示水準として示す値から最大値に向けてフレームカウントに比例して値が増える。ここでＣＭ全表示水準とは、０とランキング値の最大値との間の値を取る閾値である。この閾値の値は固定であり、装置作成時に設定され変更することは出来ない。ここではＣＡＤとして表す。ＣＭ中で最大値を取るフレーム数は固定であり、装置作成時に設定され変更されない。ここでは例えばＣＭ区間最後の３０フレームとする。

ＣＭ用ランキング値グラフ５３に示すＣＭ用ランキングデータの生成方法を説明する。ＣＭ用ランキングデータ生成及び保持部１９において保持しているＣＭ用ランキングデータに基づいて算出する。ストリーム中でＣＭ区間が始まると、ＣＭ検出部１７からＣＭであることを示す信号がＣＭ用ランキングデータ生成及び保持部１９へ出力される。そのときのフレーム番号をＣＭＳとして記憶する。フレーム番号がＣＭＳであるフレームに対しては、そのランキング値としてＣＭ全表示水準（閾値）の値を設定する。その後複数フレームに対してＣＭ検出部１７からＣＭであることを示す信号が出力されるが、そのランキング値は未定のままにしておく。ＣＭ区間が終わり再びＣＭ以外のフレームが現れると、そのフレームのフレーム番号から１を減じた値をＣＭＥとして記憶し、直前のＣＭ区間に対するランキング値の算出を始める。まず、（ＣＭＥ−３０＋１）番目のフレームから、ＣＭＥ番目のフレームに対して、ランキング値の最大値を設定する。次に、（ＣＭＳ＋１）番目のフレームから（ＣＭＥ−３０）番目のフレームに対し、各々のランキング値がＣＡＤから最大値へ向かって単調増加するように計算して設定する。

図８のグラフ５４は、図７の２８と５３を合成したランキングデータである。ランキングデータの合成は図１９を用いて説明した方法で行う。ＣＭの区間３１、３２に属するフレームはＣＭ用ランキング値を取り、その他のフレームに関してはランキング値グラフ２８のランキング値を取る。

合成したランキング値データ５４に閾値Ａを適用した場合に選択される再生区間を再生スケジュール５５に示す。再生区間３３、３４、３５は図３の再生スケジュール２９と同じである。ＣＭ１の再生区間は５６、ＣＭ２の再生区間は５７である。ＣＭの再生に関しては、各ＣＭの最後のほうの一部のフレームのみが再生される。仮に閾値を最大値にした場合には、ＣＭ１、ＣＭ２いずれもＣＭの最後の３０フレームが再生される。この例では最後の３０フレームのＣＭ用ランキング値を最大値にしているためである。

また、図７におけるＣＭ全表示水準値を下回る閾値Ｃを適用した場合に選択される再生区間を再生スケジュール５８に示す。番組内容の再生区間は５９、６１、６３、６４である。ＣＭ１の再生区間は６０であり、ＣＭ１の全てのフレームが再生される。ＣＭ２の再生区間は６２であり、ＣＭ２の全てのフレームが再生される。

このように、閾値がＣＭ全表示水準値を下回る場合にはＣＭの全フレームが再生される。また、閾値がＣＭ全表示水準値を越える場合には閾値が大きくなる毎にＣＭの再生されるフレーム数が減少してゆくが、閾値が最大値をとる場合でもＣＭの最後の３０フレームは再生される。閾値の設定により視聴者が指定する要約の度合いに応じてＣＭの再生時間も短くなってゆくが、たとえ要約の度合いを最大にしたとしてもＣＭの一部は再生することが出来る。

図７、図８の例では、ＣＭランキング値データ５３で示しているようにＣＭの区間３１、３２に対して画像フレーム及び音声フレームの特徴に関係なくランキング値を割り当てている。

次に、ＣＭの区間にも独自の評価関数を適用する場合の構成を図９に示す。

映像評価部６５は、画像特徴抽出部１５、音声特徴抽出部１６、ランキングデータ生成及び保持部１６６、ＣＭ検出部１７、ランキングデータ読み出し部１６７から成る。画像デコーダ１３からの画像信号は画像特徴抽出部１５とＣＭ検出部１７へ入力される。音声デコーダ１４からの音声信号は音声特徴抽出部１６とＣＭ検出部１７へ入力される。図1の映像評価部２２とは異なり、ＣＭ検出部１７からの信号はランキングデータ生成及び保持部１６６へ与えられる。ランキングデータ読み出し部１６７は、図1のランキングデータ合成部２０のようにランキングデータを合成する機能を持たない。デマルチプレクサ１２からストリームの終了を示す信号を受け取ると、ランキングデータ生成及び保持部１６６からランキングデータを順次読み出し、ファイルとしてハードディスク装置６へ格納する。

図１０の上のグラフは図３のランキング値グラフ２８と同じである。グラフ２８では、ＣＭの区間３１、３２に対しても、ＣＭ以外の番組内容のフレームに適用する評価関数が適用されている。

これに対し、図９の構成によってＣＭの区間に独自のＣＭ用評価関数を適用する。図９のランキングデータ生成及び保持部１６６は、図1のランキングデータ生成及び保持部１８で説明したのと同様に画像特徴抽出部１５からのパラメータＭ、Ｎ、Ｌを受け取り、シーンチェンジ頻度を表すパラメータＳを算出する。音声特徴抽出部１６からのパラメータＶを受け取る。また、ＣＭ検出部１７からフレームがＣＭであるかどうかを示す信号を受け取る。ランキングデータ生成及び保持部１６６は、ランキングデータ生成及び保持部１８同様にα、β、γ、δ、εを係数として、
（数２）
α×Ｍ＋β×Ｎ＋γ×Ｌ＋δ×Ｓ＋ε×Ｖ
のようにランキング値を算出する。

図９と図１との違いは、ランキングデータ生成及び保持部１６６がＣＭ検出部１７からの信号によって上記式の定数α、β、γ、δ、εのセットを切り替える点である。ＣＭ検出部１７からＣＭであることを示す信号が出力されない場合（ＣＭ以外の番組内容のフレームである場合）に適用される係数のセットを（α１、β１、γ１、δ１、ε１）とする。ＣＭ検出部１７からＣＭであることを示す信号が出力される場合に適用される係数のセットを（α２、β２、γ２、δ２、ε２）とする。このようにＣＭであるかないかによって適用する評価関数の特性を切り替える。

図１０に示すグラフ２８は、ＣＭ部分に対しても係数のセット（α１、β１、γ１、δ１、ε１）を適用した場合のグラフに相当し、図３のグラフ２８と同じランキングデータになる。一方、グラフ６９は、ＣＭ区間のみのランキングデータのグラフである。実際には図１１のグラフ７０に示すランキングデータが得られるが、グラフ６９では説明のためにＣＭ区間以外のランキングデータを０とした場合のランキングデータを示す。グラフ６９は、ＣＭ区間に対して係数のセット（α２、β２、γ２、δ２、ε２）を適用した場合のランキングデータである。

図１１のグラフ７０は、図１０のグラフ２８のＣＭ区間のみをグラフ６９の値で置き換えたランキングデータと同じである。実際にはグラフ２８とグラフ６９との合成を行うことなく、ランキングデータ生成及び保持部１６６にて適用する係数セットを切り替えることによってグラフ７０のランキングデータが得られる。

得られたグラフ７０のランキング値データに閾値Ａを設定した場合に選択される再生区間を再生スケジュール７１に示す。再生区間３３、３４、３５は図３などの場合と同じである。ＣＭ１からは再生区間７２、７３が、またＣＭ２からは再生区間７４、７５が選択される。このようにＣＭに対して、異なる特性の評価関数を適用することによってＣＭの要約（ダイジェスト）再生を行うことが出来る。

次に本発明の実施例２を示す。

図１２に実施例２の特徴であるＣＭ再生履歴リスト更新部７７とＣＭ再生履歴リスト保持部７８を有する再生部７６を示す（ＣＭ再生履歴リスト更新部７７とＣＭ再生履歴リスト保持部７８をあわせて、ＣＭ再生履歴制御部と呼ぶ。）。ハードディスク装置６の構成は第１の実施例と同じである。再生部７６は、ランキングデータ取得部２３、プレイリスト作成及び保持部２４、ストリーム指定及び読み出し部２５、閾値入力部２６、ＣＭ再生履歴リスト更新部７７及びＣＭ再生履歴リスト保持部７８を有する。プレイリスト作成及び保持部２４はプレイリストを有するが、プレイリストの形式は実施例１のそれとは異なる。

次に、図２３、図２４を用いてランキングデータ生成時における実施例1との違いを説明する。図２３のランキングデータ合成部１６８は図1および図１９のランキングデータ合成部２０とは異なる。スイッチ１４２、比較器１４３は実施例1と同等の機能を持つ。ＣＭＩＤ生成部１７０は、比較器１４３から、ＣＭのフレームであるかどうかを表す論理値を受け取る。ＣＭＩＤはストリームごとにリセットされ、ＣＭの区間を識別するために用いられる。ＣＭＩＤはＣＭ１、ＣＭ２のような形式とする。ＣＭＩＤ生成部１７０は比較器１４３から出力される論理値が「真」（即ちフレームがＣＭ再生区間にある）の間だけＣＭＩＤを出力する。ランキングデータ作成開始後、初めて比較器１４３から出力される論理値が真になったときにＣＭＩＤ生成部はＣＭＩＤとして「ＣＭ１」を生成しデータ合成器１６９へ出力する。比較器１４３から出力される論理値が真である間はＣＭＩＤとして「ＣＭ１」という値を出力し続ける。その後、比較器１４３から出力される論理値が偽になったら「ＣＭ１」の出力を停止する。次に比較器１４３から出力される論理値が真になったらＣＭＩＤを「ＣＭ２」にカウントアップして出力する。以下同様に処理を続ける。

データ合成器１６９は、スイッチ１４２からのランキング値とＣＭＩＤ生成部１７０からのＣＭＩＤとを合成し、図２４に示すランキングデータのエントリを出力する。

図２４に合成したランキング値を表形式で表現した場合のデータフォーマットを示す。ランキングデータフォーマット１７１について、図２２で説明したランキングデータフォーマット１５８の例と同じデータを使って説明する。ランキングデータフォーマット１７１は、フレーム番号カラム１７２、ランキング値カラム１７３、ＣＭＩＤカラム１７４からなる。ランキングデータ行１７５は、フレーム番号１００００のフレームのランキング値が５３で、このフレームはＣＭではない（番組内容区間の）フレームであることを示す。ランキングデータ行１７６はフレーム番号１９８３０のフレームのランキング値が４７で、このフレームはＣＭではないフレームであることを示す。ランキングデータ行１７７はフレーム番号１９８３１のフレームのランキング値がランキング値の最大値で、このフレームはＣＭ区間（ＣＭＩＤ＝ＣＭ１）のフレームであることを示す。ランキングデータ行１７８はフレーム番号２０２８０のフレームのランキング値がランキング値の最大値で、このフレームはＣＭ区間（ＣＭＩＤ＝ＣＭ１）のフレームであることを示す。ランキングデータ行１７９はフレーム番号２０２８１のフレームのランキング値が６５で、このフレームはＣＭではないフレームであることを示す。ストリーム録画後、プレイリスト作成を始める前までにランキングデータを作っておく必要がある。

図１３を用いて実施例２のプレイリストを説明する。プレイリスト７９はストリーム名カラム８０、始点カラム８１、終点カラム８２を有する。ストリーム名はハードディスク装置６から録画データを取得する際のＩＤとなる情報である。

始点と終点はフレーム番号である。ストリーム名と始点と終点により再生するべき再生区間が指定される。ＣＭの再生区間に関しては、ストリーム名のカラムに再生中のストリーム内におけるＣＭＩＤ（一意に決まる通し番号）が記入される。プレイリストは、上記のランキングデータフォーマット１７１を入力として作成される。ＣＭの再生区間はランキングデータフォーマット１７１のＣＭＩＤカラム１７４の値を用いて識別することができ、さらにその値がＣＭＩＤになる。

プレイリスト作成は、ストリーム名が視聴者から指定された後に開始される。視聴者が要約視聴したいと指定したストリーム名に対応するランキングデータ１１がランキングデータ取得部２３によりハードディスク装置６から読み出される。プレイリスト作成及び保持部２４はランキングデータ１１に基づいてプレイリストを作成する。プレイリスト７９のストリーム名カラム８０には、視聴者の指定したストリーム名または、ランキングデータフォーマット１７１のＣＭＩＤカラム１７４の値が入る。
再生中のストリーム名は別途分かっているので、ストリーム名の代わりにＣＭＩＤを記入して差し支えない。ＣＭＩＤは例えばＣＭ１、ＣＭ２のような形式とする。

８３から８９はプレイリストのエントリである。プレイリストの最後のエントリ８９には、ストリーム名としてプレイリストの終わりを示す記号「ＥＯＳ」が記入される。

また、図１３に、このプレイリスト７９に対応するランキング値データ９０と、これに閾値Ａを適用した場合の再生スケジュール９３を示す。はじめに閾値Ａを超えるのは再生区間９４であり、プレイリスト７９のエントリ８３がこれに対応する。エントリ８３は、番組再生区間が番組Ａというストリームの２００００フレームから２５０００フレームであることを示している。エントリ８４は、ＣＭＩＤがＣＭ１であるＣＭ再生区間は、再生中のストリームの４２７００フレームから４３０００フレームであることを示している。再生区間９５はエントリ８４のＣＭ再生区間ＣＭ１に対応している。

エントリ８５、８８はエントリ８３と同様である。エントリ８５は６００００フレームから６３０００フレームであることを示している。再生区間９６はエントリ８５の再生区間に対応している。エントリ８８は、８００００フレームから８４０００フレームであることを示している。再生区間９９はエントリ８８の再生区間に対応している。

エントリ８６とエントリ８７はＣＭＩＤがＣＭ２である再生区間を示しているが２つに分かれている。エントリ８６がＣＭ２の６９８５０フレームから７００００フレームであることを示している。再生区間９７はエントリ８６のＣＭ２再生区間に対応している。またエントリ８７がＣＭ２の７７９１０フレームから７８０００であることを示している。再生区間９８はエントリ８７のＣＭ２再生区間に対応している。
このようにＣＭランキング値と閾値の大小により１つのＣＭが複数のＣＭ再生区間に分割されてもよい。なお、フレーム番号は再生中のストリーム内において連続している。

次に、図１４を用いて、ＣＭ再生履歴リスト１００を説明する。

ＣＭ再生履歴リスト１００は、論理的にはＣＭ再生履歴リスト保持部７８にあることになるが、実体としてはハードディスク装置６に格納されていても良い。あるいはフラッシュＲＯＭのような不揮発性のメモリデバイスに格納されていても良い。ＣＭ再生履歴リスト１００はストリーム中のＣＭが何回再生されたかという情報を保持し、録画データＩＤカラム１０１、ＣＭＩＤカラム１０２、再生回数カラム１０３、カウント履歴カラム１０４からなる。エントリ１０５、１０６、１０７は１つのＣＭが過去何回再生されたかを示す。プレイリスト７９は１回の要約視聴が終わると消去しても良いのとは対照的に、ＣＭ再生履歴リスト１００は存在し続ける必要がある。ＣＭ再生履歴リスト１００は録画したストリーム毎に作成される。録画したストリームが視聴者によって消去される時に、ＣＭ再生履歴リスト１００も消去される。

エントリ１０５を例にとり、各カラムの情報の内容を説明する。録画データＩＤはストリーム名と置き換えても構わない。ハードディスク装置６内でストリームを格納しているファイルを一意に特定する情報であれば良い。ここではストリーム名である「番組Ａ」という情報が入っている。

ＣＭＩＤカラム１０２は該当ストリームの中に挿入されているＣＭを一意に特定するＩＤ情報を格納する。図１３におけるＣＭＩＤと同じ情報である。エントリ１０５は、ストリーム名「番組Ａ」のＣＭＩＤが「ＣＭ１」であるＣＭに関する情報を保持していることになる。再生回数カラム１０３は、このＣＭ１が録画以来、何回再生されたのかという回数情報を格納する。カウント履歴カラム１０４は、図１３で説明したＣＭ２のように１つのＣＭであるのに分割されて複数のＣＭ再生区間を有するＣＭにおいて誤カウントが発生しないようにするための情報である。誤カウントの防止については、図１７を用いて後述する。

次に、図１５から図１７の流れ図を用いて、ＣＭの再生回数の更新方法について説明する。図１５のステップ１０８にて要約再生が開始される。ステップ１０９で視聴者から指定された録画データ１０のファイルとそれに対応するランキングデータ１１のファイルをハードディスク装置６内のファイルの中から検索し、読み取り可能とする。なお、ランキングデータは、プレイリスト作成開始までに作成されているものとする。ステップ１１０で、視聴者が設定する閾値を閾値入力部２６から取得し、その閾値をランキングデータ１１に適用し、プレイリスト作成および保持部２４においてプレイリストの作成を開始する。ステップ１１１にて、ＣＭ再生履歴リスト更新部７７に対して新たに要約再生が始まることを通知する。この通知を受けてＣＭ再生履歴リスト更新部７７で行われる処理については図１６を用いて後述する。

次に、ステップ１１２にてストリーム指定及び読み出し部２５がプレイリスト作成及び保持部２４からプレイリストのエントリを一件ずつ読み出す。ステップ１１３で、読み出したプレイリストエントリのストリーム名カラムの値が「ＥＯＳ」かどうかをテストする。「ＥＯＳ」であれば要約再生を終了する。「ＥＯＳ」でないなら、ステップ１１４でストリーム名カラムの値がＣＭＩＤになっているかどうかテストする。ＣＭＩＤであればステップ１１５に進み、そうでないならステップ１１６へ進む。ステップ１１５では、ＣＭ再生履歴リスト更新部７７に対して、ＣＭ再生区間であることを通知する。この通知を受けてＣＭ再生履歴リスト更新部７７で行われる処理については図１７を用いて後述する。ステップ１１６で再生区間のストリームを出力用デマルチプレクサ１３９へ転送し、映像を再生する。その後ステップ１１２へ戻る。以下ストリーム名カラムの値が「ＥＯＳ」になるまで繰り返す。

図１６を用いて、図１５のステップ１１１から通知を受けるＣＭ再生履歴リスト更新部７７にて行われる処理を説明する。ＣＭ再生履歴リスト更新部７７は、ステップ１１１からの通知を受けると、ＣＭ再生履歴リスト保持部７８内のＣＭ再生履歴リスト１００のカウント履歴カラム１０４の値を全エントリについて「Ｎｏ」に書き換える。この値「Ｙｅｓ」、「Ｎｏ」は既に再生回数をカウントしたＣＭ区間であるかどうかを表し、「Ｙｅｓ」なら既に再生回数をカウントしたＣＭ区間、「Ｎｏ」なら未だ再生回数とカウントしていないＣＭ区間であることを表す。詳しくは図１７を用いて後述する。
ステップ１１１からの通知を受けて行う処理は以上である。

図１７を用いて、図１５のステップ１１５から通知を受けるＣＭ再生履歴リスト更新部７７にて行われる処理を説明する。ＣＭ再生履歴リスト更新部７７は、ステップ１１５からの通知を受けると、ステップ１２２にて録画データＩＤ（この例ではストリーム名と同等）とＣＭＩＤによってＣＭ再生履歴リスト１００の中から該当するＣＭ再生履歴リストエントリを検索する。ステップ１２３で該当するエントリがあるかどうかを確認する。ない場合にはステップ１２４に分岐する。ステップ１２４では、新たにＣＭ再生履歴リストエントリを作成しＣＭ再生履歴リスト１００に加える。

次にステップ１２５にて、該当エントリのカウント履歴カラム１０４の値が「Ｎｏ」であるかどうかテストする。カウント履歴カラム１０４の値が「Ｎｏ」の場合はステップ１２６に進む。カウント履歴カラム１０４の値が「Ｎｏ」でない（つまり「Ｙｅｓ」である）場合には、今回の要約再生において該当ＣＭはすでにカウントされているので、ステップ１２８に進み処理は終了する。ステップ１２６では、今回の要約再生において該当ＣＭの再生回数がカウントされていないので、再生回数カラム１０３の値を１増加させる。次にステップ１２７にて、カウント履歴カラム１０４の値を「Ｎｏ」から「Ｙｅｓ」へ変更する。ステップ１２８でステップ１１５からの通知によってＣＭ再生履歴リスト更新部７７にて行われる処理は終了する。

以上の手順により、プレイリスト７９におけるＣＭ２のように、一件のＣＭが分割され、複数のＣＭ再生区間として再生される場合に、ＣＭ再生回数を重複してカウントすることを回避できる。

また、ＣＭが何回再生されたかを一つ一つのＣＭについて記録することが可能になる。例えば、視聴者が同じ録画番組を繰り返して要約再生する場合、ＣＭも要約再生され再生時間が短くなっているとはいえ、繰り返すたびに同じＣＭを見なければならない事は視聴者にとっては好ましくない。例えばひとつのＣＭについてせいぜい５回も見れば、ＣＭ視聴者としての責任は果たせたと考えるものである。本実施例によれば、ＣＭの再生履歴をＣＭ再生履歴リスト１００に記録することが可能なので、ＣＭ再生区間を再生するかどうかを過去の再生履歴に照らして判断することが可能である。簡単な例として過去に５回再生したＣＭは再生しない、といった制御が可能である。

ストリームのランキング値データに閾値を適用してプレイリストを作る際に、ＣＭ部分に関しては、ＣＭ以外の部分である番組内容部分とは別の閾値を適用することが考えられる。つまり、個々のＣＭ部分に適用する閾値の値を、該ＣＭの再生回数が多いものほど大きくするようにすれば、再生回数が少ない間はそのＣＭの再生時間が長く、再生回数が増えるほどＣＭの再生時間を短くするといった制御も可能である。

ランキングデータを作成する際、ＣＭ検出部１７により検出されたＣＭの開始フレーム数と終了フレーム数が分かっている。この情報はランキングデータを作る際に利用される。

本実施例では、これらの情報をＣＭデータベースとして保存して活用する場合について説明する。

ＣＭデータベース１２９を、図１８に示す。各エントリの録画データＩＤカラム１３０には、ハードディスク装置６からストリームが格納されているファイルを取得する際に必要とされる情報を入れる。これはストリーム名と同等の意味を持つ。ＣＭＩＤカラム１３１にはストリームの中でＣＭを一意に特定可能な情報を入れる。始点カラム１３２には該ＣＭの開始フレーム番号、終点カラムに１３３には該ＣＭの終了フレーム番号を入れる。エントリ１３４は、「番組Ａ」というストリームの中のＣＭＩＤが「ＣＭ１」であるＣＭのフレームは、番組Ａストリーム中のフレーム番号１５８９からフレーム番号２４８９までであることを示す。エントリ１３５は、「番組Ａ」というストリームの中のＣＭＩＤが「ＣＭ２」であるＣＭのフレームは、番組Ａストリーム中のフレーム番号１０９７４からフレーム番号１１４２４までであることを示す。エントリ１３６は、「番組Ａ」というストリームの中のＣＭＩＤが「ＣＭ３」であるＣＭのフレームは、番組Ａストリーム中のフレーム番号２７６４８からフレーム番号２８５４８までであることを示す。

ＣＭデータベース１２９はハードディスク装置６またはフラッシュＲＯＭのような不揮発性のメモリに格納する。ランキングデータ１７１作成時に、ＣＭ区間の情報をＣＭデータベース１２９のエントリとして追加することが好ましい。また、ＣＭデータベース１２９のエントリは、録画ストリームが消去されるときに対応するエントリが削除される。図１８の例では、「番組Ａ」が消去されるときに、エントリ１３４、１３５、１３６が削除されることになる。

要約再生時に短縮（要約）されたＣＭを見た視聴者が該ＣＭの全編(短縮される前の状態)の視聴を希望する場合がある。例えばリモコンに押しボタンを設け、短縮版ＣＭの再生中にこのボタンが押された場合、該ＣＭの全編の再生を開始することが可能である。この様な機能を持ったボタンを本明細書中では「このＣＭを見る」ボタンと呼ぶ。ここでは、リモコンの押しボタンとしたが、画面上のアイコンやそれに類するものをクリックする方法でも構わない。これは、他の操作においても同様である。

短縮版ＣＭ再生中に「このＣＭを見る」ボタンが押された場合、プレイリスト７９の該当するエントリから、ストリーム名即ち録画データＩＤと、ＣＭＩＤを取得することが出来る。 該録画データＩＤとＣＭＩＤに基づき、ＣＭデータベース１２９を検索すれば該ＣＭの全編の始点（フレーム番号）と終点（フレーム番号）を取得できる。

その後、該ストリームの該始点から該終点までのストリームを読み出し、該ＣＭの全編を再生することが可能である。

上述の機能を実現する手段について図２５、図２６を用いて説明する。図２５の再生部１８０は、図１の再生部２１に相当する。ハードディスク装置６は図１と同じである。再生部１８０は、ランキングデータ取得部２３及びプレイリスト作成及び保持部２４、閾値入力部２６、ストリーム指定及び読み出し部１８１、ＣＭ操作コマンド入力部１８２からなる。ランキングデータ取得部２３、プレイリスト作成及び保持部２４、閾値入力部２６の機能は図２と同じである。ストリーム指定及び読み出し部１８１、ＣＭ操作コマンド入力部１８２が異なる部分である。ストリーム指定及び読み出し部１８１については図２６を用いて後述する。ＣＭ操作コマンド入力部１８２は、上述の「このＣＭを見る」ボタン等が視聴者によって操作された場合にリモコンインターフェイス装置２７から出力されるイベントを受け付け、ストリーム指定及び読み出し部１８１へコマンドとして与える。

図２６を用いてストリーム指定及び読み出し部１８１の内部の構成と処理を説明する。ストリーム指定及び読み出し部１８１は、フレーム読み出し部１８３及び録画データＩＤとＣＭＩＤ保持部１８４、コマンドデコーダ１８５、次の再生区間保持部１８６、ＣＭデータベース１２９からなる。

コマンドデコーダ１８５はＣＭ操作コマンド入力部１８２からのコマンドを受け付け、ストリーム指定及び読み出し部１８１内部のコマンド形式にデコードする。フレーム読み出し部１８３に対してデコードしたコマンドを発行する。

フレーム読み出し部１８３は、通常の要約再生の場合プレイリスト作成及び保持部２４内のプレイリスト７９のエントリを順に読み出し、再生すべきストリーム名即ち録画データＩＤと再生区間の始点のフレーム番号と終点のフレーム番号を得る。プレイリスト７９のＣＭ以外の再生区間のエントリから録画データＩＤを取得し保持しておく。ＣＭ区間を再生する場合、プレイリスト７９のエントリのストリーム名カラム８０からＣＭＩＤを得ることが出来る。こうしてフレーム読み出し部１８３は、録画データＩＤ、ＣＭＩＤ（ＣＭ再生中の場合）、始点、終点の４つの情報を保持する。

フレーム読み出し部１８３は、録画データＩＤで指定されるストリームの中から、始点のフレーム番号から順に終点のフレーム番号までのフレームデータをハードディスク装置６から取得する。そしてフレームデータを出力用デマルチプレクサ１３９へ出力する。

コマンドデコーダ１８５からフレーム読み出し部１８３に対して「このＣＭを見る」コマンドが発行された時にＣＭ区間を再生中の場合、フレーム読み出し部１８３は次のように動作する。フレーム読み出し部１８３は、プレイリスト作成及び保持部２４内のプレイリスト７９のエントリのうち、現在再生中のエントリ以降のエントリであり、かつＣＭ以外の再生区間のエントリの情報を取得する。このエントリのデータ（ストリーム名即ち録画データＩＤ、始点フレーム番号、終点フレーム番号）を、次の再生区間保持部１８６へ出力する。次の再生区間保持部１８６はこれら３つの情報を保持する。保持されている情報は、現在再生中のＣＭ再生が終了した後に再生すべきＣＭ以外の再生区間を特定する。

フレーム読み出し部１８３は、録画データＩＤ、再生中のＣＭ区間のＣＭＩＤ、始点、終点の４つの情報を保持している。このうち録画データＩＤとＣＭＩＤとを、録画データＩＤとＣＭＩＤ保持部１８４へ出力する。録画データＩＤとＣＭＩＤ保持部１８４はこれら２つの情報を保持する。フレーム読み出し部１８３は、この２つの情報をキーとしてＣＭデータベース１２９を検索する。ＣＭデータベース１２９の該当するエントリから、録画データＩＤの示すストリームデータにおける該当ＣＭの始点フレーム番号と終点フレーム番号を取得する。

次にフレーム読み出し部１８３は、取得した該当ＣＭの始点フレーム番号と終点フレーム番号によってハードディスク装置６から該当ＣＭを構成する全てのフレームを順次読み出し、出力用デマルチプレクサ１３９へ出力する。

該当ＣＭのすべてのフレームデータを出力したら、フレーム読み出し部１８３は最後のフレームのフレームデータを繰り返して出力用デマルチプレクサ１３９へ出力する。この動作により、視聴者が「このＣＭを見る」ボタンで指定したＣＭの再生後に、ストリームの再生が一時停止したように見せることが出来る。

この「一時停止」状態では、フレーム読み出し部１８３はコマンドデコーダ１８５からのコマンドを待ち受ける状態になる。視聴者が元の番組内容の要約再生に戻ることを希望する場合、リモコンの「番組に戻る」ボタンを押下することにより、番組再生を再開することを指示するコマンドがフレーム読み出し部１８３へ発行される。フレーム読み出し部１８３はこのコマンドを受け付け、次のように動作する。フレーム読み出し部１８３は、次の再生区間保持部１８６に保持されている録画データＩＤ、始点フレーム番号、終点フレーム番号の３つの情報を用いて指定されるストリームの再生区間の再生を開始する（フレームデータを順次ハードディスク装置６から読み出し出力用デマルチプレクサ１３９へ与える）。この再生区間の再生が終了したら、通常の要約再生時と同じくプレイリスト作成及び保持部２４から次の再生区間の情報を読み取って通常の要約再生を続ける。

また、この仕組みを応用すれば、ＣＭの全編再生を行った該ＣＭを反復再生させることもできる。上記の「このＣＭを見る」ボタンによってＣＭ全編を再生した後、ストリームの再生を一時停止する。この際、画面には一番最近表示されたフレームを表示し続け、また操作の指示待ち中である旨のメッセージを表示する。そして、リモコンに設けた「ＣＭを反復する」ボタンの押下等の操作により、ＣＭの反復表示が指示された場合には該ＣＭ全編を反復して再生する。フレーム読み出し部１８３は、該当ＣＭの始点フレーム番号と終点フレーム番号を保持しているので、再度ハードディスク装置６から該当ＣＭを構成する全てのフレームを順次読み出し、出力用デマルチプレクサ１３９へ出力する。この動作を繰り返すことにより該ＣＭ全編の反復再生が行われる。反復再生中には、リモコンの「番組に戻る」ボタン等の操作によりＣＭ反復再生状態から抜け出し、元の要約再生に戻ることが出来る。

ＣＭデータベース１２９を用いれば、視聴者が気に入ったＣＭを、元のストリームとは別の独立したＣＭストリームとしてハードディスク装置６などに格納することも可能である。上述の「このＣＭを見る」機能が行われたあと、ストリームの再生が一時停止されているときに「このＣＭを保存する」ボタン押下等の操作がなされた場合には、該ＣＭ全編を別ストリームとしてファイル保存（コピー）を行う。

実施例１では、ＣＭに対して受信側で評価関数を適用するなどの手段で要約を行い、要約再生時にＣＭは短縮されるもののカットはされない方法について説明した。一方受信側でのＣＭ要約（短縮）は、ＣＭ作成者の意図を反映しているとは言いがたい。ＣＭ作成者にはこのシーンは必ず見て欲しい、といった要求があるはずである。

そこで、本実施例では、ディジタルテレビ放送等のデータ放送を使用し、該データ放送と共にＣＭに付随する情報を放送する態様について説明する。ＣＭに付随する情報にはこのＣＭを短縮する場合の指示等がある。

受信側装置では、該ＣＭを短縮する場合の指示に基づき、ＣＭ用ランキングデータを生成する。

あるいは、データ放送を使用して、短縮版のＣＭそのものを放送することも可能である。例えば１５秒のＣＭに対して、１０秒版や５秒版、３秒版の短縮ＣＭを放送する。受信側では、これら短縮版ＣＭを蓄積保存しておき、番組内容を要約再生する際ＣＭ再生時間を短くする必要が生じたときに、本来のＣＭと差し替えて再生する。

また、短縮版ばかりでなく、字幕版ＣＭや、番組内容画面にオーバレイして表示するロゴマークＣＭなどをデータ放送で送ることも可能である。短縮版ＣＭを番組内容のシーン（再生区間）とシーンとの間に挿入するのではなく、再生中の番組内容の画面上に重ね合わせることによってＣＭを挿入することも可能になる。この方法では要約再生を視聴中の視聴者に対してより自然にＣＭを提示することが出来る。

字幕版も含むオーバレイ形態のＣＭを、番組内容を表示している画面に表示するには、番組内容用プレイリストとＣＭ用プレイリストを用意する。番組内容の進行とオーバレイＣＭの進行は互いに独立であるためである。

また、番組内容用プレイリストによる再生の終了時刻よりもＣＭ用プレイリストによる再生の終了時刻の方が後になる場合に、ＣＭを最後まで提示するべく、番組内容の最後のフレームを表示し続け、オーバレイＣＭを最後まで再生する。このとき、視聴者から入力された番組再生停止命令が入力された場合、確実にＣＭを提示するため、該再生停止要求の入力を受け付けないよう制御する。

また、要約再生が始まる前に、プレイリストを編集することも可能である。プレイリストのエントリは、複数の再生区間と複数のＣＭ再生区間からなる。再生区間には番組内容を要約した内容が入っているため、再生区間同士は時系列に並べる必要がある。一方ＣＭ再生区間はＣＭＩＤが同じＣＭ再生区間同士は時系列である必要があるが、ＣＭの単位で見ると再生順序を入れ替えても構わない。

また、番組内容の再生区間ごとにランキング値の平均値を求め比較することによりランキング評価の高い再生区間を割り出すことが可能である。ランキング評価の高い再生区間はいわゆる「盛り上がる」シーンであると考えてよい。この「盛り上がる」シーンの手前にＣＭ再生区間を移動することも可能である。このようなプレイリストの編集により、要約再生において視聴者はＣＭ再生が続く場合にそろそろ「盛り上がる」シーンが始まることを知ることが出来る。

以上の機能を備えた、データ放送を利用する録画再生装置について図を用いて以下に示す。図２７に録画再生装置の構成を示す。アンテナ１は実施例１と同じである。チューナ復調部１８７はディジタルテレビ放送を受信可能である。

チューナ復調部１８７から得られる番組ストリームをハードディスク装置６で記録する。番組を録画し終えた後で、録画した番組のランキングデータを作成する。

デマルチプレクサ１８９は対象とする録画データを取得する。

デマルチプレクサ１８９からの画像フレームストリームは画像デコーダ１９０へ、音声フレームストリームは音声デコーダ１９１へ、またデータストリームはデータデコーダ１９２へ与えられる。

画像特徴抽出部１５、音声特徴抽出部１６、ランキングデータ生成及び保持部１８は実施例１と同じ機能を備える。

データデコーダ１９２からは、データ放送で送られてくるデータが出力される。ここでは、データ放送を使用して、ＣＭスケジュール情報が送られてくるとする。ＣＭスケジュール情報は図３１を用いて後述する。ＣＭスケジュール情報とは、ある番組の中で挿入されているＣＭの時間的な位置及びランキング情報や後述する「差し替え」を行うかどうかといった情報である。

ＣＭ用ランキングデータ生成及び保持部１９３では、ＣＭスケジュール情報からＣＭ用ランキングデータを生成し、保持する。ＣＭ用ランキングデータについては図３２を用いて後述する。

短縮版またはオーバレイ版ＣＭ抽出部１９４はデータデコーダから出力されるデータストリームの中から、短縮版ＣＭやオーバレイ版ＣＭのフレームデータやそれらに関する情報を収集する。収集された短縮版ＣＭやオーバレイ版ＣＭのフレームデータはファイルとしてハードディスク装置６に格納される。このファイルはＣＭストリームＩＤを用いて一意に特定することが出来る。また短縮版またはオーバレイ版ＣＭ抽出部１９４は格納したＣＭに関する情報を短縮版／オーバレイ版ＣＭデータベースのエントリとして格納する。短縮版／オーバレイ版ＣＭデータベースは図３３を用いて後述する。

図２８を用いて再生部１８８の内部を説明する。短縮版／オーバレイ版ＣＭデータベースアクセス部２００は、ハードディスク装置６内の短縮版／オーバレイ版ＣＭデータベース１９７にアクセスし、情報を読み出す。ランキングデータ取得部２０１はハードディスク装置６内のランキングデータ１９８からランキングデータを読み出す。プレイリスト作成及び保持部２０２は短縮版／オーバレイ版ＣＭデータベースアクセス部２００、ランキングデータ取得部２０１を経由してプレイリスト作成に必要な情報を収集する。ストリーム指定及び読み出し部２０３はプレイリスト作成及び保持部２０２内に保持されるプレイリスト２１９、オーバレイＣＭ用プレイリスト２２０から再生すべき区間の情報を読み取り、ハードディスク装置６内の録画データ１９９から再生すべきフレームのデータを読み出す。フレームのデータ、オーバレイＣＭ用のフレームデータ、及びオーバレイするかどうかを指定する信号を映像出力部２０５に出力する。プレイリスト作成及び保持部２０２にてプレイリストを作成するために必要となる閾値は閾値入力部２０４から得られる。リモコンインターフェース装置２７は実施例１のそれと同じ機能を持つ。

図２９を用いて映像出力部２０５の内部を説明する。ストリーム指定及び読み出し部２０３から出力されるフレームのデータは出力用デマルチプレクサ２０６に入力される。出力用デマルチプレクサ２０６は画像音声ストリームから画像ストリームと音声ストリームを抽出する。音声ストリームは出力用音声デコーダ２０７に与えられる。出力用音声デコーダ２０７は音声出力を出力する。また、画像ストリームを出力用画像デコーダ２０８に与える。

ストリーム指定及び読み出し部２０３から出力されるオーバレイＣＭ用のフレームデータはオーバレイＣＭ用フレーム保持部２０９に与えられる。オーバレイＣＭ用フレーム保持部２０９は、オーバレイＣＭのフレームデータを保持する。ストリーム指定及び読み出し部２０３からのオーバレイＣＭ表示を指示する信号は、経路２１８を通してオーバレイＣＭ用画像デコーダ２１２及びスイッチ２１０へ与えられる。オーバレイＣＭ用画像デコーダ２１２は、該信号が与えられると、オーバレイＣＭ用フレーム保持部２０９にて保持されているオーバレイＣＭのフレームデータを繰り返し読み出し、デコードしてスイッチ２１０へ出力する。

オーバレイＣＭ用フレーム保持部２０９は、複数枚のフレームを保持することが可能で、オーバレイＣＭ用画像デコーダ２１２はそれらフレームを順次、繰り返し読み出す。この機能を使用することで、オーバレイ版ＣＭとしてアニメーションを使うことが可能になる。

スイッチ２１０はストリーム指定及び読み出し部２０３から出力される信号に基づきオーバレイＣＭの画像を出力画像合成部２１１へ出力する。出力画像合成部２１１は、出力用画像デコーダ２０８から得られる番組や通常のＣＭの画像に、オーバレイＣＭの画像をブレンディングして画像出力する。

図３０を用いてストリーム指定及び読み出し部２０３の内部を説明する。プレイリスト再生部２１４は、プレイリスト作成保持部に保持されているプレイリスト２１９からプレイリストのエントリを読み出し、必要な画像音声フレームデータをハードディスク装置６から読み出すようにフレーム読み出し部２１３に指示する。フレーム読み出し部２１３は画像音声フレームデータを経路２１６で映像出力部２０５へ与える。

プレイリストエントリのオーバレイカラムの値がオーバレイすることを指示する値である場合、プレイリスト再生部２１４からオーバレイＣＭ用プレイリスト再生部２１５へオーバレイＣＭの表示開始を指示する信号が発行される。

オーバレイＣＭ用プレイリスト再生部２１５はオーバレイＣＭ用プレイリスト２２０からプレイリストエントリを読み出し、オーバレイＣＭに必要なフレームデータをハードディスク装置６から読み出すようにフレーム読み出し部２１３に指示する。フレーム読み出し部２１３はＣＭの画像フレームデータを経路２１７で映像出力部２０５へ与える。オーバレイＣＭ用プレイリスト再生部２１５は図２９のスイッチ２１０を制御するオーバレイＣＭ出力指示信号を経路２１８を使って出力する。オーバレイＣＭ出力指示信号が出力されるとスイッチ２１０が閉じ、また、オーバレイＣＭ用画像デコーダ２１２が動作を開始し、その出力が出力画像合成部２１１へ出力される。

図３１を用いてデータ放送ストリームから得られるＣＭスケジュール情報について説明する。２２１はＣＭスケジュール情報を表形式で表現したものである。ＣＭスケジュール情報２２１はＣＭＩＤカラム２２２、相対時刻カラム２２３、ランキング率カラム２２４からなる。相対時刻は、番組の開始時点を０とする時刻で、録画したストリームのフレーム番号へ変換することが出来る。ランキング率は、この録画再生装置におけるランキング値の最大値と乗ずることにより、この録画再生装置におけるランキングデータへと変換することが出来る。

エントリ２２５は、ＣＭ１の相対時刻がｔ１であるフレームのランキング率が１００％であることを示している。同様にエントリ２２６は、ＣＭ１の相対時刻がｔ２であるフレームのランキング率が１０％であることを示している。相対時刻ｔ１からｔ２までの区間に相当する全てのフレームに対して、エントリ２２５、２２６と同様にランキング値率が定められているものとする。エントリ２２５からエントリ２２６までの情報を用いて、ＣＭＩＤがＣＭ１であるＣＭについて、実施例１におけるＣＭ用ランキングデータに相当するランキングデータを得ることが出来る。

エントリ２２７、２７６、２２８、２７７はＣＭ１に対するランキングデータによる形式とは異なる形式のＣＭスケジュール情報である。エントリ２２７は、相対時刻ｔ３に相当するフレーム番号においてＣＭ２を短縮版あるいはオーバレイ版ＣＭと差し替えて表示可能であることを示している。エントリ２７６は、元のＣＭ２が終了する相対時刻ｔ４を表している。同様にエントリ２２８は、相対時刻ｔ５に相当するフレーム番号においてＣＭ３を短縮版あるいはオーバレイ版ＣＭと差し替えて表示可能であることを示している。エントリ２７７は、元のＣＭ３が終了する相対時刻ｔ６を表している。エントリ２２７とエントリ２７６で定義されるＣＭ２及びエントリ２２８とエントリ２７７で定義されるＣＭ３に対するスケジュール情報は、データ放送ストリームから得られるＣＭフレームデータを利用することを前提としている。

図３１のＣＭスケジュール情報を変換して、ＣＭ用ランキングデータを得る。ＣＭ用ランキングデータを表形式で表現したものが図３２のＣＭ用ランキングデータ２２９である。ＣＭ用ランキングデータ２２９はフレーム番号カラム２３０、ランキング値カラム２３１、ＣＭＩＤカラム２３２からなる。ＣＭスケジュール情報２２１のエントリ２２５を変換して得られるのが、ＣＭ用ランキングデータエントリ２３３である。フレーム番号はエントリ２２５の相対時刻を、録画したストリームにおけるフレーム数に変換して得られる。ランキング値はエントリ２２５のランキング率にこの録画再生装置におけるランキング値の最大値を乗ずることで得られる。この例ではランキング率が１００％になっているので、ランキング値は最大値を取る。ＣＭＩＤはエントリ２２５のＣＭＩＤの値そのものである。同様にエントリ２２６を変換してＣＭ用ランキングデータエントリ２３４が得られる。

エントリ２２７を変換して得られるのがＣＭ用ランキングデータエントリ２３５である。相対時刻ｔ３を上記同様に変換してフレーム番号３４３５０を得る。ランキング値に付いては、エントリ２２７においてランキング率カラムに「ＣＭを差し替える」ことを指定するデータが入っている。ＣＭ用ランキングデータエントリ２３５のランキング値カラムにおいても、同様に「ＣＭを差し替える」ことを指定するデータを入れる。ＣＭＩＤは変換せずそのまま入れる。

エントリ２２７の次のエントリ２７６を変換して得られるのがＣＭ用ランキングデータエントリ２７８である。エントリ２７６は（差し替える前の）ＣＭ２が終了する相対時刻ｔ４を保持している。エントリ２７８は、ｔ４を上記と同様に変換して得られるフレーム番号、即ち（差し替える前の）ＣＭ２が終了するフレーム番号を示しており、その値は３５２４９である。
エントリ２２８を変換して得られるのがＣＭ用ランキングデータエントリ２３６である。相対時刻ｔ５を上記同様に変換してフレーム番号４６８２０を得る。ランキング値に付いては、エントリ２３５同様に「ＣＭを差し替える」ことを指定するデータを入れる。ＣＭＩＤは変換せずそのまま入れる。エントリ２２８の次のエントリ２７７を変換して得られるのがＣＭ用ランキングデータエントリ２７９である。エントリ２７７は（差し替える前の）ＣＭ３が終了する相対時刻ｔ６を保持している。エントリ２７９は、ｔ６を上記と同様に変換して得られるフレーム番号、即ち（差し替える前の）ＣＭ３が終了するフレーム番号を示しており、その値は４７７１９である。

図３３を用いて短縮版／オーバレイ版ＣＭデータベース１９７を説明する。短縮版またはオーバレイ版ＣＭ抽出部１９４によって抽出され、ファイルとしてハードディスク装置６に格納されたＣＭに関する情報を保持するデータベースである。短縮版／オーバレイ版ＣＭデータベース１９７は、ストリーム名カラム２３８、ＣＭＩＤカラム２３９、要約率カラム２４０、ＣＭストリームＩＤカラム２４１、フレーム数カラム２４２、タイプカラム２４３、表示フレーム数カウントカラム２４４からなる。これら各情報と短縮版／オーバレイ版ＣＭの映像フレームデータは、録画データに付随するデータストリームから抽出される。

本実施例では、録画したストリームデータは「番組Ａ」を録画したものとする。番組Ａの録画データのデータストリームから抽出されたＣＭは番組ＡのＣＭである。エントリ２４５のストリーム名カラムは「番組Ａ」という値を持つ。ストリーム名は録画データＩＤとしても使用され、ハードディスク装置６内の番組Ａを録画した録画データを一意に特定できる。

エントリ２４５のＣＭＩＤカラムの値は「ＣＭ２」である。以上からエントリ２４５は番組ＡのＣＭ２に関するエントリであることが分かる。

要約率について次のように定義する。要約率は、視聴者が要約再生に際して指定する閾値をランキング値の最大値で割った値とする。本実施例では、パーセント表示で表す。エントリ２４５の要約率カラムの値は「０％〜４０％」である。これは、要約率が０％から４０％の間の値をとる場合には、エントリ２４５の情報を用いてＣＭ２を表示することを表している。同様にエントリ２４６の要約率は「４１％〜７０％」となっており、要約率が４１％から７０％の間の値をとる場合には、エントリ２４６の情報を用いてＣＭ２を表示することを表している。エントリ２４５、２４６以外にＣＭＩＤの値が「ＣＭ２」になるエントリはが無ければ、要約率の残り即ち「７１％〜１００％」の場合にＣＭ２を置き換えることが出来ない。この場合には、ＣＭ２を置き換えることなく、番組Ａの録画ストリームデータ中のＣＭ２を再生する。

エントリ２４５のＣＭストリームＩＤカラムの値は「Ａ２Ｔ１」である。これは、短縮版またはオーバレイ版ＣＭ抽出部１９４が抽出し、ハードディスク装置６内に保存したファイルを特定するＩＤ即ちファイル名である。エントリ２４６のＣＭストリームＩＤカラムの値は「Ａ２Ｔ２」である。視聴者が閾値を指定することによって算出される要約率が０％から４０％の範囲にある場合のＣＭ２として置き換えられるＣＭフレームデータはファイル名「Ａ２Ｔ１」であることを、また要約率が４１％から７０％の範囲にある場合のＣＭ２として置き換えられるＣＭフレームデータはファイル名「Ａ２Ｔ２」であることを示している。

エントリ２４５のフレーム数カラムの値は「３００」、エントリ２４６のフレーム数カラムの値は「４５０」である。

エントリ２４５のタイプカラムの値は「短縮版」であり、エントリ２４６のタイプカラムの値は「短縮版」である。本実施例において、このカラムの値は「短縮版」か「オーバレイ版」かのいずれかである。

「短縮版」の場合、表示フレーム数カウントカラムの値はフレーム数カラムの値と同じになる。例えばＣＭ２がエントリ２４５の「Ａ２Ｔ１」で置き換えられて表示される場合、「Ａ２Ｔ１」のフレーム数３００フレームを再生すればＣＭ２は終了するため、表示フレーム数カウントも３００となる。

エントリ２４７、２４８はオーバレイ版ＣＭのエントリである。エントリ２４７は、要約率が０％から５０％の範囲にある場合、番組ＡのＣＭ３は、ストリームＩＤが「Ａ３Ｏ１」であるファイルの中の３０フレームをオーバレイ形式で表示することを表している。オーバレイ表示する期間は、表示フレーム数カウントカラム２４４の値が示している。エントリ２４７の場合は１８００フレームである。ＣＭ３のオーバレイ版ＣＭの表示を始めてから１８００フレーム目のフレーム表示までの間、３０フレーム毎に繰り返すアニメーションを６０回オーバレイ表示し、次のフレームからオーバレイ表示を停止する。

同様にエントリ２４８は、要約率が５１％から８０％の範囲にある場合、番組ＡのＣＭ３は、ストリームＩＤが「Ａ３Ｏ２」であるファイルの中の１フレームをオーバレイ形式で３６００フレーム分表示することを表している。

図２７のランキングデータ合成部１９５の動作を説明する。ランキングデータ合成部１９５は、デマルチプレクサ１８９から録画データ終了を示す信号を受け取るとランキングデータの合成を始める。ランキングデータ生成及び保持部１８は実施例１と同様に録画データのランキングデータ１４４を保持している（図２０参照）。ＣＭ用ランキングデータ生成及び保持部１９３はＣＭ用ランキングデータ２２９（図３２）を保持している。

ランキングデータ１４４、ＣＭ用ランキングデータ２２９はそれぞれフレーム番号の昇順にソートされているとする。エントリポインタ（以下ＥＰと略記する）によってランキングデータ１４４から取り出すエントリを指定する。ＥＰの値は取り出すべきエントリのフレーム番号である。フレーム番号をキーにして、その値がＥＰの値と同じになるエントリをランキングデータ１４４から検索する。

図３７を用いて、ランキングデータの合成手段を説明する。ステップ２８２で合成処理が開始される。ステップ２８３でＥＰの初期値を設定する。初期値はランキングデータ１４４のフレーム番号カラムの最小値とする。ステップ２８４でランキングデータ１４４からフレーム番号の値がＥＰの値に一致するエントリを検索する。説明のため該当エントリをエントリＡと表す。次にステップ２８５で、エントリＡのフレーム番号と同じフレーム番号のエントリをＣＭ用ランキングデータ２２９から検索する。ステップ２８６で検索がヒットしたかどうかを判定し、ヒットしなかった場合にはステップ２８７へ分岐する。ステップ２８７では合成したランキングデータ２４９（図３４）に新しくエントリを追加する。追加するエントリのフレーム番号、ランキング値はエントリＡと同じデータを設定する。追加するエントリのＣＭＩＤには、該エントリに対応するフレームがＣＭのフレームでない事を表す値としてｎｕｌｌを設定する。次いでステップ２８８でＥＰの値を１増加させ、ステップ２９３へ進む。

ステップ２８６でヒットした場合はステップ２８９へ進む。ヒットしたエントリを説明のためエントリＢと表す。ステップ２８９では、合成したランキングデータ２４９に新しくエントリを追加する。追加するエントリにはエントリＢと同じデータを設定する。ステップ２９０でエントリＢのランキング値の値が「差し替える」であるかどうかを調べ、そうでない場合にはステップ２８８へ分岐し、そうである場合にはステップ２９１へ進む。ステップ２９１では合成したランキングデータ２４９に新しくエントリを追加する。ＣＭ用ランキングデータ２２９のエントリＢの次のエントリをエントリＣとする。追加するエントリにはエントリＣのデータを設定する。次にステップ２９２にて、ＥＰの値としてエントリＣのフレーム番号に１を足した値を設定する。

ステップ２９３で、ランキングデータ１４４の全エントリを処理したかどうかを調べ、未処理のエントリがある場合にはステップ２８４へ分岐し繰り返し処理を行う。未処理のエントリが無い場合にはランキング値合成を終了する。合成終了後、合成したランキングデータ２４９はフレーム番号の昇順にソートされる。完成したランキングデータ２４９はハードディスク装置６に格納する。ランキングデータ２４９の作成は、録画終了後、要約再生を始めるまでに行わなくてはならない。

視聴者から要約再生実行を指示されると、プレイリスト作成及び保持部２０２はプレイリストの作成を始める（図２８参照）。図３５に示すプレイリスト２５８に加えて、図３６に示すオーバレイ用プレイリスト２７０を作成する点が実施例１とは異なる。まずプレイリスト２５８の作成について説明する。要約再生実行時には視聴者から指定される閾値が定まっている。実施例１同様、合成したランキングデータ２４９の各エントリのランキング値と閾値とを比較して、ランキング値が閾値より大きいエントリをグループ化して行く。最初にランキング値が閾値を越えたエントリのフレーム番号をＦＳとする。その後、エントリをフレーム番号順に調べて行き、ランキング値が閾値を下回ったフレーム番号から１を減じた値をＦＥとする。またはランキング値が閾値を下回るエントリが現れる前にＣＭＩＤの値が変化した場合には、ＣＭＩＤの変化するエントリのフレーム番号から１を減じた値をＦＥとする。

ＦＳとＦＥが定まったら、１つの再生区間が定まり、プレイリスト２５８のエントリ２６３（ＦＳ＝１００００、ＦＥ＝１８０００）の例のようにプレイリスト２５８にエントリが挿入される。エントリ２６３の再生区間は番組Ａの録画データに適用される。

１つの再生区間が定まったら、次のランキングエントリから上記操作を繰り返す。ここで「次のランキングエントリ」はＦＥの決め方によって定義が異なる。ランキング値が閾値を下回るフレーム番号のエントリに基づいてＦＥを決めた場合には、「次のランキングエントリ」とはフレーム番号がＦＥ＋１のランキングデータエントリのことである。あるいはＣＭＩＤの変化したランキングデータエントリに基づいてＦＥを決めた場合には、「次のランキングエントリ」とはＣＭＩＤの変化したランキングデータエントリのことである。

ＣＭ１の再生区間も同じ方法で定められる。ＣＭ１の再生区間に対応するのがプレイリストエントリ２６４である。ＣＭ１の映像ストリームは番組Ａの録画データに含まれるので、ストリーム名は番組Ａとなり、ＦＳ＝１９８３０、ＦＥ＝２０２８０であることを示している。エントリ２６５，２６７，２６９もエントリ２６３と同様に定められる。以上の方法は実施例１の場合と同じである。

次にランキングデータ２４９のエントリ２５６に関する処理を説明する。このエントリはランキング値カラムがＣＭを差し替えることを意味する値になっている。この場合、プレイリスト作成及び保持部２０２は短縮版／オーバレイ版ＣＭデータベース１９７を、ストリーム名及びＣＭＩＤ、要約率をキーとして検索する。この例における要約率を６０％とすると、ストリーム名の値＝「番組Ａ」、ＣＭＩＤ＝「ＣＭ２」、要約率＝「６０％」として検索することになる。短縮版／オーバレイ版ＣＭデータベース１９７のうち、エントリ２４６がこの条件に適合する。エントリ２４６から、再生すべきＣＭのフレームデータはファイル名＝「Ａ２Ｔ２」で、フレーム数が４５０の短縮版のＣＭを再生しなければならないことが分かる。これらの情報を用いて、プレイリスト２５８のエントリ２６６の値を決める。ストリーム名は「Ａ２Ｔ２」、始点フレーム番号は「０」、終点フレーム番号は始点フレーム番号にフレーム数４５０を足して１減じた値になる。オーバレイカラムの値は、オーバレイ版ＣＭではないことを表す値「ｎｕｌｌ」を入れる。

上記の短縮版／オーバレイ版ＣＭデータベース１９７の検索の結果、適合するエントリが無い場合を説明する。この場合は、ＣＭ２を置き換えることなく、番組Ａの録画データの中にある本来のＣＭ２を再生することになる。録画データ中のＣＭ２の始点フレーム番号は、エントリ２５６のフレーム番号から３４３５０と分かる。終点フレーム番号は、エントリ２５６の次のエントリ２８０から得ることが出来る。エントリ２８０のフレーム番号３５２４９がＣＭ２の終点フレーム番号になる。このようにして、置き換えが起こらない場合にもプレイリストエントリを生成して再生区間を定めることが出来る。その後、上記同様に次のランキングエントリから操作を繰り返す。ここで「次のランキングエントリ」とは、終点フレーム番号を取得したエントリの次のエントリである。

次にランキングデータ２４９のエントリ２５７に関する処理を説明する。このエントリはランキング値カラムがＣＭを差し替えることを意味する値になっている。したがって上記と同様に、ストリーム名の値＝「番組Ａ」、ＣＭＩＤ＝「ＣＭ３」、要約率＝「６０％」として短縮版／オーバレイ版ＣＭデータベース１９７を検索する。短縮版／オーバレイ版ＣＭデータベース１９７のエントリ２４８がこの条件に適合する。エントリ２４８から再生すべきＣＭのフレームデータはファイル名＝「Ａ３Ｏ２」で、フレーム数が１、表示フレーム数が３６００のオーバレイ版のＣＭを再生しなければならないことが分かる。これらの情報を用いて、プレイリスト２５８のエントリ２６８の値を決める。

ストリーム名は「Ａ３Ｏ２」、オーバレイ版ＣＭなので始点フレーム番号、終点フレーム番号ともに「ｎｕｌｌ」を入れる。オーバレイカラムの値は、オーバレイ版ＣＭであることを表す値を入れる。以上のようにプレイリスト２５８が作成される。

上記において、プレイリスト２５８のエントリ２６８作成時にオーバレイ版ＣＭの再生が必要になることが分かる。この場合、オーバレイ版ＣＭの再生を管理するためのオーバレイ用プレイリスト２７０（図３６）のエントリもあわせて挿入する必要がある。挿入されるエントリ２７５の始点フレーム番号、終点フレーム番号、ＣＭストリームＩＤ、表示フレーム数を定める必要がある。始点フレーム番号は０である。エントリ２４８のフレーム数が１なので、終点フレーム番号も０となる。ＣＭストリームＩＤの値は「Ａ３Ｏ２」である。表示フレーム数は、エントリ２４８の表示フレーム数カウントの値から３６００となる。エントリ２７５をオーバレイ用プレイリスト２７０に挿入する。

以上のように作成されたプレイリスト２５８、オーバレイ用プレイリスト２７０を用いて、図２９及び図３０で説明した方法により、短縮版またはオーバレイ版ＣＭ表示が可能となる。

次に、上記例に加えて要約再生に際して視聴を補助するようにＣＭ挿入位置を編集する例について説明する。具体的に「視聴を補助する」とは、ランキング値の高いシーン（いわゆる盛り上がるシーン）の直前にＣＭを多く挿入すること、また要約再生中に一定の時間間隔でＣＭを挿入することである。前者によれば、視聴者はＣＭが連続して再生されるとランキング評価の高い部分であると知ることが出来る。後者によれば、ＣＭ再生のタイミングで再生の経過時間を知ることが出来る。

ＣＭ挿入位置を編集する場合には、ランキングデータ合成部１９５（図２７）において、ランキングデータ１４４（図２０）とＣＭ用ランキングデータ２２９（図３２）の合成を行わず、各々独立にハードディスク装置６へファイルとして格納する。視聴者から閾値と共に要約再生開始が指示されると、プレイリスト作成及び保持部２０２においてプレイリストとＣＭ用プレイリスト作成が始まる。

図３８のプレイリスト２９５は、番組本編（ＣＭ以外）のストリームに対するプレイリストである。プレイリスト２９５は、ハードディスク装置６にファイルとして格納されているランキングデータ１４４に対して視聴者が指定した閾値を適用して得られる。プレイリスト２９５の作成手段は、上述の合成したランキングデータ２４９からプレイリスト２５８のＣＭ以外の再生区間に対するエントリを作成する手段と同じであるが、加えて各再生区間に含まれるフレームのランキング値の平均値を算出する。プレイリスト２９５は、ストリーム名カラム２９６、始点フレーム番号２９７、終点フレーム番号２９８、平均ランキング値カラム２９９、オーバレイカラム３００からなる。ストリーム名カラム２９６、始点フレーム番号２９７、終点フレーム番号２９８、オーバレイカラム３００はプレイリスト２５８（図３５）と同じ意味を持つ。平均ランキング値カラム２９９には、その再生区間内のフレームのランキング値の平均値を設定する。オーバレイカラム３００は後で行う編集によってＣＭのエントリが入ってくる場合に必要となるが、番組本編のストリームに対するプレイリスト２９５では、「オーバレイを行わない」ことを意味するｎｕｌｌのみが設定される。

図３８に挙げた例では、番組Ａにある閾値を適用した場合に得られるエントリ３０１、３０２、３０３、３０４を示す。

エントリ３０１は、番組Ａのストリーム中、フレーム番号１００００からフレーム番号１３９９９の再生区間を表しており、平均ランキング値が７０であることが分かる。このエントリ３０１に対応する再生区間を再生区間Ａとする。

同様にエントリ３０２は、番組Ａのフレーム番号２１０００からフレーム番号２２９９９の再生区間を表しており、平均ランキング値は８０である。このエントリ３０２に対応する再生区間を再生区間Ｂとする。

同様にエントリ３０３は、番組Ａのフレーム番号３６０００からフレーム番号３８９９９の再生区間を表しており、平均ランキング値は２００である。このエントリ３０３に対応する再生区間を再生区間Ｃとする。

同様にエントリ３０４は、番組Ａのフレーム番号４７０００からフレーム番号５２３９９の再生区間を表しており、平均ランキング値は８０である。このエントリ３０４に対応する再生区間を再生区間Ｄとする。

この例において、番組本編の再生区間は以上の４件とする。

図３９のプレイリスト３０５は、ＣＭに対するＣＭ用プレイリストである。ＣＭ用プレイリスト３０５は、ハードディスク装置６にファイルとして格納されているＣＭ用ランキングデータ２２９に対して視聴者が指定した閾値を適用して得られる。ＣＭ用プレイリスト３０５の作成手段は、上述の合成したランキングデータ２４９からプレイリスト２５８のＣＭの再生区間に対するエントリを作成する手段と同じである。

ＣＭ用プレイリスト３０５は、ストリーム名カラム３０６、始点フレーム番号３０７、終点フレーム番号３０８、オーバレイカラム３０９からなる。いずれのカラムもプレイリスト２５８（図３５）のそれらと同じ意味を持つ。図３９の例では、エントリ３１０、３１１、３１２がある。

エントリ３１０は、番組Ａのストリーム中にある、１つのＣＭの再生区間に対応している。その始点フレーム番号は１１０００、終点フレーム番号は１１４５３であり、オーバレイ版ではないことを示す。このエントリ３１０に対応する再生区間をＣＭ再生区間アとする。

エントリ３１１はＣＭ用ランキングデータ２２９（図３２）のエントリ２３５とエントリ２７８に基づくものとする。エントリ３１１は短縮版のＣＭに対応しており、短縮版／オーバレイ版ＣＭデータベース１９７のエントリ２４６に該当する。ストリーム名がＡ２Ｔ２であるストリームの０フレームから４４９フレームまで（Ａ２Ｔ２の全フレーム）が再生区間となる。このエントリ３１１に対応する再生区間をＣＭ再生区間イとする。

エントリ３１２はＣＭ用ランキングデータ２２９（図３２）のエントリ２３６とエントリ２７９に基づくものとする。エントリ３１２はオーバレイ版のＣＭに対応しており、短縮版／オーバレイ版ＣＭデータベース１９７のエントリ２４８に該当する。ストリーム名Ａ３Ｏ２のストリームをオーバレイ表示する再生区間となる。このエントリ３１２に対応する再生区間をＣＭ再生区間ウとする。エントリ３１２はオーバレイ版ＣＭなので、上述の手段と同じくオーバレイ版プレイリストにもエントリを追加する必要がある。図４０に示すオーバレイ版プレイリスト３１３は、始点フレーム番号カラム３１４、終点フレーム番号カラム３１５、ＣＭストリームＩＤカラム３１６、表示フレーム数カラム３１７からなる。いずれのカラムもオーバレイ用プレイリスト２７０（図３６）のそれらと同じ意味を持つ。ＣＭストリームＩＤはストリーム名と同義である。エントリ３１２に対応するエントリがエントリ３１８である。短縮版／オーバレイ版ＣＭデータベース１９７のエントリ２４８から、ストリームＡ３Ｏ２に含まれる１フレームを３６００フレーム分繰り返してオーバレイ表示することがわかる。よってエントリ３１８は、始点フレーム番号、終点フレーム番号共に０（１フレームのみだから）、ＣＭストリームＩＤはＡ３Ｏ２、表示フレーム数は３６００となる。

次に図４１を用いてプレイリスト編集の一例を示す。この例では、ランキング値の高いシーンの前にＣＭを集中させるように編集する。ここでは、平均ランキング値が最高である再生区間（シーン）の前に全ＣＭの７０％を挿入し、平均ランキング値が２番目の再生区間の前に全ＣＭの３０％を挿入するものとする。

プレイリスト２９５において平均ランキング値が一番高いのは、エントリ３０３に対応する再生区間Ｃであり、２番目に高いのはエントリ３０４に対応する再生区間Ｄである。ＣＭ用プレイリスト３０５のエントリ数は３なので、ＣＭ再生区間は全部で３件である。このうち７０％に当たるのは２件で、３０％に当たるのは１件となる。ＣＭ用プレイリストの順番でＣＭを挿入していくとすると、再生区間Ｃの前に、ＣＭ再生区間アとＣＭ再生区間イを挿入することになる。また、再生区間Ｄの前に、ＣＭ再生区間ウを挿入することになる。よって再生の順序は、再生区間Ａ→再生区間Ｂ→ＣＭ再生区間ア→ＣＭ再生区間イ→再生区間Ｃ→ＣＭ再生区間ウ→再生区間Ｄとなる。

以上のようにプレイリストを編集して得られるのがプレイリスト３１９である。プレイリスト３１９は、ストリーム名カラム３２０、始点フレーム番号カラム３２１、終点フレーム番号３２２、オーバレイカラム３２３からなる。各カラムは、プレイリスト２５８（図３５）のそれらと同じ意味を持つ。

上記の再生の順序に従ってプレイリスト３１９にエントリを加えて行く。プレイリスト２９５のエントリ３０１（再生区間Ａ）のデータから、エントリ３２４のデータが定まる。プレイリスト２９５のエントリ３０２（再生区間Ｂ）のデータから、エントリ３２５のデータが定まる。ＣＭ用プレイリスト３０５のエントリ３１０（ＣＭ再生区間ア）のデータから、エントリ３２６のデータが定まる。ＣＭ用プレイリスト３０５のエントリ３１１（ＣＭ再生区間イ）のデータから、エントリ３２７のデータが定まる。プレイリスト２９５のエントリ３０３（再生区間Ｃ）のデータから、エントリ３２８のデータが定まる。ＣＭ用プレイリスト３０５のエントリ３１２（ＣＭ再生区間ウ）のデータから、エントリ３２９のデータが定まる。プレイリスト２９５のエントリ３０４（再生区間Ｄ）のデータから、エントリ３３０のデータが定まる。

以上のようにして定めたプレイリスト３１９と、オーバレイ版プレイリスト３１３を用い、図３０を用いて説明した上述の手段にて要約再生を実行することが出来る。

次に図４２を用いてプレイリスト編集の他の例を示す。この例では、要約再生開始から一定の時間間隔でＣＭを挿入するように編集する。ここでは、要約再生開始から２分毎にＣＭを挿入するものとする。また、フレームレートは３０フレーム毎秒とする。２分毎にＣＭを挿入するということは、３６００フレーム毎にＣＭを挿入するということになる。

始めの３６００フレーム目は、プレイリスト２９５のエントリ３０１に相当する再生区間Ａの中にある。よって、再生区間Ａを始めの３６００フレームとその残りの２区間に分ける。分けた再生区間を再生区間Ａ１と再生区間Ａ２とする。再生区間Ａ１と再生区間Ａ２との間にＣＭ用プレイリスト３０５のエントリ３１０（ＣＭ再生区間ア）を挿入する。

このように、必要に応じてＣＭを挿入すべきフレーム数で再生区間を分割しつつ得られるのがプレイリスト３３１である。プレイリスト３３１は、ストリーム名カラム３３２、始点フレーム番号カラム３３３、終点フレーム番号３３４、オーバレイカラム３３５からなる。各カラムは、プレイリスト２５８（図３５）のそれらと同じ意味を持つ。

上記のように再生区間Ａは、再生区間Ａ１と再生区間Ａ２に分けられる。再生区間Ａ１は、始点フレーム番号１００００から３６００フレーム分の区間となる。よって、終点フレーム番号は１３５９９となる。この再生区間Ａ１に対応するのがエントリ３３６である。エントリ３３６のオーバレイカラムの値はエントリ３０１のそれと同じである。

エントリ３３７は挿入するＣＭの再生区間となる。ＣＭ用プレイリスト３０５のエントリ３１０のデータから、始点フレーム番号は１１０００、終点フレーム番号は１１４５３、オーバレイカラムの値はｎｕｌｌとなる。

エントリ３３８は、上記の再生区間Ａ２に対応する。エントリ３３６（再生区間Ａ１）の終点フレーム番号１３５９９の次のフレームから始まるので、始点フレーム番号は１３６００となる。終点フレーム番号は、分割前の再生区間Ａの終点フレーム番号と同じで、１３９９９となる。オーバレイカラムの値はｎｕｌｌである。

次のＣＭ挿入位置は、再生区間Ｃの中にある。よって、再生区間Ｂに対応するプレイリスト２９５のエントリ３０２は分割されない。よってエントリ３３９はエントリ３０２のデータを用いて、始点フレーム番号は２１０００、終点フレーム番号は２２９９９となる。

再生区間Ｃは、始めから１２００フレーム目までとそれ以降とに分割される。２番目のＣＭ挿入位置はプレイリストの先頭から７２００フレームになる。再生区間Ａのフレーム数はその終点フレーム番号から始点フレーム番号を引いて１加算した値であり、４０００フレームとなる。次の再生区間Ｂのフレーム数は同様に２０００フレームとなる。再生区間Ｃのフレーム数は３０００フレームである。よって、先頭から７２００フレーム目は再生区間Ｃの１２００フレーム目である。再生区間Ｃは始めの１２００フレーム目までの再生区間Ｃ１とそれ以降の再生区間Ｃ２に分割される。エントリ３４０は再生区間Ｃ１に対応する。その始点フレーム番号はプレイリスト２９５のエントリ３０３の始点フレーム番号から３６０００である。終点フレーム番号は始めの１２００フレーム目までなので、３７１９９になる。オーバレイカラムの値はｎｕｌｌである。

エントリ３４１は挿入するＣＭの再生区間となる。ＣＭ用プレイリスト３０５のエントリ３１１のデータから、始点フレーム番号は０、終点フレーム番号は４４９、オーバレイカラムの値はｎｕｌｌとなる。

エントリ３４２は、上記の再生区間Ｃ２に対応する。エントリ３４０（再生区間Ｃ１）の終点フレーム番号３７１９９の次のフレームから始まるので、始点フレーム番号は３７２００となる。終点フレーム番号は、分割前の再生区間Ｃの終点フレーム番号と同じで３８９９９となる。オーバレイカラムの値はｎｕｌｌである。

３番目のＣＭ挿入位置は、始めから１０８００フレーム目である。再生区間Ｄは、始めから１８００フレーム目までとそれ以降とに分割される。再生区間Ａ、再生区間Ｂ、再生区間Ｃの各フレーム数の合計は９０００であるから、再生区間Ｄは、始めから１８００フレームまでの再生区間Ｄ１と残りの再生区間Ｄ２に分割される。

エントリ３４３は再生区間Ｄ１に対応する。その始点フレーム番号はプレイリスト２９５のエントリ３０４の始点フレーム番号から４７０００である。終点フレーム番号は始めの１８００フレーム目までなので、４８７９９になる。オーバレイカラムの値はｎｕｌｌである。

エントリ３４４は挿入するＣＭの再生区間となる。ＣＭ用プレイリスト３０５のエントリ３１２のデータから、始点フレーム番号はｎｕｌｌ、終点フレーム番号はｎｕｌｌ、オーバレイカラムの値はオーバレイ表示することを示す値となる。（このエントリを再生する場合は、オーバレイ版ＣＭプレイリスト３１３を使用し、図３０を用いて上述した手段を用いる。）
エントリ３４５は上記の再生区間Ｄ２に対応する。エントリ３４３（再生区間Ｄ１）の終点フレーム番号４８７９９の次のフレームから始まるので、始点フレーム番号は４８８００となる。終点フレーム番号は、分割前の再生区間Ｄの終点フレーム番号と同じで５２３９９となる。オーバレイカラムの値はｎｕｌｌである。

以上のようにして定めたプレイリスト３３１と、オーバレイ版プレイリスト３１３を用い、図３０を用いて説明した上述の手段にて要約再生を実行することが出来る。

以上より、上記実施例によれば、録画したテレビ放送を要約視聴する場合でも、ＣＭがカットされることを防止する。これにより、番組提供者が視聴者にＣＭを提示する機会を確保可能となる。また短時間で要約内容のみを視聴することを欲する視聴者のためにＣＭの短縮版を提示する。これにより、要約視聴の利点（短時間での視聴）を確保しつつ、番組提供者がＣＭを提示する機会も確保することが出来る。

要約視聴する場合にも録画されたＣＭを全て提示することが可能になる。

要約の度合いが大きい場合でも各ＣＭの所定のフレーム数だけは提示することが可能となる。

要約再生の際、ＣＭをディジタルテレビ放送のデータ放送によって放送される短縮版ＣＭに差し替えることが可能となる。

要約再生の際、特にランキング評価の高いシーンの前にＣＭを提示することが可能となり、視聴者はＣＭの再生頻度の高い範囲がランキング評価の高い部分であると知ることが出来る。

要約再生中に一定の時間間隔でＣＭを挿入することが可能となる。視聴者はＣＭ再生のタイミングで経過時間を知ることが出来る。
ディジタルテレビ放送のデータ放送で放送される字幕版ＣＭをもって、通常のＣＭ再生を置き換え、ＣＭを再生する代わりに番組内容を表示するテレビ画面に重ね合わせることが可能となる。

ＣＭごとに過去の再生回数を記録することにより、一定の再生回数に達したＣＭは再生しないことにしたり、再生回数に応じて短縮版ＣＭなどに差し替えたりすることが可能となる。

短縮版ＣＭを再生中に、視聴者がリモコンなどを使用してこの短縮版ＣＭの元のＣＭを見たいと指示すれば、元のＣＭの再生に切り替えることが可能となる。あるいは、提示されているＣＭを繰り返し視聴したいと指示すればＣＭを反復して再生することが可能となる。また、提示されているＣＭを保存したいと指示すればＣＭを記憶装置の保存用領域に保存することが可能となる。

なお、本明細書では、４つの実施例を用いて説明しているが、共通の構成については、それぞれの実施例で相互に援用可能である。

アナログテレビ放送用録画再生装置の構成図。 アナログテレビ放送用録画再生装置（図１）の再生部の構成図。 ランキングデータグラフと再生スケジュールの説明図。 プレイリスト説明図。 全てのＣＭを再生するＣＭ用ランキングデータの説明図。 合成したランキングデータグラフと再生スケジュールの説明図。 ＣＭの一部を必ず提示するCM用ランキングデータの説明図。 合成したランキンググラフと再生スケジュールの説明図。 ＣＭの要約を行う映像評価部の構成図。 ＣＭ評価関数によるＣＭの要約を行う場合のランキングデータグラフと再生スケジュールの説明図。 合成したランキングデータグラフと再生スケジュールの説明図。 アナログテレビ放送用録画再生装置の再生部構成図。 ＣＭ再生履歴を記録する場合のプレイリストとランキングデータグラフ及び再生スケジュールの説明図。 ＣＭ再生履歴リストの説明図。 ＣＭ再生履歴記録を伴う要約再生のフローチャート。 ＣＭ再生履歴リスト更新部の処理のフローチャート。 ＣＭ再生履歴リスト更新部の処理のフローチャート。 ＣＭデータベースの説明図。 ランキングデータ合成部の内部の構成図。 ランキングデータフォーマット。 ＣＭ用ランキングデータフォーマット。 合成したランキングデータフォーマット。 ランキングデータ合成部の内部の構成図。 合成したランキングデータフォーマット。 ＣＭ再生・保存機能を持つ再生部の構成図。 ストリーム指定及び読み出し部の内部の構成図。 データ放送を利用する録画再生装置の構成図。 データ放送を利用する録画再生装置の再生部の構成図。 画像合成部を持つ映像出力部の構成図。 ストリーム指定及び読み出し部の内部の構成図。 データ放送から得られるＣＭスケジュールの説明図。 ＣＭ用ランキングデータフォーマット。 短縮版／オーバレイ版ＣＭデータベースの説明図。 合成したランキングデータフォーマット。 プレイリストフォーマット。 オーバレイ版ＣＭ用プレイリストフォーマット。 ランキング値合成方法のフローチャート プレイリストフォーマット ＣＭ用プレイリスト オーバレイ版ＣＭ用プレイリスト 編集したプレイリスト 編集したプレイリスト

符号の説明

２…アナログTV放送対応チューナ及び復調装置、３…画像エンコーダ、４…音声エンコーダ、５…マルチプレクサ、６…ハードディスク装置、７…ハードディスクドライブ、８…ハードディスク記録部、９…ハードディスク読み出し部、１０…録画データ、１１…ランキングデータ、１２…デマルチプレクサ、１３…画像デコーダ、１４…音声デコーダ、１５…画像特徴抽出部、１６…音声特徴抽出部、１７…ＣＭ検出部、１８…ランキングデータ生成及び保持部、１９…ＣＭ用ランキングデータ及び保持生成部、２０…ランキングデータ合成部、２１…再生部、２２…映像評価部、２３…ランキングデータ取得部、２４…プレイリスト作成及び保持部、２５…ストリーム指定及び読み出し部、２６…閾値入力部、２７…リモコンインターフェイス装置、２８…ランキング値グラフ、２９…再生スケジュール（閾値Ａ）、３０…再生スケジュール（閾値Ｂ）、３１…ＣＭ１の区間、３２…ＣＭ２の区間、４０…プレイリスト、４１…ストリーム名カラム、４２…始点カラム、４３…終点カラム、４７…終了エントリ、４８…CMランキング値データ、４９…再生スケジュール、５２…合成したランキング値データ、５３…CMランキング値データ、５４…合成したランキング値データ、５５…再生スケジュール、５８…再生スケジュール、６５…ＣＭダイジェストをサポートする映像評価部、６９…ＣＭランキング値データ、７０…合成したランキング値データ、７１…再生スケジュール、７６…ＣＭ再生履歴リストを有する再生部、７７…ＣＭ再生履歴リスト更新部、７８…ＣＭ再生履歴リスト保持部、７９…プレイリスト、８０…ストリーム名カラム、８１…始点カラム、８２…終点カラム、９０…ランキング値データ、９３…再生スケジュール、１００…ＣＭ再生履歴リスト、１０１…録画データＩＤカラム、１０２…ＣＭＩＤカラム、１０３…再生回数カラム、１０４…カウント履歴カラム、１２９…ＣＭデータベース、１３０…録画データＩＤカラム、１３１…ＣＭＩＤカラム、１３２…始点カラム、１３３…終点カラム、１３７…ハードディスク装置内のデータバス、１３８…ハードディスク装置内のコマンドバス、１３９…出力用デマルチプレクサ、１４０…出力用画像デコーダ、１４１…出力用音声デコーダ、１４２…スイッチ、１４３…比較器、１４４…ランキングデータフォーマット、１４５…フレーム番号カラム、１４６…ランキング値カラム、１５１…ＣＭ用ランキングデータフォーマット、１５２…フレーム番号カラム、１５３…ランキング値カラム、１５８…合成したランキング値データフォーマット、１５９…フレーム番号カラム、１６０…ランキング値カラム、１６６…ランキングデータ生成及び保持部、１６７…ランキングデータ読み出し部、１６８…ランキングデータ合成部、１６９…データ合成部、１７０…ＣＭＩＤ生成部、１７１…合成したランキングデータフォーマット、１７２…フレーム番号カラム、１７３…ランキング値カラム、１７４…ＣＭＩＤカラム、１８０…ＣＭ再生・保存機能を持つ再生部、１８１…ストリーム指定及び読み出し部、１８２…ＣＭ操作コマンド入力部、１８３…フレーム読み出し部、１８４…録画データＩＤとＣＭＩＤ保持部、１８５…コマンドデコーダ、１８６…次の再生区間保持部、１８７…チューナ復調部、１８８…再生部、１８９…デマルチプレクサ、１９０…画像デコーダ、１９１…音声デコーダ、１９２…データデコーダ、１９３…ＣＭ用ランキングデータ生成及び保持部、１９４…短縮版またはオーバレイ版ＣＭ抽出部、１９５…ランキングデータ合成部、１９６…映像評価部、１９７…短縮版／オーバレイ版ＣＭデータベース、１９８…ランキングデータ、１９９…録画データ、２０１…ランキングデータ取得部、２０２…プレイリスト作成及び保持部、２０３…ストリーム指定及び読み出し部、２０４…閾値入力部、２０５…映像出力部、２０６…出力用デマルチプレクサ、２０７…出力用音声デコーダ、２０８…出力用画像デコーダ、２０９…オーバレイＣＭ用フレーム保持部、２１０…スイッチ、２１１…出力画像合成部、２１２…オーバレイＣＭ用画像デコーダ、２１３…フレーム読み出し部、２１４…プレイリスト再生部、２１５…オーバレイＣＭ用プレイリスト再生部、２１６…画像音声フレーム、２１７…オーバレイＣＭ用フレーム、２１８…オーバレイＣＭ出力指示信号、２１９…プレイリスト、２２０…オーバレイＣＭ用プレイリスト、２２１…ＣＭスケジュール、２２２…ＣＭＩＤカラム、２２３…相対時刻カラム、２２４…ランキング率カラム、２２９…ＣＭ用ランキングデータ、２３０…フレーム番号カラム、２３１…ランキング値カラム、２３２…ＣＭＩＤカラム、２３８…ストリーム名カラム、２３９…ＣＭＩＤカラム、２４０…要約率カラム、２４１…ＣＭストリームＩＤカラム、２４２…フレーム数カラム、２４３…タイプカラム、２４４…表示フレーム数カウント、２４９…合成したランキングデータ、２５０…フレーム番号カラム、２５１…ランキング値カラム、２５２…ＣＭＩＤカラム、２５８…プレイリスト、２５９…ストリーム名カラム、２６０…始点フレーム番号カラム、２６１…終点フレーム番号カラム、２６２…オーバレイカラム、２７０…オーバレイ版ＣＭ用プレイリスト、２７１…始点フレーム番号カラム、２７２…終点フレーム番号カラム、２７３…ＣＭストリームＩＤカラム、２７４…フレーム数カラム、２９５…プレイリスト、２９６…ストリーム名カラム、２９７…始点フレーム番号カラム、２９８…終点フレーム番号カラム、２９９…平均ランキング値カラム、３００…オーバレイカラム、３０５…ＣＭ用プレイリスト、３０６…ストリーム名カラム、３０７…始点フレーム番号カラム、３０８…終点フレーム番号カラム、３０９…オーバレイカラム、３１３…オーバレイ版ＣＭ用プレイリスト、３１４…始点フレーム番号カラム、３１５…終点フレーム番号カラム、３１６…ＣＭストリームＩＤカラム、３１７…表示フレーム数カラム、３１９…編集したプレイリスト、３２０…ストリーム名カラム、３２１…始点フレーム番号カラム、３２２…終点フレーム番号カラム、３２３…オーバレイカラム、３３１…編集したプレイリスト、３３２…ストリーム名カラム、３３３…始点フレーム番号カラム、３３４…終点フレーム番号カラム、３３５…オーバレイカラム

Claims (14)

1. 録画再生装置であって、
   コンテンツ入力手段と、
   前記コンテンツ入力手段にて入力したコンテンツ中の複数のフレームを該コンテンツ中に含まれるパラメータに基づき評価する評価手段と、
   前記評価手段で得られた評価結果に基づき、前記フレームのランキング値を生成するランキングデータ生成部と、
   前記コンテンツからコマーシャルメッセージを抽出するＣＭ検出部と、
   前記ＣＭ検出部で検出されたコマーシャルメッセージのランキング値を生成するＣＭ用ランキングデータ生成手段と、
   上記ランキングデータ生成部で生成されたランキング値のうち、上記コマーシャルメッセージに相当する部分のランキング値を、上記ＣＭ用ランキングデータ生成手段で生成されたランキング値で置換することにより、２つのランキング値を合成するランキングデータ合成手段と、
   再生されるフレームのランキング値を示す閾値が入力される閾値入力手段と、
   前記入力された閾値と、前記合成されたランキング値とに基づき、前記コンテンツのうちの再生区間を決定し、前記再生区間に対応する要約を再生する再生手段とを有し、
   前記ＣＭ用ランキングデータ生成手段では、前記コマーシャルメッセージのランキング値を、前記閾値よりも高くなるよう設定することを特徴とする録画再生装置。
2. 請求項１記載の録画再生装置であって、
   前記ＣＭ用ランキングデータ生成手段では、前記コマーシャルメッセージのランキング値を、当該ランキング値のなかの最大値に設定することを特徴とする録画再生装置。
3. 請求項１記載の録画再生装置であって、
   前記ＣＭ用ランキングデータ生成手段では、前記コマーシャルメッセージのうちの所定フレームのランキング値を、当該ランキング値のなかの最大値に設定することを特徴とする録画再生装置。
4. 請求項１記載の録画再生装置であって、
   さらに、前記コンテンツに含まれる前記コマーシャルメッセージのフレームを、該コマーシャルメッセージ中に含まれるパラメータに基づき評価するＣＭ部評価手段を有し、
   前記ＣＭ用ランキングデータ生成手段は、前記ＣＭ部評価手段で得られた評価結果に基づき、前記コマーシャルメッセージフレームのランキング値を生成し、該ランキング値に基づき前記コマーシャルメッセージの要約を生成することを特徴とする録画再生装置。
5. 請求項１記載の録画再生装置であって、
   さらに、コマーシャルメッセージ再生履歴制御部を有し、
   前記コマーシャルメッセージの再生回数を記録することを特徴とする録画再生装置。
6. 請求項４記載の録画再生装置であって、
   さらに、コマーシャルメッセージ再生履歴制御部を有し、
   前記コマーシャルメッセージの要約の再生回数を記録することを特徴とする録画再生装置。
7. 請求項５記載の録画再生装置であって、
   前記コマーシャルメッセージを所定回数再生した場合、当該再生したコマーシャルメッセージに対応するフレームのランキング値を下げることを特徴とする録画再生装置。
8. 請求項６記載の録画再生装置であって、
   前記コマーシャルメッセージの要約を所定回数再生した場合、当該再生したコマーシャルメッセージに対応するフレームのランキング値を下げることを特徴とする録画再生装置。
9. 請求項５記載の録画再生装置であって、
   前記コマーシャルメッセージを所定回数再生した場合、当該再生したコマーシャルメッセージの再生時間を少なくさせることを特徴とする録画再生装置。
10. 請求項６記載の録画再生装置であって、
    前記コマーシャルメッセージの要約を所定回数再生した場合、当該再生したコマーシャルメッセージの再生時間を少なくさせることを特徴とする録画再生装置。
11. 請求項１記載の録画再生装置であって、
    前記コンテンツのうちの再生区間と、前記コマーシャルメッセージの再生区間を分けて管理され、
    前記再生手段は、前記コマーシャルメッセージを前記コンテンツ再生区間に重ね合わせて表示することを特徴とする録画再生装置。
12. 請求項１記載の録画再生装置であって、
    前記コンテンツのうちの再生区間と、前記コマーシャルメッセージの再生区間を分けて管理され、
    前記再生手段は、前記コマーシャルメッセージを前記コンテンツ再生区間内に所定周期ごとに挿入して表示することを特徴とする録画再生装置。
13. 請求項１記載の録画再生装置であって、
    前記コンテンツのうちの再生区間と、前記コマーシャルメッセージの再生区間を分けて管理され、
    前記再生手段は、前記ランキング値の平均値を求め、当該ランキングの平均値と前記各フレームのランキング値を比較して、前記ランキング値の平均値よりも高いランキング値を有するフレームの前に前記コマーシャルメッセージを挿入して表示することを特徴とする録画再生装置。
14. 請求項４記載の録画再生装置であって、
    前記コマーシャルメッセージの要約が再生されている間に、表示切替指示が入力された場合、当該コマーシャルメッセージの要約の全編の再生に切り替える手段を設けたことを特徴とする録画再生装置。

Images