JP2006270233A - 信号処理方法及び信号記録再生装置 - Google Patents

Abstract

【課題】従来は、映像信号比較で重複区間を検出し、重複区間の間の間隔でＣＭ部分検出を行うため、サッカー試合のゴールシーンの様に繰り返し再生する場合、ＣＭ部分と誤判断し番組本編の一部が欠落する。また、バラエティ番組の如くスタジオ内セット使用では、類似性の高いシーンが数多く現れ重複区間の検出精度が下がる。
【解決手段】放送信号を記録媒体に記録し、記録された放送信号を読み出してその解析対象とする区間の基点を設定し、この基点を基準として解析対象区間を設定し、この解析対象区間とこの解析対象区間に連続する所定区間の信号を連続するフレームに区分し、区分されたフレーム毎に放送信号の特徴量を抽出し、特徴量を基に解析対象区間のフレームと解析対象区間に連続する所定区間のフレームとの間の類似性を判定して番組の重複シーンの区間を検出する。
【選択図】図１

Description

本発明は、信号処理方法および信号記録再生装置に関し、特に商業テレビジョン放送等に付加されるコマーシャルメッセージの前後における重複シーンを自動的に検出する信号処理方法及び信号記録再生装置に関するものである。

近年、放送メディアは、従来のアナログ放送からデジタル放送へ移行が進んでいる。デジタル放送では、MPEG（Moving Picture Experts Group）規格に代表される情報圧縮技術が利用されている。また、VTR等の信号記録再生装置では、放送メディアから図１６に示すような番組を受信してそのまま記録媒体に記録再生するのではなく、受信した番組のうちコマーシャルメッセージの部分（以下、ＣＭ部分と言う）を除いた番組本編だけを記録再生する機能を備えたものが開発、実用化されている。この様な信号記録再生装置では、受信した番組のＣＭ部分を自動的に検出して、記録時に検出したＣＭ部分を自動的に除いて番組本編だけを記録する、あるいは再生時に検出したＣＭ部分を飛び越して番組本編だけを再生する機能が搭載されている。ＣＭ部分の自動的な検出方法として、例えば、特開２００２−１６８７３号公報に示されている信号処理方法がある。

一方、放送メディアでは、ＣＭ部分の前に放送した番組本編の一部を、該ＣＭ部分の後に続く番組本編の冒頭から数秒〜数十秒間に渡って重複して放送することがある。この様な番組に対しては、例えば、特開２０００−７８５２８号公報に開示された従来の信号記録再生装置では、映像信号をフレーム単位で比較して番組の重複区間を検出することによりＣＭ部分を決定し、このＣＭ部分とその前後いずれか一方の重複区間を除いて記録あるいは再生する手法を提案している。また、番組中の映像や音声を比較し番組シーンの類似性を判定する方法には種々の方法があるが、例えば、特開２０００−２８５２４３公報に開示された特徴量を用いるものがある。

特開２００２−１６８７３号公報 特開２０００−７８５２８号公報

上記の様な従来の信号記録再生装置では、映像信号をフレーム単位で比較することにより重複区間を検出し、その２つの重複区間の時間間隔のみを基準としてＣＭ部分を検出しているため、例えば、サッカーの試合のゴールシーンの様に、番組内で特定のシーンを繰り返して再生するような場合に、番組本編の一部を誤ってＣＭ部分と判断してしまい、番組の一部が欠落してしまうことがあった。また、バラエティ番組のようなスタジオ内に設置された背景等のセットを使う場合では、番組中に類似性の高いシーンが数多く現れるため、重複区間の検出精度が低くなってしまうという問題があった。

また、映像信号の情報量は膨大であり、フレーム単位の比較や判定処理に多くのメモリや演算処理能力を必要とするため、回路規模が非常に大きくなる傾向があった。さらに、番組中にＣＭ部分が挿入されるタイミングが不明であるため、常時処理を実行しなければならず、このために装置の消費電力が大きくなるという問題もあった。

本発明は、上記の様な課題を解決するためになされたものであり、番組中のＣＭ部分と共に、ＣＭ部分の前後に存在する番組本編の重複区間を精度良く検出し、記録時や再生時に、ＣＭ部分と重複区間を合せて自動的に除いて記録または再生することができる信号処理方法及び信号記録再生装置を提供することを目的とする。

本発明に係る信号処理方法は、
与えられた放送信号を記録媒体に記録する信号記録工程と、
上記記録媒体に記録された放送信号を読み出し、上記放送信号の解析対象とする区間の基点を設定する解析基点設定工程と、
上記の基点を基準とした解析対象区間を設定する解析区間設定工程と、
上記解析対象区間とこの解析対象区間に連続する所定区間の信号を連続するフレームに区分し、区分されたフレーム毎に放送信号の特徴量を抽出する特徴量抽出工程と、
上記特徴量を基に解析対象区間のフレームと解析対象区間に連続する所定区間のフレームとの間の類似性を判定する類似フレーム判定工程と、
上記類似性の判定結果から、番組の重複シーンの区間を検出する重複区間決定工程と
を備える。

また、本発明に係る信号記録再生装置は、
上記放送信号を記録する信号記録手段と、
上記放送信号の解析対象とする区間の基点を設定する解析基点設定手段と、
上記の基点を基準とした解析対象区間を設定する解析区間設定手段と、
上記解析対象区間とこの解析対象区間に連続する所定区間の信号を連続する複数のフレームに区分し、区分されたフレーム毎に放送信号の特徴量を抽出する特徴量抽出手段と、
上記特徴量を基に解析対象区間のフレームと解析対象区間に連続する所定区間のフレームとの間の類似性を判定する類似フレーム判定手段と、
上記類似性の判定結果から、番組の重複シーンの区間を検出する重複区間決定手段と、
上記重複シーンの区間の再生方法を指定する再生制御手段と、
上記再生方法に従って信号記録手段に記録された信号を再生する信号再生手段とを
備える。

本発明の信号処理方法及び信号記録再生装置では、信号記録部により記録された放送信号を基に、解析基点設定部が解析の基点を設定し、解析区間設定部が前記基点から解析区間を決定し、重複判定部が解析区間と解析区間に連続する所定区間とをその各々のフレーム毎に特徴量を基にした類似判定を行ない重複区間を決定・検出する。
これにより、本発明の信号処理方法及び信号記録再生装置では、記録されたデジタル放送の番組を視聴する際、番組中に含まれるＣＭ部分の前後に重複するシーンが存在する場合には、ユーザの嗜好に応じて、例えば、スキップ再生を行なうように指定して、ＣＭ部分を省略すると共に重複シーンの何れか一方を省略することができ、繋ぎ目の無い連続したシーンとして視聴することが可能となる。

以下に、本発明の信号記録再生装置を示す実施例について、図面を参照しながら説明する。なお、本発明は放送メディアを対象としているが、その受信部の構成についての制約は特に無いので説明を省略する。

実施の形態１．
図１は、本発明の実施の形態１である信号記録再生装置の構成を示すブロック図である。図１に示す様に、本実施の形態における信号記録再生装置は、受信したデジタル放送信号１００を記録する信号記録部１、信号記録部１に記録されたデジタル放送信号１００を再生する信号再生部２、信号記録部１に記録されたデジタル放送信号から番組の重複区間を検出するための解析区間の基点を設定する解析基点設定部３、放送信号から番組の重複区間を検出するための解析区間を設定する解析区間設定部４、解析区間に渡って重複区間の検出を行う重複判定部５、信号再生部２に対して再生方法の指定を行なう再生制御部６を備えている。
なお、信号記録部１においてデジタル放送信号１００を記録するために用いる記録媒体には、ハードディスク装置、光ディスクメディア、磁気ディスクメディア等がある。

次に、本実施の形態の信号記録再生装置の動作について説明する。信号記録部１は、デジタル放送受信装置等を経由して入力されるデジタル放送信号１００を、それに付随する時刻情報と共に記録媒体に記録する。デジタル放送信号１００は映像情報／音声情報／データ情報及び番組に関する情報等の付加情報を含んでいる。信号記録部１は、デジタル放送信号１００に含まれている種々の情報を、個別の情報ごとに、あるいは複数の情報をまとめて付随する時刻情報と共に解析基点設定部３及び解析区間設定部４に出力する。また、信号記録部１は、記録したデジタル放送信号１００を信号再生部２の要求に従って出力する。

解析基点設定部３は、信号記録部１から入力されたデジタル放送信号１００及び付随する時刻情報に基づき、以下に説明する方法を用いて解析の基点を決定する。この基点には時刻情報を用いる。例えば、図２の様に、放送番組が番組本編とＣＭ部分で構成されている場合、従来から提案されている、例えば、特開２００２−１６８７３号公報に示された自動的なＣＭ検出方法を用いるか、あるいはデジタル放送信号１００に直接含まれる番組本編とＣＭ部分を識別可能な情報（メタデータ）を利用する等の手段によって、ＣＭ部分から番組本編に移る境界を検出し、その時の時刻を基点Ｔとする。ここで、番組本編からＣＭ部分に移る境界を基点とすることも考えられるが、以降の各部の動作について基本的な違いは無いので説明を省略する。なお、基点として時刻情報を用いたが、時刻情報の代用となり得る情報、例えば信号記録部１で管理する記録媒体上のアドレス情報を用いるものであっても良い。基点Ｔの情報は、解析区間設定部４及び重複判定部５に対して出力する。

解析区間設定部４は、信号記録部１から入力されたデジタル放送信号１００及び付随する時刻情報に基づき、以下に説明する方法を用いて解析対象区間を設定する。図３の様に、始点Ｄｓと終点Ｄｅの間を解析区間Ｄと考える。なお、解析区間Ｄの長さは次の様に決定する。例えば、デジタル放送信号１００に含まれている番組の構成時間の長さに応じて解析区間Ｄを決定する。番組の構成時間とはいわゆる「１時間番組」「２時間番組」と呼ぶ番組単位の放送時間のことである。番組の構成時間が１時間ならば４分間、番組が２時間なら６分という様に決定する。これは、通常、番組の構成時間に応じて番組本編の間に放送されるＣＭ部分の時間が増加するという特徴を利用している。

なお、番組の構成時間の情報は、EPG（Electric Program Guide）情報などから容易に得ることができる。また、解析区間設定部４で設定する解析区間Ｄは、番組本編の間に挿入されるＣＭ部分の時間を少なくとも越えるように予め長めに設定する。さらに言えば、図４に示す様にＣＭ部分の前後に存在する重複区間の時間幅を想定して、それを加算した時間幅となるようにする。この重複区間は、番組制作者の製作意図によって異なるが、通常数秒から数十秒の範囲内にあることが多い。解析区間設定部４は、設定した解析区間Ｄに基づき、該区間に含まれるデジタル放送信号１００及び付随する時刻情報を、解析区間Ｄの始点Ｄｓ及び終点Ｄｅの時刻情報と共に重複判定部５に出力する。

ここで、上記の解析基点設定部３で設定した基点Ｔと、解析区間設定部４で設定した解析区間Ｄの関係の一例を図５に示す。この例では、ＣＭ部分から番組本編に移る境界を基点Ｔとし、その基点Ｔと解析区間Ｄの終点Ｄｅが一致するように、解析区間Ｄを設定している。

重複判定部５は、デジタル放送信号１００に含まれる情報を基に、特定の時間区分に区切った解析フレーム単位で番組のシーンの類似性に関する判定を行い、同じ番組シーンが存在する重複区間を決定する。一例として、以下ではデジタル放送信号１００に含まれる音声情報を基に重複判定を行なう場合について説明する。

図６は、本発明の重複判定部５の構成を示すブロック図である。特徴量抽出部５１では、解析フレーム単位に音声情報を分割し、それぞれの解析フレーム単位で音声情報の特徴量を計算する。音声情報の特徴量には周波数解析結果、レベル、ピッチ等があるが、適用可能な特徴量としてこれらに限定されるものでは無い。なお、ここでは解析フレームの長さはデジタル放送信号１００に適用されている情報圧縮技術の符号化フレームに等しいものと考えるが、音声情報の特徴量の計算に望ましい異なる長さを設定しても良い。

図７は、解析区間Ｄに含まれる解析フレームがＮ個存在し、Ｎ個の特徴量Ｘ_０，．．．，Ｘ_Ｎ−１が得られることを示している。類似フレーム判定部５２は、解析区間Ｄに含まれる解析フレームと、基点Ｔ以降の解析フレームの照合を行なう。つまり、２つの解析フレームを選択し、その解析フレームに対応する２つの特徴量を用いて類似性を判定し、類似であるか否かの判定を行なう。重複区間決定部５３は、類似フレーム判定部５２で得られた個々の解析フレームの類似性判定結果に基づき、時系列での類似区間、すなわち同一の番組シーンとみなす区間を決定する。

ここで、図６で示した重複判定部５を実現する処理について、より具体的にフローチャートを用いて説明すると図８のようになる。図８で用いる変数は、解析区間Ｄに含まれる解析フレームＦＸのインデックスを表すｉ、基点Ｔに続く解析フレームＦＹのインデックスを表すｊ、照合の結果、類似と判定されたフレームの数ｌ、解析フレームＦＹ_０と類似であると判定された解析フレームＦＸのインデックスを表すｉｄｘ、解析区間Ｄの照合範囲を調整するための閾値を表すｌｉｍである。

まず、ステップ９００において処理変数の初期化を行なう。変数ｊ，ｌ，ｉｄｘを０とし、ｌｉｍには解析区間Ｄに含まれる解析フレームの個数Ｎを代入する。次にステップ９０１で解析区間ＤのＮ個の解析フレームＦＸ_ｉ（i=0,1,...N-1）のそれぞれの特徴量Ｘ_ｉを抽出する。次に、解析フレームＦＹ_ｊの音声情報を入力し（ステップ９０２）、その解析フレームにおける特徴量Ｙ_ｊを抽出する（ステップ９０３）。ステップ９０４では解析フレームＦＸ_ｉの照合範囲の先頭をｉ＝ｉｄｘ＋ｌとして与える。初めてステップ９０４を実行する時はｉ＝０となる。ステップ９０５では後段のステップ９０６を終了する条件判定を行なうために、ループカウンタとして利用する変数ｉとｌｉｍの比較を行う。ｉがｌｉｍに到達するまではステップ９０６に進み、ｉがｌｉｍに到達した場合はステップ９５０に進む。

ループ処理であるステップ９０６では、後述する類似性の判定方法を用いて、解析フレームＦＸ_ｉと解析フレームＦＹ_ｊを照合し、２つのフレームの間の類似性を決定する。ＦＹ_ｊと類似であると判定される解析フレームＦＸ_ｉが見つかるまでステップ９０６を繰り返して実行する。ステップ９０６を繰り返し実行する際、ステップ９０７ではループ処理を制御するためにループカウンタｉの更新を１ずつ行なう。ステップ９０６で、類似である解析フレームＦＸ_ｉが見つかった場合、ステップ９０８で変数ｌを更新する。ステップ９０６ではある解析フレームＦＹ_ｊに対して一つの解析フレームＦＸ_ｉのみ類似のフレームとして判定するので、ステップ９０８での変数ｌの更新量は１となる。

ステップ９０９において、ｌ＝１であるかどうか、すなわち解析区間Ｄに含まれる解析フレームＦＸ_ｉに類似フレームが初めて見つかったかどうかを判定し、ｌ＝１の場合はステップ９１０で、その類似フレームと判定された解析フレームＦＸ_ｉを、類似フレームの開始点を意味する類似フレーム基点とみなし、基点を示す変数ｉｄｘにｉを代入する。

なお、類似フレームが見つかった場合、以後、解析フレームＦＸ_ｉと解析フレームＦＹ_ｉとの照合において対象範囲を調整することにより、照合の回数を減らすことが可能となる。すなわち、図９に示すように重複区間は同じシーンであるがゆえ、類似フレームが連続する構造になる。これを考慮してステップ９１１ではｌｉｍに、ｉｄｘ＋ｌ＋１を代入する。すなわち、ステップ９０５においてステップ９０４で設定するｉ及びステップ９１１で設定するｌｉｍを用いた比較判定を行なうことによって、１つ前の照合において類似フレームと判定された解析フレームに続く解析フレームのみを照合する。

なお、ステップ９０５でｉがｌｉｍに到達した場合はステップ９５０へ進むが、ステップ９５０において、ｌの値に応じステップ９５１或いはステップ９５２の何れかに進む。ｌ＝０の場合は、解析フレームＦＸと解析フレームＦＹの照合において類似フレームと一度も判定されなかったことを表すので、最終的に重複区間は無い（ステップ９５１）との判定を下す。ｌ≠０の場合は、重複区間が有る（ステップ９５２）との判定を下す。この時の重複区間は、解析フレームＦＸにおいてはＦＸ_ｉｄｘからＦＸ_{ｉｄｘ＋ｌ−１}とし、解析フレームＦＹにおいてはＦＹ_０〜ＦＹ_ｌ−１とする。ここで、類似と判定されたフレームの連続数を意味するｌについて、一定の時間以上に渡って、すなわちフレームカウンタがある閾値を超えた場合に最終的に重複シーンが存在すると判断しても良い。つまり、瞬間的な類似シーンの存在による重複区間の誤判定を排除するためである。

次に、特徴量に基づく類似度の判定方法について説明する。特徴量とは、フレームの特徴を表すとともに、異なるフレーム間の類似性を判定するためのデータを供給するフレームの属性である。重複判定部５は、いかなる特徴量の具体的詳細にも依存するものではないが、当該重複判定部５において用いる効果的であると考えられる特徴量として、ここでは音声情報を対象とした特徴量の例をあげる。特徴量の必要条件は、類似性の判定が可能であることである。音声情報を対象とした特徴量はフレームの内容を表すことができる特徴量であり、重複判定部５は、この特徴量として周波数解析結果、レベル、ピッチ等を用いることができる。これらの特徴量は、種々の文献により知られているものである。

まず、特徴量抽出部５１では、デジタル放送信号１００の主要な音声情報である情報圧縮された音声ストリームをフレーム毎に復号処理し、音声信号を復元する。前記音声信号を、フーリエ変換等の周波数解析を行なうことによって、フレームにおける周波数情報の分布を決定することができる。例えば、１つのフレームの周波数情報の分布を表すためにＦＦＴ（Fast Fourier Transform；高速フーリエ変換）の成分、周波数ヒストグラム、パワースペクトル、その他の特徴量を用いることができる。

次に、特徴量を用いたフレームの類似性判定について説明する。類似フレーム判定部５２は、２つのフレームの特徴量について、それがどの程度類似であるか（または非類似であるか）を判定するための値を計算する関数である類似性判定基準を用いてフレーム間の類似性判定を行なう。この類似性判定基準は、その値が小さい場合に２つの特徴量が類似していることを示し、値が大きい場合は非類似であることを示す。ここでは、特徴量ＦＦＴに関する２つのフレームＦＸ、ＦＹの類似性を計算する関数を類似性判定基準ｄ_ＦＴ（ＦＸ，ＦＹ）と定義する。

このような関数は、以下の式（１）で与えられる関係を満足する。
ｄ_ＦＴ（ＦＸ，ＦＹ）＝０ （ＦＸ＝ＦＹの場合）
ｄ_ＦＴ（ＦＸ，ＦＹ）≧０ （全てのＦＸ，ＦＹについて）
ｄ_ＦＴ（ＦＸ，ＦＹ）＝ｄ_ＦＴ（ＦＹ，ＦＸ） （全てのＦＸ，ＦＹについて）
・・・・・・・・・・・（１）

ところで、一般的に多くの類似性判定基準は、ｎ次元空間における点として表される特徴量についての類似性を判定するのに適用可能である。その具体例は、ユークリッド距離、内積、Ｌ１距離（ハミング距離）等である。ここで、特にＬ１距離が種々の特徴量に対して有効に作用することから、前記類似フレーム判定部５２では、Ｌ１距離を導入する。ここで、２つのｎ次元ベクトルをＡ，Ｂとした場合、Ａ，Ｂ間のＬ１距離ｄ_Ｌ１（Ａ，Ｂ）は次式（２）で与えられる。

ここで、ｋはｎ次元ベクトルＡ，Ｂのそれぞれｋ番目の要素を示すものである。この距離ｄ_Ｌ１が予め規定された閾値ＤＬ１より小さい場合は、類似であると判定する。この閾値ＤＬ１は、ユーザが設定するものであっても、自動的に設定するものであってもよい。この閾値ＤＬ１を設定する場合には、フレーム区切りのずれによる計算結果の差異が発生することや、演算誤差の発生も考慮する。続いて、重複区間決定部５３は、類似フレーム判定部５２の判定結果を基に類似性と判断されたフレームの時間的な連続性を調べ、最終的に重複区間を決定する。

以上の様に、重複判定部５は、特徴量抽出部５１において抽出された特徴量を用いて、類似フレーム判定部５２において類似性判定基準を計算し、当該フレーム間の類似性を判定し、重複区間決定部５３において複数フレームに渡って類似フレームが存在するかどうかを判定して、重複区間を決定することができる。重複判定部５は、この重複区間の時間情報、つまり２つの重複区間ＳＡ及びＳＢの始点と終点の時刻情報を出力する。

再生制御部６は、重複判定部５から出力される重複区間の時刻情報を基に、信号再生部２に対して再生方法を指定する制御情報（再生指定情報）を出力する。再生方法の指定とは、通常再生、スキップ再生、早送り再生等の再生方法を指定することである。同時に、指定区間の時刻情報として、始点ＴＡを重複区間ＳＡの開始点とし、終点ＴＢを重複区間ＳＢの開始点として与える。

信号再生部２は、信号記録部１に記録されているデジタル放送信号１００について、再生すべき所定の時刻情報に対応する信号を逐次読出し、該信号が圧縮ストリーム形式であれば復号処理を経由して、再生信号２００を生成して出力する。連続する時刻情報に基づいて再生信号２００を連続して生成して出力することにより、ユーザは番組を視聴することができる。

信号再生部２はまた、再生制御部６から出力される重複区間の時刻情報と再生指定情報とを得て、重複区間に対しては特殊再生を行なう。信号再生部２は、上述した動作において、常時、再生しているデジタル放送信号１００の時刻情報と再生制御部６からの指定区間の始点ＴＡとを比較する。再生しているデジタル放送信号１００の時刻情報がＴＡと一致した場合、再生指定情報を読出し、再生指定情報に基づいた特殊再生を行なう。再生指定情報が通常再生の場合、時刻情報が始点ＴＡに一致した後も、時刻情報が終点ＴＢに一致するまで継続して通常再生を行なう。終点ＴＢに一致すると特殊再生を終了し、再生制御部６から新たな指定情報（指定区間情報と再生指定情報）を受け取ると共に、終点ＴＢと同じ時刻以降のデジタル放送信号１００を継続して読出し、再生を行なう。

また、再生指定情報がスキップ再生の場合、信号再生部２は信号記録部１から新たに時刻情報が終点ＴＢと一致するデジタル放送信号１００を読み出し、その再生信号２００を生成して出力する。即ち終点ＴＢまでのデジタル放送信号１００をスキップして再生し、この時点で特殊再生を終了し、これ以降は終点ＴＢと一致する時刻以降のデジタル放送信号１００を継続して読出し、再生を行なう。
再生指定情報が早送り再生の場合、始点ＴＡを起点として終点ＴＢまでの間、信号記録部１から読み出したデジタル放送信号１００を復号して再生し、フレーム毎に間引きながら出力する。これらの特殊再生は、通常ユーザが番組を視聴する際にユーザの嗜好により適宜行なわれる再生回路を共有することにより回路規模の増大を抑えられる。なお、上述の信号再生部２は、圧縮ストリーム形式のままデジタル放送信号１００を出力するものであっても良い。

この様に、本発明の信号処理方法及び信号記録再生装置では、信号記録部１がデジタル放送信号１００を連続して記録し、その記録された信号を基に、解析基点設定部３が番組本編とＣＭ部分の境界点を解析の基点として設定し、解析区間設定部４が前記基点から解析区間を決定する。さらに、重複判定部５がフレーム毎に特徴量を基にした類似判定を行ない、ＣＭ部分の前後の重複区間を決定する。その結果に基づき、再生制御部６が信号再生部２に対して、重複区間及びＣＭ部分に対するデジタル放送信号１００の再生方法を指定し、信号再生部２はその指定に応じた再生方法によってデジタル放送信号１００を再生する。これにより、本発明の信号処理方法及び信号記録再生装置では、記録されたデジタル放送の番組を視聴する際、番組中に含まれるＣＭ部分の前後に重複するシーンが存在する場合には、ユーザの嗜好に応じて、例えば、スキップ再生を行なうように指定した場合には、ＣＭ部分を省略すると共に重複シーンの何れか一方を省略することができ、繋ぎ目の無い連続したシーンとして視聴することができる。

実施の形態２．
図１０は、本実施の形態である信号記録再生装置の構成を示すブロック図である。本実施の形態における信号記録再生装置は、ユーザ（放送番組の視聴者）が自己の判断によって重複シーンの処理を適用するか否かを決定し、ユーザの所定の操作を伴った場合のみ、重複シーンの再生方法を制御するように構成した。この点以外の構成は実施の形態１のものと同様であるので、以下においては重複する説明は省略する。

図１０に示すように、本実施の形態における信号記録再生装置は、ユーザが所定の操作を行なう操作入力部１１、ユーザの操作に応じた操作状況及び重複シーンの再生方法を表示する操作表示部１２、ユーザが所定の操作を行なった場合のみ再生制御部６における重複シーンの再生指定を許可する操作制御部１３を備えている。

次に、本実施の形態の信号記録再生装置の動作について説明する。ユーザは本発明の信号記録再生装置に対し、実施の形態１で示したスキップ再生や早送り再生等の重複シーンに対する処理を適用したい場合のみ、操作入力部１１に対して所定の操作を行なう。操作入力部１１に対する所定の操作によって、操作制御部１３は、再生制御部６に対して、再生指定情報の選択を許可する制御信号を与える。この場合、再生制御部６は、通常再生、スキップ再生、早送り再生等の再生方法を指定する出力情報を、信号再生部２に対して出力する。信号再生部２は、指定された再生方法に応じた再生方法によってデジタル放送信号１００を再生する。なお、操作表示部１２は、操作入力部１１を介して入力されたユーザの操作状況を表示すると共に、再生制御部６で決定される重複シーンの再生方法も表示する。

操作入力部１１に対して、ユーザが所定の操作を行なわない場合、操作制御部１３は、再生制御部６に対して、再生指定情報の選択を許可しない制御信号を与える。この場合、再生制御部６は、通常再生を指定する出力情報のみを、信号再生部２に対して出力する。信号再生部２は、通常再生の動作のみを行い、重複シーンが存在する場合でも、放送された番組の状態のままデジタル放送信号１００を再生する。

これにより、本実施の形態の信号記録再生装置では、記録されたデジタル放送の番組を視聴する際、ユーザが所定の操作を行なった場合のみ、番組中に含まれるＣＭ部分の前後に存在する重複シーンの再生方法を指定して視聴することができる。

実施の形態３．
図１１は、本発明の実施の形態３である信号記録再生装置の構成を示すブロック図である。本実施の形態における信号記録再生装置は、記録されたデジタル放送信号から重複区間を検出し、何れか一方の重複区間及びＣＭ部分を記録媒体から除いて記録するよう構成した。この点以外の構成は実施の形態１のものと同様であるので、以下においては重複する説明は省略する。

図１１に示すように、本実施の形態における信号記録再生装置は、受信したデジタル放送信号１００を記録する信号記録部１０、記録されたデジタル放送信号１００を再生し、再生信号２００を生成して出力する信号再生部２０、記録されたデジタル放送信号１００から番組の重複区間を検出するための解析の基点を設定する解析基点設定部３、前記解析を行なう区間を設定する解析区間設定部４、解析区間に渡って重複区間を検出するための重複判定部５、信号記録部１０に対していずれか一方の重複区間及びＣＭ部分を除いて記録するよう制御を行なう記録制御部７を備えている。

本実施の形態における信号記録再生装置の動作について説明する。なお、以下の説明では実施の形態１と異なる動作について主に説明する。
まず、信号記録部１０は、デジタル放送受信装置等を経由して入力されるデジタル放送信号１００を、それに付随する時刻情報と共に記録媒体に記録する。解析基点設定部３は、信号記録部１０から入力されたデジタル放送信号１００及び付随する時刻情報に基づき、解析の基点とする時刻を決定する。主として解析基点設定部３は番組中に含まれるＣＭ部分と番組本編との境界を基点として設定する。解析区間設定部４は、重複区間を検出するためのデジタル放送信号１００を解析する区間を設定する。重複判定部５は、フレーム単位で類似性の判定を行い重複区間を決定し、記録制御部７に対して、重複区間の時刻情報を出力する。これらの動作は実施の形態１と同様である。

記録制御部７は、重複判定部５から出力される時刻情報を基に、信号記録部１０に対して記録されているデジタル放送信号の削除方法を指定する制御情報（削除指定情報）を出力する。同時に、指定区間の時刻情報として、始点ＴＡを重複区間ＳＡの開始点とし、終点ＴＢを重複区間ＳＢの開始点として与える。

信号記録部１０は、記録媒体に記録されているデジタル放送信号１００について、記録制御部７から与えられる指定区間の時刻情報に基づき、その時刻に対応するデジタル放送信号１００を記録媒体から削除する。このように記録媒体上のデジタル放送信号１００を直接削除するので、デジタル放送信号１００の再生時には、ユーザは特に操作を必要とせず常に重複区間及びＣＭ部分を省略して番組を視聴することができる。また、不要なデータを削除し記録媒体の使用量を抑制することができるので、信号記録部１０はさらなる長時間記録が可能となる。

また、本発明に係わる信号記録再生装置は、図１２に示すように信号記録部１０がデジタル放送信号１００を記録及び保持するための記録媒体とは異なる解析用のデータバッファ８を持つ構成であっても良い。解析バッファ８は、解析に必要十分な時間に相当するデジタル放送信号１００を格納可能な容量の記憶メモリを有している。信号記録部１０は、解析基点設定部３と解析区間設定部４に対しては、一旦解析バッファ８に格納されたデジタル放送信号１００を出力すると共に、記録制御部７から与えられる時刻情報に基づき、その時刻に対応するデジタル放送信号１００を除外して記録媒体に記録する。この様な構成にすることにより、信号記録部１０の記録媒体が例えばCD-Rの様な一度しか記録できない媒体である場合に、不要なデータをあらかじめ除外して記録するので記録媒体の使用量を抑制することができ、長時間記録を可能とすることができる。

この様に、本発明の信号処理方法及び信号記録再生装置では、信号記録部１０がデジタル放送信号１００を連続して記録し、その記録された信号を基に、解析基点設定部３が番組本編とＣＭ部分の境界点を解析の基点として設定し、解析区間設定部４が前記基点から解析区間を決定する。さらに、重複判定部５がフレーム毎に特徴量を基にした類似判定を行ない、ＣＭ部分の前後の重複区間を判定する。その結果に基づき、記録制御部７が信号記録部１０に対して、重複区間の何れか一方及びＣＭ部分に相当するデジタル放送信号１００の削除方法を指定し、信号記録部１０はその指定に応じた削除方法によってデジタル放送信号１００の重複区間及びＣＭ部分を削除する。信号再生部２０は、信号記録部１０で記録されたデジタル放送信号１００を再生し、再生信号２００を生成して出力する。これにより、本発明の信号処理方法及び信号記録再生装置では、受信したデジタル放送の番組を記録する際、番組中に含まれるＣＭ部分の前後に重複するシーンが存在する場合には、該番組部分を除外して記録することができ、記録媒体の使用量を抑制して長時間記録を可能にすると共に、記録した番組を視聴する際には、重複シーンの一方及びＣＭ部分を省略した繋ぎ目の無い連続したシーンとして視聴することができる。

実施の形態４．
図１３は、本実施の形態である信号記録再生装置の構成を示すブロック図である。本実施の形態における信号記録再生装置は、ユーザ（放送番組の視聴者）が自己の判断によって重複シーンの処理を適用するか否かを決定し、ユーザの所定の操作を伴った場合のみ、重複シーンの記録方法を制御するように構成した。この点以外の構成は実施の形態３のものと同様であるので、以下においては重複する説明は省略する。

図１３に示すように、本実施の形態における信号記録再生装置は、ユーザが所定の操作を行なう操作入力部１６、ユーザの操作に応じた操作状況及び重複シーンの記録方法を表示する操作表示部１７、ユーザが特性の操作を行なった場合のみ記録制御部７における重複シーンの記録指定を許可する操作制御部１８を備えている。

次に、本実施の形態の信号記録再生装置の動作について説明する。ユーザは本発明の信号記録再生装置に対し、実施の形態３で示した重複シーンに対する処理を適用したい場合のみ、操作入力部１６に対して所定の操作を行なう。操作入力部１６に対する所定の操作によって、操作制御部１３は、記録制御部７に対して、削除指定情報の選択を許可する制御信号を与える。この場合、記録制御部７は、記録された信号を削除する方法を指定する出力情報を、信号記録部１０に対して出力する。信号記録部１０は、指定された削除方法によってデジタル放送信号１００を記録する。なお、操作表示部１７は、操作入力部１１を介して入力されたユーザの操作状況を表示すると共に、記録制御部７で決定される重複シーンの記録方法も表示する。

操作入力部１６に対して、ユーザが所定の操作を行なわない場合、操作制御部１８は、記録制御部７に対して、削除指定情報の選択を許可しない制御信号を与える。この場合、記録制御部７は、デジタル放送信号を削除しない出力情報のみを、信号記録部１０に対して出力する。信号記録部１０は、重複シーンが存在する場合であっても、該当するデジタル放送信号を削除せず、放送された番組の状態のままデジタル放送信号１００を記録する。

これにより、本実施の形態の信号記録再生装置では、デジタル放送の番組を記録する際、ユーザが所定の操作を行なった場合のみ、番組中に含まれるＣＭ部分の前後に存在する重複シーンを削除して記録することができ、ユーザが所定の操作を行なわない場合には、重複シーンを削除せず、放送された番組の状態のままデジタル放送信号１００を記録することができる。

実施の形態５．
上記で説明した信号処理方法及び信号記録再生装置では、重複区間を検出する重複判定部５において、圧縮ストリーム形式のデジタル放送信号を復号し、得られた再生信号を解析して特徴量を基にフレーム間で類似判定を行い重複区間を決定する構成にしていたが、本実施の形態では、圧縮ストリーム形式のデジタル放送信号を復号せず、圧縮ストリームを構成するパラメータ情報から直接類似性判定を行なうことが可能な構成にした。図１４は、本発明の実施の形態５である信号記録再生装置の重複判定部５０の構成を示すブロック図である。重複判定部５０は実施の形態１及び実施の形態３における重複判定部５に相当するもので、重複判定部５０以外の構成については、実施の形態１及び実施の形態３の構成と同様であるので、以下においては説明を省略する。

圧縮ストリーム形式であるデジタル放送信号に適用される音声符号化方式として、ここでは日本国内のデジタル放送における音声符号化方式に採用されたMPEG-2 AAC方式を例として挙げる。しかし、本発明に適用できる音声符号化方式はこれに限定されるものではない。MPEG-2 AAC方式では、主に図１５に示すようなパラメータ情報によって１つの符号化フレームの圧縮ストリームを構成している。ヘッダ部には、圧縮方式の種別や圧縮前の音声信号の情報（サンプリング周波数やチャネル数等）が含まれている。セクションデータ部は、スペクトルデータの符号化に用いるハフマンコードブックの情報である。スケールファクタ部は、スペクトルデータの量子化の際のスケーリング係数の情報である。スケーリング係数は周波数軸上でｍ個（ｍは自然数）の帯域に区分された各帯域区分毎に存在し、その帯域区分に含まれるスペクトルデータの振幅の大きさの相対的な関係を表している。これは実施の形態１で述べた音声情報の特徴量の一例として挙げた周波数解析結果と同様に扱うことができる。スペクトルデータ部は、ハフマンコードを用いて符号化されたスペクトルデータに関わる情報である。

ストリーム解析部５４は、圧縮ストリーム形式の音声情報に対して、符号化フレーム毎にストリームの文法に基づいてパラメータ情報の分離のみを行ない、スケールファクタ部の情報を抽出する。類似フレーム判定部５２は、ストリーム解析部５４から得られるｍ個の帯域区分におけるスケーリング係数をｍ次元のベクトルとして扱い、類似性判定基準に基づきフレーム間の類似性判定を行なう。その判定の方法は実施の形態１で述べた方法を適用する。続いて、重複区間決定部５３は、類似フレーム判定部５２の判定結果を基に類似性と判断されたフレームの時間的な連続性を調べ、最終的に重複区間を決定する。

以上の様に、重複判定部５０は、ストリーム解析部５４において抽出されたスケーリング係数を用いて、類似フレーム判定部５２において類似性判定基準を計算し、当該フレーム間の類似性を判定し、重複区間決定部５３において複数フレームに渡って類似フレームが存在するかどうかを判定して、重複区間を決定することができる。重複判定部５０は、この重複区間の時間情報、つまり２つの重複区間ＳＡ及びＳＢの始点と終点の時間情報を出力する。

この様な、重複判定部５０を持つ構成では、圧縮ストリームを完全に復号することなく、フレーム間の類似性判定を行い重複区間を決定することができるので、信号処理方法においては演算量が少なく、また信号記録再生装置においては装置規模を小さくすることができる。なお、上記ストリーム解析部５４の動作は、信号再生部２０で行なう復号処理の一部として構成されても同様の機能及び効果を得ることができる。

なお、上述の実施の形態１乃至３における信号記録再生装置の信号記録再生処理は、いずれもコンピュータ・プログラム化することができるので、コンピュータにより実行可能な記録媒体にて本発明の信号記録再生方法を提供することも可能である。ここで言うところの記録媒体とは、フロッピー(登録商標)ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、光磁気ディスク、及びリムーバブル・ハードディスクなどである。

また、上述の実施の形態１乃至３における信号記録再生装置の説明では、音声情報に基づき重複区間を決定する方法について述べたが、映像情報を用いても良く、また、これらを組み合わせても本発明の重複区間決定方法に適用できることは言うまでもない。

本発明は放送番組途中にコマーシャルメッセージを含むテレビジョンやラジオの商業放送を記録再生するＤＶＤ（Digital Versatile Disc）プレーヤ／レコーダやＨＤＤ(Hard Disk Drive)プレーヤおよびVTR（Video Tape Recorder）やTR（Tape Recorder）などに適用される。

本発明の実施の形態１における信号記録再生装置の構成を示すブロック図である。 解析基点設定部により設定された解析基点の説明図である。 解析区間設定部で設定する解析対象区間設定の説明図である。 解析区間設定部で設定する重複区間を考慮した解析区間の説明図である。 解析基点設定部で設定した基点と、解析区間設定部で設定した解析区間の関係を示す説明図である。 実施の形態１における重複判定部の構成を示すブロック図である。 解析区間と解析フレーム及び解析フレームの特徴量の関係を示す説明図である。 重複判定部の処理の流れを説明するフローチャートである。 同一シーンによる重複区間の連続類似フレーム説明図である。 本発明の実施の形態２における信号記録再生装置の構成を示すブロック図である。 本発明の実施の形態３における信号記録再生装置の構成を示すブロック図である。 実施の形態３の信号記録再生装置における他の構成例を示すブロック図である。 本発明の実施の形態４における信号記録再生装置の構成を示すブロック図である。 本発明の実施の形態５である信号記録再生装置における重複判定部の構成を示すブロック図である。 MPEG-2 AAC方式による音声圧縮ストリーム構造の説明図である。 番組本編とＣＭ部分で構成される放送番組の説明図である。

符号の説明

１、１０；信号記録部、２、２０；信号再生部、３；解析基点設定部、４；解析区間設定部、５、５０；重複判定部、６；再生制御部、７；記録制御部、８；解析バッファ、１１、１６；操作入力部、１２、１７；操作表示部、１３、１８；操作制御部、５１；特徴量抽出部、５２；類似フレーム判定部、５３；重複区間決定部、５４；ストリーム解析部、１００；デジタル放送信号、２００；再生信号。

Claims (12)

1. 与えられた放送信号を解析して放送番組の重複シーンを検出する方法であって、
   上記放送信号を記録媒体に記録する信号記録工程と、
   上記記録媒体に記録された放送信号を読み出し、上記放送信号の解析対象とする区間の基点を設定する解析基点設定工程と、
   上記の基点を基準とした解析対象区間を設定する解析区間設定工程と、
   上記解析対象区間とこの解析対象区間に連続する所定区間の信号を連続するフレームに区分し、区分されたフレーム毎に放送信号の特徴量を抽出する特徴量抽出工程と、
   上記特徴量を基に解析対象区間のフレームと解析対象区間に連続する所定区間のフレームとの間の類似性を判定する類似フレーム判定工程と、
   上記類似性の判定結果から、番組の重複シーンの区間を検出する重複区間決定工程と
   を備えることを特徴とする信号処理方法。
2. 上記重複区間決定工程で検出された重複シーン区間の再生方法を指定する再生制御工程と、
   上記再生方法に従って記録手段に記録された信号を再生する信号再生工程とを
   さらに備えることを特徴とする請求項１記載の信号処理方法。
3. 上記重複区間決定工程で検出された重複シーン区間の記録方法を指定する記録制御工程と、
   上記記録制御工程の記録方法に従って上記記録媒体の重複シーン区間を記録し直す信号再記録工程とを
   さらに備えることを特徴とする請求項１記載の信号処理方法。
4. 与えられた放送信号を解析して放送番組の重複シーンの再生制御を行なう信号記録再生装置であって、
   上記放送信号を記録する信号記録手段と、
   上記放送信号の解析対象とする区間の基点を設定する解析基点設定手段と、
   上記の基点を基準とした解析対象区間を設定する解析区間設定手段と、
   上記解析対象区間とこの解析対象区間に連続する所定区間の信号を連続する複数のフレームに区分し、区分されたフレーム毎に放送信号の特徴量を抽出する特徴量抽出手段と、
   上記特徴量を基に解析対象区間のフレームと解析対象区間に連続する所定区間のフレームとの間の類似性を判定する類似フレーム判定手段と、
   上記類似性の判定結果から、番組の重複シーンの区間を検出する重複区間決定手段と、
   上記重複シーンの区間の再生方法を指定する再生制御手段と、
   上記再生方法に従って信号記録手段に記録された信号を再生する信号再生手段とを
   備えることを特徴とする信号記録再生装置。
5. 上記再生制御手段は、ユーザが所定操作を行なった場合にのみ上記重複シーンの区間の再生方法を指定する構成にされたことを特徴とする請求項４記載の信号記録再生装置。
6. 与えられた放送信号を解析して放送番組の重複シーンの記録制御を行なう信号記録再生装置であって、
   上記放送信号を記録する信号記録手段と、
   上記放送信号の解析対象とする区間の基点を設定する解析基点設定手段と、
   上記の基点を基準とした解析対象区間を設定する解析区間設定手段と、
   上記解析対象区間とこの解析対象区間に連続する所定区間の信号を連続する複数のフレームに区分し、区分されたフレーム毎に放送信号の特徴量を抽出する特徴量抽出手段と、
   上記特徴量を基に解析対象区間のフレームと解析対象区間に連続する所定区間のフレームとの間の類似性を判定する類似フレーム判定手段と、
   上記類似性の判定結果から、番組の重複シーンの区間を検出する重複区間決定手段と、
   上記重複シーンの区間の記録方法を制御する記録制御手段と、
   上記記録された放送信号を再生する信号再生手段とを備え、
   上記信号記録手段は、上記記録制御手段の記録方法に従って重複シーン区間を記録し直すことを特徴とする信号記録再生装置。
7. 上記記録制御手段は、ユーザが所定の操作を行なった場合にのみ上記重複シーンの区間の記録方法を制御する構成にされたことを特徴とする請求項６記載の信号記録再生装置。
8. 上記解析基点設定手段は、解析対象区間の基点をコマーシャル部分を検出することによって決定する構成にされたことを特徴とする請求項４乃至７の何れかに記載の信号記録再生装置。
9. 上記解析区間設定手段は、解析対象区間を番組の構成時間情報を基に決定する構成にされたことを特徴とする請求項４乃至８の何れかに記載の信号記録再生装置。
10. 上記特徴量抽出手段は、特徴量として圧縮ストリームを構成する情報を抽出して用いる構成にされたことを特徴とする請求項４乃至９の何れかに記載の信号記録再生装置。
11. 上記類似フレーム判定手段はフレーム間の類似性の判定結果を基に、類似と判断されるフレームが一定以上連続する場合に解析対象区間を再設定する構成にされたことを特徴とする請求項４乃至１０の何れかに記載の信号記録再生装置。
12. 上記放送信号は放送された音響信号であり、上記特徴量抽出手段で抽出する特徴量は音響信号の特徴量であることを特徴とする請求項４乃至１１の何れかに記載の信号記録再生装置。

Images