以下、この発明による特定条件区間検出装置および特定条件区間検出方法の実施形態を、図を参照しながら説明する。
以下に説明する実施形態は、テレビ放送番組の映像信号および音声信号から、当該放送番組のCM区間の開始点、CM区間の終了点、CM区間後の番組本編の開始点、番組本編の終了後にCMが続く場合の番組本編終了点などを検出する場合に、この発明を適用したものである。
実施形態の特定条件区間検出装置は、テレビ放送番組の映像信号および音声信号を記録する記録再生装置の一例に搭載される。この例の記録再生装置は、テレビ放送番組の映像信号および音声信号を記録媒体に記録し、また、この記録媒体から再生する機能を備えると共に、搭載されている実施形態の特定条件区間検出装置により、記録するテレビ放送番組の映像信号および音声信号または再生した放送番組の映像信号および音声信号から特定条件区間を検出し、その検出出力から、当該放送番組のCM区間の開始点、終了点、CM区間後の番組本編の開始点、番組本編の終了後にCMが続く場合の番組本編終了点などを、特徴点(あるいは特徴位置)として検出する。
そして、この実施形態では、検出した特徴点のデータは、ユーザーの記録指示に応じて、記録放送番組についての付加情報ファイルとして記録媒体の所定記録領域に記録するようにする。
また、この例の記録再生装置においては、検出した特徴点に基づいて、再生時における特殊再生モードの再生区間の開始点あるいは終了点からなるプレイリストを生成し、生成したプレイリストのデータを、記録放送番組についての付加情報ファイルとして記録媒体に記録するようにする。なお、検出した特徴点から、放送番組の開始点や終了点、あるいはCMの開始点などをチャプター点として生成し、生成したチャプター点のデータリストを、記録媒体に記録するようにしてもよい。
プレイリストデータは、特殊再生動作モードの場合における再生信号処理に用いられる再生位置情報データとされる。特殊再生動作モードは、プレイリストを用いるいわゆるダイジェスト再生(要約再生)、スキップ再生、所定時点の静止画表示(サムネール表示を含む)、チャプター設定点における静止画表示(サムネール表示を含む)などの、通常再生モード以外で、ユーザーが、記録した放送番組の映像および音声情報を再生して視聴することができるように、データ処理を行なう動作モードである。
例えば、CM区間だけを再生する場合には、CMの開始点(あるいは開始位置)、終了点(あるいは終了位置)のデータがプレイリストデータとなるものである。また、番組本編だけを再生する場合には、番組本編の開始点、終了点を検出して、当該本編の開始点、終了点のデータをプレイリストデータとすることができる。
CM区間終了後の番組本編の開始点や、CM開始前の番組本編終了点などは、CM開始点、CM終了点から求めることができる。よって、この実施形態では、CM開始点、終了点を特徴点として検出するようにするが、別の観点から見れば、CM開始前の番組本編終了点、CM終了後の番組本編開始点を、それぞれ、検出すべき特徴点と考えることもできる。
プレイリストのデータをテキストデータとして表示してみた場合に、例えば、図3に示すようなものとなる。このプレイリストのデータは、前述したように、放送番組の記録情報に対応して、付加情報ファイルとして記録媒体の所定記録領域に記録される。
図3の例では、後述するように、実施形態の特定条件区間検出処理部で検出された特定条件区間に基づいて、CM開始点、CM終了点が検出され、当該検出されたCM開始点およびCM終了点から番組本編の開始点および終了点からなる特徴点が検出される。そして、検出された番組本編の開始点および終了点の特徴点データからプレイリストデータが生成され、記録される。
例えば、図3の例ではフィールド番号を、番組本編の開始点および終了点の位置情報データとしている。そして、図3の例においては、(a)列のデータは、番組本編の開始点の位置情報データであり、(b)列のデータは、番組本編の終了点の位置情報データとされている。例えば、図3で、最初のデータは、100〜700フィールドとなっており、この区間が番組本編区間であることを示している。
なお、図3の例ではプレイリストデータとしての位置情報データやチャプター点の位置情報データとしてフィールド番号を用いているが、それらの位置情報データとしては、その他の位置情報データでも良く、例えば、その放送番組の記録開始からの時間データなどでも良い。
ダイジェスト再生モード、スキップ再生モード、チャプター点サムネール表示モードなどの特殊再生モード時には、上記プレイリストデータやチャプター点のデータを読み出して、各特殊再生モードに応じた所定の信号処理、所定の動作を行なう。
例えば、ダイジェスト再生モードでは、図3の(a)列と(b)列のデータから、当該(a)−(b)間の区間だけを再生することで、所定の短時間再生を行なうことができる。図3の例の場合には、100〜700フィールド、900〜1500フィールド、2000〜2600フィールド、・・・、 などの区間だけが抽出されてスキップ再生され、それ以外の区間は再生処理を行なわない。このダイジェスト再生モードを実行することで、記録されている全部の所定区間を再生する通常の再生モードよりも短時間で再生を行なうことができる。
なお、プレイリストデータとして、図3の(a)列の番組本編の開始点の位置情報データだけを記録媒体に記録するようにしてもよい。その場合には、例えば、チャプター点のサムネール表示モードでは、図3の(a)列の位置情報データに対応する位置の所定番組開始部分の画像を、サムネール信号処理してサムネール表示することができる。
なお、この例の記録再生装置では、プレイリストのデータのみではなく、前述したように、放送番組の映像信号および音声信号から検出された特定条件区間のデータに基づいて検出された特徴点のデータ(特徴点抽出データ)も、記録される放送番組に対応付けられて、記録することができるようにされている。これは、後で、プレイリストの再生成をする場合などを考慮したものである。
なお、この例の記録再生装置では、特徴点データの記録媒体への記録の場合と同様に、プレイリストのデータを記録媒体に記録するか否かも、ユーザーが選択設定することができるようにされている。
[検出対象の特定条件区間と、CM区間の検出]
この実施形態における記録再生装置は、日本と米国のテレビ放送番組のCM開始点、CM終了点、あるいは、CM区間終了後の番組本編の開始点、CM開始前の番組本編終了位置を検出するように構成される。
日本のテレビ放送番組のCM開始点、CM終了点は、前述したように、対応する位置に、番組音声に複数フィールドに渡る無音区間が存在するという特徴から、先ず、当該無音区間をテレビ音声信号から検出し、その検出出力から検出することが可能である。すなわち、テレビ音声信号から無音区間を検出し、検出した無音区間の間隔が、CM区間の特徴である15秒の整数倍となっているところを判別し、その判別結果からCM開始点、CM終了点を検出することができる。
一方、米国のテレビ放送番組のCM開始点、CM終了点は、前述したように、対応する位置に、映像信号に複数フィールドに渡る黒区間が存在するという特徴から、先ず、当該黒区間をテレビ映像信号から検出することにより検出することが可能となる。すなわち、テレビ映像信号から黒区間を検出し、検出した無音区間の間隔が、CM区間の特徴である15秒の整数倍となっているところを判別し、その判別結果からCM開始点、CM終了点を検出することができる。
なお、米国のテレビ放送の場合、CM開始点およびCM終了点に対応する位置の黒区間に対しては、テレビ音声の無音区間が所定の関係で存在するという特徴が確かめられたので、この実施形態では、米国のテレビ放送番組のCM開始点、CM終了点の検出については、テレビ映像信号の黒区間の検出出力と、テレビ音声信号の無音区間の検出出力との両方を使用するようにする。
以上のことから、この実施形態においては、特定条件区間検出処理部においては、音声信号の無音区間と、映像信号の黒区間とを、特定条件区間として検出するようにする。
そして、この例の記録再生装置は、特定条件区間検出処理部からの特定条件区間の検出出力、すなわち、無音区間の検出出力および黒区間の検出出力から、上述した特徴点としてのCM開始点、CM終了点などを検出するようにする。
この場合において、特定条件区間検出処理部での特定条件区間の検出対象となるテレビ放送番組が、日本のテレビ放送番組か、米国のテレビ放送番組かが、予め、ユーザーが分かっているときには、ユーザーが、その旨をこの例の記録再生装置に通知(指示入力)をする。
記録再生装置は、ユーザーからのこの通知に基づき、検出対象が日本のテレビ放送番組であるときには、特定条件区間検出処置部からの無音区間の検出出力を用いて、上述した特徴点としてのCM開始点、CM終了点などを検出する。また、検出対象が米国のテレビ放送番組であるときには、記録再生装置は、特定条件区間検出処置部からの黒区間の検出出力を用いて、上述した特徴点としてのCM開始点、CM終了点などを検出する。
この例の記録再生装置は、ユーザーからのテレビ放送番組が、日本と米国のいずれのものかの指示入力がない場合には、特定条件区間検出処理部からの無音区間の検出出力および黒区間の検出出力を用いて、上述した特徴点としてのCM開始点、CM終了点などを検出すると共に、その検出された特徴点の特徴から、検出対象が日本のテレビ放送番組か、米国のテレビ放送番組かを判別する機能を備えている。すなわち、この例の記録再生装置は、特徴点は、無音区間の未から検出されたか、あるいは、黒区間と無音区間とから検出されたかにより、検出対象が日本のテレビ放送番組か、米国のテレビ放送番組かを判別する。
[特徴点検出のための特定条件区間についての説明]
(1)日本のテレビ放送番組の場合(図4)
日本のテレビ放送番組についてのCM検出の方法の例については、前述の特許文献2、特許文献3などに記載されているので、ここでは簡単に説明することとする。
図4は、日本のテレビ放送番組のCM区間と番組本編と、テレビ音声信号との関係を示すものである。この図4に示されるように、日本の放送番組においては、CMの開始点および終了点では、複数フィールドに渡る区間長の無音区間m1、m2、m3、・・・が存在することが分かっている。また、CM区間の時間間隔t1、t2、・・・は、例えば15秒の整数倍となることが知られている。
ここで、特徴点の位置は、例えば、無音区間m1の場合であれば、当該無音区間m1の区間内の所定点、所定位置と考えることができる。特徴点の位置は、無音区間m1内であればどこでも良いが、1つの位置である。図4の場合には、特徴点の位置は、Pm1、Pm3、Pm4、Pm8とされている。
特徴区間としてのCM区間は、図4の例の場合では、CMの開始点から終了点までの区間で、区間m1からm3、細かく言う場合には、図4の位置Pm1から位置Pm3までの区間とすることができる。
以上のことを踏まえて、この例の記録再生装置では、先ず、テレビ放送番組の音声信号について音声信号レベルの検出を行ない、検出した音声信号レベルと、比較用基準レベルである所定閾値レベルとを比較して、所定閾値レベルより小さい音声信号レベルの区間は、無音区間と判定とすることで、無音区間検出を行なう。
そして、この例の記録再生装置は、無音区間検出した各々の無音区間のデータを記憶手段に一時的に記憶しておき、検出した隣接する無音区間同士の時間間隔を、例えばカウンタなどの信号処理により計測し、その時間間隔(CM区間の時間長に対応)が15秒の整数倍の場合は、その時間計測の基準とした無音区間は、CMの開始点または終了点と判定するようにする。
図6に、テレビ放送番組におけるCM区間の時間長の分布特性の例を示す。この分布特性から分かるように、CM区間の時間長は、15秒、30秒、60秒、90秒のところに集中して分布しており、15秒の整数倍である。
そして、CM区間の最長時間長Tcmaxは、おおよそ90秒くらいと想定できるが、ある無音区間の検出時点Pmi(i=1,2,・・・)を考えたとき、この検出時点Pmiよりも時間的に前方向において、前記CM区間の最長時間長Tcmax以内に、他の無音区間が検出されない場合には、当該無音区間の検出時点Pmiは、CMの開始点と判定できる。また、検出時点Pmiよりも時間的に後方向において、前記CM区間の最長時間長Tcmax以内に、他の無音区間が検出されない場合には、当該無音区間の検出時点Pmiは、CMの終了点と判定できる。
なお、図6に示したCMの分布特性は、後で説明する米国のテレビ放送番組の場合にも類似した特性であることが、実際の米国のテレビ放送番組を調査して確認された。したがって、この実施形態では、後で説明する米国のテレビ放送番組におけるCM区間の検出処理においても、図6の分布特性を考慮している。
(2)米国のテレビ放送番組の場合(図5)
前述したように、米国で放送されているテレビ放送番組においては、CM開始点およびCM終了点で、複数フィールドの区間に渡る黒区間が存在することが知られている。
図5は、米国のテレビ放送番組のCM区間と番組本編と、テレビ映像信号およびテレビ音声信号との関係を示すものである。この図5に示されるように、米国の放送番組においては、CMの開始点および終了点では、複数フィールド分の区間長の黒区間n1、n2、n3、・・・が存在する。また、図5に示すように、CM開始点および終了点の黒区間に対応して、無音区間k1、k2、k3、・・・が存在することが分かっている。
ここで、図5では、CM開始点および終了点の黒区間と、これに対応する無音区間とは、時間的に一致するように示したが、実際的には、CM開始点および終了点の黒区間と、これに対応する無音区間とは、必ずしも一致するとは限らない。
図7に、CM開始点および終了点の黒区間と、これに対応する無音区間との時間的対応関係の幾つかのパターンを示す。この図7は、例えば、CM開始点の黒区間n1と、対応する無音区間k1との時間的対応関係を示すもので、図7(1)〜図7(7)の場合が考えられる。
図7(1)の場合は、黒区間n1と無音区間k1が一致する場合である。
図7(2)の場合は、黒区間n1が無音区間k1を含む場合である。
図7(3)の場合は、黒区間n1と無音区間k1が一部重複するが、黒区間n1の時点的に前方側に、無音区間k1がずれている場合である。
図7(4)の場合は、黒区間n1と無音区間k1が一部重複するが、黒区間n1の時点的に後方側に、無音区間k1がずれている場合である。
図7(5)の場合は、黒区間n1が無音区間k1に含まれる場合である。
図7(6)の場合は、黒区間n1と無音区間k1とは時間的に重複せず、かつ、黒区間n1の前方側の所定時間長以内に無音区間k1が位置する場合である。この場合、無音区間k1の少なくとも終了点が、所定時間長以内にあればよいとすることもできる。
図7(7)の場合は、黒区間n1と無音区間k1とは時間的に重複せず、かつ、黒区間n1の後方側の所定時間長以内に無音区間k1が位置する場合である。この場合、無音区間k1の少なくとも開始点が、所定時間長以内にあればよいとすることもできる。
上記のことを考慮して、この実施形態では、米国で放送されているテレビ放送番組のCM区間は、テレビ映像信号から特定条件区間としての黒区間を検出すると共に、テレビ音声信号から無音区間を検出し、検出した黒区間内に無音区間があるか、または黒区間の所定の近傍区間内に無音区間があるかにより検出判定するようにする。
[記録再生装置のハードウエア構成例]
図1は、実施形態の特定条件区間検出処理装置が用いられた記録再生装置の一例を示すブロックである。この図1は、この例の記録再生装置の主として記録系の部分を詳細に示すブロックであり、この例の記録再生装置の再生系の詳細は、図2のブロック図に示している。
図1および図2において、システムコントローラ部30は、マイクロコンピュータを備えて構成されるもので、この例の記録再生装置における各種モードの制御およびその他の動作制御を行なう。
このシステムコントローラ部30には、例えばリモートコマンダ32を用いた、あるいは、記録再生装置の操作ボタンを通じた、ユーザーの操作入力に応じて操作入力情報が、ユーザー入力インターフェース部31を通じて供給される。システムコントローラ部30は、入力された操作入力情報を判別し、当該操作入力情報に応じた処理を実行する。
システムコントローラ部30には、表示処理部33を通じて表示部34が接続されており、この表示部34に、ユーザーの操作入力に際して参考となる表示情報が表示される。ユーザーは、この表示部33の表示を見ながら、種々の操作入力をする。
<記録系処理>
先ず、図1を参照しながら、この例の記録再生装置の記録系について説明する。
ユーザーが、例えばリモートコマンダ32を用いて、あるいは、記録再生装置の操作ボタンを通じて、記録指示のコマンド入力をすると、その操作情報が、ユーザーインターフェース部31を通じてシステムコントローラ部30に供給され、このシステムコントローラ部30による制御の下で、記録再生装置は、以下のような記録処理を行なう。
受信部2は、日本のテレビ放送または米国のテレビ放送のいずれか一方の受信用として、テレビチューナ、中間周波回路および検波回路を備える。
前述の記録指示のコマンド入力に先立ち、ユーザーは、リモートコマンダ32を用いて、あるいは、記録再生装置の操作ボタンを通じて選局入力操作をする。すると、その操作情報が、ユーザーインターフェース部31を通じてシステムコントローラ部30に供給され、システムコントローラ部30は、ユーザーの選局操作に応じた放送チャンネルを選択するようにするための選局制御情報を受信部2に供給する。この選局の際、システムコントローラ部30は、表示処理部33を通じて表示部34に選局中の放送チャンネルの表示を行なうので、ユーザーは、この表示部33の表示を見ながら、選局操作をする。
受信部2は、この選局制御情報を受けて、受信アンテナ1で受信したテレビ放送電波から、ユーザーが選局した放送チャンネルの放送番組を選択抽出し、当該選択抽出した放送番組の音声信号および映像信号を出力する。
受信部2で選択抽出されたテレビ放送番組の音声信号は、音声A/D(Analog to Digital)変換処理部3で、所定のサンプリング周波数、所定の量子化ビット数で、A/D変換信号処理が行われ、音声エンコード処理部4に入力される。
音声エンコード処理部4では、例えばMPEGオーディオやAC−3オーディオ(ドルビーAC−3、またはAudio Code Number 3)などの所定の帯域圧縮方式でデータ圧縮処理が行われる。そして、データ圧縮処理された音声データは、多重化処理部5に供給される。
また、受信部2で選択抽出されたテレビ放送番組の映像信号は、映像A/D変換処理部8で、所定のサンプリング周波数、所定の量子化ビット数で、A/D変換信号処理が行われ、映像エンコード処理部9に入力される。
映像エンコード処理部9では、MPEGビデオやウェーブレット変換などの所定の帯域圧縮方式でデータ圧縮処理が行われる。そして、データ圧縮処理された映像データは、多重化処理部5に供給されて、圧縮音声データと多重化され、記録処理部6を通じて内蔵の記録媒体7に記録される。また、ユーザーが内蔵の記録媒体7ではなく、着脱可能な記録媒体11への記録を指示している場合には、記録処理部7は、システムコントローラ部30からの制御信号に応じて、多重化処理部5からの多重化データを、記録媒体処理部12を通じて記録媒体11に記録するようにする。
このとき、記録される放送番組には識別情報(記録番組識別情報という)が付与され、圧縮映像データおよび圧縮音声データは、この記録番組識別情報が付加されて記録媒体7および記録媒体11に記録される。この記録番組識別情報は、再生時の検索用に用いられる。
ここで、この例では、記録媒体7は、ハードディスク装置で構成され、また、記録媒体11は、DVD(Digital Versatile Disc)とされている。システムコントローラ部30は、マイクロコンピュータが用いられて構成されている。
図1において、特徴点抽出処理部10は、この発明による特定条件区間検出処理装置の実施形態としての特定条件区間検出部101と、この特定条件区間検出部101の検出出力に基づいて特徴点の検出をする特徴点抽出部102とを含み、この例では、CMの開始点および終了点と考えられる特定条件区間から特徴点を検出する。
この特徴点抽出処理部10の特定条件区間検出部101には、音声信号についての特定条件区間の検出処理を行なうため、この例では、音声エンコード処理部4からの、後述するように、音声データ圧縮処理過程の途中で得られるデータが入力される。
音声A/D変換処理部3からのデジタル音声データを、この特定条件区間検出部101に供給して、音声信号についての特定条件区間の検出処理を行なうことも、もちろんできるが、この例では、後述するように、再生信号についても特定条件区間検出を行ない、特徴点およびチャプター点の抽出を行なうことを考慮して、音声データ圧縮処理過程の途中で得られるデータを用いて特定条件区間の検出を行なうようにする。
このようにすれば、再生信号について、特定条件区間検出を行なう際に、再生信号を完全に圧縮デコードして、元のデジタル音声データに戻す必要がなく、圧縮デコード処理の途中のデータを用いて特定条件区間検出を行なうことができ、検出処理が早くなるというメリットがある。
同様にして、この実施形態では、映像信号についての特定条件区間検出処理を行なうため、この例では、映像エンコード処理部9からの、後述するように、映像データ圧縮処理過程の途中で得られるデータが、特徴点抽出処理部10の特定条件区間検出部101に入力される。
映像A/D変換処理部3からのデジタル映像データを、この特定条件区間検出部101に供給して、映像信号についての特定条件区間の検出処理を行なうことも、もちろんできるが、音声信号についての特定条件区間検出処理の場合と同様にして、再生信号からの特定条件区間検出処理を高速化するため、この例では、特定条件区間検出処理のために、映像データ圧縮処理過程の途中で得られるデータが用いられる。
特徴点抽出処理部10における特定条件区間の検出処理および特徴点検出処理の詳細については、後述するが、この実施形態では、記録モードにおいて、また、再生モードの必要な場合において、逐次、音声信号および映像信号のそれぞれについて、特定条件区間検出部101で、特定条件区間が検出され、検出された特定条件区間の検出出力に基づいて、特徴点抽出部102で、特徴点と判別される特定条件区間が検出され、その検出結果としての特徴点抽出データが出力される。この例の場合、この特徴点抽出データは、特徴点を含むと判別される特定条件区間の開始点および終了点の位置情報である。
そして、特徴点抽出処理部10からの特徴点抽出データは、記録処理部6に供給され、この記録処理部6により記録処理がなされて、記録媒体7の所定の記録領域、この例では、付加情報ファイルの領域に記録される。あるいは、特徴点抽出処理部10で得られた特徴点抽出データは、記録処理部6から記録媒体処理部12に供給され、この記録媒体処理部12で記録処理がなされて、記録媒体11の所定の記録領域、この例では、その付加情報ファイルの領域に記録される。
この場合、特徴点抽出データの付加情報ファイルは、記録媒体7または11に記録される、対応する放送番組の映像データおよび音声データとは、前述した記録番組識別情報により対応付けられて、前記付加情報ファイルの領域に記録される。
また、特徴点抽出データは、この実施の形態では、例えば、記録される放送番組のフィールド番号が用いられることにより、当該記録される放送番組の一塊について、その映像データおよび音声データのフィールド位置と対応付けられているものである。
なお、特徴点抽出処理部10からの特徴点抽出データは、付加情報ファイルとして記録するのではなく、多重化処理部5に供給し、圧縮エンコード処理された映像データおよび音声データに多重化して、記録媒体7または記録媒体11の所定の記録領域に記録するようにしてもよい。
この特徴点抽出データは、放送番組の記録時に、常に、圧縮エンコード処理された映像データおよび音声データと共に記録媒体に記録するようにしても良いが、この実施形態では、ユーザーが、ユーザー入力インターフェース部31を通じて、特徴点抽出データを記録媒体に記録するかどうかの指示入力をシステムコントローラ部30に入力することができるようにしている。そして、この指示入力を受けたシステムコントローラ部30が、その指示入力に応じて、特徴点抽出処理部10から多重化処理部5への特徴点抽出データの供給を制御するように構成されている。
また、特徴点抽出処理部10では、この例では、さらに、各種映像特定データおよび音声特性データと所定のパラメータデータとにより、所定のテロップ特徴データ(テロップ区間判定データ)、人物特徴データその他の画像特徴データ(画像特徴区間判定データ)、および話者音声特徴データ(話者音声判定データ)、拍手歓声特徴データ(拍手歓声判定データ)、その他の音声特徴データ(音声特徴区間判定データ)の各種特徴抽出処理が行われる。
また、この例の記録再生装置は、プレイリスト生成処理部14を備えている。このプレイリスト生成処理部14は、特徴点抽出処理部10で抽出された特徴点を含むと判定された特定条件区間のデータである特徴点抽出データを用いて、CM開始点、CM終了点あるいは番組本編開始点、番組本編終了点などの特徴点を判定し、その検出した特徴点からプレイリストを生成する。この例では、番組本編開始点、番組本編終了点の位置情報を、プレイリストデータとして生成する。
なお、このプレイリスト生成処理部14では、プレイリストデータのみではなく、前述したチャプター点サムネール表示モードで使用するチャプター点の位置情報も、生成して、記録媒体に記録させるようにしても良い。
ここで、このプレイリスト生成処理部14におけるプレイリストデータ生成は、この例では、以下のような、2系統の信号処理プロセス(信号処理過程)で行なわれる。そして、この例の記録再生装置では、プレイリスト生成処理部14で生成されたプレイリストデータを記録するか否かをユーザーが選択指定することができるように構成している。
ユーザーによりプレイリストデータを記録すると選択指定されているときには、いずれの処理過程で生成されたプレイリストデータも、この例では、付加情報ファイルとして、記録媒体7または記録媒体11の記録領域に記録される。
プレイリストデータ生成の第1の処理過程(a);
特徴点抽出処理部10からの特徴点データ(特徴点を含む判定された特定条件区間の情報)は、メモリ部13に一時蓄積される。プレイリスト生成処理部14は、このメモリ部13に蓄積された特徴点を含むと判定された特定条件区間の情報から、特徴点の検出を行ない、これに基づきプレイリストデータを生成する。
この第1の処理過程(a)の方法は、この実施形態では、特徴点抽出処理部10の出力である特徴点抽出データを記録媒体7または記録媒体11に記録しない場合に用いられる。しかし、この第1の処理過程(a)の方法は、特徴点抽出データを記録媒体7または記録媒体11に記録する場合にも用いることができる。
なお、メモリ部13は、システムコントローラ部30に内蔵されているメモリのメモリ領域を用いることもできる。
この第1の処理過程(a)の場合、例えば、記録再生装置は、所定時間長tの放送番組を記録することを考えたとき、その時間長tの放送番組の映像データおよび音声データの記録をしながら、特徴点抽出処理部10からの特徴点検出出力データをメモリ部13に蓄積する。したがって、時間長tの放送番組の映像データおよび音声データの記録が終了したら、その放送番組におけるすべての特徴点を含むと判定された特定条件区間の位置情報がメモリ部13に集積される。
プレイリスト生成処理部14は、時間長tの放送番組の映像データおよび音声データの記録を終了した時点で、時間長tのなかで、CM開始点、CM終了点などの特徴点を、特徴点データから検出する処理を開始し、特徴点の検出結果からプレイリストデータ生成処理を行なう。
そして、生成されたプレイリストデータは、プレイリスト生成処理部14から記録処理部6に供給され、この記録処理部6により記録処理がなされて、記録媒体7の付加情報ファイルの記録領域に記録される。あるいは、プレイリスト生成処理部14で生成されたプレイリストデータは、記録処理部6から記録媒体処理部12に供給され、この記録媒体処理部12で記録処理がなされて、記録媒体11の付加情報ファイルの記録領域に記録される。
この場合、プレイリストデータは、前述したように、記録される放送番組のフィールド番号が用いられることにより、当該記録される放送番組の一塊について、その映像データおよび音声データと対応付けられているものである。また、このプレイリストデータは、記録媒体7あるいは記録媒体11において、前述した記録番組識別情報などにより、対応する放送番組の圧縮映像データおよび圧縮音声データの記録データと、対応付けられた状態で、付加情報ファイルとして記録される。
プレイリストデータ生成の第2の処理過程(b);
特徴点抽出処理部10からの特徴点抽出データは、当該特徴点を含むと判定された特定条件区間が検出される毎に、記録処理部6に供給され、記録媒体7の付加情報ファイルの領域において、対応する圧縮映像データおよび圧縮音声データとは、例えば記録番組識別情報により対応付けられて記録される。
そして、この第2の処理過程(b)においては、放送番組の映像データおよび音声データの記録が終了したとき、記録媒体7あるいは記録媒体11から特徴点抽出データを、再生処理部21を通じて再生し、プレイリスト生成処理部14に供給する。プレイリスト生成処理部14は、この再生処理部21より得た特徴点抽出データからプレイリストデータを生成する。
そして、生成したプレイリストデータは、プレイリスト生成処理部14から記録処理部6に供給され、この記録処理部6により記録処理がなされて、記録媒体7の付加情報ファイルの記録領域に記録される。あるいは、プレイリスト生成処理部14で生成されたプレイリストデータは、記録処理部6から記録媒体処理部12に供給され、この記録媒体処理部12で記録処理がなされて、記録媒体11の付加情報ファイルの記録領域に記録される。
この場合、プレイリストデータは、前述したように、記録される放送番組のフィールド番号が用いられることにより、当該記録される放送番組の一塊について、その映像データおよび音声データと対応付けられているものである。また、このプレイリストデータは、記録媒体7あるいは記録媒体11において、前述した記録番組識別情報により、対応する放送番組の圧縮映像データおよび圧縮音声データの記録データと、対応付けられた状態で、付加情報ファイルとして記録される。
この第2の処理過程(b)の方法は、特徴点抽出データを記録媒体7または記録媒体11に記録すると、ユーザーにより指示された場合にのみ用いることが可能である。
この実施形態では、この第2の処理過程(b)の方法においても、プレイリスト生成処理部14は、上記第1の処理過程(a)の方法の場合と同様に、所定時間長tの放送番組を記録した後、当該所定時間tの放送番組の記録を終了したことを検知して、付加情報ファイルに記録されている特徴点抽出データを再生して、プレイリストデータ生成処理を開始する。
なお、上述の実施形態においては、記録媒体7および記録媒体11に記録する付加情報ファイルとして、プレイリストデータと、特徴点抽出データとの両方が記録される状態が生じる。プレイリストデータが記録された場合には、特徴点抽出データは、記録媒体7および記録媒体11には記録しておく必要がないということも考えられるが、この実施形態では、プレイリストデータを修正するなど、データの生成を再度行なう場合もあることを考慮して、特徴点抽出データはそのまま記録しておくようにする。
プレイリストデータの修正等を考慮しない場合には、記録媒体7または記録媒体11にプレイリストデータを付加情報ファイルとして記録したときに、特徴点抽出データの付加情報ファイルを消去するようにしても良い。
前述したように、プレイリストデータは、記録された放送番組の映像データおよび音声データのうちの特徴点区間を抽出してスキップ再生するための、当該特徴点区間毎の再生開始点情報と再生終了点情報の対となるデータから構成され、例えば、特徴点区間毎の再生開始フレーム(またはフィールド)番号Fstartと、再生終了フレーム(フィールド)番号Fendとのデータ対などからなる。
このプレイリストデータを利用した動作モードとしては、記録した放送番組のうちの、ある部分の切り取り処理などの編集動作モード、記録内容の確認などのサムネール表示モードなど所定の動作モードも考えられ、そのような動作モードの場合には、上記開始フレームFstart の位置情報データを用いて、その位置に対応する画像をサムネール処理して、サムネール表示するようにする。
上述のように、プレイリストデータは、その記録した放送番組プログラムにおける、所定の必要な区間をスキップ再生することで、ダイジェスト再生(要約再生)を行なう処理のために使用することができるので、当該プレイリストデータとしては、上記のようなフレームデータ(フィールドデータ)の他に、タイムコードデータやMPEG圧縮フォーマットにおけるPTS(Presentation Time Stamp)、DTS(Decode Time Stamp)などのタイムスタンプデータを用いるようにしても良い。
なお、上述の第1の処理過程(a)および第2の処理過程(b)の説明では、プレイリスト生成処理部14は、時間長tの放送番組の映像データおよび音声データの記録を終了した時点から、プレイリストの生成処理を行なうようにした。
しかし、第1の処理過程(a)の場合には、プレイリスト生成処理部14は、時間長tの放送番組の映像データおよび音声データの記録と並行して、特徴点抽出処理部10の検出出力である特徴点抽出データを用いて、特徴点の検出を行ない、その検出結果に基づいてプレイリストデータを生成し、記録媒体7あるいは11の付加情報ファイルの領域に記録するようにすることもできる。
なお、プレイリストデータ生成処理部14は、上述のように、放送番組の映像および音声データの記録モード時において、放送番組情報の記録終了後に生成処理して、記録処理部6に供給するようにする場合だけに用いられるのではなく、後で説明する再生モードにおいても使用される。
例えば、記録媒体7あるいは記録媒体11に付加情報ファイルとして記録されている特徴点抽出データを用いて、プレイリストデータを生成する場合や、再生された映像および音声データから、特徴点抽出処理部10で特徴点を含む特定条件区間が検出されて特徴点抽出データが出力され、その特徴点抽出データをプレイリスト生成処理部14が受けてプレイリストデータを生成する場合にも、用いられるものである。
<再生系処理>
次に、図1および図2を参照しながら、この例の記録再生装置の再生系について説明する。
この例の記録再生装置は、通常再生モードの他、前述したような、プレイリストデータを用いて再生処理を実行する特殊再生モードを備えている。ユーザーは、リモートコマンダ32を用いて、あるいは、記録再生装置の操作ボタンを通じて、いずれかの再生モードの開始指示のコマンド入力をする。すると、その操作情報が、ユーザーインターフェース部31を通じてシステムコントローラ部30に供給され、このシステムコントローラ部30による制御の下で、記録再生装置は、以下のような再生処理を行なう。
(通常再生モード動作)
先ず、始めに通常再生モードの動作について説明する。
ユーザーが、記録媒体7あるいは記録媒体11からの通常再生モードによる再生指示を、例えばリモートコマンダ32を通じて入力すると、ユーザー入力インターフェース部31を通じてシステムコントローラ部30にそれが入力される。システムコントローラ部30は、このユーザー入力を受けて、通常再生モードを行なうように再生制御部22を制御する。以下の説明においては、例えば記録媒体として、記録媒体7がユーザーにより選択された場合について、説明する。
通常再生モードにおいては、再生処理部21により、記録媒体7から、ユーザーにより再生指定された放送番組の圧縮映像データおよび圧縮音声データが読み出され、再生デコード出力部20を供給される。
再生デコード出力部20では、再生された放送番組の映像データおよび音声データが、再生データ分離処理部23に供給されて、映像データと音声データとに分離される。そして、この再生データ分離処理部23で分離された圧縮音声データは、音声デコード処理部24に供給されて、記録時に帯域圧縮処理された信号処理方式に対応する所定のデコード処理がなされる。
音声デコード処理部24でデコード処理されて得られたデジタル音声信号は、音声D/A(Digital to Analog)変換処理部25に供給されて、D/A変換処理され、これよりアナログ音声信号として出力される。
また、再生データ分離処理部23で分離された圧縮映像データは、映像デコード処理部26に供給されて、この映像デコード処理部において、記録時に帯域圧縮処理された信号処理方式に対応する所定のデコード処理がなされて、デジタル映像信号とされる。このデジタル映像信号は、映像D/A変換処理部27に供給されてD/A変換処理が行なわれ、アナログ映像信号として出力される。
なお、記録媒体に付加情報ファイルが記録されている場合には、再生処理部21により付加情報ファイルも記録媒体から読み出され、再生データ分離処理部23に供給され、この再生データ分離処理部23において、特徴点抽出データと、プレイリストデータとに分離されて、システムコントローラ部30に供給される。また、特徴点抽出データは、プレイリスト生成処理部14にも供給される。
しかし、この通常再生モードにおいては、これらの付加情報ファイルのデータは、使用しないとシステムコントローラ部30で判断され、棄てられる。
(特殊再生モード)
上述したように、この例の記録再生装置では、特徴点を含む特定条件区間の位置情報データである特徴点抽出データおよびプレイリストデータは、それぞれ、ユーザーの指示に応じて、記録される場合と、記録されない場合が生じる。また、この例の記録再生装置以外の記録装置によって、放送番組が記録媒体に記録された場合には、当該記録媒体には、特徴点抽出データやプレイリストデータは、記録されていない。
そのため、この例の記録再生装置においては、特殊再生モードを実行する際には、システムコントローラ部30は、再生データ分離処理部23からの付加情報ファイルの再生信号があるか否かを探査して、放送番組の映像データおよび音声データと共に、特徴点抽出データおよびプレイリストデータが、当該記録媒体に記録されているかどうかを判別し、その判別結果に応じて、特殊再生モードにおける信号処理方法を変えるように構成している。
特徴点抽出データと、プレイリストデータとが、それぞれ、記録媒体に記録されているかどうかの組み合わせパターンを整理すると、図8(a),(b),(c),(d)の4種のパターンに整理することができる。以下、この組み合わせパターンに応じた特殊再生モードにおける再生処理動作について説明する。
図9は、特殊再生モードがユーザーにより指示されたときの、システムコントローラ部30の処理動作のフローチャートである。以下、このフローチャートに沿って、システムコントローラ部30の処理動作について説明する。
システムコントローラ部30は、ユーザー入力インターフェース部31を通じたユーザーからの入力コマンドにより、プレイリストデータを用いる特殊再生モードのいずれかが選択されたと判別したときには、図9のフローチャートを開始して、再生対象である記録媒体7または記録媒体11にプレイリストデータの付加情報ファイルがあるか否か判別する(ステップS1)。
(プレイリストデータが再生できる場合)
ステップS1で、プレイリストデータが記録媒体に記録されている(図8(a)、(b)の場合に相当)と判別すると、システムコントローラ部30は、記録再生装置を、記録媒体に記録されているプレイリストデータを再生して、特殊再生モードを実行するように制御する(ステップS6)。
例えばダイジェスト再生モードがユーザーにより指定されたときには、システムコントローラ部30は、プレイリストデータに基づき、再生すべき特徴点の区間を検出し、当該特徴点の区間においてスキップ再生するように制御する。
すなわち、ユーザー入力インターフェース部31を介して、システムコントローラ部30に、ダイジェスト再生モードの開始指示のコマンドが入力されると、システムコントローラ部30は、ダイジェスト再生モードの制御を開始する。
ここでは、記録媒体7あるいは記録媒体11には、プレイリストデータが付加情報ファイルとして記録されているので、再生データ分離処理部13では、当該プレイリストデータの付加情報ファイルが分離され、システムコントローラ部30に供給される。
システムコントローラ部30は、プレイリストデータの付加情報ファイルを受けたことから、記録媒体7または記録媒体11にプレイリストデータが記録されていることを確認する。
そして、受け取ったプレイリストデータから、再生する区間の開始点(スキップ再生開始データ情報)および終了点(スキップ再生終了データ情報)のそれぞれを認識する。そして、システムコントローラ部30は、再生制御部22を制御して、認識したスキップ再生開始データ情報およびスキップ再生終了データ情報に応じて、記録媒体7または記録媒体11から再生データを読み出し、スキップ再生を行なうことでダイジェスト再生の動作を行なう。
また、チャプター表示モードがユーザーにより指定された場合には、システムコントローラ部30は、プレイリストデータから判断されるチャプター点において、当該チャプター点、あるいはその近傍の画像をサムネール表示するように制御する。
すなわち、ユーザー入力インターフェース部31を介して、システムコントローラ部30に、チャプター表示モードのコマンドが入力されると、システムコントローラ部30は、チャプター表示モードの制御を開始する。
チャプターデータは、この例では、記録されているプレイリストデータで現される所定特徴区間の先頭またはその近傍、その所定特徴区間の最後またはその近傍、その所定特徴区間に接続された特徴区間以外の区間の先頭またはその近傍、または、その特徴区間以外の区間の最後またはその近傍の位置情報(フィールド番号等)から、システムコントローラ部30で生成される。
そして、システムコントローラ部30は、生成したチャプターデータにより、チャプター点、またはその近傍における映像データを、記録媒体7または記録媒体11から読み出してデコードし、当該デコードした映像データからサムネール画像を生成し、表示処理部33を介して表示部34で当該サムネールの表示を行なう。
(プレイリストデータ(プレイリストデータファイル)が再生できない場合)
ステップS1で、プレイリストデータが記録媒体7または11に記録されていないと判別したとき(図8の(c)、(d)の場合に相当)には、システムコントローラ30は、この例では、特徴点抽出データの付加情報ファイルが、再生対象の記録媒体7または11に記録されているか否かにより、異なる処理動作をする。
すなわち、この例の場合、特徴点抽出データの付加情報ファイルが、再生対象の記録媒体7または11に記録されているときには、自動的にプレイリストデータを生成して、また、特徴点抽出データの付加情報ファイルが、再生対象の記録媒体7または11に記録されていない場合には、ユーザー指示に応じてプレイリストデータを生成して、特殊再生モードを実行するようにする。
この例で、特徴点抽出データの付加情報ファイルが、再生対象の記録媒体7または11に記録されている場合に、自動的にプレイリストデータを生成するようにしたのは、特徴点抽出データが存在すれば、プレイリストデータは、それから容易に短時間で生成することが可能である。もちろん、この場合にも、ユーザーにプレイリストデータを生成するかどうかを問い合わせて、その指示に応じて、プレイリストを生成するかどうかを決めるようにしても良い。
一方、この例で、特徴点抽出データの付加情報ファイルが、再生対象の記録媒体7または11に記録されていない場合に、自動的にプレイリストデータを生成せず、ユーザーに問い合わせるようにするのは、特徴点抽出データの抽出処理は、記録媒体7または11から映像および音声データを読み出して、当該映像および音声データから行なう必要があり、処理時間が比較的長いと考えられるからで、プレイリストデータの生成処理時間が、比較的長時間であっても、それを認識していることで、記録再生装置が故障であると誤認識をしないようにするためである。もっとも、この場合にも、表示画面にプレイリストデータの生成中表示をするなどして、自動的にプレイリストデータの生成処理に移行するようにしても良い。
以上のことから、この実施形態では、システムコントローラ部30は、ステップS1で、プレイリストデータが記録媒体7または11に記録されていないと判別したときには、先ず、特徴点抽出データの付加情報ファイルが、再生対象の記録媒体7または11に記録されているか否かを、再生データ分離処理部23からのデータを監視することにより判別する(ステップS2)。
<特徴点抽出データが再生できる場合>
ステップS2で、特徴点抽出データが記録媒体7または11に記録されている(図8の(c)の場合に相当)と判別したときには、システムコントローラ部30は、プレイリストデータが存在しないことを、例えば図10(A)に示すように、表示部34の表示画面にその旨のメッセージを表示して、ユーザーに通知する(ステップS3)。
次に、システムコントローラ部30は、プレイリスト生成処理部14に対して、再生データ分離処理部23からの特徴点抽出データを用いてプレイリストデータを生成するように制御指示を送り、プレイリストデータを生成させるようにする。これと共に、表示部34の表示画面には、図10(B)に示すようにして、プレイリストデータの生成中であることをメッセージ表示して、ユーザーに通知する(ステップS4)。
次に、システムコントローラ部30は、プレイリスト生成処理部14からのプレイリストデータの生成完了通知を受けたときに、図10(C)に示すように、プレイリストデータが生成されたことをメッセージ表示して、ユーザーに通知する(ステップS5)。
そして、システムコントローラ部30は、生成されたプレイリストデータを受けて、ユーザーの指示入力による特殊再生モードに応じて、上記プレイリストデータに基づいた所定の再生をするように再生制御部18を制御し、その制御により記録媒体7または記録媒体11を再生制御して、特殊再生モードを実行する(ステップS6)。
例えば、ダイジェスト再生モードがユーザーにより指定された場合には、システムコントローラ部30は、ユーザー入力による所定の要約再生時間に応じて、上記プレイリストデータに基づいた所定の再生区間を順次再生(スキップ再生)するように再生制御部18を制御するようにする。
また、チャプターデータが生成されると、システムコントローラ部30は、ユーザー入力による所定のチャプター関連動作モードに応じて、上記チャプターデータに基づいた所定のチャプター時点の画像サムネール表示、チャプター点のカットや接続などの編集処理、ユーザー選択したチャプター点のスキップ再生など、所定チャプター関連動作が行なえるように再生制御部18をコントロールし、その制御により記録媒体7や11を再生制御したり、表示処理部33に対する表示制御をしたりする。
上記の特殊再生モードが終了したか、あるいは、ユーザーにより終了指示がなされたか否かを判別し(ステップS7)、終了した、あるいは、ユーザーにより終了指示がなされたと判別したときには、システムコントローラ部30は、再生終了処理制御を行ない(ステップS8)、この特殊再生モードの処理ルーチンを終了する。
ステップS7で、特殊再生モードが終了してはいない、あるいは、ユーザーにより終了指示がないと判別したときには、ステップS6に戻り、特殊再生モードの動作を継続する。
なお、システムコントローラ部30は、ステップS4で生成されたプレイリストデータは、記録媒体7や記録媒体11に記録するように制御することもできる。もっとも、記録媒体11の場合には、プレイリストデータを付加情報ファイルとして、記録できる場合のみ、記録するようにするものである。
また、システムコントローラ部30は、記録媒体7や記録媒体11に、生成したプレイリストデータを記録可能であるときに、ユーザーに当該プレイリストデータを記録するかどうかの問合せメッセージを表示部34に表示するなどし、その問合せに対して、ユーザーが記録すると指示したときにのみ、生成したプレイリストを記録媒体7や11に記録するようにしても良い。
<特徴点抽出データが再生できない場合>
ステップS2で、特徴点抽出データが記録媒体7または11に記録されていない(図8の(d)の場合に相当)と判別したときには、システムコントローラ部30は、プレイリストデータおよび特徴点抽出データが存在しないことを、例えば図11(A)に示すように、表示部34の表示画面にその旨のメッセージを表示して、ユーザーに通知する。また、これと同時に、プレイリストデータを生成するかどうかを問い合わせるメッセージも表示する(ステップS9)。
システムコントローラ部30は、この問合せメッセージに対するユーザーの応答操作入力を待ち、ユーザーの応答操作入力を受け付けると、プレイリストデータを生成するか否か判別する(ステップS10)。ユーザーの指示が、プレイリストデータを生成しないとするものであったときには、システムコントローラ部30は、特殊再生モードを実行できない旨のメッセージを表示部34に表示(図示は省略)して(ステップS13)、この処理ルーチンを終了する。
また、ステップS10で、プレイリストデータを生成するとのユーザー指示を受け取ったと判別したときには、システムコントローラ部30は、再生制御部22を制御して、記録媒体7または11から映像および音声データを読み出し、特徴点抽出部10に対して、再生データ分離処理部23からの圧縮映像データおよび圧縮音声データから、特徴点抽出データを抽出するように制御指示する。そして、システムコントローラ部30は、表示部34の表示画面に、例えば図11(B)に示すように、特徴点抽出データの抽出中であることのメッセージ表示を行ない、ユーザーに、その旨を通知する(ステップS11)。
そして、システムコントローラ部30は、特徴点抽出部10からの特徴点抽出データの抽出完了通知を受け取ると、プレイリスト生成処理部14に対して、メモリ部13に蓄積された特徴点抽出データを用いてプレイリストデータを生成するように指示制御する。そして、システムコントローラ部30は、表示部34の表示画面に、例えば図11(C)に示すように、プレイリストデータの抽出中であることのメッセージ表示を行ない、ユーザーに、その旨を通知する(ステップS12)。
次に、システムコントローラ部30は、プレイリスト生成処理部14からのプレイリストデータの生成完了通知を受けたときに、図11(D)に示すように、プレイリストデータが生成されたことをメッセージ表示して、ユーザーに通知する(ステップS5)。
そして、システムコントローラ部30は、生成されたプレイリストデータを受けて、ユーザーの指示入力による特殊再生モードに応じて、上記プレイリストデータに基づいた所定の再生をするように再生制御部18を制御し、その制御により記録媒体7または記録媒体11を再生制御して、特殊再生モードを実行する(ステップS6)。
この場合においても、ステップS10で抽出された特徴点抽出データおよびステップS11で生成されたプレイリストデータは、記録媒体7や記録媒体11に記録するように制御することもできる。もっとも、記録媒体11の場合には、特徴点抽出データおよびプレイリストデータを付加情報ファイルとして、記録できる場合のみ、記録するようにするものである。
また、システムコントローラ部30は、記録媒体7や記録媒体11に、生成した特徴点抽出データおよびプレイリストデータを記録可能であるときに、ユーザーに当該特徴点抽出データおよびプレイリストデータを記録するかどうかの問合せメッセージを表示部34に表示するなどし、その問合せに対して、ユーザーが記録すると指示したときにのみ、生成した特徴点抽出データおよびプレイリストを記録媒体7や11に記録するようにしても良い。
この場合、再生データ分離処理部23からの映像および音声データは、前述の記録系で説明したように、帯域圧縮方式で処理されている映像データと音声データであり、例えば、映像データの場合には、MPEG方式におけるDCT係数(DC係数、AC係数)などの特定データなどである。特徴点抽出処理部10では、当該圧縮された状態の映像データおよび音声データから、特徴点抽出データの検出処理がなされる。例えば、音声データの場合には、音声特性データである音声パワー検出その他など各種所定の特性データ検出処理などが行われる。
特徴点抽出処理部10では、さらに、前述したように、上記の各種映像特定データおよび音声特性データと所定のパラメータデータとにより、所定のテロップ特徴データ(テロップ区間判定データ)、人物特徴データその他の画像特徴データ(画像特徴区間判定データ)、および話者音声特徴データ(話者音声判定データ)、拍手歓声特徴データ(拍手歓声判定データ)その他の音声特徴データ(音声特徴区間判定データ)の各種特徴抽出処理が行われる。抽出された上記各種の画像特徴抽出データ(画像特徴データ)および音声特徴抽出データ(音声特徴データ)は、システムコントローラ部30に入力される。
システムコントローラ部30は、記録する放送番組が終了したら、あるいは、所定の画像音声区間のすべてについて特徴点抽出処理部10で上記の所定の特徴点抽出処理が終了したら、特徴点抽出処理が終了したと判定する。
ここで、上記特徴点抽出処理が終了した場合には、システムコントローラ部30から特徴点抽出処理が終了したことを示すメッセージ信号を、表示処理部33を通じて表示部34に供給し、その表示画面にその旨の表示を行なうようにしても良い。
次に、特徴点抽出データからプレイリストデータおよび/またはチャプターデータを生成する処理について説明する。
上記の各種特徴点抽出データは、所定の特徴点抽出区間ごとにメモリ部13に蓄えられ、すべての所定特徴データの処理が終了したら、プレイリスト生成処理部14に入力され、プレイリストデータおよび/またはチャプターデータを生成する。
ここで、特徴点抽出処理部10から、直接、プレイリスト生成処理部14に、特徴点抽出データを逐次入力するようにしても良く、上記で述べたように、記録放送番組の特徴点抽出処理が終了したら、システムコントローラ部30からの所定の信号により、プレイリスト生成処理部14で、上記で述べたように、プレイリストデータおよび/またはチャプターデータ生成処理を行なうようにしても良い。
また、特徴点抽出処理部10からの特徴点抽出データは、システムコントローラ部30を介してプレイリストデータ生成処理部14に入力するように信号処理を行なうこともできる。
プレイリスト生成処理部14で、プレイリストデータおよび/またはチャプターデータが生成されると、プレイリスト生成処理が終了したことを示す信号がシステムコントローラ部30に入力され、例えば所望の要約時間に応じたダイジェスト再生または所定のチャプターデータを用いたチャプター関連動作を行なうことができる。
前述したように、この場合に、プレイリストデータおよび/またはチャプターデータが生成できたことを示す所定の表示を行なったり、ダイジェスト再生モード、チャプター関連の所定動作モードであることなどの表示を表示部34により行なったりしても良い。
ユーザーがダイジェスト再生を行なう場合に、例えば記録した放送番組が1時間であったとし、それを30分で再生したいのか、20分で再生したいのかなど、ユーザーの所望する要約再生時間は分からないので、記録した放送番組など映像および音声データの特徴抽出した全区間の全時間長に応じて、あらかじめ幾つかのダイジェスト再生時間に対応するプレイリストデータを生成することを考えることができる。
例えば、特徴点抽出する放送番組の記録時間が1時間であったら、40分、30分、20分のダイジェスト再生を行なう、それぞれのプレイリストデータを生成する。このようにプレイリストデータを生成することで、リモートコマンダ32などを通じたユーザー入力で、ダイジェスト再生時間が選択された場合に、すぐに選択されたダイジェスト再生時間に対応したダイジェスト再生動作を行なうことができる。
[記録媒体7と記録媒体11との間の複製記録]
この例の記録再生装置は、記録媒体7に記録された映像および音声データ、さらに記録されている場合には付加情報ファイルを記録媒体11に複製記録する機能と、逆に、記録媒体7に記録された映像および音声データ、さらに記録されている場合には付加情報ファイルを記録媒体11に複製記録する機能とを備える。
すなわち、ユーザーがユーザー入力インターフェース部31を通じて、記録媒体7から記録媒体11への複製記録を指示入力すると、システムコントローラ部30の制御にしたがい、再生制御部22は、記録媒体7から映像および音声データを読み出し、再生処理部21に供給する。記録媒体7に関連する付加情報ファイルも記録されている場合には、再生制御部22は、当該付加情報ファイルも読み出して、再生処理部22に送る。再生処理部22は、システムコントローラ部30の制御にしたがい、記録処理部6に映像および音声データ、また、付加情報ファイルのデータを送る。
記録処理部6は、システムコントローラ部30の制御にしたがって、再生処理部22からのデータを、記録媒体処理部12を通じて記録媒体11に送り、複製記録を行なうようにする。
記録媒体11に記録されている映像および音声データ、また、付加情報ファイルのデータを、記録媒体7に複製記録する指示入力がユーザー入力インターフェース部31を通じてシステムコントローラ部30に入力された場合にも、上述と同様にして、複製記録が実行されるものである。
[特徴点抽出処理部10について]
この実施形態においては、前述したように、特徴点抽出処理部10の特定条件区間検出部101には、帯域圧縮処理された後の音声データおよび映像データが供給されて、特定条件区間として、無音区間および黒区間の検出が行なわれる。
ここでは、特定条件区間として、映像信号の黒区間の検出を例にとって、以下に詳細に説明する。この例では、MPEG圧縮された映像ストリームデータから黒区間を検出する場合について説明する。
この例では、記録処理においては、映像エンコード処理部9からの、MPEG圧縮において、輝度信号Y、色差信号Cb、CrがDCT(Discrete Cosine Transform;離散コサイン変換)処理された結果得られるDC係数を、特徴点抽出処理部10における信号処理対象とする。
また、再生処理においては、再生デコード出力部20の再生データ分離処理部23からの、MPEG圧縮されている状態の輝度信号Y、色差信号Cb、CrについてのDCT処理結果のDC係数を、特徴点抽出処理部10の信号処理対象とする。
この例においては、図12に示すように、1画面分(1フィールド分または1フレーム分)の映像信号を表示した場合に、その有効画面を、横(水平方向)×縦(垂直方向)=640画素×480画素と仮定して、横(水平方向)×縦(垂直方向)=16画素×12画素の大きさの処理単位ブロック(以下、単にブロックという)を考え、有効画面を、そのブロック単位で分割する。
図12の例では、水平方向のブロック数は、
640/16=40(ブロック) (式1)
となり、また、垂直方向のブロック数は、
480/12=40(ブロック) (式2)
となる。したがって、仮定している有効画面全体では、
40×40=1600(ブロック) (式3)
となる。
次に、図12の各ブロックについて、平均輝度信号レベルを考える。ここでは、輝度信号レベル(この例では、輝度信号についてのDCTのDC係数。以下、同じ)は、0〜255までの値をとるものとして、図13に示すような非線形変換特性によって、各ブロックの平均輝度信号レベルを、変換レベルr(n)(ただし、r(n)は0〜15の範囲)に変換する。
ここで、変換レベルと称しているのは、平均輝度信号レベルが属する範囲に応じた非線形変換処理によるデータ変換値で、例えば、輝度信号レベルYlevが、
0≦Ylev<16 (式4)
の場合には、そのブロックの変換レベルは0となり、
16≦Ylev<32 (式5)
の場合には、そのブロックの変換レベルは1となる。輝度信号レベルYlevが、その他の値の場合は、各ブロックの平均輝度信号レベルは、図13の非線形変換特性に応じた変換レベルに変換される。
次に、1有効画面全体について、平均輝度信号レベルが、各変換レベルとなるブロック数のヒストグラムを求める。例えば、1有効画面について、変換レベル0、変換レベル1、変換レベル2となるブロックのみが、各々所定の個数あり、その他の変換レベルのブロック数はゼロである場合には、当該有効画面についてのヒストグラムは、図14に示すようなものとなる。
この図14に示すような1有効画面当たりのヒストグラムの例は、当該有効画面を構成するブロックの殆どの変換レベルは0〜2であり、その他の変換レベル3〜15の度数はゼロであるので、画面が暗い場合である。映像信号の黒区間では、画面が暗いので、輝度が下がり、この図14のように、1有効画面当たりのヒストグラムは、変換レベルが小さい値に度数が集中する特性になる。したがって、この1有効画面当たりのヒストグラムの度数データに基づいて、黒区間の画面であるかどうかを判定することができる。
(色差信号のヒストグラム)
色差信号Cb、Crの場合も、上記輝度信号Yの場合と同様に、図12のような画面分割処理、図13のようなレベル変換処理およびヒストグラムの度数データを考えることができる。
しかし、色差信号Cb、Crの場合には、黒区間では、図14の輝度信号の場合のようなレベルが低い部分に度数が集中するような特性とはならず、図15に示すように、色差信号Cb、Crの隣接する所定変換レベル(図15の例では、変換レベル7と変換レベル8)の度数の差が小さく、ほぼ同じ度数となるような特性がある。
実際の信号処理では、例えば、色差信号Cbの変換レベル7および8の度数データを、各々Hcb[7]およびHcb[8]としたとき、所定のしきい値Thcbを定めて、
|Hcb[7]−Hcb[8]|<Thcb (式6)
を黒区間の検出判定の条件の一つとする。
同様に、色差信号Crについて、例えば、色差信号Crの変換レベル7および8の度数データを、各々Hcr[7]およびHcr[8]としたとき、所定のしきい値Thcrを定めて、
|Hcr[7]−Hcr[8]|<Thcr (式7)
を黒区間の検出判定の条件の他の一つとする。
(式6)、(式7)のいずれか一方を黒区間の検出判定に用いても良いし、(式6)、(式7)の両方を黒区間の検出判定に用いても良い。
また、(式6)、(式7)をまとめて考えて、所定のしきい値Thcを定め、
|Hcb[7]−Hcb[8]|+|Hcr[7]−Hcr[8]|<Thc (式8)
を、黒区間の検出判定の条件の一つとすることもできる。
(輝度信号とヒストグラムとの対応)
次に、ここで、上述した輝度信号のヒストグラムデータと、検出すべき特定条件区間における黒信号レベルとの対応を考える。
図16に示した図は、1画面PIの全体が黒い場合のヒストグラム特性である。これは、上記で説明した通り、小さい変換レベルに度数データが集中している。しかしながら、変換レベルの値が小さい部分だけに着目したのでは、正しい黒区間は検出できない。この場合を示すのが、図17で、黒い画面に明るい部分(図17の白い部分WH)があると、ヒストグラムでは変換レベルの小さい部分に度数が集中するが、変換レベルの小さくない部分にも度数データが現れることになる。この図17のような度数分布のヒストグラムは、黒区間ではないと検出判定すべきものである。
このように、映像信号の黒区間検出判定を行なうには、変換レベルの値が小さいところのみではなく、変換レベルの値が大きいところも含むヒストグラムデータすべてを見て検出判定しないと誤検出判定する場合がある。
ここで、例えば、図16の場合には、変換レベル0〜2のところには度数データがあるが、変換レベル15〜3までは、度数データは0であることが分かる。一方、図17の場合には、値の小さい変換レベル0〜3のところだけでなく、値の大きい変換レベル12,13のところにも度数データが存在することが分かる。
そこで、この実施形態は、「変換レベルの値が一番大きい値(この例では15)から、どの変換レベルまで度数データが無い(度数0)状態を継続するか」を考える。すると、変換レベルの値が一番大きい値から、度数データが無い(度数0)状態を継続する長さが大きければ大きいほど、度数分布が黒レベル側に偏って存在することになり、黒区間の検出が、より正しく行なえる。ただし、変換レベルの値が15から0までについて、すべて度数データがゼロのときには、信号がないと判断し、黒区間とは判定しない。
この特性を数値化するため、この実施形態では、図18に示すように、ヒストグラムデータの変換レベルデータから所定のスコアに変換する処理を考える。この図18において、横軸は、変換レベルの値が一番大きい値である15から開始して、変換レベル1側にサーチを行なう場合において、度数データがゼロを継続する変換レベルを示している。また、図18において、縦軸はスコアの値であり、この例では、0(点)から100(点)までとしている。ここで、この図18においては、スコアが大きいほど黒いことになる。
前述した図14の場合では、度数データがゼロである状態を、変換レベル15から変換レベル3まで継続するので、この図18から、スコアは80(点)になる。また、図16の場合は、変換レベル15〜2まで度数データが0なので、図18からスコアは90(点)となる。さらに、図17の場合には、変換レベル15〜14までしか、度数データ0である状態を継続しないので、図18からスコアは0(点)になる。
以上のことから、この実施形態では、輝度信号Yについては、各有効画面(1フィールドあるいは1フレーム)について、変換レベルについてのヒストグラムの度数データから、図18に示した変換特性を用いてスコアデータを生成する。
そして、このスコアに対して、黒区間を検出する比較用基準レベル値に対応するしきい値Thbを設定し、スコア値をSbとしたとき、
Sb>Thb (または判定方法によっては、Sb≧Thb) (式9)
から黒区間判定を行なうようにする。
特定条件区間検出部101における黒区間の検出判定は、上述した輝度信号Yの変換レベルのヒストグラムの度数データのみを用いて行なっても良いし、また、色差信号Cb,Crの度数データのみを用いて行なっても良い。また、輝度信号Yの変換レベルのヒストグラムの度数データとによる検出判定結果と、色差信号Cb,Crの度数データによる検出判定結果とを、併せて用いて黒区間の検出判定をするようにしてもよい。
この実施形態では、輝度信号Yの変換レベルのヒストグラムの度数データとによる検出判定結果と、色差信号Cb,Crの度数データによる検出判定結果とを併せて用いて黒区間の検出判定をするようにする。この場合に、前記(式6)、(式7)、(式9)の組み合わせ、または前記(式8)(式9)の組み合わせのいずれかを用いて、黒区間検出を行なうことができる。
なお、CM黒区間としての判定処理は、上記黒区間検出の位置を基準に、図7で説明したような所定区間に無音区間が存在することを検出条件に加えることで、より確からしい検出が行なえる。
なお、上記のヒストグラム処理で、画面分割数は、上述の説明で用いた分割数に限られるものではなく、より多く、または、より少なくするようにしてもよい。
また、分割した1ブロックの輝度信号Yや色差信号Cb,Crの平均レベルを検出して、後のヒストグラム処理に用いる説明をしたが、平均レベルを求めずに、そのまま1ブロック内の画素すべてについてヒストグラム処理を行なうようにしてもよい。
その場合には、例えば1ブロック内の画素すべてについて、輝度信号Y、色差信号Cb、Cr毎に加算処理し、その加算データの結果について、前述したようなレベル変換を行ない、ヒストグラムの度数データ処理を行なうようにすることになる。
図13の場合は、輝度信号Yの平均値からヒストグラム処理を考えたので、データの範囲は0〜255になるが、平均値データでなく、そのままの画素データを使う場合は、データの範囲は、0〜(256×1ブロック内の画素数−1)になる。
例えば、ヒストグラムの度数データを採るレベル変換値を0〜15とし、1ブロック内の画素数を、16×12=192と仮定すると、データ範囲は、0〜49151となり、レベル変換値間のデータ値幅は、49152/16=3072となる。
よって、この場合、図13に対応する非線形変換特性を考えた場合、入力データ値0〜3071は変換レベル0に変換され、入力データ値3072〜6143は変換レベル1に変換され、・・・と言うように変換される。図13の横軸のスケールを、この値の範囲で読み替えると、図13と同様な非線形変換特性が得られる。
[より正確な黒区間検出について]
前述の図40を用いて説明したように、実際に放送番組の信号は、CM区間およびその近傍の黒区間や無音区間においても、輝度信号、色差信号、音声信号は一定ではなく、例えば雑音を含んだものとなって、図40(1)〜(5)に示したような様々な波形の場合となってしまう問題がある。
この実施形態では、図40(1)〜(5)のすべての場合に対応できる検出方法を提案する。すなわち、例えば図40(1)(4)のように、雑音がない通常と思われる場合は、所定しきい値以上の区間を黒区間として判定し、図40(2)のように波打つような雑音がある場合は雑音の影響を考慮して雑音がないと想定できる区間を黒区間として判定することができるようにし、図40(5)のように段差がある信号の場合には、より黒レベルと思われる区間を黒区間として判定することができる信号処理方法を提案する。
先ず、米国の放送番組におけるCM区間の開始点、終了点における黒区間の分布について考察する。
実際に、アメリカで放送されている幾つかの番組を視聴し、信号を解析したところ、図19に示すように、黒区間の長さは、大よそ1〜200フィールドの間の長さであり、図のような、ある種の分布をしていることが分かった。
また、画像の輝度信号レベルを、前述のようにして変換処理し、最終的に、図18に示したような、0〜100の値の範囲のスコアに変換し、CMの黒区間の分布を調べたところ、図20に示すように、CMの黒区間は、大よそ70〜100の間のスコアとなる分布をしていることが分かった。
この図20に示される分布特性からは、前記(式9)を用いる黒区間検出を行なう場合における比較用基準レベルに対応するしきい値Thbの最低しきい値Thminは、Thmin=70と設定すればよいことが分かる。
ここで、前述した図40の黒区間の波形態様について再度考える。図40(1)〜(5)について、ある所定しきい値Th以上のスコアSbを黒区間と判定すると考えると、雑音のない図40(1)の場合には、f1〜f2区間を黒区間と判定できる。
図40(2)の場合は、信号に雑音があり、しきい値Thを境に信号が波打つ場合であり、黒区間は、f3〜f4と判定することが適当と思われる。
また、図40(3)の場合は、黒区間が短く、例えば、しきい値Thを超える区間長が1〜数フィールドとなる場合で、黒区間はf5〜f6と判定できる。
図40(4)の場合は、図40(1)の場合と同様で、しきい値Th以上の区間f7〜f8を黒区間と判定できる。
図40(5)の場合は、黒レベルに段差を持った信号態様で、所定しきい値Thより大きいf9〜f11までを黒区間と判定する場合と、より黒レベルが大きい区間f9〜f10を黒区間と判定する場合とが考えられる。例えば、図40(5)において、f10〜f11の区間が、前記最低しきい値Thminに近い場合を想定すると、f9〜f11を黒区間と判定するよりも、より黒レベルが大きいf9〜f10の区間を黒区間と判定する方が適当であると考えられる。
以上のことを考慮して、この実施形態では、図40(1)〜(5)のすべての場合に対応できる検出方法を提供する。
[特定条件区間の複数段階判定方法]
この実施形態では、特定条件区間として、より確からしい区間を検出することができるように、特定条件区間の検出判定は、第1段階の区間検出処理(以下、第1検出区間の検出処理という)と、第2の段階の区間検出処理(以下、第2検出区間の検出処理という)との複数の段階による検出判定方法を採用する。
すなわち、先ず、第1検出区間の検出処理を行ない、当該第1検出区間の検出処理が終了した後、第2検出区間の検出処理を行なう。そして、第2検出区間の検出結果を、特定条件区間の検出結果とするようにする。
第1検出区間の検出処理においては、(式9)に示した条件により、スコアSbがしきい値Thbよりも大きい場合を黒区間として検出判定するのであるが、その場合におけるしきい値Thbとして、前述した最低しきい値Thminを用いる。
第2の検出区間の検出処理においては、第1検出区間の検出処理で得られた第1検出区間内において、黒レベルの最大値Bkmax を検出しておき、第1検出区間の前方向および後方向からレベル検出(レベルサーチ)を行なって、前記最大値Bkmaxと同じレベルの2つの位置(フィールドまたはフレーム位置)を検出し、それら2つの位置の間の区間として、第2検出区間と決定する。
図21は、上記のような2段階の検出方法を用いた特定条件区間の検出方法を説明するための図である。以下、この図21を用いて、この例の2段階の検出方法を説明する。
(第1検出区間の検出処理)
この第1検出区間の検出処理においては、(式9)に示した条件により、各フィールド(またはフレーム。以下同じであるので、この括弧書きを省略する)のスコアSbが、しきい値Thminよりも大きい黒区間を第1検出区間として検出判定する。そして、第1検出区間の検出処理が終了すると、第2検出区間の検出処理を開始させる。
図22は、この第1検出区間の検出処理の手順の一例を示すフローチャートである。すなわち、まず、映像データの処理対象のフィールドのデータを取り込み(ステップS21)、取り込んだフィールドのスコアSbを求め(ステップS22)、当該スコアSbと、しきい値Thminとを比較して、しきい値Thminより大きいか否かを判定する(ステップS23)。
そして、スコアSbが、しきい値Thminよりも大きければ、そのフィールドは、第1検出区間内のフィールドであると判定して、その判定結果を出力すると共に、そのフィールド番号とスコアSbとを第2検出区間の検出処理のために保持する(ステップS24)。
そして、第1検出区間内の黒レベルの最大値(最大スコア値)Bkmaxの検出を行なう。すなわち、ステップS24で検出された第1検出区間について、それまでに保持されている黒レベルの最大値Bkmaxと、今回、新たにステップS22で算出されたスコアとを比較し、新たに算出されたスコアの方が大きいと判別したときには、保持する黒レベルの最大値Bkmaxの値を、新たに算出されたスコアに変更する(ステップS25)。
ステップS25の後は、記録終了あるいは再生終了などにより、特定条件区間の検出終了であるか否か判別し(ステップS26)、終了であると判別したときには、この第1検出区間の検出処理を終了し、また、終了ではないと判別したときには、フィールド番号を次のものとして(ステップS27)、ステップS21に戻り、当該次のフィールドについての第1検出区間検出処理を、上述と同様に繰り返す。
ステップS23で、スコアSbが、しきい値Thmin以下であると判別したときには、そのフィールドは、第1検出区間内のフィールドではないので、前のフィールドは第1検出区間内であったか否か判別する(ステップS28)。前のフィールドが第1検出区間内でないと判別したときには、ステップS26に進んで、当該ステップS26以降の処理を行なう。また、前フィールドが第1検出区間内であると判別したときには、検出中の第1検出区間が終了したと判断して、第2区間検出を開始させるようにする(ステップS29)。そして、ステップS26に進んで、当該ステップS26以降の処理を行なう。
上述の第1検出区間の検出処理においては、先ず、最初に、図21において、黒レベルの最低しきい値Thminを超える最初のフィールド位置fstが検出されて、第1検出区間の先頭が検出され、その後のフィールドは、第1検出区間内であると検出される。そして、フィールド位置fst以降で、最低しきい値レベルThmin 以下のレベルになる最初のフィールド位置fedが検出できる。これにより、第1検出区間としてフィールド位置fstからフィールド位置fedの間の区間を決定することができる。
ここで、上述したように、第1検出区間を決める信号処理の過程で、信号レベルがしき値Thminに対して大きいか小さいかを検出しながら処理を実行するので、この第1検出区間内における最大レベルBkmaxを並行して検出することができる。
(第2検出区間の検出処理)
この第2検出区間の検出処理においては、上記第1検出区間内における黒レベルの最大値Bkmax を検出して、第1検出区間の前方向および後方向から各フィールドのスコアの値のサーチを行ない、それぞれ最初に最大値Bkmaxと同じ値となる2個のフィールド位置を検出し、検出した2個の位置の間の区間を、第2検出区間として決定する。
図23は、この第2検出区間の検出処理の手順の一例を示すフローチャートである。すなわち、まず、第1検出区間の検出処理に伴って検出されている第1検出区間内の黒レベルの最大値Bkmaxを認識する(ステップS31)。
次に、第1検出区間内の各フィールドのスコア値を、その前方から、つまり、検出開始点fstから検出終了点fedに向かう方向(図21に示すa方向)にサーチして、最初に上記最大値Bkmaxとなるフィールド位置fstmを検出する(ステップS32)。
次に、第1検出区間内の各フィールドのスコア値を、その後方から、つまり、検出終了点fedから検出開始点fstに向かう方向(図21に示すb方向)にサーチして、最初に上記最大値Bkmaxとなるフィールド位置fedmを検出する(ステップS33)。
そして、第2検出区間として、ステップS32で検出されたフィールド位置fstmからステップS33で検出されたフィールド位置fedmの区間を決定するステップS34)。以上で、この第2検出区間の検出処理を終了する。
上記のようにして検出される第1検出区間fst〜fedは仮の検出区間とし、第2検出区間fstm〜fedm を真の検出区間と考えることもできる。
なお、上述した第2検出区間の検出処理においては、第2検出区間は、第1検出区間内の黒レベル最大値Bkmaxと同一レベルとなるフィールド位置fstmおよびfedmを検出するようにしたが、黒レベル最大値Bkmaxの代わりに、図21に示すように、黒レベル最大値Bkmaxと最低しきい値Thminとの間の所定のレベル値Bktmpを設定して用いるようにしても良い。
その場合には、図21に示すように、この所定のレベル値Bktmpと同じレベルのフィールド位置fa、fbを、各々a方向、b方向から検出し、検出したフィールド位置faからフィールド位置fbまでの区間を、第2検出区間として決定するようにする。
この場合、所定のレベル値Bktmpが最大値Bkmaxに近いほど、第2検出区間の幅が小さくなり、また、所定のレベル値Bktmpを最低しきい値Thminより1だけ大きく設定したときには、第1検出区間の検出結果と、第2検出区間の検出結果とは、ほぼ等しくなる。
[雑音の影響を軽減する信号処理方法]
ここで、図24(A)に示すように、前述したスコアの値の複数フィールド分である特徴点抽出部10の入力信号に、図40(2)の場合と同様に、雑音がある場合について考える。この図24(A)の例は、(式9)に示した条件により、スコアSbが最低しきい値Thminよりも大きい場合を黒区間として検出判定する第1検出区間の判定を行なった場合である。
図24(A)の例では、前記入力信号は、フィールド位置f3からf4の間において、最低しきい値Thminのレベルを交差する点が複数存在し、そのままでは黒区間判定の第1検出区間として、f3〜fa区間、fb〜fc区間、fd〜f4区間の3区間が検出されることになる。
ここで検出を想定しているのは、CMの黒区間であることから、図19に示したCM区間に関連する黒区間の区間長の分布特性および図6に示したCM区間同士の時間長の分布を考慮すると、図24(A)において、第1検出区間と検出されてしまうfa〜fb区間、fc〜fd区間が短い場合には、これを第1検出区間と検出せず、f3〜f4区間を第1検出区間として、検出するようにすることが望ましい。
そこで、この実施形態では、第1検出区間として検出するのが望ましいf3〜f4区間内において、そのままでは第1検出区間と検出されてしまうfa〜fb区間、fc〜fd区間は、本来、最低しきい値より大きい信号レベルにあると想定(雑音のために、fa〜fb区間、fc〜fd区間が最低しきい値Thminよりも小さくなったと想定)して、このfa〜fb区間、fc〜fd区間の信号を補正処理するようにする。
図24(B)は、この信号補正処理を説明するためのものである。この実施形態では、この図24(B)に示すように、雑音の影響によって最低しきい値のレベル以下となったと想定できるfa〜fb区間およびfc〜fd区間の各データ値に対して、例えば所定のデータ値d(f)を加算したり、前記fa〜fb区間およびfc〜fd区間の各データ値を、別のデータ値に置き換えたりすることで、前記fa〜fb区間およびfc〜fd区間の各データ値を、最低しきい値Thminよりも大きいデータ値となるように補正して、このfa〜fb区間およびfc〜fd区間を第1検出区間として検出しないようにする。
ただし、補正後の前記fa〜fb区間およびfc〜fd区間の各データ値は、補正後は第1の検出区間として検出されるf3〜f4区間内の黒レベルの最大値Bkmaxよりも小さい値になるようにしている。そうでないと、第2検出区間の検出処理で、正しい第2検出区間の検出ができない場合があるためである。
ここで、雑音の影響によるfa〜fb区間およびfc〜fd区間の各データを最低しきい値Thminよりも大きいレベルに補正するということを考えた場合、例えば、fa〜fb区間およびfc〜fd区間の各データ値が、最低しきい値Thminより少なくとも1以上大きいレベルであれば問題ないと考えられる。
例えば、補正後、第1検出区間となるf3〜f4区間で、最大値Bkmaxが、
Bkmax=Thmin+1
の場合において、図24(A)におけるfa〜fb区間およびfc〜fd区間の最低しきい値Thmin以下であった各データ値を、上記のような補正処理によって、すべて(Thmin +1)にすると、第2検出区間の検出処理によって、問題なく、f3〜f4区間を第2検出区間として検出判定することができる。この例の場合には、第1検出区間と第2検出区間は、共にf3〜f4区間となり、一致することになる。
以上のことを考慮して、この実施形態では、例えば図24(A)におけるfa〜fb区間およびfc〜fd区間のように、最低しきい値Thmin以下である各データ値を、すべて(Thmin+1)に置き換えるように補正する。
データ値の補正方法は、このように置き換える方法に限られるものではなく、前述したように、所定のデータ値を加算することで、最低しきい値Thminより大きい値であって、かつ、最大値Bkmaxより小さい値にする方法を用いてもよい。
以上のような補正処理より、例えば図24(A)や図40(B)のように、雑音により所定の信号レベル側とは反対となる信号部分が生じたとしても、当該雑音による信号部分の長さが、予め定めた所定期間以内であれば、比較用基準レベルよりもすべて所定の信号レベル側のレベルとなる。したがって、情報信号のレベルと比較用基準レベルとを比較するだけで、情報信号が比較用基準レベルよりも所定の信号レベル側となる状態が継続する特徴区間を、当該雑音による信号部分に影響されること無く、検出することができる。
[特徴点抽出処理部10の第1の構成例]
前述もしたように、この例の特徴点抽出処理部10は、特定条件区間検出部101と、特徴点抽出部102とからなり、システムコントローラ部30による制御および支援処理を伴うことにより、無音区間および黒区間の検出を行なう。特定条件区間検出部101は、この発明の特定条件区間検出装置の実施形態である。
特定条件区間検出部101は、音声情報から無音区間を検出する処理を行なうための回路部として音声特徴信号処理部40、無音区間検出判定処理部41およびしきい値設定部46を備える。特定条件区間検出部101は、また、映像情報から黒区間を検出する処理を行なうための回路部として、輝度特徴信号処理部42、色差特徴信号処理部43、雑音補正処理部44、黒区間検出判定処理部45およびしきい値設定部47を備える。雑音補正処理部44は、信号補正手段を構成する。
しきい値設定部46は、無音区間検出判定処理部41における無音区間検出用のしきい値を保持しており、当該しきい値を無音区間検出判定処理部41に供給する。また、しきい値設定部47は、黒区間検出判定処理部45における黒区間検出用のしきい値を保持しており、当該しきい値を、雑音補正処理部44および黒区間検出判定処理部45に供給する。
しきい値設定部46,47に保持されるしきい値は、この実施形態では、システムコントローラ部30から設定される。このような構成にせず、しきい値設定部46,47のしきい値は、予め固定値を設定するようにしてもよい。
音声特徴信号処理部40では、所定区間毎の音声レベルが検出処理され、その検出信号が無音区間検出判定処理部41に供給される。無音区間検出判定処理部41では、前記検出された音声レベルと、しきい値設定部46からの所定のしきい値と比較されて、当該しきい値よりも低いレベルの区間として無音区間の検出処理がなされる。
輝度特徴信号処理部42は、映像エンコード処理部からのデータから、輝度信号成分を検出し、前述した画面分割処理、信号レベル変換処理、ヒストグラム処理、スコア変換処理その他を行なう。
色差特徴信号処理部43は、映像エンコード処理部からのデータから、色差信号成分を検出し、前述した画面分割処理、信号レベル変換処理、ヒストグラム処理その他を行なう。
輝度特徴信号処理部42の出力および色差特徴信号処理部42の出力は、雑音補正処理部44に供給されて、前述したような雑音補正処理がなされ、それぞれ黒区間検出判定処理部45に供給される。
雑音補正処理部44は、輝度特徴信号処理部42および色差特徴信号処理部43からの出力のそれぞれについて、しきい値設定部47からのしきい値Thminと比較して、例えば、図24を用いて前述したような、第1検出区間として検出するのが望ましいf3〜f4区間内において、しきい値Thminよりも小さくなるfa〜fb区間、fc〜fd区間を検出し、その検出した区間のデータ値を、しきい値Thminよりも、この例では、1だけ大きい値に置き換える処理を行なう。後述するように、この実施形態では、雑音補正処理部44は、デジタルフィルタ(非線形信号処理系)を用いた構成とされる。
黒区間検出判定処理部45は、前述したように、この例では、(式8)および(式9)の条件から黒区間の検出判定処理を行なう。すなわち、輝度信号成分については、前述したように、第1検出区間の検出処理を、しきい値設定部47からの最低しきい値Thminを用いて実行し((式9)の条件処理)、また、第2検出区間の検出処理を実行する。また、色差信号成分については、前述した(式8)の演算処理を、しきい値設定部47からのしきい値Thcを用いて実行し、両者の検出判定結果から黒区間検出判定処理を行なう。
この実施形態では、無音区間検出判定処理部41からの無音区間検出出力情報が、特徴点抽出部102に供給されると共に、黒区間検出判定処理部45からの黒区間検出出力情報が、特徴点抽出部102に供給される。
特徴点抽出部102は、これらの入力された無音区間検出出力情報および黒区間検出出力情報から、この例では、CM区間の開始点および終了点あるいは番組本編の開始点あるいは終了点の特徴点の抽出を行なう。
この場合には、特徴点抽出部102では、対象となる映像および音声信号が、日本の放送番組の信号か、米国の放送番組の信号かの、信号属性に基づいて、前記特徴点の抽出を行なう。すなわち、前述したように、日本の放送番組の信号であるときには、無音区間検出出力情報のみに基づいて特徴点の抽出を行ない、米国の放送番組の信号であるときには、黒区間検出出力情報と、この例では、無音区間検出出力情報とを用いて特徴点の抽出を行なう。
信号属性の判定方法としては、この例では、ユーザーの入力情報に基づいて判定する手動判定方法と、特定条件区間検出部101からの、前記無音区間検出出力情報および黒区間検出出力情報から自動判定する自動判定方法とを用いる。
なお、受信する放送信号に、例えば電子番組表(EPG)データが付随されており、この電子番組表データに、日本の放送番組か、米国の放送番組かを識別する情報が含まれている場合には、その電子番組表のデータを用いて、信号属性を判定することができる。また、記録媒体に記録されている放送番組の情報に、日本の放送番組か、米国の放送番組かを識別する識別情報が付加されて記録されている場合には、その識別情報を用いて、信号属性を判定することができることは言うまでもない。
手動判定方法は、記録時あるいは再生時に、記録対象あるいは再生対象の放送番組が、日本の放送番組か米国の放送番組かを認識しているユーザーが、ユーザー入力インターフェース部31を通じてシステムコントローラ部30に、いずれの信号属性かの情報を入力することに基づいて実行される。
すなわち、システムコントローラ部30は、ユーザーにより入力された信号属性についての情報から、信号属性識別データを生成し、それを特徴点抽出部102に供給する。
特徴点抽出部102は、このシステムコントローラ部30から信号属性識別データにより、検出すべき特徴点が、日本の放送番組のCM区間に関するものか、米国の放送番組のCM区間に関するものかを認識し、日本の放送番組の信号であるときには、無音区間検出出力情報のみに基づいて特徴点の抽出を行ない、米国の放送番組の信号であるときには、黒区間検出出力情報と、この例では、無音区間検出出力情報とを用いて特徴点の抽出を行なう。
無音区間検出出力情報を用いたCM区間の特徴点の検出方法は、次のようなものとされる。すなわち、15秒+α(αは、検出信号処理のための計測時間余裕(時間マージン)である)の整数倍の間隔で無音区間があれば、それはCM区間の特徴点として判定する。そして、前記の図6の特性を根拠として、判定された各特徴点を基準にして、その前方向の所定時間内(例えば100秒以内)に、別のCM区間の特徴点が検出されなければ、その基準とされた特徴点は、CM区間の開始点として判定する(図4のCM開始点Pm1、Pm4に対応する)。
同様にして、前記の図6の特性を根拠として、前記判定した各特徴点を基準にして、その後方向の所定時間内(例えば100秒以内)に、別のCM区間の特徴点が検出されなければ、その基準とされた特徴点は、CM区間の終了点として判定する(図4のCM終了点Pm3、Pm8に対応する)。
黒区間検出出力情報を用いたCM区間の特徴点の検出方法も、基本的には、上述の無音区間検出出力情報から、図6の特性を根拠として特徴点を検出する方法と同様である。
ユーザー入力に基づく手動判定方法によるシステムコントローラ部30からの信号属性識別データが無いときには、この例では、特徴点抽出部102は、信号属性を自動判定するようにする。すなわち、特徴点抽出部102は、信号属性自動判定部1021を備える。この信号属性自動判定部1021には、無音区間検出出力情報から抽出されたCM区間の特徴点抽出データが供給されると共に、黒区間検出出力情報から抽出されたCM区間の特徴点抽出データが供給される。
信号属性自動判定部1021は、無音区間検出出力情報からCM区間の特徴点抽出データが抽出されており、かつ、黒区間検出出力情報からCM区間の特徴点抽出データが抽出されていないと判別したときには、信号属性は、日本の放送番組であると識別する。
また、信号属性自動判定部1021は、無音区間検出出力情報からCM区間の特徴点抽出データが抽出されており、かつ、黒区間検出出力情報からCM区間の特徴点抽出データが抽出されていると共に、両者が、前述した図7に示したような時間関係を有していることを判別した場合には、信号属性は、米国の放送番組であると識別する。
そして、特徴点抽出部102は、この信号属性自動判定部1021の判定結果の信号属性識別データにより、検出すべき特徴点が、日本の放送番組のCM区間に関するものか、米国の放送番組のCM区間に関するものかを認識し、日本の放送番組の信号であるときには、無音区間検出出力情報のみに基づいて抽出された特徴点のデータを、特徴点抽出データとして出力し、米国の放送番組の信号であるときには、黒区間検出出力情報と、この例では、無音区間検出出力情報とを用いて抽出された特徴点のデータを、特徴点抽出データとして出力する。
そして、前述したように、この特徴点抽出部102からの特徴点抽出データは、メモリ部13を介してプレイリスト生成処理部14に供給されるとともに、記録指示があるときには、記録媒体に記録される。
なお、信号属性自動判定部1021は、上述の例では、黒区間検出出力情報からのCM区間の特徴点抽出データのみでなく、無音区間検出出力情報からCM区間の特徴点抽出データをも参照して、米国の放送番組であるか否かの判定を行なうようにしたが、黒区間検出出力情報からのCM区間の特徴点抽出データのみを用いて米国の放送番組かどうかの判定を行なうようにしても良い。
(音声特徴信号処理部40および無音区間検出判定部41の構成例)
(第1の例)
図26は、音声特徴信号処理部40および無音区間検出判定処理部41のハードウエア構成の第1の例を示すブロック図である。
音声エンコード処理部4からの圧縮音声データは、音声データデコード部401に入力されて、デコード処理がなされる。デコードされた音声データは、レベル処理部402、データカウンタ部403およびデータバッファ部404の各々に入力される。
レベル処理部402では、音声データの所定区間の平均パワー(または平均レベル)Pavを演算するため、データの絶対値化処理がなされ、データカウンタ部403で所定サンプルデータ数まで計測されるまで、音声データ積算処理部405で積算処理が行なわれる。
ここで、平均パワーPavは、音声データの値(レベル)をAd(n)、データカウンタ部403で計測するサンプルデータ数をSmとしたとき、図27の(式10)に示すような演算により求められる。
この場合、平均レベルを演算する所定区間として、例えば、約0.01sec(10msec)〜1secが考えられ、例えば、サンプリング周波数Fsを、Fs=48kHzとすると、480〜48000サンプルの積算演算行ない、サンプル数Smで平均処理を行って平均レベル(平均パワー)Pavを求める。
音声データ積算処理部405から出力されたデータPavは、無音区間検出判定処理部41に入力され、しきい値設定部46で設定された所定しきい値Athと比較処理され、無音判定処理が行われる。
ここで、しきい値設定部46における所定しきい値Athの設定において、しきい値Athは、固定値Ath0として設定してもよいが、この例では、固定値Ath0ではなく、所定音声区間の平均レベルに応じた変動しきい値Athmを設定するようにする。
変動しきい値Athmとして、例えば、いま処理を考えている区間をnとし、それより前の区間(n−k)の平均レベルPav(n−k)を考えると、変動しきい値Athmは、図27の(式11)のようにして求められる。
例えば、t=2とすると、変動しきい値Athmは、図27の(式13)のように表すことができる。例えば、mは、おおよそ、20〜2くらいの範囲から設定することが考えられる。
次に、データバッファ部404に蓄積された所定音声データは、周波数解析処理部406に入力され、所定の周波数解析処理が行われる。ここで、周波数解析処理としてはFFT(高速フーリエ変換)などが用いられ、データバッファ部404からのデータの所定解析サンプルデータ数は、例えば、512、1024、2048、その他、など2のべき乗のサンプル数で所定の解析処理が行なわれる。
周波数解析処理部406からのデータは、判定処理部407に入力されて所定の判定処理が行なわれる。例えば音楽(楽音)の判別処理は、周波数帯域のスペクトルピークの継続性から行なわれる。例えば、特開2002−116784公報などには、それらの技術が開示されている。
また、判定処理部407での話者音声の判定は、人の会話音声波形には息継ぎの区間があるので、波形に所定の急峻な立上がり区間、または立下り区間が見られ、その所定立上がり区間、または立下り区間を検出することで行なうことができる。
この場合に、上記音楽(楽音)信号波形の場合は、話者音声の場合に比べて、一般的に波形の立上がり、または立下り区間が現われる確率は小さいと考えられるので、この楽音(音楽)波形の特性(特徴)も考慮して、総合的に音声信号の属性判定を行なうようにする。
上記のような、話者音声信号の波形特徴(波形特性)、音楽(楽音)信号の波形特徴(波形特性)の相違から音声信号の属性判定を行なう場合には、波形における時間的な物理特性を検出することになるので、上記で説明したような周波数解析を行なってから、所定の判定信号処理を行なう方法(周波数領域での信号解析、判定処理)の他に、ベースバンド領域で所定の判定処理を行なう方法(時間領域での信号解析、判定処理)も考えられる。
(第2の例)
図28は、音声データをデコード処理しないで、圧縮帯域のままで、信号の属性解析を行なう場合のブロック構成例である。
図28では、音声エンコード処理部4からの音声データは、ストリームデータ解析部411に入力され、所定のサンプリング周波数、量子化ビット数その他などの信号解析処理が行なわれ、その処理部結果の音声データはサブバンド解析処理部412に供給される。
サブバンド解析処理部412では、所定のサブバンド解析処理が行なわれ、所定のサブバンド帯域のデータは、上記(式10)〜(式13)で説明したのと同様の信号処理が行なわれる。
すなわち、音声データ積算処理部413に入力されて、データカウンタ部414で所定のサンプリングデータ数Smが検出されるまで、積算処理が行われる。その後、しきい値設定系46で設定される所定しきい値に基づいて、無音区間検出判定処理部41で無音判定処理が行なわれる。
この無音判定処理では、音声データのスペクトルを考慮して、エネルギーが多く集まっている帯域、サブバンド帯域としては大よそ3kHz以下の所定データ帯域、を用いるようにする。
また、上記の第1の例では、データバッファ部415の出力を周波数解析して、楽音(音楽)、話者音声の判定処理が行なえることを述べたが、サブバンド解析部412での処理により、この信号処理系で所定の周波数解析が行われたのと同様となっていると考えられるので、判定処理部416では、上記第1の例の判定処理部407について述べたようなスペクトルピークの継続性判定処理を行なうことで、属性判定の信号処理を行なうことができる。
この場合、スペクトルピークは、各サブバンド帯域の中の最大データ帯域と考えることができ、FFT解析処理の場合と同様の信号処理が行なえる。
なお、話者音声信号の波形特徴(波形特性)、音楽(楽音)信号の波形特徴(波形特性)の相違から音声信号の属性判定などを行なう場合においても、この発明の特定条件区間検出方法の実施形態を適用することができる。
[雑音補正処理部44のハードウエア構成例]
雑音補正処理部44は、この例では、デジタルフィルタを用いたフィルタ処理部の構成とされている。
(雑音補正処理部44の第1の構成例)
図29は、雑音補正処理部44のハードウエア構成の第1の例を示すブロック図である。この図29では1系統しか示されていないが、実際は、輝度特徴信号処理部42からの信号の処理用と、色差特徴信号処理部43からの信号処理用との2系統が設けられる。
図29において、D1〜D5は、シフトレジスタ50として構成されるバッファメモリである。バッファメモリの個数は、雑音とみなすフィールド区間(フィールド数)の長さに応じたものとされ、この例では、5個とされているものである。
輝度特徴信号処理部42または色差特徴信号処理部43からのデータ(特徴抽出用変換データという)は、順次、バッファメモリD1から入力され、一時蓄えられると共に、補正処理部51に入力される。シフトレジスタ50にデータが入力される毎に、順次、バッファメモリD1のデータはバッファメモリD2に、バッファメモリD2のデータはバッファメモリD3、・・・というように、データは移動する。
バッファメモリD1〜D5の各データは、比較処理部52において、しきい値設定系47からのしきい値Thminと比較処理が行われる。そして、その比較処理結果は、補正処理部51に供給される。
補正処理部51には、特徴抽出用データが供給されている。補正処理部51は、比較処理部52からの比較処理結果に応じて、特徴抽出用データを補正制御する。すなわち、補正処理部51においては、比較処理部52からの出力信号に応じて、特徴抽出用データは、補正の必要がある部分については後述の動作説明で詳述するような補正処理が行われ、比較処理部52からの比較処理結果で補正処理が必要ない部分については補正処理されずに、そのまま出力される。
このときの比較処理部52と補正処理部51とで実行される補正処理の手順を、図30のフローチャートを参照しながら説明する。なお、この図30のフローチャートは、輝度信号成分についての処理についての説明であり、特徴抽出用データd(t)が一つ入力される毎に、この図30の処理が実行される。色差信号成分についても同様の処理とされる。
まず、雑音補正処理部44では、特徴抽出用データd(t)(これはスコア値である)の入力を受けると、シフトレジスタ50で上述したようなリングバッファ処理がなされる(ステップS41)。次に、各変数m、k、jのカウント値を初期化して、それぞれ零とする(ステップS42)。
ここで、変数mは、5個のバッファメモリD1〜D5のいずれのデータを扱っているかを示すもので、この例では、その最大値Dnum=5である。kは、バッファメモリD1〜D5に格納されている特徴抽出用データd(t)の値が最低しきい値Thmin以下と検出される特徴抽出用データの数である。また、jは、バッファメモリD1〜D5に格納されている特徴抽出用データd(t)の値が最低しきい値Thminよりも大きいと検出される特徴抽出用データの数である。ただし、k,j≦5である。
次に、各バッファメモリD1〜D5のデータと、最低しきい値Thminとを比較し、前記k、jの個数の判定を行なう。すなわち、まず、最初のバッファメモリD1のデータ値D(1)が最低しきい値Thminより大きいか否かを判別し(ステップS43)、データ値D(1)が最低しきい値Thminより大きいと判別したときには、変数jの値を1だけインクリメントする(ステップS44)。また、データ値D(1)が最低しきい値Thmin以下であると判別したときには、変数kの値を1だけインクリメントする(ステップS45)。
次に、次のバッファメモリのデータの比較判定処理のために、変数mを1だけインクリメントし(ステップS46)、当該変数mが最大値Dnumより大きくなったか否か判別する(ステップS47)。このステップS47の処理は、バッファメモリD1〜D5のすべてのデータについての比較判定処理が終了したか否かの判別処理である。
このステップS47で、変数mが最大値Dnum以下であると判別すると、ステップS43に戻って、このステップS43以降の処理を実行する。また、ステップS47で、変数mが最大値Dnumより大きいと判別すると、バッファメモリD1〜D5のすべてのデータについての比較判定処理が終了したと判別して、出力する特徴抽出用データd(t)が最低しきい値Thmin以下と判定されており、かつ、k>0であり、かつ、j>0という条件を満足するか否か判別する(ステップS48)。
ステップS48で、前記条件を満足すると判別すると、出力する特徴抽出用データd(t)は、d(t)=Thmin+1として(ステップS49)、黒区間検出判定処理部45に出力する(ステップS50)。
また、ステップS48で、前記条件を満足しないと判別すると、ステップS49をバイパスしてステップS50に進み、出力する特徴抽出用データd(t)は、そのままの値として、黒区間検出判定処理部45に出力する。
(雑音補正処理動作のタイミングチャート)
次に、以上の雑音補正処理(非線形フィルタ処理)動作を、簡単なデータ例を用いて、さらに説明する。図31〜図33は、この例の動作説明のためのタイミングチャートである。
図31は、雑音補正処理部44で補正処理をする前の特徴抽出用データ列を示すものであり、また、図32は、雑音補正処理部44で補正処理をした後の特徴抽出用データ列を示すものである。また、図33は、5個のバッファメモリD1〜D5の出力を用いた補正処理動作を説明するためのタイミングチャートである。
これらの図において、d0〜d12は、それぞれ特徴抽出用データサンプル(フィールド単位)を示している。また、t0〜t12は、それら特徴抽出用データサンプルd0〜d12のデータ出力時点(フィールド単位)を示している。
また、図31および図32の縦軸の数値は、各特徴抽出用データd0〜データd12の値を示しており、この例では前述したスコア値Sbを用いる。ただし、前述したスコア値Sbの説明図である図18では、スコア値を0〜100の範囲で考えているが、ここの説明では、上記で述べたように簡単なデータでの説明であるので、仮にスコア値を0〜10の範囲として考えている。
そして、この例では、最低しきい値Thmin=7と仮定して、各データd0〜d12のスコア値が、最低しきい値Thmin以上であるとき、そのデータは、黒区間内であると判定する。したがって、データd0〜d12のスコア値が、最低しきい値Thmin未満であるとき、黒区間でないと判定するので、この例では、雑音補正処理部では、雑音とみなす区間のデータ値は、最低しきい値Thminに置き換えることで、黒区間と判定することができるようにしている。
図31に示すように、この例では、特徴抽出用データd4〜d8の区間が黒区間と想定されるが、この例では、特徴抽出用データd6が最低しきい値Thminより小さいので、雑音補正処理部44で補正処理が行われない場合には、図31の下側に示すように、第1検出区間の検出出力としては、データd4〜データd5の区間と、データd7〜データd8の区間との、2つの区間が黒区間として検出されるものとなってしまう。
この第1検出区間の検出出力について、前述した第2検出区間の検出処理を行なっても、やはり図31の下側に示すように、第1検出区間の検出出力と同様に、2つの黒区間が在ると判定されてしまい、雑音部分と考えられるデータd6の部分の影響により誤判定をしてしまうことが分かる。
次に、図33を参照して、図31のような入力特徴抽出用データに対する雑音補正処理について説明する。
図33(A),(B),(C),(D),(E)は、バッファメモリD1,D2,D3,D4,D5の出力データの出力タイミングを示すものであり、d0〜d12は、特徴抽出用データサンプル(フィールド単位)を示しており、また、t0〜t12は、データ出力時点(フィールド単位)を示しているのは前述の通りである。なお、この図33(A),(B),(C),(D),(E)において、各データd0〜データd12の下側に示した数値は、各データの値(スコア値)の例を示している。
ここで、処理用のバッファメモリD1〜D5に全てにデータが蓄えられた時点で、処理が行われるとし、図33(E)のデータ系列で、処理のタイミングを考える。
時点t1から、順次、バッファメモリD1〜D5内のデータ値と、最低しきい値Thminとの関係を見ていく。時点t1では、バッファメモリD1〜D5内には、データd0〜データd4が蓄積されており、これらのデータd0〜データd4の中で、最低しきい値Thmin以上なのは、データd4の一つであり、また、最低しきい値Thminより小さいデータは、データd0、データd1、データd2、データd3の4つあることが分かる。
次に、時点t2では、最低しきい値Thmin以上なのは、データd4、データd5の2つであり、最低しきい値Thminより小さいのは、データd1、データd2、データd3の3つであることが分かる。
このように、バッファメモリD1〜D5内のデータ値と、最低しきい値Thminとを比較し、最低しきい値Thmin以上のデータの個数jと、最低しきい値Thminより小さいデータの個数kとを、それぞれ計測して、図に示すと図33(F)のようになる。
そして、図33(G)は、今考えているデータ系列(図33(E))のデータが、最低しきい値Thminより小となる区間の検出フラグである。また、図33(H)は、上記の個数jおよび個数kが、共に0より大となる区間の検出フラグである。
前述した図30のフローチャートのステップS48における条件から、図33(G)および(H)の検出フラグの論理積(アンド)を取ることとすると、雑音の影響を改善するフィルタ処理のための補正フラグは、図33(I)に示すようなタイミング関係を有するものとなる。すなわち、この図33(I)に示す補正フラグが、オンの区間(ハイレベルの区間)で、図30のフローチャートのステップS49に対応するデータ補正することで、雑音補正をすることができる。この図31〜図33の説明の例では、特徴抽出用データの値d=Thminとするものである。
このようの雑音補正処理された後の特徴抽出用データは、図33(J)に示すようなものとなり、データd0、データd1、データd2、データd3およびデータd6が、補正値に置き換えられ、雑音の影響となっていたデータd6が補正処理されるものである。
図32は、上記のようにして、図31に示されたデータ列が補正されたデータ列を示す図である。この図32の補正されたデータ列から第1検出区間を求めると、雑音の影響が改善され、図32の下側に示すように、当該第1検出区間は、データd0〜データd8間の区間の一つになっていることが分かる。また、この第1検出区間に基づいた第2検出区間は、図32の下側に示すように、データd7〜データd8の区間となり、正しく検出されることが分かる。
ここで、図32に示されるように、雑音の影響が現われているデータd6の部分の他に、データd0、データd1、データd2、データd3の4データか補正されることになる。このため、第1検出区間としては、前方向側に、((バッファメモリ数)−1)個のデータ数だけ、余分に黒区間が長く判定されることになるが、バッファメモリ数は高々数個であることと、この補正処理によって判定される区間が、雑音の影響によるように分割されることはないので、問題はない。
また、最大値Bkmax>最低しきい値Thminの場合には、第2検出区間の検出処理により、d0、d1、d2、d3の4データ区間は、黒区間として検出されなくなるので、この点でも問題はない。
(雑音補正処理部44の第2の構成例)
図34は、雑音補正処理部44の他の構成例で、前述した図29のデジタルフィルタ処理を用いる構成例の変形例である。
D1〜D5は、それぞれ、特徴抽出用データを記憶するメモリバッファで、メモリバッファD1〜D5によりリングバッファ53を構成している。この例では、前述の第1の例とは異なり、メモリバッファD1〜D5はシフトレジスタを構成してはおらず、入力データである特徴抽出用データは、特徴抽出用データサンプルが一つ入力される毎に、スイッチ回路54により切り替えられてリングバッファ53に供給される。これにより、特徴抽出用データが入力されるメモリバッファは、メモリバッファD1→D2→D3→D4→D5→D1・・・というように、順次変えられ、リング状に順番に移動する。
5個のメモリバッファD1〜D5の全てに特徴抽出用データが格納されると、これらメモリバッファD1〜D5に記憶されたデータは、前述の第1の例の場合と同様に、比較処理部52で前述のような比較処理が行われ、その比較結果に応じて補正処理部51で前述と同様の補正処理が行われる。比較処理部52および補正処理部51での信号処理は、前述の第1の例で説明した処理と同様なので、ここでは詳細は省略する。
(雑音補正処理部44における他の処理方法の例)
雑音補正処理部44での処理方法としては、上述したデジタルフィルタを用いたフィルタ処理に限られるものではない。
例えば、第1検出区間が、図31で示したのと同様に、図35(A)に示すように分割され検出された場合に、それら分割された第1検出区間の間隔が、所定時間分taよりも長いか短いかを判定し、短い場合には、第1検出区間は、雑音の影響を受けて分割されたと見なし、図35(B)に示すように、分割された区間を結合した区間を第1検出区間とする処理を行なう。
前記所定時間分taは、前述のフィルタ処理におけるメモリバッファ数に対応するもので、図6、図19および図20の特性を考慮した所定時間分ta、例えばta=5フィールド分とされる。これにより、図35(B)に示すように、雑音があっても第1検出区間は一つとなり、雑音の影響が改善される。
また、次のような処理方法も考えられる。すなわち、この方法は、抽出すべき特徴点としてCM区間に関する黒区間の検出の場合に特定した場合において、黒区間を検出するためのウインドウ幅のウインドウ信号Swdを用いる方法である。ここで、ウインドウ信号Swdのウインドウ幅Wは、図19に示した黒区間の幅の特性から、例えば200フィールド分の幅に設定する。
そして、この例においては、第1検出区間の検出開始点(入力された特徴抽出用データ(スコア)が最低しきい値Thminより大きくなった時点)から、特徴点としての黒区間を検出するためのウインドウ幅Wのウインドウ信号Swdを立ち上げる。そして、このウインドウ信号Swdのウインドウ幅Wの区間においては、入力された特徴抽出用データの最低しきい値Thminよりも低い部分は、すべて、最低しきい値Thminより大きい値、例えば(最低しきい値Thmin+1)に置き換えるようにする。
このようにすると、第1検出区間の検出出力は、雑音があっても、第1検出区間が分割されてしまうことはない。そして、第2検出区間の検出処理をすれば、より正しい黒区間を検出することが可能である。
例えば、図36(A)に示すような特徴抽出用データが入力されたとき、当該特徴抽出用データが最低しきい値Thminを最初に越える開始点STから、図36(B)に示すようにウインドウ信号Swdが立ち上がる。
そして、このウインドウ信号Swdのウインドウ幅Wの区間においては、入力特徴抽出用データは、図36(C)に示すように、最低しきい値Thminよりも低くなる区間のデータは、すべて(最低しきい値Thmin+1)に置き換えられる。
このため、図36(A)に示すように、雑音のために最低しきい値Thminよりも低くなる区間が生じるような特徴抽出用データが入力されたときであっても、第1検出区間として、雑音のために区間が分割されて検出されることはない。そして、図36(C)の補正後の入力特徴抽出用データについて、第2検出区間の検出処理を行なうことにより、図36(D)に示すように、より正しい黒区間の検出ができる。
また、このウインドウ信号Swdを用いる方法として、次のような方法もある。すなわち、以下に説明する方法においては、ウインドウ信号Swdは、第1検出区間の検出開始点からのみ立ち上げるのではなく、予め用意したウインドウ信号Swdを、入力特徴抽出用データに対して順次移動させるようにする。
例えば、最初の所定の特定条件区間(この例では、黒区間の第1検出区間)が検出されるまでは、上記ウインドウ信号Swdを、そのウインドウ幅W分毎に、または、ウインドウ幅Wの所定区間をオーバーラップさせてウインドウ信号Swdを移動させる処理を行なうようにする。
そして、上記のように、所定の特定条件区間(この例では、黒区間の第1検出区間)が検出された場合には、次のウインドウ信号Swdの移動処理は、前述の図6の特性に基づいて、所定間隔、例えば30秒離れた位置に移動させて、上記の図36(C)に示したような所定の信号処理を行なう。
このようなウインドウ信号Swdの移動処理により、所定の区間だけ、所定しきい値より大きい値に補正処理(置換処理)されて、上記で説明したような処理が適切に行なわれる。
(特徴点抽出処理部10の構成の他の例)
図25の例の特徴点抽出処理部10は、特定条件区間検出部101だけでなく、特徴点抽出部102もハードウエア構成としたが、図37に示すように、特徴点抽出部102の部分は、システムコントローラ部30が備えるマイクロコンピュータによるソフトウエア処理とするようにすることもできる。
この図37の例の場合には、特徴点抽出処理部10の出力としての特徴点抽出データは、システムコントローラ部30から出力される。
[記録再生装置の第2の構成例]
図38は、この例の記録再生装置の第2の構成例を示すブロック図である。この図38の例では、前述した記録再生装置の第1の構成例ではハードウエア構成とした特徴点抽出処理部10と、プレイリスト生成処理部14とを、システムコントローラ部30のマイクロコンピュータによるソフトウエアで構成すると共に、メモリ部13として、システムコントローラ部30に内蔵のメモリを用いるようにしている。
また、この図38の例においては、システムコントローラ部30は、ネットワークインターフェース部35を介して、インターネットなどのネットワークに接続される。
放送番組を記録再生処理する信号処理の過程は、前述の図1の記録再生装置の構成例の場合と同様なので、図1の例とは信号処理が異なる部分について説明する。
第1に、図38の記録再生装置の例において前述の図1の例の記録再生装置のブロック構成例と異なるのは、特徴点抽出処理部10の信号処理をシステムコントローラ部30においてソフトウエアにより行なうことである。
すなわち、システムコントローラ部30は、音声エンコード部4および映像エンコード部9からの音声データおよび映像データを受け、前述のような無音区間検出処理および黒区間検出処理を行なうと共に、それらの検出結果から、CM区間の特徴点抽出処理がなされて、特徴点抽出データが生成される。
そして、このシステムコントローラ部30のソフトウエア処理として構成されるプレイリスト生成処理部14に、内蔵メモリ部13を通じて特徴点抽出データが、転送される。そして、ソフトウエア処理として構成されるプレイリスト生成処理部14において、特徴点抽出データからプレイリストが生成される。
図39に、ソフトウエア処理として構成される特徴点抽出処理部10における映像データから黒区間を特定条件区間として検出する処理の流れを示すフローチャートの一例を示す。
システムコントローラ部30は、先ず、映像データを取り込み(ステップS61)、輝度信号成分および色差信号成分について、前述したようなレベル変換処理、ヒストグラム処理およびスコア変換処理などを行なって、特徴抽出用データの生成を行なう(ステップS62)。そして、生成した特徴抽出用データについて、前述したような雑音補正処理を実行する(ステップS63)。
雑音補正処理は、システムコントローラ部30を構成するマイクロコンピュータが、前述の図30のフローチャートに示した手順に従ったソフトウエア処理を実行することにより、行なわれる。
次に、システムコントローラ部30は、第1検出区間の検出処理を行なう(ステップS64)。この第1検出区間の検出処理では、その第1検出区間内の最大データBkmaxも、検出処理の過程で検出する。
そして、その第1検出区間の検出結果について、前記検出した最大データBkmaxに基づいて、第2検出区間の検出処理を実行する(ステップS65)。この例の第2検出区間の検出処理では、所定のデータ値αをデータマージン(データ余裕値)とし、前述した図21のa方向から(Bkmax−α)の位置faを検出し、その後、図21のb方向から(Bkmax−α)の位置fbを検出する。そして、位置faと位置fbとの間の区間を第2検出区間とする。
第2検出区間の検出処理が終了すると、システムコントローラ部30は、特徴点抽出処理の終了指示があるか否か判別し(ステップS66)、終了指示が未だないと判別したときには、ステップS61に戻り、このステップS61以降の処理を繰り返す。また、ステップS66で特徴点抽出処理の終了指示があったと判別したときには、この処理ルーチンを終了する。
また、この記録再生装置の第2の構成例では、ネットワークインターフェース部35を通じてインターネットなどのネットワークに接続されている。このため、記録再生装置に、当初は、特徴点抽出処理部10のソフトウエア(プログラム)や、プレイリスト生成処理部14のソフトウエア(プログラム)が格納されていなくても、後の時点でネットワークから取得して、それを利用することができる。
すなわち、システムコントローラ部30は、当該システムコントローラ部30で用いる上述の特徴点抽出処理部10のソフトウエアプログラムや、プレイリスト生成処理部14のソフトウエアプログラムをダウンロードして、メモリ部に格納する。そして、システムコントローラ部30は、そのダウンロードしたソフトウエア処理による、特徴点抽出処理、プレイリスト生成処理(チャプター生成処理(再生区間、再生時点位置情報生成処理))などを行なう。
例えば、製造販売などの時間的に間に合わない場合には、設計、製造側においては、本発明を適用しない簡単な構成の記録再生装置の構成としておき、後で、インターネット上のサーバに、特徴点抽出処理部10のソフトウエアプログラムや、プレイリスト生成処理部14のソフトウエアプログラムを用意して、前記記録再生装置からダウンロード可能にすることができる。これにより、上述の機能を有しない記録再生装置に対して、後から、この発明を適用した記録再生装置システムをユーザーに提供できることができるようになる。
ユーザー側では、この発明が適用されていない簡単な構成の記録再生システムを購入した後で、ソフト的な処理で、後から機能を追加でき、この発明が適用されたものにすることができるという利点がある。
また、ネットワークインターフェース部35を設けて、ネットワークに接続するようにしたことにより、特徴抽出処理系などを修正、改良するなどの場合にも、ソフトウエアプログラムをダウンロードしてアップグレードすることで、対応できる利点がある。
なお、上述のソフトウエアプログラムをダウンロードで装備する場合は、ユーザーは所定の操作系例えばリモコン32などで、所定のインターネットサイトにネットワークインターフェース部35を介して接続し、前記所定の操作系による操作で、必要なソフトウエアプログラムをダウンロードする。
ダウンロードされたソフトウエアプログラムは、システムコントローラ部30で、所定の解凍処理、インストール処理などが行われて、特徴抽出処理、プレイリスト生成、チャプター生成処理などのほか、前述した所定の処理機能が装備される。
システムコントローラ部30として、マイクロプロセッサ(MPU、またはCPU)、を用いることで、前述したように、特徴抽出処理などを映像および音声データの記録処理と同時に行うことが考えられる。
なお、前記したように、記録処理として、所定の画像、音声の帯域圧縮を行なう場合に、上記のような所定の性能を備えたMPUまたはCPU、またはDSP(デジタル・シグナルプロセッサ)を用いることが考えられ、この帯域圧縮処理を行なっている同じMPUまたはCPU、またはDSPで、前記所定の特徴抽出処理、プレイリスト生成処理などを行なうことも考えられる。
[他の記録再生装置の構成例]
(ネットワーク系からのデータ記録再生)
ここで、光ケーブルなど高速伝送レートのネットワークなど利用により、ネットワーク系から画像音声コンテンツを取り込んで、記録、再生、視聴することを考えることができる。
また、無線ネットワーク系も考えることができる。ネットワーク系から所定の画像音声データを取り込むためのネットワークインターフェース部35などを、無線ネットワーク対応にすることで、有線ネットワーク系と同様に考えることができるので、詳細な説明は省略する。
この場合に、所定ネットワーク系から取り込む画像音声コンテンツデータは、MPEGなど所定帯域圧縮されたデータとする。また、その他の伝送系、例えば、電力線データ伝送、電力線搬送通信(PLC:Power Line Communication)についても同様に考え、この発明を適用することができる。
(記録モード)
ネットワークからの所定画像音声コンテンツデータは、ネットワーク部インターフェース部35を介して、システムコントローラ部30に入力される。そして、システムコントローラ部30内において、前記したように、特徴抽出信号処理が行われ、特徴点抽出データが検出される。システムコントローラ部30では、特徴点検出処理、プレイリストデータ生成処理などの信号処理が行われるが、前述した信号処理と同様なので、ここでは省略する。
システムコントローラ部30で生成された特徴点抽出データおよびプレイリストデータは、前述したように、記録処理系6で所定の信号処理が行われた後、記録媒体7または記録媒体11に記録される。
(再生モード)
ネットワークからの映像、音声データを直接再生する場合には、システムコントローラ部30を介して、再生デコード出力部20の再生データ分離部23に、映像、音声データが入力されて、分離処理が行われ、その後、前述したような画像デコード処理、音声デコード処理などが行われる。その後の信号処理は、前述した信号処理と同様であるので、説明を省略する。
ネットワークからの映像、音声データを直接再生して、視聴する場合には、特徴点抽出データがまだ無いと想定し、システムコントローラ部30内で、前述したような特徴抽出処理を行ない、特徴点抽出データの検出を行なう。その後、特徴点の検出判定処理を行なうが、前記した信号処理と同様なので説明は省略する。
[その他の実施形態および変形例]
上述の実施形態では、特定条件区間検出部で雑音補正処理の対象の情報信号は、映像信号の場合であったが、雑音補正処理の対象となる情報信号は、映像信号に限られるものではなく、音声信号やその他の信号にもこの発明が適用できることは言うまでもない。
すなわち、上記のような特定条件区間検出方法は、上述の例のように黒検出の場合に限ることなく、一般的な信号検出方法として適用することができる。例えば、無音区間を検出する場合において、上記の黒レベル信号(映像信号レベル)の代わりに音声信号レベルを置き換えて考えると、信号に雑音が含まれている場合でも、前記説明した黒区間検出、判定処理の場合と、同様に、良好に検出、判定処理を行なうことができる。
また、前述した話者音声の判定、歓声音声の判定、拍手音声などの判定において、周波数解析結果から所定の判定処理用信号を生成し、その信号についての雑音軽減補正処理においても、この発明が適用可能である。
また、特定条件区間検出部の入力情報信号は、前述もしたように、上述の例のような圧縮映像および音声データに限られるものではない。すなわち、圧縮前の映像信号や音声信号であっても、もちろんよい。
また、映像、音声データの帯域圧縮信号処理としては、上述の例に限らず、その他の帯域圧縮信号処理としてウェーブレット変換、フラクタル解析信号処理その他などを用いてもよい。例えば、映像データのDCT係数は、ウェーブレット変換の場合には、多重解像度解析における解析係数などに相当し、上述と同様の信号処理を行なうことができる。
また、以上の例では、輝度信号の平均レベルから変換レベルに変換し、その変換レベルを用いてヒストグラムデータを生成し、そのヒストグラムからさらにスコアデータに変換して、そのスコアデータを用いて黒区間を検出するようにしたが、輝度信号のレベルと比較用基準レベルとを直接比較して、黒区間を検出するようにしてもよい。
その場合には、例えば輝度信号レベルを0〜255の範囲としたとき、信号のオフセットを考えないで、黒い信号ほど信号レベルは0付近にあるので、比較用基準レベルとしての所定しきい値を、例えば、10くらいに設定し、信号レベルが10以下の場合を黒と判定するようにしてもよい。
このように、特徴点抽出用データ信号の見方を変え、それに応じた所定のしきい値設定など行なえば、この発明の実施形態で説明した特徴点抽出データの検出処理、フィルタ処理など、所定の信号処理を適用することができる。すなわち、特定条件区間検出部の入力情報としては、上述のようなレベル変換処理やヒストグラム処理およびスコア変換処理を経たものに限られるものではないことは言うまでもない。
なお、上述の実施形態では、特徴点抽出データを記録媒体に付加情報ファイルとして記録するようにしたが、特定条件区間の検出結果を付加情報ファイルとして記録媒体に記録するようにしても良い。その場合には、特徴点抽出データを、記録媒体の特定条件区間の検出出力データを用いてやり直すことができる。
上述の実施形態の説明では、信号属性は、日本の放送番組と米国の放送番組の2種類を識別する場合について説明したが、信号属性が3種類など他の場合にも適用することができる。例えば、属性1を日本の放送番組、属性2を米国の放送番組、属性3を他の外国の放送番組(ヨーロッパ地域など)として考えることも可能である。
米国とヨーロッパ地域では、番組の特徴点が相違することが実際の視聴で分かった。ヨーロッパ地域の放送番組の場合には、特徴位置として、例えばシーンチェンジ点を考えることができる。ただし、ヨーロッパ地域は放送方式がNTSC方式ではないので、NTSC方式で再生できる信号に変換して再生することができるようにする、いわば前処理を行った画像音声信号を考えれば、上述したこの発明を適用できる。
7,11…記録媒体、10…特徴点抽出処理部、14…プレイリスト生成処理部、30…システムコントローラ部、40…音声特徴信号処理部、41…無音区間検出判定処理部、42…輝度特徴信号処理部、43…色差特徴信号処理部、44…雑音補正処理部、45…黒区間検出判定処理部、46,47…しきい値設定部、101…特定条件区間検出部、102…特徴点抽出部