JP2002010254A - 特徴点検出方法および記録再生装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 符号化映像データを復号することなく、符号
化映像データから直接、シーンチェンジ点を検出でき、
シーンチェンジ点検出のための演算量を低減できるよう
にする。 【解決手段】 外部装置からの符号化された映像音声デ
ータをデジタルインタフェース回路９０でＴＳに変換
し、そのＴＳから分離回路４２でＰＥＳを抽出して、特
徴点検出部１００でシーンチェンジ点を検出する。特徴
点検出部１００では、Ｉピクチャの出現周期を検出し、
これが定められた周期より短くなったとき、そのときの
Ｉピクチャをシーンチェンジ点とするとともに、Ｐピク
チャまたはＢピクチャのデータ長が、メモリ１０４に蓄
えた直近の過去の複数フレームにおけるＰピクチャまた
はＢピクチャのデータ長の平均値に係数を乗じた結果の
閾値ＬｔｈＰまたはＬｔｈＢより大きくなったとき、そ
のときのＰピクチャまたはＢピクチャをシーンチェンジ
点とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、映像データから
画像のシーンチェンジ点を検出する方法、および映像デ
ータを記録再生する装置に関する。

【０００２】

【従来の技術】記録再生装置で、映像データを解析し
て、番組と番組の変わり目、番組本編とコマーシャルメ
ッセージ部分の変わり目、番組内の映像内容が大きく変
化する点などを、画像のシーンチェンジ点として検出す
る機能を備えたものがある。

【０００３】このような記録再生装置では、その検出さ
れたシーンチェンジ点の情報によって、頭出し再生、コ
マーシャルメッセージ明けからの再生、番組中の特定シ
ーンからの再生などのランダムアクセス再生を実現する
ことができるとともに、シーンチェンジ点のサムネイル
（縮小画像）などを容易に作成することができる。

【０００４】従来、このシーンチェンジ点の検出は、符
号化前または復号化後のベースバンドの映像データを解
析することによって行っている。具体的には、そのとき
のフレームの輝度成分または色差成分の信号強度につい
てのヒストグラムと直前のフレームについての同様のヒ
ストグラムとを比較して、隣接するフレーム間の相関を
検出し、相関が強ければシーンチェンジがなく、相関が
弱ければシーンチェンジを生じたと判断する。

【０００５】

【発明が解決しようとする課題】しかしながら、このよ
うな方法でシーンチェンジ点を検出する場合には、シー
ンチェンジ点の検出のための演算量が大きくなり、シス
テムコントローラの負担が大きくなる。

【０００６】また、従来のように符号化前または復号化
後のベースバンドの映像データからシーンチェンジ点を
検出する方法では、例えば、外部のデジタル放送受信機
などから入力された符号化映像データを記録する場合に
は、その符号化映像データをいったん復号して、シーン
チェンジ点を検出しなければならないので、シーンチェ
ンジ点を検出するとき、映像デコーダを別の用途に用い
ることができず、例えば、すでに記録媒体に記録されて
いる符号化映像データを記録媒体から再生し、映像デコ
ーダで復号して、再生映像信号を得ることができない。

【０００７】そこで、この発明は、符号化映像データを
復号することなく、符号化映像データから直接、シーン
チェンジ点を検出することができ、シーンチェンジ点の
検出のための演算量を低減することができるとともに、
シーンチェンジ点を検出するとき、映像デコーダを別の
用途に用いることができるようにしたものである。

【０００８】

【課題を解決するための手段】第１の発明の特徴点検出
方法は、複数種類のピクチャとして符号化された映像デ
ータから、画像のシーンチェンジ点を特徴点として検出
する方法であって、前記符号化映像データにおける特定
種類のピクチャの出現周期を検出し、その出現周期が定
められた周期より短くなったとき、そのときの特定種類
のピクチャをシーンチェンジ点とするものである。

【０００９】第２の発明の特徴点検出方法は、複数種類
のピクチャとして符号化された映像データから、画像の
シーンチェンジ点を特徴点として検出する方法であっ
て、前記符号化映像データ中の特定種類を除く他の種類
のそれぞれのピクチャのデータ長を検出し、そのデータ
長が閾値より大きくなったとき、そのときの他の種類の
ピクチャをシーンチェンジ点とするものである。

【００１０】上記の方法の第１または第２の発明の特徴
点検出方法によれば、符号化映像データのピクチャ構造
を解析することによって、符号化映像データから直接、
シーンチェンジ点を検出するので、シーンチェンジ点の
検出のための演算量を低減することができ、システムコ
ントローラの負担を軽減することができる。また、符号
化映像データを復号することなく、シーンチェンジ点を
検出することができるので、シーンチェンジ点を検出す
るとき、映像デコーダを別の用途に用いることができ
る。

【００１１】

【発明の実施の形態】〔記録再生装置およびシステムの
概要…図１および図２〕図１は、この発明の記録再生装
置の一例を示し、映像信号および音声信号を、ＭＰＥＧ
（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇ
ｒｏｕｐ）方式によって圧縮符号化し、多重化して、Ｍ
ＰＥＧシステムのＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅ
ａｍ）として、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖ
ｅ）内のディスク（ハードディスク）に記録し、ディス
クから再生する場合である。

【００１２】なお、以下では、アナログ映像信号および
アナログ音声信号を、映像信号および音声信号と称し、
デジタル映像信号およびデジタル音声信号は、デジタル
映像データおよびデジタル音声データ、または単に映像
データおよび音声データと称する。

【００１３】この例では、記録再生装置１０は、地上波
ＴＶ（ｔｅｌｅｖｉｓｉｏｎ）信号を受信するアンテナ
１が接続され、アナログ入力端子１１Ｖ，１１Ａ，１１
Ｓ、アナログ出力端子１２Ｖ，１２Ａ，１２Ｓ、デジタ
ル入出力端子１９、入力処理部２０、出力処理部３０、
多重分離処理部４０、バッファ制御回路５０、ＨＤＤ６
０、システムコントローラ７０、同期制御回路８０、デ
ジタルインタフェース回路９０および特徴点検出部１０
０を備える。図２に示すように、多重分離処理部４０は
多重化回路４１および分離回路４２を備える。

【００１４】システムコントローラ７０は、図では省略
したが、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇ
Ｕｎｉｔ）、ＣＰＵが実行すべきプログラムや固定デ
ータなどが書き込まれたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ
Ｍｅｍｏｒｙ）、およびＣＰＵのワークエリアなどとし
て機能するＲＡＭ（Ｒａｎｄｏｍ ＡｃｃｅｓｓＭｅｍ
ｏｒｙ）を備え、記録再生装置１０全体を制御するもの
である。

【００１５】（入力処理および記録の概要）アンテナ１
で受信された地上波ＴＶ信号は地上波チューナ２１で選
局されて、地上波チューナ２１から映像信号および音声
信号が得られ、その映像信号および音声信号が入力切換
回路２２の一方の入力端に供給される。

【００１６】入力端子１１Ｖには外部機器からコンポジ
ット映像信号が、入力端子１１Ａには外部機器から音声
信号が、入力端子１１Ｓには外部機器からセパレート映
像信号が、それぞれ供給される。

【００１７】入力端子１１Ｖからのコンポジット映像信
号、および入力端子１１Ａからの音声信号は、入力切換
回路２２の他方の入力端に供給され、入力切換回路２２
がシステムコントローラ７０によって切り換えられて、
入力切換回路２２から、いずれかの映像信号および音声
信号が選択されて取り出される。

【００１８】入力切換回路２２からの映像信号は、ＹＣ
分離回路２３で輝度信号と色差信号に分離されて、別の
入力切換回路２４の一方の入力端に供給される。また、
入力端子１１Ｓからのセパレート映像信号（輝度信号お
よび色差信号）が、入力切換回路２４の他方の入力端に
供給され、入力切換回路２４がシステムコントローラ７
０によって切り換えられて、入力切換回路２４から、い
ずれかの輝度信号および色差信号が選択されて取り出さ
れる。

【００１９】入力切換回路２４からの輝度信号および色
差信号は、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉ
ｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）デコー
ダ２５で、それぞれＡ／Ｄ変換され、さらにクロマエン
コード処理されて、ＮＴＳＣデコーダ２５からコンポー
ネント映像データが得られる。

【００２０】また、ＮＴＳＣデコーダ２５では、入力切
換回路２４からの輝度信号から垂直同期信号および水平
同期信号が分離されるとともに、その分離された同期信
号に基づいてクロックおよびフィールド判別信号が生成
され、これら同期信号、クロックおよびフィールド判別
信号が、同期制御回路８０に供給される。同期制御回路
８０では、これらの信号を基準として記録再生装置１０
の各部に必要なクロックおよびタイミング信号が生成さ
れて、記録再生装置１０の各部に供給される。

【００２１】ＮＴＳＣデコーダ２５からの映像データ
は、プリ映像処理回路２６でプリフィルタリング処理な
どの映像処理が施されたのち、ＭＰＥＧ映像エンコーダ
２７および出力処理部３０のポスト映像処理回路３２に
供給される。

【００２２】ＭＰＥＧ映像エンコーダ２７では、プリ映
像処理回路２６からの映像データに対してブロックＤＣ
Ｔ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏ
ｒｍ：離散コサイン変換）などの符号化処理が施され
て、映像ＥＳ（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）
が生成され、そのＭＰＥＧ映像ＥＳが、多重分離処理部
４０に供給される。

【００２３】一方、入力切換回路２２からの音声信号
は、音声Ａ／Ｄ変換器２８でデジタル音声データに変換
されたのち、ＭＰＥＧ音声エンコーダ２９および出力処
理部３０の出力切換回路３５に供給される。

【００２４】ＭＰＥＧ音声エンコーダ２９では、音声Ａ
／Ｄ変換器２８からの音声データがＭＰＥＧフォーマッ
トに従って圧縮されて、音声ＥＳが生成され、そのＭＰ
ＥＧ音声ＥＳが、多重分離処理部４０に供給される。

【００２５】多重分離処理部４０では、図２に示す多重
化回路４１において、ＭＰＥＧ映像エンコーダ２７から
の映像ＥＳおよびＭＰＥＧ音声エンコーダ２９からの音
声ＥＳと各種制御信号とが多重化されて、ＭＰＥＧシス
テムのＴＳが生成され、そのＭＰＥＧ／ＴＳが、セレク
タ４４を介してバッファ制御回路５０に送出される。

【００２６】バッファ制御回路５０は、多重化回路４１
からセレクタ４４を介して連続的に入力されるＭＰＥＧ
／ＴＳを、ＨＤＤ６０に断続的に送出する。すなわち、
ＨＤＤ６０がシーク動作を行っているときには、書き込
みができないので、入力されたＭＰＥＧ／ＴＳをバッフ
ァに一時的に蓄え、ＨＤＤ６０が書き込み可能なとき
に、そのＭＰＥＧ／ＴＳを入力レートより高いレートで
バッファから読み出してＨＤＤ６０に送出する。これに
よって、バッファ制御回路５０に連続的に入力されるＭ
ＰＥＧ／ＴＳは、途切れることなくディスク（ハードデ
ィスク）６１に記録される。

【００２７】ＨＤＤ６０は、システムコントローラ７０
によって制御されて、ディスク６１にＭＰＥＧ／ＴＳを
書き込む。バッファ制御回路５０とＨＤＤ６０との間の
プロトコル（インタフェース）としては、ＩＤＥ（Ｉｎ
ｔｅｇｒａｔｅｄ Ｄｅｖｉｃｅ Ｅｌｅｃｔｒｏｎｉ
ｃｓ）などが用いられる。

【００２８】（再生および出力処理の概要）再生時に
は、ＨＤＤ６０は、システムコントローラ７０によって
制御されて、ディスク６１からＭＰＥＧ／ＴＳを読み出
し、バッファ制御回路５０に送出する。バッファ制御回
路５０は、記録時とは逆に、ＨＤＤ６０から断続的に入
力されるＭＰＥＧ／ＴＳを、連続的なＭＰＥＧ／ＴＳに
変換して、多重分離処理部４０のセレクタ４６を介して
分離回路４２に供給する。

【００２９】分離回路４２では、その連続的なＭＰＥＧ
／ＴＳからＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅ
ｎｔａｒｙ Ｓｔｒｅａｍ）が抽出されて、ＭＰＥＧ映
像音声デコーダ３１に供給される。

【００３０】ＭＰＥＧ映像音声デコーダ３１では、分離
回路４２からのＰＥＳが映像ＥＳと音声ＥＳに分離さ
れ、さらに、その映像ＥＳがＭＰＥＧ映像デコーダで復
号されてベースバンドの映像データに変換され、音声Ｅ
ＳがＭＰＥＧ音声デコーダで復号されてベースバンドの
音声データに変換される。変換後の映像データはポスト
映像処理回路３２に供給され、音声データは出力切換回
路３５に供給される。

【００３１】ポスト映像処理回路３２では、ＭＰＥＧ映
像音声デコーダ３１からの映像データおよびプリ映像処
理回路２６からの映像データに対して、両者の切り換え
または合成やポストフィルタリング処理などの映像処理
が施され、処理後の映像データが、ＯＳＤ（Ｏｎ Ｓｃ
ｒｅｅｎ Ｄｉｓｐｌａｙ）処理回路３３に供給され
る。

【００３２】ＯＳＤ処理回路３３では、ポスト映像処理
回路３２からの映像データに、表示画面上でグラフィッ
クスなどの画像が重畳的または部分的に表示されるよう
な処理が施され、処理後の映像データが、ＮＴＳＣエン
コーダ３４に供給される。

【００３３】ＮＴＳＣエンコーダ３４では、ＯＳＤ処理
回路３３からの映像データ（コンポーネント映像デー
タ）が、輝度データと色差データとに変換され、さら
に、その輝度データおよび色差データが、それぞれＤ／
Ａ変換されて、それぞれアナログ信号のコンポジット映
像信号およびセパレート映像信号が得られる。そのコン
ポジット映像信号は出力端子１２Ｖに導出され、セパレ
ート映像信号は出力端子１２Ｓに導出される。

【００３４】一方、出力切換回路３５では、システムコ
ントローラ７０によって、ＭＰＥＧ映像音声デコーダ３
１からの音声データと、音声Ａ／Ｄ変換器２８からの音
声データとの、いずれかが選択されて取り出される。こ
の選択された音声データは、音声Ｄ／Ａ変換器３６でア
ナログ音声信号に変換されて、出力端子１２Ａに導出さ
れる。

【００３５】（外部装置とのインタフェースの概要）記
録再生装置１０は、デジタル入出力端子１９と多重分離
処理部４０との間にデジタルインタフェース回路９０が
接続されたものとされて、デジタル入出力端子１９に外
部装置１１０を接続することによって、外部装置１１０
からの符号化された映像音声データをディスク６１に記
録し、ディスク６１から再生された符号化された映像音
声データを外部装置１１０に出力することができる。

【００３６】外部装置１１０としては、ＩＲＤ（Ｉｎｔ
ｅｇｒａｔｅｄ ＲｅｃｅｉｖｅｒＤｅｃｏｄｅｒ）や
デジタルＴＶ受信機などの映像機器、あるいはパーソナ
ルコンピュータなどの情報機器を接続することができ
る。外部装置１１０と記録再生装置１０とのデジタルイ
ンタフェースとしては、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ
ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒ
ｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）１３９４規格のイン
タフェースなどを用いることができる。

【００３７】外部装置１１０からデジタル入出力端子１
９に入力された符号化された映像音声データは、デジタ
ルインタフェース回路９０でフォーマット変換などの処
理が施され、記録再生装置１０に適合するＭＰＥＧ／Ｔ
Ｓに変換されて、多重分離処理部４０に送出される。多
重分離処理部４０では、必要に応じて制御信号の解析や
生成が行われた上で、そのＭＰＥＧ／ＴＳが、セレクタ
４５および４４を介してバッファ制御回路５０に送出さ
れ、ＨＤＤ６０によってディスク６１に記録される。

【００３８】これと同時に、セレクタ４５を介したＭＰ
ＥＧ／ＴＳが、セレクタ４６を介して分離回路４２に供
給され、分離回路４２で、記録されるＭＰＥＧ／ＴＳか
らＰＥＳが抽出されて、ＭＰＥＧ映像音声デコーダ３１
に供給されることによって、出力端子１２Ｖ，１２Ｓお
よび１２Ａに、外部装置１１０からの映像音声データに
よるアナログ映像信号およびアナログ音声信号が得られ
る。

【００３９】再生時には、ＨＤＤ６０によってディスク
６１からＭＰＥＧ／ＴＳが読み出され、バッファ制御回
路５０で連続的なＭＰＥＧ／ＴＳに変換されて、多重分
離処理部４０に送出される。多重分離処理部４０では、
必要に応じて制御信号の解析や生成が行われた上で、そ
のＭＰＥＧ／ＴＳが、セレクタ４５を介してデジタルイ
ンタフェース回路９０に送出される。デジタルインタフ
ェース回路９０では、記録時とは逆の処理によって、そ
のＭＰＥＧ／ＴＳが外部装置１１０に適合する映像音声
データに変換されて、デジタル入出力端子１９を介して
外部装置１１０に出力される。

【００４０】これと同時に、バッファ制御回路５０から
の再生されたＭＰＥＧ／ＴＳが、セレクタ４６を介して
分離回路４２に供給され、分離回路４２で、再生された
ＭＰＥＧ／ＴＳからＰＥＳが抽出されて、ＭＰＥＧ映像
音声デコーダ３１に供給されることによって、出力端子
１２Ｖ，１２Ｓおよび１２Ａに、再生アナログ映像信号
および再生アナログ音声信号が得られる。

【００４１】〔特徴点検出方法…図３〜図１２〕以上の
ような記録再生装置１０において、上述したように外部
装置１１０からデジタル入出力端子１９に入力され、デ
ジタルインタフェース回路９０でＭＰＥＧ／ＴＳに変換
された映像音声データを、ディスク６１に記録する場合
における、特徴点（シーンチェンジ点）検出方法を以下
に示す。

【００４２】（映像データの符号化態様…図３および図
４）ＭＰＥＧ方式では、映像データは、Ｉ（Ｉｎｔｒａ
−ｃｏｄｅｄ），Ｐ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅ
ｄ），Ｂ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄ
ｉｃｔｉｖｅ−ｃｏｄｅｄ）の３種類のピクチャとして
符号化されて、符号化された映像データでは、１枚のＩ
ピクチャと数枚ずつのＰピクチャおよびＢピクチャから
なるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）構
造が形成され、一般的にはＩピクチャが周期的に出現す
る。

【００４３】しかし、デジタル放送用エンコーダによっ
ては、映像内容が大きく変化したとき、Ｉピクチャを強
制的に挿入することによって、画質の劣化を抑えるもの
が存在する。

【００４４】図３は、この場合の符号化映像データのＧ
ＯＰ構造を示し、Ｉピクチャの定常的な出現周期Ｎが１
５（枚）の場合で、同図（Ａ）は、シーンチェンジがな
い場合のＧＯＰ構造であり、同図（Ｂ）は、シーンチェ
ンジによって矢印で示す位置にＩピクチャが挿入され
て、Ｉピクチャの出現周期が乱れた場合のＧＯＰ構造で
ある。

【００４５】特徴点検出の第１の方法では、このＩピク
チャの出現周期の乱れを検出することによって、シーン
チェンジ点を検出する。

【００４６】また、デジタル放送用エンコーダによって
は、映像内容が大きく変化してもＩピクチャを強制的に
挿入しないで、Ｉピクチャを常に一定周期で送り続ける
ものも存在する。この場合には、ＰピクチャまたはＢピ
クチャにおいて映像内容が大きく変化すると、その変化
点のＰピクチャまたはＢピクチャのデータ長が増大す
る。

【００４７】図４は、この場合の符号化映像データのＧ
ＯＰ構造を示し、Ｉピクチャの出現周期Ｎが１５（枚）
に固定される場合で、同図（Ａ）は、シーンチェンジが
ない場合のＧＯＰ構造であり、同図（Ｂ）は、シーンチ
ェンジによって矢印で示す位置のＢピクチャのデータ長
が増大した場合のＧＯＰ構造である。

【００４８】特徴点検出の第２の方法では、このＰピク
チャまたはＢピクチャのデータ長の増大を検出すること
によって、シーンチェンジ点を検出する。

【００４９】（第１の方法…図５〜図７）図５は、第１
の方法によってシーンチェンジ点を検出する場合の特徴
点検出部１００の一例を示す。

【００５０】上述したように、外部装置１１０からデジ
タル入出力端子１９に入力された符号化された映像音声
データは、デジタルインタフェース回路９０でＭＰＥＧ
／ＴＳに変換されて、多重分離処理部４０を介してバッ
ファ制御回路５０に送出され、ＨＤＤ６０によってディ
スク６１に記録される。同時に、多重分離処理部４０の
分離回路４２で、記録されるＭＰＥＧ／ＴＳからＰＥＳ
が抽出されて、特徴点検出部１００に供給される。

【００５１】図５の例は、この特徴点検出部１００に供
給されるＰＥＳ中の符号化映像データが、図３に示した
ようなＧＯＰ構造を有する場合に適用することができ
る。

【００５２】この例の特徴点検出部１００は、ＧＯＰ構
造解析部１０１および映像変化点検出部１０２によって
構成される。ＧＯＰ構造解析部１０１は、特徴点検出部
１００に入力されたＰＥＳのそれぞれのピクチャのタイ
プ（Ｉ，Ｐ，Ｂピクチャの別）を検出し、映像変化点検
出部１０２は、ＧＯＰ構造解析部１０１で検出されたピ
クチャタイプから、後述の検出処理ルーチンによって、
シーンチェンジ点を検出し、特徴点（シーンチェンジ
点）情報を出力する。

【００５３】図６は、映像変化点検出部１０２が行う検
出処理ルーチンの一例を示す。この検出処理ルーチンで
は、図７に示すような直前のＩピクチャからのピクチャ
データ数を示すカウント値ｎを０にリセットした状態で
処理を開始して、まずステップＳ１０１で、ＧＯＰ構造
解析部１０１からピクチャタイプを取得し、次にステッ
プＳ１０２で、そのときのピクチャがＩピクチャである
か否かを判断する。

【００５４】そして、そのときのピクチャがＩピクチャ
であれば、ステップＳ１０３に進んで、カウント値ｎが
Ｉピクチャの定常的な出現周期Ｎと等しいか否かを、す
なわち図３に示したようにＮ＝１５の場合にはカウント
値ｎが１５であるか否かを判断する。

【００５５】図７に示すように、カウント値ｎは、Ｉピ
クチャの直後のピクチャでは１にされ、したがってＩピ
クチャでは、シーンチェンジがなければ、Ｎ（＝１５）
に達するが、シーンチェンジがあると、Ｎ（＝１５）に
達しない。

【００５６】したがって、カウント値ｎがＮ（＝１５）
であれば、そのＩピクチャはシーンチェンジ点ではない
として、ステップＳ１０３からステップＳ１０４に進ん
で、次のピクチャについての処理のためにカウント値ｎ
を１にし、さらにステップＳ１０７に進んで、シーンチ
ェンジ検出フラグを０にした上で、ステップＳ１０１に
戻って、次のピクチャについての処理を行う。

【００５７】カウント値ｎがＮ（＝１５）でなければ、
そのＩピクチャはシーンチェンジ点であるとして、ステ
ップＳ１０３からステップＳ１０５に進んで、次のピク
チャについての処理のためにカウント値ｎを１にし、さ
らにステップＳ１０８に進んで、シーンチェンジ検出フ
ラグを１にし、特徴点情報を出力した上で、ステップＳ
１０１に戻って、次のピクチャについての処理を行う。

【００５８】ステップＳ１０２で、そのときのピクチャ
がＩピクチャではないと判断したときには、ステップＳ
１０６に進んで、次のピクチャについての処理のために
カウント値ｎをインクリメントし、さらにステップＳ１
０７に進んで、シーンチェンジ検出フラグを０にした上
で、ステップＳ１０１に戻って、次のピクチャについて
の処理を行う。

【００５９】図５の例の特徴点検出部１００では、以上
のようにＰＥＳからシーンチェンジ点が検出され、特徴
点情報として、シーンチェンジ点として検出されたＩピ
クチャの位置を示す、ＰＥＳの時間情報であるＰＴＳ
（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅ Ｓｔａｍｐ）や
パケット番号が出力される。この特徴点情報は、バッフ
ァ制御回路５０に送出され、ＭＰＥＧ／ＴＳとは別に管
理されてディスク６１に記録される。

【００６０】なお、上記の例は、映像変化点検出部１０
２をソフトウエアによって構成する場合であるが、映像
変化点検出部１０２として専用のハードウエア回路を用
いることもできる。

【００６１】（第２の方法…図８〜図１２）図８は、第
２の方法によってシーンチェンジ点を検出する場合の特
徴点検出部１００の一例を示す。

【００６２】この例の特徴点検出部１００は、ＧＯＰ構
造解析部１０１、映像変化点検出部１０２、閾値決定部
１０３およびメモリ１０４によって構成される。メモリ
１０４としては、専用のメモリの代わりに、システムコ
ントローラ７０内のＲＡＭの一部の領域やディスク６１
の一部の領域などを用いることもできる。

【００６３】ＧＯＰ構造解析部１０１は、特徴点検出部
１００に入力されたＰＥＳのそれぞれのピクチャのタイ
プおよびデータ長を検出し、閾値決定部１０３は、ＧＯ
Ｐ構造解析部１０１からピクチャタイプおよびピクチャ
データ長を取り込み、後述の閾値決定処理ルーチンによ
って、直近の過去のｍフレームについてのピクチャタイ
プおよびピクチャデータ長をメモリ１０４に蓄えて、Ｐ
ピクチャおよびＢピクチャのデータ長についての閾値Ｌ
ｔｈＰおよびＬｔｈＢを決定する。

【００６４】映像変化点検出部１０２は、ＧＯＰ構造解
析部１０１で検出されたピクチャタイプおよびピクチャ
データ長と、閾値決定部１０３で決定された閾値Ｌｔｈ
ＰおよびＬｔｈＢとから、後述の検出処理ルーチンによ
って、シーンチェンジ点を検出し、特徴点（シーンチェ
ンジ点）情報を出力する。

【００６５】この図８の例は、一つの場合として、特徴
点検出部１００に供給されるＰＥＳ中の符号化映像デー
タが、図４に示したようなＧＯＰ構造を有する場合に適
用することができる。

【００６６】図９は、この場合の、閾値決定部１０３が
行う閾値決定処理ルーチンを含む、映像変化点検出部１
０２が行う検出処理ルーチンの一例を示す。この検出処
理ルーチンでは、メモリ１０４に蓄えられているピクチ
ャデータ数を示すカウント値ａを０にリセットした状態
で処理を開始して、まずステップＳ１１１で、ＧＯＰ構
造解析部１０１からピクチャタイプおよびピクチャデー
タ長Ｌを取得し、次にステップＳ１２０の閾値決定処理
ルーチンによって、後述のようにＰピクチャおよびＢピ
クチャのデータ長についての閾値ＬｔｈＰおよびＬｔｈ
Ｂを決定する。

【００６７】次にステップＳ１１２で、そのときのピク
チャがＰピクチャであるか否かを判断し、Ｐピクチャで
あれば、ステップＳ１１３に進んで、そのＰピクチャの
データ長ＬがステップＳ１２０で決定された閾値Ｌｔｈ
Ｐより大きいか否かを判断し、Ｌ≦ＬｔｈＰであれば、
そのＰピクチャはシーンチェンジ点ではないとして、ス
テップＳ１０７に進んで、シーンチェンジ検出フラグを
０にした上で、ステップＳ１１１に戻って、次のピクチ
ャについての処理を行う。

【００６８】逆に、Ｌ＞ＬｔｈＰであれば、そのＰピク
チャはシーンチェンジ点であるとして、ステップＳ１１
３からステップＳ１０８に進んで、シーンチェンジ検出
フラグを１にし、特徴点情報を出力した上で、ステップ
Ｓ１１１に戻って、次のピクチャについての処理を行
う。

【００６９】ステップＳ１１２で、そのときのピクチャ
がＰピクチャではないと判断したときには、ステップＳ
１１４に進んで、そのときのピクチャがＢピクチャであ
るか否かを判断し、Ｂピクチャであれば、ステップＳ１
１５に進んで、そのＢピクチャのデータ長Ｌがステップ
Ｓ１２０で決定された閾値ＬｔｈＢより大きいか否かを
判断し、Ｌ≦ＬｔｈＢであれば、そのＢピクチャはシー
ンチェンジ点ではないとして、ステップＳ１０７に進ん
で、シーンチェンジ検出フラグを０にした上で、ステッ
プＳ１１１に戻って、次のピクチャについての処理を行
う。

【００７０】逆に、Ｌ＞ＬｔｈＢであれば、そのＢピク
チャはシーンチェンジ点であるとして、ステップＳ１１
５からステップＳ１０８に進んで、シーンチェンジ検出
フラグを１にし、特徴点情報を出力した上で、ステップ
Ｓ１１１に戻って、次のピクチャについての処理を行
う。

【００７１】ステップＳ１１４で、そのときのピクチャ
がＢピクチャではないと、すなわちＩピクチャであると
判断したときには、そのピクチャはシーンチェンジ点で
はないとして、ステップＳ１０７に進んで、シーンチェ
ンジ検出フラグを０にした上で、ステップＳ１１１に戻
って、次のピクチャについての処理を行う。

【００７２】図８の例の特徴点検出部１００では、以上
のようにＰＥＳからシーンチェンジ点が検出され、特徴
点情報として、シーンチェンジ点として検出されたＰピ
クチャまたはＢピクチャの位置を示す、ＰＥＳのＰＴＳ
やパケット番号が出力される。図５の例と同様に、この
特徴点情報は、バッファ制御回路５０に送出され、ＭＰ
ＥＧ／ＴＳとは別に管理されてディスク６１に記録され
る。

【００７３】さらに、図８の例は、特徴点検出部１００
に供給されるＰＥＳ中の符号化映像データが、図３に示
したようなＧＯＰ構造を有する場合と、図４に示したよ
うなＧＯＰ構造を有する場合との、いずれの場合にも適
用することができる。

【００７４】図１０は、この場合の、閾値決定部１０３
が行う閾値決定処理ルーチンを含む、映像変化点検出部
１０２が行う検出処理ルーチンの一例を示す。この検出
処理ルーチンでは、図７に示したような直前のＩピクチ
ャからのピクチャデータ数を示すカウント値ｎ、および
メモリ１０４に蓄えられているピクチャデータ数を示す
カウント値ａを、それぞれ０にリセットした状態で処理
を開始して、まずステップＳ１１１で、ＧＯＰ構造解析
部１０１からピクチャタイプおよびピクチャデータ長Ｌ
を取得し、次にステップＳ１２０の閾値決定処理ルーチ
ンによって、後述のようにＰピクチャおよびＢピクチャ
のデータ長についての閾値ＬｔｈＰおよびＬｔｈＢを決
定する。

【００７５】次にステップＳ１０２で、そのときのピク
チャがＩピクチャであるか否かを判断し、Ｉピクチャで
あれば、ステップＳ１０３に進んで、カウント値ｎが符
号化映像データが図３に示したようなＧＯＰ構造を有す
る場合におけるＩピクチャの定常的な出現周期Ｎと等し
いか否かを判断し、カウント値ｎがＮであれば、そのＩ
ピクチャはシーンチェンジ点ではないとして、ステップ
Ｓ１０４に進んで、カウント値ｎを１にし、さらにステ
ップＳ１０７に進んで、シーンチェンジ検出フラグを０
にした上で、ステップＳ１１１に戻って、次のピクチャ
についての処理を行う。

【００７６】カウント値ｎがＮでなければ、そのＩピク
チャはシーンチェンジ点であるとして、ステップＳ１０
３からステップＳ１０５に進んで、カウント値ｎを１に
し、さらにステップＳ１０８に進んで、シーンチェンジ
検出フラグを１にし、特徴点情報を出力した上で、ステ
ップＳ１１１に戻って、次のピクチャについての処理を
行う。

【００７７】ステップＳ１０２で、そのときのピクチャ
がＩピクチャではないと判断したときには、ステップＳ
１０６に進んで、カウント値ｎをインクリメントした上
で、ステップＳ１１２に進んで、そのときのピクチャが
Ｐピクチャであるか否かを判断する。ステップＳ１１２
以下については、図９の検出処理ルーチンと同じであ
る。

【００７８】図１０の場合、図８の例の特徴点検出部１
００では、特徴点情報として、シーンチェンジ点として
検出されたＩピクチャ、ＰピクチャまたはＢピクチャの
位置を示す、ＰＥＳのＰＴＳやパケット番号が出力され
る。

【００７９】図８の例の閾値決定部１０３は、すなわち
図９または図１０の閾値決定処理ルーチンＳ１２０で
は、メモリ１０４に蓄えた直近の過去のｍフレームにつ
いてのピクチャタイプおよびピクチャデータ長から、Ｐ
ピクチャおよびＢピクチャのデータ長についての閾値Ｌ
ｔｈＰおよびＬｔｈＢを決定する。これは、シーンチェ
ンジ点でＰピクチャまたはＢピクチャのデータ長が増大
したことを、より正確に検出するためである。

【００８０】ｍの値は、符号化映像データの連続するｍ
フレーム中にＰピクチャが少なくとも１フレーム含まれ
る値とし、符号化映像データが図４に示したようなＧＯ
Ｐ構造を有する場合には６以上とする。図１１は、ｍ＝
６とした場合である。

【００８１】図１２は、閾値決定部１０３が行う閾値決
定処理ルーチンＳ１２０の一例を示す。この閾値決定処
理ルーチンＳ１２０では、まずステップＳ１２１で、図
９または図１０のステップＳ１０８またはＳ１０７で設
定されたシーンチェンジ検出フラグが１であるか否かを
判断し、シーンチェンジ検出フラグが１であれば、その
ときのピクチャがシーンチェンジ点として検出されたこ
とになり、シーンチェンジ点の前後ではフレーム間の相
関がなくなっていることから、ステップＳ１２１からス
テップＳ１２２に進んで、メモリ１０４の内容（ピクチ
ャタイプおよびピクチャデータ長）をクリアし、さらに
ステップＳ１２３に進んで、メモリ１０４に蓄えられて
いるピクチャデータ数を示すカウント値ａを０にリセッ
トした上で、ステップＳ１２４に進み、シーンチェンジ
検出フラグが０であれば、ステップＳ１２１から直接、
ステップＳ１２４に進む。

【００８２】ステップＳ１２４では、図９または図１０
のステップＳ１１１で取得したピクチャタイプおよびピ
クチャデータ長Ｌをメモリ１０４に格納し、次にステッ
プＳ１２５で、カウント値ａが規定値ｍに達したか否か
を、すなわち図１１に示したようにｍ＝６の場合にはカ
ウント値ａが６に達したか否かを判断する。

【００８３】そして、図９または図１０の検出処理を開
始した直後や、カウント値ａを０にリセットした直後で
あって、いまだメモリ１０４にｍフレーム分のピクチャ
タイプおよびピクチャデータ長Ｌが蓄えられてなく、ａ
＜ｍであるときには、ステップＳ１２６に進んで、次の
ピクチャについての処理のためにカウント値ａをインク
リメントした上で、ステップＳ１２７に進んで、Ｐピク
チャのデータ長についての閾値ＬｔｈＰおよびＢピクチ
ャのデータ長についての閾値ＬｔｈＢを、それぞれ、そ
のときのＰピクチャまたはＢピクチャがシーンチェンジ
点として検出されることがないような十分に大きい値Ｌ
ｍａｘに設定して、閾値決定処理を終了し、図９のステ
ップＳ１１２または図１０のステップＳ１０２に移行す
る。

【００８４】一方、ステップＳ１２４での格納によっ
て、メモリ１０４にｍフレーム分のピクチャタイプおよ
びピクチャデータ長Ｌが蓄えられて、カウント値ａが規
定値ｍに達したときには、ステップＳ１２５からステッ
プＳ１２８に進んで、次のピクチャについての処理のた
めにメモリ１０４から最も古いピクチャタイプおよびピ
クチャデータ長Ｌを削除した上で、ステップＳ１２９に
進んで、閾値ＬｔｈＰおよびＬｔｈＢを、次の式（１）
（２）によって算出して、閾値決定処理を終了し、図９
のステップＳ１１２または図１０のステップＳ１０２に
移行する。

【００８５】ＬｔｈＰ＝Ｋｐ×ＬａｖｅＰ …（１） ＬｔｈＢ＝Ｋｂ×ＬａｖｅＢ …（２）。

【００８６】ＬａｖｅＰおよびＬａｖｅＢは、それぞ
れ、ステップＳ１２８で最も古いピクチャタイプおよび
ピクチャデータ長Ｌを削除する直前においてメモリ１０
４に蓄えられていた直近の過去のｍフレームにおけるＰ
ピクチャのデータ長の平均値およびＢピクチャのデータ
長の平均値であり、ＫｐおよびＫｂは、１以上の係数で
ある。

【００８７】係数Ｋｐ，Ｋｂは、その値によってシーン
チェンジの検出精度が決定され、１に近いほど、わずか
な映像変化でもシーンチェンジとして検出され、逆に大
きいほど、大きな映像変化のみがシーンチェンジとして
検出される。したがって、係数Ｋｐ，Ｋｂは、映像の種
類や映像データの符号化アルゴリズムなどに応じて、１
以上、２程度以下の範囲内の適切な値に設定する。ま
た、係数Ｋｐ，Ｋｂを固定値にしないで、システムコン
トローラ７０によって調整できるようにしてもよい。

【００８８】このように、直近の過去のｍフレームにお
けるＰ，Ｂピクチャのデータ長の平均値ＬａｖｅＰ，Ｌ
ａｖｅＢに係数Ｋｐ，Ｋｂを乗じた結果を、Ｐ，Ｂピク
チャのデータ長についての閾値ＬｔｈＰ，ＬｔｈＢとす
ることによって、図４（Ｂ）に示したようなシーンチェ
ンジによるＰピクチャまたはＢピクチャのデータ長の増
大を、より正確に検出することができる。

【００８９】上記の例は、図８の映像変化点検出部１０
２および閾値決定部１０３をソフトウエアによって構成
する場合であるが、映像変化点検出部１０２および閾値
決定部１０３として専用のハードウエア回路を用いるこ
ともできる。

【００９０】（実施形態の特徴点検出の効果）図３以下
に示して上述した特徴点検出方法では、図１および図２
に示したＭＰＥＧ映像音声デコーダ３１でいったん復号
した後のベースバンドの映像データからシーンチェンジ
点を検出するのではなく、ディスク６１に記録するＭＰ
ＥＧ／ＴＳから分離回路４２で抽出したＰＥＳから直
接、シーンチェンジ点を検出するので、シーンチェンジ
点の検出のための演算量を低減することができ、システ
ムコントローラ７０の負担を軽減することができる。

【００９１】また、上述した特徴点検出方法では、上記
のようにＭＰＥＧ映像音声デコーダ３１を使用しないで
シーンチェンジ点を検出するので、シーンチェンジ点を
検出するとき、ＭＰＥＧ映像音声デコーダ３１を別の用
途に用いることができる。

【００９２】すなわち、外部装置１１０からの符号化さ
れた映像音声データを、デジタルインタフェース回路９
０でＭＰＥＧ／ＴＳに変換してディスク６１に記録し、
その記録するＭＰＥＧ／ＴＳから分離回路４２でＰＥＳ
を抽出し、特徴点検出部１００でシーンチェンジ点を検
出して、特徴点情報をディスク６１に記録すると同時
に、分離回路４２からのＰＥＳをＭＰＥＧ映像音声デコ
ーダ３１に供給することによって、出力端子１２Ｖ，１
２Ｓおよび１２Ａに、外部装置１１０からの映像音声デ
ータによるアナログ映像信号およびアナログ音声信号を
得ることができる。

【００９３】また、分離回路４２として、特徴点検出部
１００でＰＥＳからシーンチェンジ点を検出するための
回路と、ディスク６１から再生されたＭＰＥＧ／ＴＳか
らＰＥＳを抽出してＭＰＥＧ映像音声デコーダ３１に供
給する回路とを設ける場合には、外部装置１１０からの
符号化された映像音声データを、デジタルインタフェー
ス回路９０でＭＰＥＧ／ＴＳに変換してディスク６１に
記録し、その記録するＭＰＥＧ／ＴＳからシーンチェン
ジ点を検出して、特徴点情報をディスク６１に記録する
と同時に、すでにディスク６１に記録されているＭＰＥ
Ｇ／ＴＳをディスク６１から再生し、その再生したＭＰ
ＥＧ／ＴＳからＰＥＳを抽出してＭＰＥＧ映像音声デコ
ーダ３１に供給することによって、出力端子１２Ｖ，１
２Ｓおよび１２Ａに、ディスク６１から再生したＭＰＥ
Ｇ／ＴＳによる再生アナログ映像信号および再生アナロ
グ音声信号を得ることができる。

【００９４】ディスク６１に記録された特徴点情報は、
これによって、ディスク６１からＭＰＥＧ／ＴＳを再生
する場合に、頭出し再生、コマーシャルメッセージ明け
からの再生、番組中の特定シーンからの再生などのラン
ダムアクセス再生を実現することができるとともに、シ
ーンチェンジ点のサムネイル（縮小画像）などを容易に
作成することができる。

【００９５】〔他の実施形態〕図１に示したように、地
上波チューナ２１からの映像信号や入力端子１１Ｖ，１
１Ｓからの映像信号を、ＮＴＳＣデコーダ２５でデジタ
ル映像データに変換し、さらにＭＰＥＧ映像エンコーダ
２７で符号化して、図２に示した多重化回路４１からの
ＭＰＥＧ／ＴＳをディスク６１に記録する場合にも、同
じ方法によって特徴点検出部１００でシーンチェンジ点
を検出して、特徴点情報をディスク６１に記録すること
ができる。

【００９６】上述した実施形態は、記録再生装置の記録
媒体（記憶素子）としてハードディスクを用いる場合で
あるが、光ディスク、光磁気ディスク、半導体メモリな
どを用いてもよい。

【００９７】また、上述した実施形態は、符号化映像デ
ータと特徴点情報を同一の記録媒体に記録する場合であ
るが、例えば、符号化映像データをハードディスクに記
録し、特徴点情報をＲＡＭに記憶させる、などのよう
に、符号化映像データと特徴点情報を別の記録媒体に記
録してもよい。

【００９８】

【発明の効果】上述したように、この発明によれば、符
号化映像データのピクチャ構造を解析することによっ
て、符号化映像データから直接、シーンチェンジ点を検
出するので、シーンチェンジ点の検出のための演算量を
低減することができ、システムコントローラの負担を軽
減することができる。

【００９９】また、符号化映像データを復号することな
く、シーンチェンジ点を検出することができるので、シ
ーンチェンジ点を検出するとき、映像デコーダを別の用
途に用いることができ、例えば、すでに記録媒体に記録
されている符号化映像データを記録媒体から再生し、映
像デコーダで復号化して、再生映像信号を得るために用
いることができる。

【図面の簡単な説明】

【図１】この発明の記録再生装置の一例を示す図であ
る。

【図２】多重分離処理部の一例を示す図である。

【図３】ＭＰＥＧ符号化映像データのＧＯＰ構造の一例
を示す図である。

【図４】ＭＰＥＧ符号化映像データのＧＯＰ構造の他の
例を示す図である。

【図５】特徴点検出部の一例を示す図である。

【図６】特徴点検出処理ルーチンの一例を示す図であ
る。

【図７】図５および図６の例の特徴点検出の説明に供す
る図である。

【図８】特徴点検出部の他の例を示す図である。

【図９】特徴点検出処理ルーチンの他の例を示す図であ
る。

【図１０】特徴点検出処理ルーチンのさらに他の例を示
す図である。

【図１１】特徴点検出における閾値決定の説明に供する
図である。

【図１２】閾値決定処理ルーチンの一例を示す図であ
る。

【符号の説明】

主要部については図中に全て記述したので、ここでは省
略する。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/93 Ｈ０４Ｎ 5/93 Ｅ (72)発明者 佐藤 智之 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 光野 誠 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C053 FA20 FA23 GB06 GB37 HA29 HA31 JA03 JA21 KA08 KA20 KA24 LA06 LA07 LA11 5C059 KK15 NN43 PP05 PP07 RC24 SS02 SS12 SS19 TA61 TB03 TC14 TC20 TD03 TD07 TD12 UA02 UA05 UA34

Claims (8)

【特許請求の範囲】
1. 【請求項１】複数種類のピクチャとして符号化された映
   像データから、画像のシーンチェンジ点を特徴点として
   検出する方法であって、 前記符号化映像データにおける特定種類のピクチャの出
   現周期を検出し、その出現周期が定められた周期より短
   くなったとき、そのときの特定種類のピクチャをシーン
   チェンジ点とする特徴点検出方法。
2. 【請求項２】複数種類のピクチャとして符号化された映
   像データから、画像のシーンチェンジ点を特徴点として
   検出する方法であって、 前記符号化映像データ中の特定種類を除く他の種類のそ
   れぞれのピクチャのデータ長を検出し、そのデータ長が
   閾値より大きくなったとき、そのときの他の種類のピク
   チャをシーンチェンジ点とする特徴点検出方法。
3. 【請求項３】請求項２の特徴点検出方法において、 前記閾値は、前記符号化映像データ中の直近の過去の複
   数フレームにおける同じ種類のピクチャのデータ長の平
   均値に係数を乗じた結果とする特徴点検出方法。
4. 【請求項４】複数種類のピクチャとして符号化された映
   像データから、画像のシーンチェンジ点を特徴点として
   検出し、シーンチェンジ点の位置を示す特徴点情報を出
   力する特徴点検出部と、 前記符号化映像データおよび前記特徴点情報を、記録媒
   体に記録し、記録媒体から再生する記録再生部とを備
   え、 前記特徴点検出部は、前記符号化映像データにおける特
   定種類のピクチャの出現周期を検出し、その出現周期が
   定められた周期より短くなったとき、そのときの特定種
   類のピクチャをシーンチェンジ点とする記録再生装置。
5. 【請求項５】請求項４の記録再生装置において、 前記符号化映像データが外部装置から当該記録再生装置
   に入力されるものである記録再生装置。
6. 【請求項６】複数種類のピクチャとして符号化された映
   像データから、画像のシーンチェンジ点を特徴点として
   検出し、シーンチェンジ点の位置を示す特徴点情報を出
   力する特徴点検出部と、 前記符号化映像データおよび前記特徴点情報を、記録媒
   体に記録し、記録媒体から再生する記録再生部とを備
   え、 前記特徴点検出部は、前記符号化映像データ中の特定種
   類を除く他の種類のそれぞれのピクチャのデータ長を検
   出し、そのデータ長が閾値より大きくなったとき、その
   ときの他の種類のピクチャをシーンチェンジ点とする記
   録再生装置。
7. 【請求項７】請求項６の記録再生装置において、 前記特徴点検出部は、前記符号化映像データ中の直近の
   過去の複数フレームにおける同じ種類のピクチャのデー
   タ長の平均値に係数を乗じて前記閾値を算出する記録再
   生装置。
8. 【請求項８】請求項６の記録再生装置において、 前記符号化映像データが外部装置から当該記録再生装置
   に入力されるものである記録再生装置。