JP3942088B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP3942088B2 JP3942088B2 JP2002282733A JP2002282733A JP3942088B2 JP 3942088 B2 JP3942088 B2 JP 3942088B2 JP 2002282733 A JP2002282733 A JP 2002282733A JP 2002282733 A JP2002282733 A JP 2002282733A JP 3942088 B2 JP3942088 B2 JP 3942088B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- scene change
- moving image
- encoded data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像の符号化データの処理に係り、特に、圧縮符号化された動画像のシーンチェンジ検出に関する。
【０００２】
【従来の技術】
動画像のシーンが変化するフレームを自動的に検出する技術は数多く提案されているが、基本的には連続したフレームの静止画特徴量を比較し、その変化の大きいフレームをシーンチェンジ発生フレームとして検出する。
【０００３】
特許文献１には、予測符号化方式の符号化装置又は復号化装置において、各フレームの予測誤差量や符号数、フレーム内符号化（又はフレーム間符号化）された画素数を計数し、それらの計数値の変化が大きいフレームをシーンチェンジ発生フレームとして検出する如き構成の装置が記載されている。また、特許文献２には、動画像の各フレームの符号量を計数し、その計数値が閾値を越えたときにシーンチェンジとして検出する装置が記載されている。
【０００４】
本発明に関連する画像符号化方式として、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）とＭｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）がある（例えば、非特許文献１参照）。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００は連続した複数の静止画像のそれぞれをフレームとして動画像を圧縮符号化するが、各フレームの符号化データのフォーマットはＪＰＥＧ２０００に準拠している。
【０００５】
【特許文献１】
特許３０９３４９９号公報
【特許文献２】
特開２０００−７８５８５号公報
【非特許文献１】
野水泰之著、「次世代画像符号化方式 ＪＰＥＧ２０００」、
株式会社トリケップス、２００１年２月１３日
【０００６】
【発明が解決しようとする課題】
本発明の目的は、動画像の符号化データのヘッダ情報を利用し、少ない処理量で高速にシーンチェンジを検出する新規な装置及び方法を提供することにある。本発明のもう１つの目的は、動画像の符号化データのヘッダ情報を利用し、簡易な手段もしくは処理により、多様な特徴量に基づいたシーンチェンジ検出が可能な新規な装置及び方法を提供することにある。本発明のもう１つの目的は、動画像の符号化データのヘッダ情報を利用し、高速かつ高精度のシーンチェンジ検出が可能な新規な装置及び方法を提供することにある。
【０００７】
【課題を解決するための手段】
請求項１記載の発明に係る画像処理装置は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダからパケット長の情報を抽出し、抽出したパケット長の情報に基づき解像度レベル毎のパケット長の合計を求める情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により求められた解像度レベル毎のパケット長の合計と、前記現在フレームの直前フレームについて前記情報取得手段により求められた解像度レベル毎のパケット長の合計とを比較することにより、前記現在フレームと前記直前フレームとの解像度レベル毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする。
【０００８】
請求項２記載の発明に係る画像処理装置は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダから符号パス数の情報を抽出し、抽出した符号パス数の情報に基づき プリシンクト毎の符号パス数の合計を求める情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により求められたプリシンクト毎の符号パス数の合計と、前記現在フレームの直前フレームについて前記情報取得手段により求められたプリシンクト毎の符号パス数の合計とを比較することにより、前記現在フレームと前記直前フレームとのプリシンクト毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする。
【０００９】
請求項３記載の発明に係る画像処理装置は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダからパケット長の情報を抽出し、抽出したパケット長の情報に基づきコンポーネント毎のパケット長の合計を求める情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により求められたコンポーネント毎のパケット長の合計と、前記現在フレームの直前フレームについて前記情報取得手段により求められたコンポーネント毎のパケット長の合計とを比較することにより、前記現在フレームと前記直前フレームとのコンポーネント毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする。
【００１０】
請求項４記載の発明に係る画像処理装置は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダからパケット長の情報を抽出し、抽出したパケット長の情報に基づきレイヤ毎のパケット長の合計を求める情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により求められたレイヤ毎のパケット長の合計と、前記現在フレームの直前フレームについて前記情報取得手段により求められたレイヤ毎のパケット長の合計とを比較することにより、前記現在フレームと前記直前フレームとのレイヤ毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする。
【００１１】
請求項５記載の発明に係る画像処理装置は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダから符号パス数の情報を抽出し、抽出した符号パス数の情報からプリシンクト毎の符号パス数の合計を求め、求めたプリシンクト毎の符号パス数の合計に基づいてプリシンクト単位でのＲＯＩ領域の有無を示す情報を取得する情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により取得されたプリシンクト単位でのＲＯＩ領域の有無を示す情報と、前記現在フレームの直前フレームについて前記情報取得手段により取得されたプリシンクト単位でのＲＯＩ領域の有無を示す情報とを比較することにより、前記現在フレームと前記直前フレームとのＲＯＩ領域の位置の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする。
【００１２】
請求項６記載の発明に係る画像処理装置は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のタイルヘッダからＲＧＮマーカセグメントを抽出することにより、タイル単位でのＲＯＩ領域の有無を示す情報を取得する情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により取得されたタイル単位でのＲＯＩ領域の有無を示す情報と、前記現在フレームの直前フレームについて前記情報取得手段により取得されたタイル単位でのＲＯＩ領域の有無を示す情報とを比較することにより、前記現在フレームと前記直前フレームとのＲＯＩ領域の位置の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする。
【００１３】
請求項７記載に係る画像処理装置は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダから圧縮方法に関連した所定のヘッダ情報を取得する情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により取得された所定のヘッダ情報と、前記現在フレームの直前フレームについて前記情報取得手段により取得された所定のヘッダ情報とを比較することにより、前記現在フレームと前記直前フレームとの圧縮方法が異なると判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする。
【００１４】
請求項８記載の発明に係る画像処理方法は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダからパケット長の情報を抽出し、抽出したパケット長の情報に基づき解像度レベル毎のパケット長の合計を求める情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により求められた解像度レベル毎のパケット長の合計と、前記現在フレームの直前フレームについて前記情報取得工程により求められた解像度レベル毎のパケット長の合計とを比較することにより、前記現在フレームと前記直前フレームとの解像度レベル毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする。
【００１５】
請求項９記載の発明に係る画像処理方法は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダから符号パス数の情報を抽出し、抽出した符号パス数の情報に基づきプリシンクト毎の符号パス数の合計を求める情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により求められたプリシンクト毎の符号パス数の合計と、前記現在フレームの直前フレームについて前記情報取得工程により求められたプリシンクト毎の符号パス数の合計とを比較することにより、前記現在フレームと前記直前フレームとのプリシンクト毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする。
【００１６】
請求項１０記載の発明に係る画像処理方法は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダからパケット長の情報を抽出し、抽出したパケット長の情報に基づきコンポーネント毎のパケット長の合計を求める情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により求められたコンポーネント毎のパケット長の合計と、前記現在フレームの直前フレームについて前記情報取得工程により求められたコンポーネント毎のパケット長の合計とを比較することにより、前記現在フレームと前記直前フレームとのコンポーネント毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする。
【００１７】
請求項１１記載の発明に係る画像処理方法は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダからパケット長の情報を抽出し、抽出したパケット長の情報に基づきレイヤ毎のパケット長の合計を求める情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により求められたレイヤ毎のパケット長の合計と、前記現在フレームの直前フレームについて前記情報取得工程により求められたレイヤ毎のパケット長の合計とを比較することにより、前記現在フレームと前記直前フレームとのレイヤ毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする。
【００１８】
請求項１２記載の発明に係る画像処理方法は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダから符号パス数の情報を抽出し、抽出した符号パス数の情報からプリシンクト毎の符号パス数の合計を求め、求めたプリシンクト毎の符号パス数の合計に基づいてプリシンクト単位でのＲＯＩ領域の有無を示す情報を取得する情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により取得されたプリシンクト単位でのＲＯＩ領域の有無を示す情報と、前記現在フレームの直前フレームについて前記情報取得工程により取得されたプリシンクト単位でのＲＯＩ領域の有無を示す情報とを比較することにより、前記現在フレームと前記直前フレームとのＲＯＩ領域の位置の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする。
【００１９】
請求項１３記載の発明に係る画像処理方法は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のタイルヘッダからＲＧＮマーカセグメントを抽出することにより、タイル単位でのＲＯＩ領域の有無を示す情報を取得する情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程によ り取得されたタイル単位でのＲＯＩ領域の有無を示す情報と、前記現在フレームの直前フレームについて前記情報取得工程により取得されたタイル単位でのＲＯＩ領域の有無を示す情報とを比較することにより、前記現在フレームと前記直前フレームとのＲＯＩ領域の位置の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする。
【００２０】
請求項１４記載の発明に係る画像処理方法は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダから圧縮方法に関連した所定のヘッダ情報を取得する情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により取得された所定のヘッダ情報と、前記現在フレームの直前フレームについて前記情報取得工程により取得された所定のヘッダ情報とを比較することにより、前記現在フレームと前記直前フレームとの圧縮方法が異なると判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする。
【００２１】
【発明の実施の形態】
以下に説明する実施の形態において処理の対象となる符号化データは、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）による動画像の符号化データである。各フレームの符号化データのフォーマットはＪＰＥＧ２０００に準拠しているので、以下の説明と関連する範囲でＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）について概説する。
【００２２】
図１はＪＰＥＧ２０００の圧縮符号化アルゴリズムを説明するための簡略化されたブロック図である。圧縮符号化の対象となる画像データ（動画像を扱う場合には各フレームの画像データ）は、コンポーネント毎にタイルと呼ばれる重複しない矩形領域に分割され、コンポーネント毎にタイルを単位として処理される。ただし、タイルサイズを画像サイズと同一にすること、つまりタイル分割を行わないことも可能である。
【００２３】
タイル画像は、圧縮率の向上を目的として、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換が施される（ステップＳ１）。この色空間変換が省かれる場合もある。
【００２４】
色空間変換後の各コンポーネントの各タイル画像に対し２次元ウェーブレット変換（離散ウェーブレット変換：ＤＷＴ）が実行される（ステップＳ２）。
【００２５】
図２はデコンポジションレベル数が３の場合のウェーブレット変換の説明図である。図２（ａ）に示すタイル画像（デコンポジションレベル０）に対する２次元ウェーブレット変換により、図２（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｃ）に示すように２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｄ）に示すように３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。デコンポジションレベルと解像度レベルとの関係であるが、図２（ｄ）の各サブバンドに括弧で囲んで示した数字が、そのサブバンドの解像度レベルを示している。
【００２６】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、サブバンド毎に量子化される（ステップＳ３）。ＪＰＥＧ２０００ではロスレス（可逆）圧縮とロッシー（非可逆）圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に１であり、この段階では量子化されない。
【００２７】
量子化後の各サブバンド係数はエントロピー符号化される（ステップＳ４）。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と呼ばれる符号化方式が用いられ、量子化後の各サブバンド係数のビットプレーンが上位プレーンから下位プレーンへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００２８】
最後の２つのステップＳ５，Ｓ６は符号形成プロセスである。まず、ステップＳ５において、ステップＳ４で生成されたコードブロックの符号をまとめてパケットが作成される。次のステップＳ６において、ステップＳ５で生成されたパケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、プリシンクト(position)、レイヤ、コンポーネント（ＹＣｒＣｂやＲＧＢなどの色成分）の組み合わせによる５種類のプログレッション順序が定義されている。
【００２９】
このようにして生成されるＪＰＥＧ２０００の符号化データのフォーマットを図３に示す。図３に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ(Main Header)と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ(Tile Header)と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Tile Data）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００３０】
ここで、プリシンクト、コードブロック、パケット、レイヤについて簡単に説明する。画像≧タイル≧サブバンド≧プリシンクト≧コードブロックの大きさ関係がある。
【００３１】
プリシンクトとは、サブバンドの矩形領域で、同じデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドの空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。ただし、ＬＬサブバンドでは、１つの領域が１つのプリシンクトとして扱われる。プリシンクトのサイズをサブバンドと同じサイズにすることも可能である。また、プリシンクトを分割した矩形領域がコードブロックである。図４にデコンポジションレベル１における１つのプリシンクトとコードブロックを例示した。図中のプリシンクトと記された空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。
【００３２】
プリシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号化データを形成する。図３の各タイルに関するＳＯＤ以下の部分がパケットの集合である。
【００３３】
全てのプリシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである（ただし、次に示す例のように、必ずしも全てのプリシンクトのパケットをレイヤに含めなくともよい）。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位とも言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００３４】
デコンポジションレベル数＝２（解像度レベル数＝３）の場合のパケットとレイヤの例を図５に示す。図中の縦長の小さな矩形がパケットであり、その内部に示した数字はパケット番号である。レイヤを濃淡を付けた横長矩形領域として図示してある。すなわち、この例では、パケット番号０〜１６のパケットの符号からなるレイヤ０、パケット番号１７〜３３のパケットの符号からなるレイヤ１、パケット番号３４〜５０のパケットの符号からなるレイヤ２、パケット番号５１〜６７のパケットの符号からなるレイヤ３、パケット番号６８〜８４のパケットの符号からなるレイヤ４、パケット番号８５〜１０１のパケットの符号からなるレイヤ５、パケット番号１０２〜１１８のパケットの符号からなるレイヤ６、パケット番号１１９〜１３５のパケットの符号からなるレイヤ７、パケット番号１３６〜１４８のパケットの符号からなるレイヤ８、及び、残りのパケット番号１４９〜１６１のパケットの符号からなるレイヤ９の９レイヤに分割されている。なお、パケットとプリシンクトとの対応関係などは、プログレッション順序の違いやレイヤ分割数等により様々に変化するものであり、上に示したレイヤ構成はあくまで一例である。
【００３５】
ＪＰＥＧ２０００においてはＬＲＣＰ、ＲＬＣＰ、ＲＰＣＬ、ＰＣＲＬ、ＣＰＲＬの５つのプログレッション順序が定義されている。ここで、Ｌはレイヤ、Ｒは解像度レベル、Ｃはコンポーネント、Ｐはプリシンクトである。
【００３６】
ＬＲＣＰプログレッションの場合、パケットの配置（符号化時）又はパケットの解釈（復号化時）の順序は、Ｌ，Ｒ，Ｃ，Ｐの順にネストされた次のようなforループで表すことができる。
for(レイヤ)｛
for(解像度レベル)｛
for(コンポーネント)｛
for(プリシンクト)｛
パケットを配置：符号化時
パケットを解釈：復号化時
｝
｝
｝
｝
【００３７】
具体例を示せば、画像サイズ＝１００×１００画素（タイル分割なし）、レイヤ数＝２、解像度レベル数＝３（レベル０〜２）、コンポーネント数＝３、プリシンクトサイズ＝３２×３２の場合における３６個のパケットは、図６のような順に配置され、また解釈される。
【００３８】
また、ＲＬＣＰプログレッションの場合には、
for(解像度レベル)｛
for(レイヤ)｛
for(コンポーネント)｛
for(プリシンクト)｛
パケットを配置：符号化時
パケットを解釈：復号化時
｝
｝
｝
｝
という順で、パケットの配置（符号化時）又はパケットの解釈（復号化時）がなされる。
他のプログレッション順序の場合も同様のネストされたforループにより、パケットの配置順又は解釈順が決まる。
【００３９】
また、ＪＰＥＧ２０００には、選択した領域（ＲＯＩ領域）の画質を他の領域よりも向上させる機能があり、基本仕様ではＲＯＩ領域のウェーブレット係数のビットシフトによるMax Shift方式が規定されている。
【００４０】
本発明においては、符号化データに付加されるメインヘッダ、タイルヘッダ、パケットヘッダの情報を利用するので、ヘッダ情報の概要を以下に示す。
図７にメインヘッダの構成を示す。このメインヘッダの情報中でＳＩＺ，ＣＯＤ，ＱＣＤの各マーカセグメントは必須であるが、他のマーカセグメントはオプションである。
図８にタイルヘッダの構成を示す。（ａ）はタイルデータの先頭に付加されるヘッダであり、（ｂ）はタイル内が複数に分割されている場合に分割されたタイル部分列の先頭に付加されるヘッダである。タイルヘッダでは必須のマーカセグメントはなく、すべてオプションである。
図９に、マーカ及びマーカセグメントの一覧表を示す。
ＳＯＴマーカセグメントの構成を図１０に、ＳＩＺマーカセグメントの構成を図１１に、ＣＯＤマーカセグメントの構成を図１２に、ＣＯＣマーカセグメントの構成を図１３に、ＲＧＮマーカセグメントの構成を図１４に、ＱＣＤマーカセグメントの構成を図１５に、ＱＣＣマーカセグメントの構成を図１６に、ＴＬＭマーカセグメントの構成を図１７に、ＰＬＭマーカセグメントの構成を図１８に、ＰＬＴマーカセグメントの構成を図１９に、ＰＰＭマーカセグメントの構成を図２０に、ＰＰＴマーカセグメントの構成を図２１に、ＣＯＭマーカセグメントの構成を図２２に、それぞれ示す。
【００４１】
なお、パケットは、本体であるパケットデータにパケットヘッダを付加した構成である。パケットヘッダには、パケットデータの長さ、符号パス数、０ビットプレーン数などの情報が含まれている（非特許文献１参照）。
【００４２】
《実施の形態１》 図２３は、本発明による画像処理装置の一例を説明するためのブロック図である。この画像処理装置は、単独の装置として実現される形態、デジタルビデオカメラや監視カメラ等の撮像装置、画像編集装置、ビデオ再生装置、画像検索システム、画像データベースシステム等の一部として実現される形態、パソコンなどのコンピュータのハードウェアを利用しプログラムにより実現される形態とがあるが、いずれの形態も本発明に包含される。
【００４３】
この画像処理装置は、符号化データ入力部（符号化データ入力手段）１００、シーンチェンジ検出装置（シーンチェンジ検出手段）１０１Ａ、記憶部１０２、外部インターフェース部１０３を備える。
【００４４】
符号化データ入力部１００は、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像の符号化データを取り込むための手段である。より具体的には、この符号化データ入力部１００は、有線又は無線の伝送路もしくはネットワークを通じ外部より符号化データを直接取り込むインターフェース手段、記録媒体から符号化データを読み込む手段、被写体を撮影して動画像の符号化データを入力する撮像手段、動画像の圧縮符号化を行うＭｏｔｉｏｎ−ＪＰＥＧ２０００準拠のエンコーダなどである。
【００４５】
シーンチェンジ検出装置１０１Ａは、動画像の各フレームの符号化データの特定のヘッダの情報を利用して動画像のシーンチェンジ（シーンの切り替わり）を自動的に検出するものであり、情報取得部１１１、情報一時記憶部１１２、比較判定処理部１１３からなる。
【００４６】
記憶部１０２は、動画像の符号化データと、シーンチェンジ検出装置１０１Ａによる検出結果の記憶に利用される。シーンチェンジ検出結果の記憶方法としては、動画像ファイルのファイルヘッダにシーンチェンジ検出結果を記述する方法、フレームのメインヘッダのＣＯＭマーカセグメント（図２２）にコメントデータとしてシーンチェンジ検出結果を記述する方法、動画像ファイルと関連付けた別のファイルとしてシーンチェンジ検出結果を記憶する方法など、様々な方法をとることができる。外部インターフェース部１０３は、符号化データ及びシーンチェンジ検出結果を外部に出力するために利用される。
【００４７】
次に、シーンチェンジ検出装置１０１Ａについて詳細に説明する。情報取得部（情報取得手段）１１１は、各フレームの符号化データより、１つ又は複数の特定のヘッダ情報を抽出する。後述のように様々なシーンチェンジ検出モードを選択できるが、ヘッダ情報そのものの比較によりシーンチェンジを検出するモードが選択された場合には、情報取得部１１１は抽出したヘッダ情報をそのまま出力する。ヘッダ情報に基づいて計算される特徴量の比較によりシーンチェンジを検出するモードが選択された場合には、情報取得部１１１は、抽出したヘッダ情報に基づいて特徴量を計算し、その特徴量を出力する。モードによっては、抽出されたヘッダ情報と、計算された特徴量の両方が出力される。
【００４８】
情報取得部１１１より出力されたヘッダ情報及び／又は特徴量は比較判定処理部（比較判定処理手段）１１３に渡されるとともに情報一時記憶部１１２に記憶される。情報一時記憶部１１２には、現在のフレームと直前のフレームのヘッダ情報及び／又は特徴量が保存され、それより前のフレームのヘッダ情報及び／又は特徴量は順次消去される。情報一時記憶部１１２より、現在フレームの直前フレームのヘッダ情報及び／又は特徴量が比較判定処理部１１３へ入力される。比較判定処理部１１３は、入力された現在フレームと直前フレームのヘッダ情報そのもの比較、及び／又は、ヘッダ情報に基づいて計算された特徴量の比較により、シーンチェンジが発生したか否かの判定を行う。なお、情報一時記憶部１１２を情報取得部１１１又は比較判定処理部１１３と一体化してもよいことは明らかである。
【００４９】
このシーンチェンジ検出装置１０１Ａは、様々な検出モードを選択することができる。
以下、各モード別に具体的に説明するが、複数のモードを組み合わせたモードも選択することができる。この組み合わせモードの場合には、情報取得部１１１は各モードで利用される複数のヘッダ情報の抽出、及び／又は特徴量の計算を行い、比較判定処理部１１３は組み合わされた各モードによる比較判定処理を行い、その結果を評価することによりシーンチェンジであるか否かを判断する。例えば、全てのモードの結果がシーンチェンジの場合にシーンチェンジと判断し、又は、多数決により判断する。
【００５０】
［モードＡ］ 解像度レベル毎の符号量分布の変化に着目してシーンチェンジを検出するモードである（請求項１，８対応）。比較判定処理部１１３は、現在フレームと直前フレームの解像度レベル毎の符号量分布の違いが所定の程度を越えたときに、現在フレームをシーンチェンジ発生フレームと判定する。このモードでは、情報取得部１１１は、ＰＬＭマーカセグメント（図１８）のＩplm（パケット長リスト）、ＰＬＴマーカセグメント（図１９）のＩplt（パケット長リスト）、ＰＰＭマーカセグメント（図２０）のＩppm（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩppt（パケットヘッダ集合）、又は、符号中のパケットヘッダよりパケット長の情報を抽出し、それに基づいて、各解像度レベルのパケット長の合計を求める。なお、パケット長の合計は、必ずしも全ての解像度レベルについて求める必要はなく、特定の一部解像度レベルについて求めるようにしてもよい。
【００５１】
［モードＢ］ 位置（タイル又はプリシンクト）毎の符号量分布の変化に着目してシーンチェンジを検出するモードである（請求項２，９対応）。比較判定処理部１１３は、現在フレームと直前フレームのプリシンクト毎の符号量分布の違いが所定の程度を越えたときに、現在フレームをシーンチェンジ発生フレームと判定する。このモードでは、次のヘッダ情報の予め指定されたものが利用される。なお、コードブロック毎の符号量分布の変化に着目したシーンチェンジ検出も可能であり、これも本発明に包含される。情報取得部１１１は、
１）ＴＬＭマーカセグメント（図１７）のＰtml（タイル長）、又は、ＳＯＴマーカセグメント（図１０）のＰsot（タイル長）よりタイル長の情報を抽出する。あるいは、
２）ＰＰＭマーカセグメント（図２０）のＩppm（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩppt（パケットヘッダ集合）、又は、符号中のパケットヘッダより符号パス数の情報を抽出し、それに基づいて各プリシンクト毎の符号パス数の合計を求める。
【００５２】
なお、タイル長と各プリシンクト毎の合計符号パス数の両方を抽出することも可能であり、これも本発明に包含される。また、以上の特徴量は、一部のタイル、一部のプリシンクト、又は、一部のコードブロックについて求めるようにしてもよい。
【００５３】
［モードＣ］ コンポーネント毎の符号量分布の変化に着目してシーンチェンジを検出するモードである（請求項３，１０対応）。比較判定処理部１１３は、現在フレームと直前フレームのコンポーネント毎の符号量分布の違いが所定の程度を越えたときに、現在フレームをシーンチェンジ発生フレームと判定する。このモードでは、情報取得部１１１は、ＰＬＭマーカセグメント（図１８）のＩplm（パケット長リスト）、ＰＬＴマーカセグメント（図１９）のＩplt（パケット長リスト）、ＰＰＭマーカセグメント（図２０）のＩppm（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩppt（パケットヘッダ集合）、又は、符号中のパケットヘッダより各パケットのパケット長の情報を抽出し、それに基づいて各コンポーネントのパケット長の合計を求める。なお、一部のコンポーネントについてのみ特徴量を求めるようにしてもよい。
【００５４】
［モードＤ］ レイヤ毎の符号量分布の変化に着目してシーンチェンジを検出するモードである（請求項４，１１対応）。比較判定処理部１１３は、現在フレームと直前フレームのレイヤ毎の符号量分布の違いが所定の程度を越えたときに、現在フレームをシーンチェンジ発生フレームと判定する。このモードでは、情報取得部１１１は、ＰＬＭマーカセグメント（図１８）のＩplm（パケット長リスト）、ＰＬＴマーカセグメント（図１９）のＩplt（パケット長リスト）、ＰＰＭマーカセグメント（図２０）のＩppm（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩppt（パケットヘッダ集合）、又は、符号中のパケットヘッダより各パケットのパケット長の情報を抽出し、それに基づいて各レイヤのパケット長の合計を求める。なお、一部のレイヤについてのみ特徴量を求めるようにしてもよい。
【００５５】
［モードＥ］ ＲＯＩ領域の位置の変化に着目してシーンチェンジを検出するモードである（請求項５，６，１２，１３対応）。比較判定処理部１１３は、現在フレームと直前フレームのＲＯＩ領域の位置の違いを評価し、その違いが所定の程度を越えたときに、現在フレームをシーンチェンジ発生フレームと判定する。情報取得部１１１は、
１）各タイルのタイルヘッダ中のＲＧＮマーカセグメントの有無を調べ、タイル単位でのＲＯＩ領域の有無を示す情報を取得する（請求項６，１３）。あるいは、
２）ＰＰＭマーカセグメント（図２０）のＩppm（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩppt（パケットヘッダ集合）、又は、符号中のパケットヘッダより各パケットの符号パス数を抽出してプリシンクト毎（又はコードブロック毎）の符号パス数の合計を求め、その合計符号パス数に基づいて、プリシンクト（又はコードブロック）単位でＲＯＩ領域の有無を示す情報を取得する（請求項５，１２）。
【００５６】
［モードＦ］ 圧縮方法の変化に着目してシーンチェンジを検出するモードである（請求項７，１４対応）。比較判定処理部１１３は、現在フレームと直前フレームの圧縮方法が異なるときに、現在フレームをシーンチェンジ発生フレームと判定する。このモードでは、情報取得部１１１は、
１）ＣＯＤマーカセグメント（図１２）のＳgcod（符号スタイル）よりプログレッション順序の情報を抽出する。
２）ＣＯＤマーカセグメント（図１２）のＳgcod（符号スタイル）よりレイヤ数の情報を抽出する。
３）ＱＣＤマーカセグメント（図１５）のＳqcd（量子化スタイル），ＳＰqcd（量子化ステップサイズ）の情報を抽出する。
４）ＣＯＤマーカセグメント（図１２）のＳgcod（符号スタイル）より色変換の情報を抽出する。
５）ＣＯＤマーカセグメント（図１２）のＳＰcod（符号スタイル）又はＣＯＣマーカセグメント（図１３）のＳＰcoc（符号スタイル）よりデコンポジション数の情報を抽出する。
６）ＣＯＤマーカセグメント（図１２）のＳＰcod（符号スタイル）又はＣＯＣマーカセグメント（図１３）のＳＰcoc（符号スタイル）よりコードブロックのサイズの情報を抽出する。
７）ＣＯＤマーカセグメント（図１２）のＳＰcod（符号スタイル）又はＣＯＣマーカセグメント（図１３）のＳＰcoc（符号スタイル）よりウェーブレット変換方法の情報を抽出する。あるいは
８）ＣＯＤマーカセグメント（図１２）のＳＰcod（符号スタイル）又はＣＯＣマーカセグメント（図１３）のＳＰcoc（符号スタイル）よりプリシンクトのサイズの情報を抽出する。
【００５７】
なお、このモードにおいて以上の２つ以上の情報を抽出することも可能であり、これも本発明に包含される。
【００５８】
［モードＧ］ 前記各モードとは異なる画像特徴の変化に着目してシーンチェンジを検出するモードである。比較判定処理部１１３は、現在フレームと直前フレームの画像特徴が異なるときに、現在フレームをシーンチェンジ発生フレームと判定する。このモードでは、情報取得部１１１は、
１）ＳＩＺマーカセグメント（図１１）のＸＴsiz，ＹＴsiz（タイルの水平、垂直方向サイズ）の情報を抽出する。
２）ＳＩＺマーカセグメント（図１１）のＸＴＯsiz，ＹＴＯsiz（タイルの水平、垂直方向オフセット）の情報を抽出する。
３）ＳＩＺマーカセグメント（図１１）のＣsi（コンポーネント数）の情報を抽出する。
４）ＳＩＺマーカセグメント（図１１）のＳsiz（ビット数）の情報を抽出する。
５）ＳＩＺマーカセグメント（図１１）のＸsiz，Ｙsiz（画像の水平、垂直方向サイズ）の情報を抽出する。
６）ＳＩＺマーカセグメント（図１１）のＸＯsiz，ＹＯsiz（画像の水平、垂直方向オフセット）の情報を抽出する。
７）ＳＩＺマーカセグメント（図１１）のＸＲsiz，ＹＲsiz（水平、垂直方向サンプル数）の情報を抽出する。あるいは
８）ＣＯＭマーカセグメント（図２２）のＣcom（コメントデータ）の情報を抽出する。
【００５９】
なお、このモードにおいて、以上の２つ以上の情報を抽出することも可能であり、これも本発明に包含される。
【００６０】
《実施の形態２》 図２４は、本発明による画像処理装置の別の例を説明するためのブロック図である。ここに示す画像処理装置は、シーンチェンジ検出装置１０１Ｂの構成が図２３に示したシーンチェンジ検出装置１０１Ａと相違する。すなわち、シーンチェンジ検出装置１０１Ｂは、情報取得部１１１、情報一時記憶部１１２、比較判定処理部１１３に加え、部分復号化部１１４、画像一時記憶部１１５及び二次判定処理部１１６を有する。情報取得部１１１及び比較判定処理部１１３の動作は前述した通りであるので説明を割愛する。
【００６１】
部分復号化部１１４は、符号化データの一部の符号の復号伸長を行う手段である。例えば、低解像度レベル（レベル０、レベル１など）、あるいは、上位レイヤ（上位の１レイヤ、数レイヤなど）の特定コンポーネント又は全コンポーネントの符号の復号伸長を行う。部分復号化部１１４より出力される画像データは二次判定処理部１１６に入力されるとともに、画像一時記憶部１１５に記憶される。画像一時記憶部１１５は、現在のフレームと直前のフレームの画像データを一時的に記憶するもので、直前のフレームの画像データは二次判定部１１６に入力される。
【００６２】
二次判定処理部１１６は、比較判定処理部１１３の判定結果も入力され、比較判定処理部１１３により現在フレームがシーンチェンジ発生フレームと判定された場合にのみ、二次判定処理を行う。この二次判定処理は、部分復号化部１１４より入力された現在フレームの画像データと、画像一時記憶部１１５より入力された直前フレームの画像データとを比較し、その差異が所定の程度を越えたときに現在フレームを最終的にシーンチェンジ発生フレームと判定する処理である。この二次判定処理部１１６の判定結果がシーンチェンジ検出装置１０１Ｂの最終的な判定結果として出力される。
【００６３】
すなわち、シーンチェンジ検出装置１０１Ｂは、比較判定処理部１１３でヘッダ情報及び／又はヘッダ情報に基づいて計算された特徴量の比較によりシーンチェンジの一次判定を行い、二次判定処理部１１６で画像データの比較により、より精密なシーンチェンジの二次判定を行う構成である。このような２段階のシーンチェンジ判定を行うことにより、より高精度なシーンチェンジ検出が可能である。また、一次判定でシーンチェンジとされたフレームに関してのみ画像データの比較による二次判定を行うため、全てのフレーム間で画像データの比較によるシーンチェンジ判定を行う構成に比べ、シーンチェンジ検出速度も向上する。
【００６４】
二次判定には、従来から知られている方法を利用できる。例えば、特許文献１にも記載されているような、画像の小領域毎の色分布を求め、画像間の色分布の相関を調べるような方法を利用することができる。どのような方法を利用するにしても、比較対象となる画像データは一部符号を復号伸長したものであり、全符号を復号伸長した画像データに比べデータ量は遙かに小さいため、処理にそれほどの時間はかからない。したがって、高速かつ高精度のシーンチェンジ検出が可能である。
【００６５】
《実施の形態３》 図２５は、本発明による画像処理装置の別の例を説明するためのブロック図である。ここに示す画像処理装置は、静止画特徴量抽出部１２０が追加されている。シーンチェンジ検出装置１０１としては、図２３に示したシーンチェンジ検出装置１０１Ａ、又は、図２４に示したシーンチェンジ検出装置１０１Ｂが用いられる。
【００６６】
静止画特徴量抽出部１２０は、画像検索に利用するための特徴量を検出する手段である。抽出された特徴量は、該当フレームのメインヘッダのＣＯＭマーカセグメント（図２２）にコメントデータとして記述されて記憶部１０２に記憶され、あるいは、動画像ファイルと関連付けた別のファイルとして記憶部１０２に記憶される。この特徴量を外部インターフェース部１０３を介して外部へ出力することもできる。
【００６７】
抽出される静止画特徴量としては、例えば、カラーヒストグラム、代表色、エッジ特徴量、動き（カメラの動き：水平又は垂直方向のパン）の中から１つ以上を指定することができる。
【００６８】
静止画特徴量としてカラーヒストグラム又は代表色が指定された場合、静止画特徴量抽出部１２０は、各フレームの符号化データの低解像度レベル（例えばレベル０）又は上位レイヤ（例えば上位の１レイヤ）の全コンポーネントの符号の復号伸長を行い、得られた画像データよりカラーヒストグラム又は代表色を求める。なお、シーンチェンジ検出装置１０１として図２４に示したシーンチェンジ装置１０１Ｂが用いられる場合には、部分復号化部１１４（図２４）を符号化データの一部符号の復号伸長に利用できる。また、シーンチェンジ検出のために低解像度レベル又は上位レインの全コンポーネントの符号が復号伸長されるならば、画像一時記憶部１１５に記憶されている画像データを特徴量抽出にそのまま用いることができる。
【００６９】
静止画特徴量としてエッジ特徴量が指定された場合には、静止画特徴量抽出部１２０は、各フレームの符号化データのヘッダ情報を利用して、高解像度レベル（例えば最高解像度レベル）のＨＬ，ＬＨ，ＨＨサブバンドの符号量を位置（コードブロック又はプリシンクト）毎に求める。具体的には、ＰＬＭマーカセグメント（図１８）のＩplm（パケット長リスト）、ＰＬＴマーカセグメント（図１９）のＩplt（パケット長リスト）、ＰＰＭマーカセグメント（図２０）のＩppm（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩppt（パケットヘッダ集合）、又は、符号中のパケットヘッダよりパケット長の情報を抽出し、それに基づいて、位置毎に高解像度レベル（例えば最高解像度レベル）のＨＬ，ＬＨ，ＨＨサブバンドのパケット長の合計を符号量として求める。そして、各位置の符号量が最大のサブバンドに対応した方向をエッジ方向として検出し、位置とエッジ方向の組をエッジ特徴量として抽出する。
【００７０】
静止画特徴量として動きが指定された場合には、静止画特徴量抽出部１２０は、各フレームの符号化データのヘッダ情報を利用して、高解像度レベル（例えば最高解像度レベル）のＨＬ，ＬＨサブバンドの符号量を求める。具体的には、ＰＬＭマーカセグメント（図１８）のＩplm（パケット長リスト）、ＰＬＴマーカセグメント（図１９）のＩplt（パケット長リスト）、ＰＰＭマーカセグメント（図２０）のＩppm（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩppt（パケットヘッダ集合）、又は、符号中のパケットヘッダよりパケット長の情報を抽出し、それに基づいて、高解像度レベル（例えば最高解像度レベル）のＨＬ，ＬＨサブバンドのパケット長の合計を符号量として求める。カメラを水平方向にパンしながら撮影されたフレームでは、水平方向の手振れが生じた時と同様に、パンしない場合に比べＬＨサブバンドの符号量は一般に減少する。その減少の程度はパンの速度が速いほど激しい。カメラを垂直方向にパンしながら撮影したフレームは、パンしない場合に比べＨＬサブバンドの符号量が一般に減少し、その減少程度はパン速度が速いほど激しい。そこで、静止画特徴量抽出部１２０は、連続したフレーム間のＬＨ，ＨＬサブバンドの符号量に基づいて、パンの有無と方向、さらには速度（低速、中速、高速など）を判定し、それを動きの特徴量として抽出する。なお、低解像度又は上位レイヤの符号を復号伸長した画像データを用い、フレーム間の動きベクトルを抽出してもよく、これも本発明に包含される。
【００７１】
ここまで、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００に準拠した動画像の符号化データを対象として本発明の実施の形態を説明したが、連続した複数の静止画像のそれぞれを動画像のフレームとして圧縮符号化し、同様のヘッダ情報を利用可能な他の圧縮符号化アルゴリズムによる符号化データに対しても、本発明を適用可能であることは以上の説明から明白であろう。
【００７２】
また、以上に説明したシーンチェンジ検出装置の情報取得部、比較判定処理部、部分復号化部、二次判定処理部の機能、静止画特徴量抽出部の機能、シーンチェンジ検出装置におけるシーンチェンジ検出手順（方法）は、パソコンやマイクロコンピュータなどのコンピュータ上でプログラムによって実現することも可能である。そのようなプログラム、及び、それが記録されたコンピュータが読み取り可能な各種記録（記憶）媒体も本発明に包含される。
【００７３】
【発明の効果】
以上の説明から明らかなように、本発明によれば、
（１）符号化データのヘッダ情報から求められる解像度レベル毎の符号量分布の変化、位置毎の符号量分布の変化、コンポーネント毎の符号量分布の変化、レイヤ毎の符号量分布の変化、ＲＯＩ領域の位置の変化、その他の圧縮方法などに関連した様々なヘッダ情報そのものの変化などに着目した極めて多様なシーンチェンジ検出が可能である。
（２）シーンチェンジの検出にヘッダ情報そのものの変化を利用する場合には、ヘッダ情報を抽出してフレーム間で比較するだけであるから、極めて簡易な処理もしくは手段によって、様々なヘッダ情報による多様なシーンチェンジ検出を極めて高速に行うことができる。
（３）シーンチェンジの検出にヘッダ情報から求められる符号量分布などの特徴量の変化を利用する場合には、ヘッダ情報の抽出のほかに特徴量を求めるための演算などのための処理もしくは手段が必要になるが、その処理もしくは手段は簡易なものでよく、また、処理にそれほどの時間を要しないため、高速なシーンチェンジ検出が可能である、等々の効果を得られる。
【図面の簡単な説明】
【図１】 ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。
【図２】 ２次元ウェーブレット変換を説明するための図である。
【図３】 符号化データのフォーマットを説明するための図である。
【図４】 プリシンクトとコードブロックの説明図である。
【図５】 パケットとレイヤの例を示す図である。
【図６】 パケットの配列順を例示する図である。
【図７】 メインヘッダの構成を示す図である。
【図８】 タイルヘッダの構成を示す図である。
【図９】 マーカ及びマーカセグメントの一覧表を示す図である。
【図１０】 ＳＯＴマーカセグメントの構成を示す図である。
【図１１】 ＳＩＺマーカセグメントの構成を示す図である。
【図１２】 ＣＯＤマーカセグメントの構成を示す図である。
【図１３】 ＣＯＣマーカセグメントの構成を示す図である。
【図１４】 ＲＧＮマーカセグメントの構成を示す図である。
【図１５】 ＱＣＤマーカセグメントの構成を示す図である。
【図１６】 ＱＣＣマーカセグメントの構成を示す図である。
【図１７】 ＴＬＭマーカセグメントの構成を示す図である。
【図１８】 ＰＬＭマーカセグメントの構成を示す図である。
【図１９】 ＰＬＴマーカセグメントの構成を示す図である。
【図２０】 ＰＰＭマーカセグメントの構成を示す図である。
【図２１】 ＰＰＴマーカセグメントの構成を示す図である。
【図２２】 ＣＯＭマーカセグメントの構成を示す図である。
【図２３】 本発明の実施の形態１を説明するためのブロック図である。
【図２４】 本発明の実施の形態２を説明するためのブロック図である。
【図２５】 本発明の実施の形態３を説明するためのブロック図である。
【符号の説明】
１００ 符号化データ入力部
１０１，１０１Ａ，１０１Ｂ シーンチェンジ検出装置
１０２ 記憶部
１１１ 情報取得部
１１２ 情報一時記憶部
１１３ 比較判定処理部
１１４ 部分復号化部
１１５ 画像一時記憶部
１１６ 二次判定処理部
１２０ 静止画特徴量抽出部
【発明の属する技術分野】
本発明は、動画像の符号化データの処理に係り、特に、圧縮符号化された動画像のシーンチェンジ検出に関する。
【０００２】
【従来の技術】
動画像のシーンが変化するフレームを自動的に検出する技術は数多く提案されているが、基本的には連続したフレームの静止画特徴量を比較し、その変化の大きいフレームをシーンチェンジ発生フレームとして検出する。
【０００３】
特許文献１には、予測符号化方式の符号化装置又は復号化装置において、各フレームの予測誤差量や符号数、フレーム内符号化（又はフレーム間符号化）された画素数を計数し、それらの計数値の変化が大きいフレームをシーンチェンジ発生フレームとして検出する如き構成の装置が記載されている。また、特許文献２には、動画像の各フレームの符号量を計数し、その計数値が閾値を越えたときにシーンチェンジとして検出する装置が記載されている。
【０００４】
本発明に関連する画像符号化方式として、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）とＭｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）がある（例えば、非特許文献１参照）。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００は連続した複数の静止画像のそれぞれをフレームとして動画像を圧縮符号化するが、各フレームの符号化データのフォーマットはＪＰＥＧ２０００に準拠している。
【０００５】
【特許文献１】
特許３０９３４９９号公報
【特許文献２】
特開２０００−７８５８５号公報
【非特許文献１】
野水泰之著、「次世代画像符号化方式 ＪＰＥＧ２０００」、
株式会社トリケップス、２００１年２月１３日
【０００６】
【発明が解決しようとする課題】
本発明の目的は、動画像の符号化データのヘッダ情報を利用し、少ない処理量で高速にシーンチェンジを検出する新規な装置及び方法を提供することにある。本発明のもう１つの目的は、動画像の符号化データのヘッダ情報を利用し、簡易な手段もしくは処理により、多様な特徴量に基づいたシーンチェンジ検出が可能な新規な装置及び方法を提供することにある。本発明のもう１つの目的は、動画像の符号化データのヘッダ情報を利用し、高速かつ高精度のシーンチェンジ検出が可能な新規な装置及び方法を提供することにある。
【０００７】
【課題を解決するための手段】
請求項１記載の発明に係る画像処理装置は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダからパケット長の情報を抽出し、抽出したパケット長の情報に基づき解像度レベル毎のパケット長の合計を求める情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により求められた解像度レベル毎のパケット長の合計と、前記現在フレームの直前フレームについて前記情報取得手段により求められた解像度レベル毎のパケット長の合計とを比較することにより、前記現在フレームと前記直前フレームとの解像度レベル毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする。
【０００８】
請求項２記載の発明に係る画像処理装置は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダから符号パス数の情報を抽出し、抽出した符号パス数の情報に基づき プリシンクト毎の符号パス数の合計を求める情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により求められたプリシンクト毎の符号パス数の合計と、前記現在フレームの直前フレームについて前記情報取得手段により求められたプリシンクト毎の符号パス数の合計とを比較することにより、前記現在フレームと前記直前フレームとのプリシンクト毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする。
【０００９】
請求項３記載の発明に係る画像処理装置は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダからパケット長の情報を抽出し、抽出したパケット長の情報に基づきコンポーネント毎のパケット長の合計を求める情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により求められたコンポーネント毎のパケット長の合計と、前記現在フレームの直前フレームについて前記情報取得手段により求められたコンポーネント毎のパケット長の合計とを比較することにより、前記現在フレームと前記直前フレームとのコンポーネント毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする。
【００１０】
請求項４記載の発明に係る画像処理装置は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダからパケット長の情報を抽出し、抽出したパケット長の情報に基づきレイヤ毎のパケット長の合計を求める情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により求められたレイヤ毎のパケット長の合計と、前記現在フレームの直前フレームについて前記情報取得手段により求められたレイヤ毎のパケット長の合計とを比較することにより、前記現在フレームと前記直前フレームとのレイヤ毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする。
【００１１】
請求項５記載の発明に係る画像処理装置は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダから符号パス数の情報を抽出し、抽出した符号パス数の情報からプリシンクト毎の符号パス数の合計を求め、求めたプリシンクト毎の符号パス数の合計に基づいてプリシンクト単位でのＲＯＩ領域の有無を示す情報を取得する情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により取得されたプリシンクト単位でのＲＯＩ領域の有無を示す情報と、前記現在フレームの直前フレームについて前記情報取得手段により取得されたプリシンクト単位でのＲＯＩ領域の有無を示す情報とを比較することにより、前記現在フレームと前記直前フレームとのＲＯＩ領域の位置の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする。
【００１２】
請求項６記載の発明に係る画像処理装置は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のタイルヘッダからＲＧＮマーカセグメントを抽出することにより、タイル単位でのＲＯＩ領域の有無を示す情報を取得する情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により取得されたタイル単位でのＲＯＩ領域の有無を示す情報と、前記現在フレームの直前フレームについて前記情報取得手段により取得されたタイル単位でのＲＯＩ領域の有無を示す情報とを比較することにより、前記現在フレームと前記直前フレームとのＲＯＩ領域の位置の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする。
【００１３】
請求項７記載に係る画像処理装置は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダから圧縮方法に関連した所定のヘッダ情報を取得する情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により取得された所定のヘッダ情報と、前記現在フレームの直前フレームについて前記情報取得手段により取得された所定のヘッダ情報とを比較することにより、前記現在フレームと前記直前フレームとの圧縮方法が異なると判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする。
【００１４】
請求項８記載の発明に係る画像処理方法は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダからパケット長の情報を抽出し、抽出したパケット長の情報に基づき解像度レベル毎のパケット長の合計を求める情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により求められた解像度レベル毎のパケット長の合計と、前記現在フレームの直前フレームについて前記情報取得工程により求められた解像度レベル毎のパケット長の合計とを比較することにより、前記現在フレームと前記直前フレームとの解像度レベル毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする。
【００１５】
請求項９記載の発明に係る画像処理方法は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダから符号パス数の情報を抽出し、抽出した符号パス数の情報に基づきプリシンクト毎の符号パス数の合計を求める情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により求められたプリシンクト毎の符号パス数の合計と、前記現在フレームの直前フレームについて前記情報取得工程により求められたプリシンクト毎の符号パス数の合計とを比較することにより、前記現在フレームと前記直前フレームとのプリシンクト毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする。
【００１６】
請求項１０記載の発明に係る画像処理方法は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダからパケット長の情報を抽出し、抽出したパケット長の情報に基づきコンポーネント毎のパケット長の合計を求める情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により求められたコンポーネント毎のパケット長の合計と、前記現在フレームの直前フレームについて前記情報取得工程により求められたコンポーネント毎のパケット長の合計とを比較することにより、前記現在フレームと前記直前フレームとのコンポーネント毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする。
【００１７】
請求項１１記載の発明に係る画像処理方法は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダからパケット長の情報を抽出し、抽出したパケット長の情報に基づきレイヤ毎のパケット長の合計を求める情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により求められたレイヤ毎のパケット長の合計と、前記現在フレームの直前フレームについて前記情報取得工程により求められたレイヤ毎のパケット長の合計とを比較することにより、前記現在フレームと前記直前フレームとのレイヤ毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする。
【００１８】
請求項１２記載の発明に係る画像処理方法は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダから符号パス数の情報を抽出し、抽出した符号パス数の情報からプリシンクト毎の符号パス数の合計を求め、求めたプリシンクト毎の符号パス数の合計に基づいてプリシンクト単位でのＲＯＩ領域の有無を示す情報を取得する情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により取得されたプリシンクト単位でのＲＯＩ領域の有無を示す情報と、前記現在フレームの直前フレームについて前記情報取得工程により取得されたプリシンクト単位でのＲＯＩ領域の有無を示す情報とを比較することにより、前記現在フレームと前記直前フレームとのＲＯＩ領域の位置の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする。
【００１９】
請求項１３記載の発明に係る画像処理方法は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のタイルヘッダからＲＧＮマーカセグメントを抽出することにより、タイル単位でのＲＯＩ領域の有無を示す情報を取得する情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程によ り取得されたタイル単位でのＲＯＩ領域の有無を示す情報と、前記現在フレームの直前フレームについて前記情報取得工程により取得されたタイル単位でのＲＯＩ領域の有無を示す情報とを比較することにより、前記現在フレームと前記直前フレームとのＲＯＩ領域の位置の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする。
【００２０】
請求項１４記載の発明に係る画像処理方法は、
Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダから圧縮方法に関連した所定のヘッダ情報を取得する情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により取得された所定のヘッダ情報と、前記現在フレームの直前フレームについて前記情報取得工程により取得された所定のヘッダ情報とを比較することにより、前記現在フレームと前記直前フレームとの圧縮方法が異なると判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする。
【００２１】
【発明の実施の形態】
以下に説明する実施の形態において処理の対象となる符号化データは、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）による動画像の符号化データである。各フレームの符号化データのフォーマットはＪＰＥＧ２０００に準拠しているので、以下の説明と関連する範囲でＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）について概説する。
【００２２】
図１はＪＰＥＧ２０００の圧縮符号化アルゴリズムを説明するための簡略化されたブロック図である。圧縮符号化の対象となる画像データ（動画像を扱う場合には各フレームの画像データ）は、コンポーネント毎にタイルと呼ばれる重複しない矩形領域に分割され、コンポーネント毎にタイルを単位として処理される。ただし、タイルサイズを画像サイズと同一にすること、つまりタイル分割を行わないことも可能である。
【００２３】
タイル画像は、圧縮率の向上を目的として、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換が施される（ステップＳ１）。この色空間変換が省かれる場合もある。
【００２４】
色空間変換後の各コンポーネントの各タイル画像に対し２次元ウェーブレット変換（離散ウェーブレット変換：ＤＷＴ）が実行される（ステップＳ２）。
【００２５】
図２はデコンポジションレベル数が３の場合のウェーブレット変換の説明図である。図２（ａ）に示すタイル画像（デコンポジションレベル０）に対する２次元ウェーブレット変換により、図２（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｃ）に示すように２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｄ）に示すように３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。デコンポジションレベルと解像度レベルとの関係であるが、図２（ｄ）の各サブバンドに括弧で囲んで示した数字が、そのサブバンドの解像度レベルを示している。
【００２６】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、サブバンド毎に量子化される（ステップＳ３）。ＪＰＥＧ２０００ではロスレス（可逆）圧縮とロッシー（非可逆）圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に１であり、この段階では量子化されない。
【００２７】
量子化後の各サブバンド係数はエントロピー符号化される（ステップＳ４）。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と呼ばれる符号化方式が用いられ、量子化後の各サブバンド係数のビットプレーンが上位プレーンから下位プレーンへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００２８】
最後の２つのステップＳ５，Ｓ６は符号形成プロセスである。まず、ステップＳ５において、ステップＳ４で生成されたコードブロックの符号をまとめてパケットが作成される。次のステップＳ６において、ステップＳ５で生成されたパケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、プリシンクト(position)、レイヤ、コンポーネント（ＹＣｒＣｂやＲＧＢなどの色成分）の組み合わせによる５種類のプログレッション順序が定義されている。
【００２９】
このようにして生成されるＪＰＥＧ２０００の符号化データのフォーマットを図３に示す。図３に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ(Main Header)と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ(Tile Header)と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Tile Data）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００３０】
ここで、プリシンクト、コードブロック、パケット、レイヤについて簡単に説明する。画像≧タイル≧サブバンド≧プリシンクト≧コードブロックの大きさ関係がある。
【００３１】
プリシンクトとは、サブバンドの矩形領域で、同じデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドの空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。ただし、ＬＬサブバンドでは、１つの領域が１つのプリシンクトとして扱われる。プリシンクトのサイズをサブバンドと同じサイズにすることも可能である。また、プリシンクトを分割した矩形領域がコードブロックである。図４にデコンポジションレベル１における１つのプリシンクトとコードブロックを例示した。図中のプリシンクトと記された空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。
【００３２】
プリシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号化データを形成する。図３の各タイルに関するＳＯＤ以下の部分がパケットの集合である。
【００３３】
全てのプリシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである（ただし、次に示す例のように、必ずしも全てのプリシンクトのパケットをレイヤに含めなくともよい）。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位とも言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００３４】
デコンポジションレベル数＝２（解像度レベル数＝３）の場合のパケットとレイヤの例を図５に示す。図中の縦長の小さな矩形がパケットであり、その内部に示した数字はパケット番号である。レイヤを濃淡を付けた横長矩形領域として図示してある。すなわち、この例では、パケット番号０〜１６のパケットの符号からなるレイヤ０、パケット番号１７〜３３のパケットの符号からなるレイヤ１、パケット番号３４〜５０のパケットの符号からなるレイヤ２、パケット番号５１〜６７のパケットの符号からなるレイヤ３、パケット番号６８〜８４のパケットの符号からなるレイヤ４、パケット番号８５〜１０１のパケットの符号からなるレイヤ５、パケット番号１０２〜１１８のパケットの符号からなるレイヤ６、パケット番号１１９〜１３５のパケットの符号からなるレイヤ７、パケット番号１３６〜１４８のパケットの符号からなるレイヤ８、及び、残りのパケット番号１４９〜１６１のパケットの符号からなるレイヤ９の９レイヤに分割されている。なお、パケットとプリシンクトとの対応関係などは、プログレッション順序の違いやレイヤ分割数等により様々に変化するものであり、上に示したレイヤ構成はあくまで一例である。
【００３５】
ＪＰＥＧ２０００においてはＬＲＣＰ、ＲＬＣＰ、ＲＰＣＬ、ＰＣＲＬ、ＣＰＲＬの５つのプログレッション順序が定義されている。ここで、Ｌはレイヤ、Ｒは解像度レベル、Ｃはコンポーネント、Ｐはプリシンクトである。
【００３６】
ＬＲＣＰプログレッションの場合、パケットの配置（符号化時）又はパケットの解釈（復号化時）の順序は、Ｌ，Ｒ，Ｃ，Ｐの順にネストされた次のようなforループで表すことができる。
for(レイヤ)｛
for(解像度レベル)｛
for(コンポーネント)｛
for(プリシンクト)｛
パケットを配置：符号化時
パケットを解釈：復号化時
｝
｝
｝
｝
【００３７】
具体例を示せば、画像サイズ＝１００×１００画素（タイル分割なし）、レイヤ数＝２、解像度レベル数＝３（レベル０〜２）、コンポーネント数＝３、プリシンクトサイズ＝３２×３２の場合における３６個のパケットは、図６のような順に配置され、また解釈される。
【００３８】
また、ＲＬＣＰプログレッションの場合には、
for(解像度レベル)｛
for(レイヤ)｛
for(コンポーネント)｛
for(プリシンクト)｛
パケットを配置：符号化時
パケットを解釈：復号化時
｝
｝
｝
｝
という順で、パケットの配置（符号化時）又はパケットの解釈（復号化時）がなされる。
他のプログレッション順序の場合も同様のネストされたforループにより、パケットの配置順又は解釈順が決まる。
【００３９】
また、ＪＰＥＧ２０００には、選択した領域（ＲＯＩ領域）の画質を他の領域よりも向上させる機能があり、基本仕様ではＲＯＩ領域のウェーブレット係数のビットシフトによるMax Shift方式が規定されている。
【００４０】
本発明においては、符号化データに付加されるメインヘッダ、タイルヘッダ、パケットヘッダの情報を利用するので、ヘッダ情報の概要を以下に示す。
図７にメインヘッダの構成を示す。このメインヘッダの情報中でＳＩＺ，ＣＯＤ，ＱＣＤの各マーカセグメントは必須であるが、他のマーカセグメントはオプションである。
図８にタイルヘッダの構成を示す。（ａ）はタイルデータの先頭に付加されるヘッダであり、（ｂ）はタイル内が複数に分割されている場合に分割されたタイル部分列の先頭に付加されるヘッダである。タイルヘッダでは必須のマーカセグメントはなく、すべてオプションである。
図９に、マーカ及びマーカセグメントの一覧表を示す。
ＳＯＴマーカセグメントの構成を図１０に、ＳＩＺマーカセグメントの構成を図１１に、ＣＯＤマーカセグメントの構成を図１２に、ＣＯＣマーカセグメントの構成を図１３に、ＲＧＮマーカセグメントの構成を図１４に、ＱＣＤマーカセグメントの構成を図１５に、ＱＣＣマーカセグメントの構成を図１６に、ＴＬＭマーカセグメントの構成を図１７に、ＰＬＭマーカセグメントの構成を図１８に、ＰＬＴマーカセグメントの構成を図１９に、ＰＰＭマーカセグメントの構成を図２０に、ＰＰＴマーカセグメントの構成を図２１に、ＣＯＭマーカセグメントの構成を図２２に、それぞれ示す。
【００４１】
なお、パケットは、本体であるパケットデータにパケットヘッダを付加した構成である。パケットヘッダには、パケットデータの長さ、符号パス数、０ビットプレーン数などの情報が含まれている（非特許文献１参照）。
【００４２】
《実施の形態１》 図２３は、本発明による画像処理装置の一例を説明するためのブロック図である。この画像処理装置は、単独の装置として実現される形態、デジタルビデオカメラや監視カメラ等の撮像装置、画像編集装置、ビデオ再生装置、画像検索システム、画像データベースシステム等の一部として実現される形態、パソコンなどのコンピュータのハードウェアを利用しプログラムにより実現される形態とがあるが、いずれの形態も本発明に包含される。
【００４３】
この画像処理装置は、符号化データ入力部（符号化データ入力手段）１００、シーンチェンジ検出装置（シーンチェンジ検出手段）１０１Ａ、記憶部１０２、外部インターフェース部１０３を備える。
【００４４】
符号化データ入力部１００は、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像の符号化データを取り込むための手段である。より具体的には、この符号化データ入力部１００は、有線又は無線の伝送路もしくはネットワークを通じ外部より符号化データを直接取り込むインターフェース手段、記録媒体から符号化データを読み込む手段、被写体を撮影して動画像の符号化データを入力する撮像手段、動画像の圧縮符号化を行うＭｏｔｉｏｎ−ＪＰＥＧ２０００準拠のエンコーダなどである。
【００４５】
シーンチェンジ検出装置１０１Ａは、動画像の各フレームの符号化データの特定のヘッダの情報を利用して動画像のシーンチェンジ（シーンの切り替わり）を自動的に検出するものであり、情報取得部１１１、情報一時記憶部１１２、比較判定処理部１１３からなる。
【００４６】
記憶部１０２は、動画像の符号化データと、シーンチェンジ検出装置１０１Ａによる検出結果の記憶に利用される。シーンチェンジ検出結果の記憶方法としては、動画像ファイルのファイルヘッダにシーンチェンジ検出結果を記述する方法、フレームのメインヘッダのＣＯＭマーカセグメント（図２２）にコメントデータとしてシーンチェンジ検出結果を記述する方法、動画像ファイルと関連付けた別のファイルとしてシーンチェンジ検出結果を記憶する方法など、様々な方法をとることができる。外部インターフェース部１０３は、符号化データ及びシーンチェンジ検出結果を外部に出力するために利用される。
【００４７】
次に、シーンチェンジ検出装置１０１Ａについて詳細に説明する。情報取得部（情報取得手段）１１１は、各フレームの符号化データより、１つ又は複数の特定のヘッダ情報を抽出する。後述のように様々なシーンチェンジ検出モードを選択できるが、ヘッダ情報そのものの比較によりシーンチェンジを検出するモードが選択された場合には、情報取得部１１１は抽出したヘッダ情報をそのまま出力する。ヘッダ情報に基づいて計算される特徴量の比較によりシーンチェンジを検出するモードが選択された場合には、情報取得部１１１は、抽出したヘッダ情報に基づいて特徴量を計算し、その特徴量を出力する。モードによっては、抽出されたヘッダ情報と、計算された特徴量の両方が出力される。
【００４８】
情報取得部１１１より出力されたヘッダ情報及び／又は特徴量は比較判定処理部（比較判定処理手段）１１３に渡されるとともに情報一時記憶部１１２に記憶される。情報一時記憶部１１２には、現在のフレームと直前のフレームのヘッダ情報及び／又は特徴量が保存され、それより前のフレームのヘッダ情報及び／又は特徴量は順次消去される。情報一時記憶部１１２より、現在フレームの直前フレームのヘッダ情報及び／又は特徴量が比較判定処理部１１３へ入力される。比較判定処理部１１３は、入力された現在フレームと直前フレームのヘッダ情報そのもの比較、及び／又は、ヘッダ情報に基づいて計算された特徴量の比較により、シーンチェンジが発生したか否かの判定を行う。なお、情報一時記憶部１１２を情報取得部１１１又は比較判定処理部１１３と一体化してもよいことは明らかである。
【００４９】
このシーンチェンジ検出装置１０１Ａは、様々な検出モードを選択することができる。
以下、各モード別に具体的に説明するが、複数のモードを組み合わせたモードも選択することができる。この組み合わせモードの場合には、情報取得部１１１は各モードで利用される複数のヘッダ情報の抽出、及び／又は特徴量の計算を行い、比較判定処理部１１３は組み合わされた各モードによる比較判定処理を行い、その結果を評価することによりシーンチェンジであるか否かを判断する。例えば、全てのモードの結果がシーンチェンジの場合にシーンチェンジと判断し、又は、多数決により判断する。
【００５０】
［モードＡ］ 解像度レベル毎の符号量分布の変化に着目してシーンチェンジを検出するモードである（請求項１，８対応）。比較判定処理部１１３は、現在フレームと直前フレームの解像度レベル毎の符号量分布の違いが所定の程度を越えたときに、現在フレームをシーンチェンジ発生フレームと判定する。このモードでは、情報取得部１１１は、ＰＬＭマーカセグメント（図１８）のＩplm（パケット長リスト）、ＰＬＴマーカセグメント（図１９）のＩplt（パケット長リスト）、ＰＰＭマーカセグメント（図２０）のＩppm（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩppt（パケットヘッダ集合）、又は、符号中のパケットヘッダよりパケット長の情報を抽出し、それに基づいて、各解像度レベルのパケット長の合計を求める。なお、パケット長の合計は、必ずしも全ての解像度レベルについて求める必要はなく、特定の一部解像度レベルについて求めるようにしてもよい。
【００５１】
［モードＢ］ 位置（タイル又はプリシンクト）毎の符号量分布の変化に着目してシーンチェンジを検出するモードである（請求項２，９対応）。比較判定処理部１１３は、現在フレームと直前フレームのプリシンクト毎の符号量分布の違いが所定の程度を越えたときに、現在フレームをシーンチェンジ発生フレームと判定する。このモードでは、次のヘッダ情報の予め指定されたものが利用される。なお、コードブロック毎の符号量分布の変化に着目したシーンチェンジ検出も可能であり、これも本発明に包含される。情報取得部１１１は、
１）ＴＬＭマーカセグメント（図１７）のＰtml（タイル長）、又は、ＳＯＴマーカセグメント（図１０）のＰsot（タイル長）よりタイル長の情報を抽出する。あるいは、
２）ＰＰＭマーカセグメント（図２０）のＩppm（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩppt（パケットヘッダ集合）、又は、符号中のパケットヘッダより符号パス数の情報を抽出し、それに基づいて各プリシンクト毎の符号パス数の合計を求める。
【００５２】
なお、タイル長と各プリシンクト毎の合計符号パス数の両方を抽出することも可能であり、これも本発明に包含される。また、以上の特徴量は、一部のタイル、一部のプリシンクト、又は、一部のコードブロックについて求めるようにしてもよい。
【００５３】
［モードＣ］ コンポーネント毎の符号量分布の変化に着目してシーンチェンジを検出するモードである（請求項３，１０対応）。比較判定処理部１１３は、現在フレームと直前フレームのコンポーネント毎の符号量分布の違いが所定の程度を越えたときに、現在フレームをシーンチェンジ発生フレームと判定する。このモードでは、情報取得部１１１は、ＰＬＭマーカセグメント（図１８）のＩplm（パケット長リスト）、ＰＬＴマーカセグメント（図１９）のＩplt（パケット長リスト）、ＰＰＭマーカセグメント（図２０）のＩppm（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩppt（パケットヘッダ集合）、又は、符号中のパケットヘッダより各パケットのパケット長の情報を抽出し、それに基づいて各コンポーネントのパケット長の合計を求める。なお、一部のコンポーネントについてのみ特徴量を求めるようにしてもよい。
【００５４】
［モードＤ］ レイヤ毎の符号量分布の変化に着目してシーンチェンジを検出するモードである（請求項４，１１対応）。比較判定処理部１１３は、現在フレームと直前フレームのレイヤ毎の符号量分布の違いが所定の程度を越えたときに、現在フレームをシーンチェンジ発生フレームと判定する。このモードでは、情報取得部１１１は、ＰＬＭマーカセグメント（図１８）のＩplm（パケット長リスト）、ＰＬＴマーカセグメント（図１９）のＩplt（パケット長リスト）、ＰＰＭマーカセグメント（図２０）のＩppm（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩppt（パケットヘッダ集合）、又は、符号中のパケットヘッダより各パケットのパケット長の情報を抽出し、それに基づいて各レイヤのパケット長の合計を求める。なお、一部のレイヤについてのみ特徴量を求めるようにしてもよい。
【００５５】
［モードＥ］ ＲＯＩ領域の位置の変化に着目してシーンチェンジを検出するモードである（請求項５，６，１２，１３対応）。比較判定処理部１１３は、現在フレームと直前フレームのＲＯＩ領域の位置の違いを評価し、その違いが所定の程度を越えたときに、現在フレームをシーンチェンジ発生フレームと判定する。情報取得部１１１は、
１）各タイルのタイルヘッダ中のＲＧＮマーカセグメントの有無を調べ、タイル単位でのＲＯＩ領域の有無を示す情報を取得する（請求項６，１３）。あるいは、
２）ＰＰＭマーカセグメント（図２０）のＩppm（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩppt（パケットヘッダ集合）、又は、符号中のパケットヘッダより各パケットの符号パス数を抽出してプリシンクト毎（又はコードブロック毎）の符号パス数の合計を求め、その合計符号パス数に基づいて、プリシンクト（又はコードブロック）単位でＲＯＩ領域の有無を示す情報を取得する（請求項５，１２）。
【００５６】
［モードＦ］ 圧縮方法の変化に着目してシーンチェンジを検出するモードである（請求項７，１４対応）。比較判定処理部１１３は、現在フレームと直前フレームの圧縮方法が異なるときに、現在フレームをシーンチェンジ発生フレームと判定する。このモードでは、情報取得部１１１は、
１）ＣＯＤマーカセグメント（図１２）のＳgcod（符号スタイル）よりプログレッション順序の情報を抽出する。
２）ＣＯＤマーカセグメント（図１２）のＳgcod（符号スタイル）よりレイヤ数の情報を抽出する。
３）ＱＣＤマーカセグメント（図１５）のＳqcd（量子化スタイル），ＳＰqcd（量子化ステップサイズ）の情報を抽出する。
４）ＣＯＤマーカセグメント（図１２）のＳgcod（符号スタイル）より色変換の情報を抽出する。
５）ＣＯＤマーカセグメント（図１２）のＳＰcod（符号スタイル）又はＣＯＣマーカセグメント（図１３）のＳＰcoc（符号スタイル）よりデコンポジション数の情報を抽出する。
６）ＣＯＤマーカセグメント（図１２）のＳＰcod（符号スタイル）又はＣＯＣマーカセグメント（図１３）のＳＰcoc（符号スタイル）よりコードブロックのサイズの情報を抽出する。
７）ＣＯＤマーカセグメント（図１２）のＳＰcod（符号スタイル）又はＣＯＣマーカセグメント（図１３）のＳＰcoc（符号スタイル）よりウェーブレット変換方法の情報を抽出する。あるいは
８）ＣＯＤマーカセグメント（図１２）のＳＰcod（符号スタイル）又はＣＯＣマーカセグメント（図１３）のＳＰcoc（符号スタイル）よりプリシンクトのサイズの情報を抽出する。
【００５７】
なお、このモードにおいて以上の２つ以上の情報を抽出することも可能であり、これも本発明に包含される。
【００５８】
［モードＧ］ 前記各モードとは異なる画像特徴の変化に着目してシーンチェンジを検出するモードである。比較判定処理部１１３は、現在フレームと直前フレームの画像特徴が異なるときに、現在フレームをシーンチェンジ発生フレームと判定する。このモードでは、情報取得部１１１は、
１）ＳＩＺマーカセグメント（図１１）のＸＴsiz，ＹＴsiz（タイルの水平、垂直方向サイズ）の情報を抽出する。
２）ＳＩＺマーカセグメント（図１１）のＸＴＯsiz，ＹＴＯsiz（タイルの水平、垂直方向オフセット）の情報を抽出する。
３）ＳＩＺマーカセグメント（図１１）のＣsi（コンポーネント数）の情報を抽出する。
４）ＳＩＺマーカセグメント（図１１）のＳsiz（ビット数）の情報を抽出する。
５）ＳＩＺマーカセグメント（図１１）のＸsiz，Ｙsiz（画像の水平、垂直方向サイズ）の情報を抽出する。
６）ＳＩＺマーカセグメント（図１１）のＸＯsiz，ＹＯsiz（画像の水平、垂直方向オフセット）の情報を抽出する。
７）ＳＩＺマーカセグメント（図１１）のＸＲsiz，ＹＲsiz（水平、垂直方向サンプル数）の情報を抽出する。あるいは
８）ＣＯＭマーカセグメント（図２２）のＣcom（コメントデータ）の情報を抽出する。
【００５９】
なお、このモードにおいて、以上の２つ以上の情報を抽出することも可能であり、これも本発明に包含される。
【００６０】
《実施の形態２》 図２４は、本発明による画像処理装置の別の例を説明するためのブロック図である。ここに示す画像処理装置は、シーンチェンジ検出装置１０１Ｂの構成が図２３に示したシーンチェンジ検出装置１０１Ａと相違する。すなわち、シーンチェンジ検出装置１０１Ｂは、情報取得部１１１、情報一時記憶部１１２、比較判定処理部１１３に加え、部分復号化部１１４、画像一時記憶部１１５及び二次判定処理部１１６を有する。情報取得部１１１及び比較判定処理部１１３の動作は前述した通りであるので説明を割愛する。
【００６１】
部分復号化部１１４は、符号化データの一部の符号の復号伸長を行う手段である。例えば、低解像度レベル（レベル０、レベル１など）、あるいは、上位レイヤ（上位の１レイヤ、数レイヤなど）の特定コンポーネント又は全コンポーネントの符号の復号伸長を行う。部分復号化部１１４より出力される画像データは二次判定処理部１１６に入力されるとともに、画像一時記憶部１１５に記憶される。画像一時記憶部１１５は、現在のフレームと直前のフレームの画像データを一時的に記憶するもので、直前のフレームの画像データは二次判定部１１６に入力される。
【００６２】
二次判定処理部１１６は、比較判定処理部１１３の判定結果も入力され、比較判定処理部１１３により現在フレームがシーンチェンジ発生フレームと判定された場合にのみ、二次判定処理を行う。この二次判定処理は、部分復号化部１１４より入力された現在フレームの画像データと、画像一時記憶部１１５より入力された直前フレームの画像データとを比較し、その差異が所定の程度を越えたときに現在フレームを最終的にシーンチェンジ発生フレームと判定する処理である。この二次判定処理部１１６の判定結果がシーンチェンジ検出装置１０１Ｂの最終的な判定結果として出力される。
【００６３】
すなわち、シーンチェンジ検出装置１０１Ｂは、比較判定処理部１１３でヘッダ情報及び／又はヘッダ情報に基づいて計算された特徴量の比較によりシーンチェンジの一次判定を行い、二次判定処理部１１６で画像データの比較により、より精密なシーンチェンジの二次判定を行う構成である。このような２段階のシーンチェンジ判定を行うことにより、より高精度なシーンチェンジ検出が可能である。また、一次判定でシーンチェンジとされたフレームに関してのみ画像データの比較による二次判定を行うため、全てのフレーム間で画像データの比較によるシーンチェンジ判定を行う構成に比べ、シーンチェンジ検出速度も向上する。
【００６４】
二次判定には、従来から知られている方法を利用できる。例えば、特許文献１にも記載されているような、画像の小領域毎の色分布を求め、画像間の色分布の相関を調べるような方法を利用することができる。どのような方法を利用するにしても、比較対象となる画像データは一部符号を復号伸長したものであり、全符号を復号伸長した画像データに比べデータ量は遙かに小さいため、処理にそれほどの時間はかからない。したがって、高速かつ高精度のシーンチェンジ検出が可能である。
【００６５】
《実施の形態３》 図２５は、本発明による画像処理装置の別の例を説明するためのブロック図である。ここに示す画像処理装置は、静止画特徴量抽出部１２０が追加されている。シーンチェンジ検出装置１０１としては、図２３に示したシーンチェンジ検出装置１０１Ａ、又は、図２４に示したシーンチェンジ検出装置１０１Ｂが用いられる。
【００６６】
静止画特徴量抽出部１２０は、画像検索に利用するための特徴量を検出する手段である。抽出された特徴量は、該当フレームのメインヘッダのＣＯＭマーカセグメント（図２２）にコメントデータとして記述されて記憶部１０２に記憶され、あるいは、動画像ファイルと関連付けた別のファイルとして記憶部１０２に記憶される。この特徴量を外部インターフェース部１０３を介して外部へ出力することもできる。
【００６７】
抽出される静止画特徴量としては、例えば、カラーヒストグラム、代表色、エッジ特徴量、動き（カメラの動き：水平又は垂直方向のパン）の中から１つ以上を指定することができる。
【００６８】
静止画特徴量としてカラーヒストグラム又は代表色が指定された場合、静止画特徴量抽出部１２０は、各フレームの符号化データの低解像度レベル（例えばレベル０）又は上位レイヤ（例えば上位の１レイヤ）の全コンポーネントの符号の復号伸長を行い、得られた画像データよりカラーヒストグラム又は代表色を求める。なお、シーンチェンジ検出装置１０１として図２４に示したシーンチェンジ装置１０１Ｂが用いられる場合には、部分復号化部１１４（図２４）を符号化データの一部符号の復号伸長に利用できる。また、シーンチェンジ検出のために低解像度レベル又は上位レインの全コンポーネントの符号が復号伸長されるならば、画像一時記憶部１１５に記憶されている画像データを特徴量抽出にそのまま用いることができる。
【００６９】
静止画特徴量としてエッジ特徴量が指定された場合には、静止画特徴量抽出部１２０は、各フレームの符号化データのヘッダ情報を利用して、高解像度レベル（例えば最高解像度レベル）のＨＬ，ＬＨ，ＨＨサブバンドの符号量を位置（コードブロック又はプリシンクト）毎に求める。具体的には、ＰＬＭマーカセグメント（図１８）のＩplm（パケット長リスト）、ＰＬＴマーカセグメント（図１９）のＩplt（パケット長リスト）、ＰＰＭマーカセグメント（図２０）のＩppm（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩppt（パケットヘッダ集合）、又は、符号中のパケットヘッダよりパケット長の情報を抽出し、それに基づいて、位置毎に高解像度レベル（例えば最高解像度レベル）のＨＬ，ＬＨ，ＨＨサブバンドのパケット長の合計を符号量として求める。そして、各位置の符号量が最大のサブバンドに対応した方向をエッジ方向として検出し、位置とエッジ方向の組をエッジ特徴量として抽出する。
【００７０】
静止画特徴量として動きが指定された場合には、静止画特徴量抽出部１２０は、各フレームの符号化データのヘッダ情報を利用して、高解像度レベル（例えば最高解像度レベル）のＨＬ，ＬＨサブバンドの符号量を求める。具体的には、ＰＬＭマーカセグメント（図１８）のＩplm（パケット長リスト）、ＰＬＴマーカセグメント（図１９）のＩplt（パケット長リスト）、ＰＰＭマーカセグメント（図２０）のＩppm（パケットヘッダ集合）、ＰＰＴマーカセグメント（図２１）のＩppt（パケットヘッダ集合）、又は、符号中のパケットヘッダよりパケット長の情報を抽出し、それに基づいて、高解像度レベル（例えば最高解像度レベル）のＨＬ，ＬＨサブバンドのパケット長の合計を符号量として求める。カメラを水平方向にパンしながら撮影されたフレームでは、水平方向の手振れが生じた時と同様に、パンしない場合に比べＬＨサブバンドの符号量は一般に減少する。その減少の程度はパンの速度が速いほど激しい。カメラを垂直方向にパンしながら撮影したフレームは、パンしない場合に比べＨＬサブバンドの符号量が一般に減少し、その減少程度はパン速度が速いほど激しい。そこで、静止画特徴量抽出部１２０は、連続したフレーム間のＬＨ，ＨＬサブバンドの符号量に基づいて、パンの有無と方向、さらには速度（低速、中速、高速など）を判定し、それを動きの特徴量として抽出する。なお、低解像度又は上位レイヤの符号を復号伸長した画像データを用い、フレーム間の動きベクトルを抽出してもよく、これも本発明に包含される。
【００７１】
ここまで、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００に準拠した動画像の符号化データを対象として本発明の実施の形態を説明したが、連続した複数の静止画像のそれぞれを動画像のフレームとして圧縮符号化し、同様のヘッダ情報を利用可能な他の圧縮符号化アルゴリズムによる符号化データに対しても、本発明を適用可能であることは以上の説明から明白であろう。
【００７２】
また、以上に説明したシーンチェンジ検出装置の情報取得部、比較判定処理部、部分復号化部、二次判定処理部の機能、静止画特徴量抽出部の機能、シーンチェンジ検出装置におけるシーンチェンジ検出手順（方法）は、パソコンやマイクロコンピュータなどのコンピュータ上でプログラムによって実現することも可能である。そのようなプログラム、及び、それが記録されたコンピュータが読み取り可能な各種記録（記憶）媒体も本発明に包含される。
【００７３】
【発明の効果】
以上の説明から明らかなように、本発明によれば、
（１）符号化データのヘッダ情報から求められる解像度レベル毎の符号量分布の変化、位置毎の符号量分布の変化、コンポーネント毎の符号量分布の変化、レイヤ毎の符号量分布の変化、ＲＯＩ領域の位置の変化、その他の圧縮方法などに関連した様々なヘッダ情報そのものの変化などに着目した極めて多様なシーンチェンジ検出が可能である。
（２）シーンチェンジの検出にヘッダ情報そのものの変化を利用する場合には、ヘッダ情報を抽出してフレーム間で比較するだけであるから、極めて簡易な処理もしくは手段によって、様々なヘッダ情報による多様なシーンチェンジ検出を極めて高速に行うことができる。
（３）シーンチェンジの検出にヘッダ情報から求められる符号量分布などの特徴量の変化を利用する場合には、ヘッダ情報の抽出のほかに特徴量を求めるための演算などのための処理もしくは手段が必要になるが、その処理もしくは手段は簡易なものでよく、また、処理にそれほどの時間を要しないため、高速なシーンチェンジ検出が可能である、等々の効果を得られる。
【図面の簡単な説明】
【図１】 ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。
【図２】 ２次元ウェーブレット変換を説明するための図である。
【図３】 符号化データのフォーマットを説明するための図である。
【図４】 プリシンクトとコードブロックの説明図である。
【図５】 パケットとレイヤの例を示す図である。
【図６】 パケットの配列順を例示する図である。
【図７】 メインヘッダの構成を示す図である。
【図８】 タイルヘッダの構成を示す図である。
【図９】 マーカ及びマーカセグメントの一覧表を示す図である。
【図１０】 ＳＯＴマーカセグメントの構成を示す図である。
【図１１】 ＳＩＺマーカセグメントの構成を示す図である。
【図１２】 ＣＯＤマーカセグメントの構成を示す図である。
【図１３】 ＣＯＣマーカセグメントの構成を示す図である。
【図１４】 ＲＧＮマーカセグメントの構成を示す図である。
【図１５】 ＱＣＤマーカセグメントの構成を示す図である。
【図１６】 ＱＣＣマーカセグメントの構成を示す図である。
【図１７】 ＴＬＭマーカセグメントの構成を示す図である。
【図１８】 ＰＬＭマーカセグメントの構成を示す図である。
【図１９】 ＰＬＴマーカセグメントの構成を示す図である。
【図２０】 ＰＰＭマーカセグメントの構成を示す図である。
【図２１】 ＰＰＴマーカセグメントの構成を示す図である。
【図２２】 ＣＯＭマーカセグメントの構成を示す図である。
【図２３】 本発明の実施の形態１を説明するためのブロック図である。
【図２４】 本発明の実施の形態２を説明するためのブロック図である。
【図２５】 本発明の実施の形態３を説明するためのブロック図である。
【符号の説明】
１００ 符号化データ入力部
１０１，１０１Ａ，１０１Ｂ シーンチェンジ検出装置
１０２ 記憶部
１１１ 情報取得部
１１２ 情報一時記憶部
１１３ 比較判定処理部
１１４ 部分復号化部
１１５ 画像一時記憶部
１１６ 二次判定処理部
１２０ 静止画特徴量抽出部
Claims (14)
- Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダからパケット長の情報を抽出し、抽出したパケット長の情報に基づき解像度レベル毎のパケット長の合計を求める情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により求められた解像度レベル毎のパケット長の合計と、前記現在フレームの直前フレームについて前記情報取得手段により求められた解像度レベル毎のパケット長の合計とを比較することにより、前記現在フレームと前記直前フレームとの解像度レベル毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする画像処理装置。 - Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダから符号パス数の情報を抽出し、抽出した符号パス数の情報に基づきプリシンクト毎の符号パス数の合計を求める情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により求められたプリシンクト毎の符号パス数の合計と、前記現在フレームの直前フレームについて前記情報取得手段により求められたプリシンクト毎の符号パス数の合計とを比較することにより、前記現在フレームと前記直前フレームとのプリシンクト毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする画像処理装置。 - Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダからパケット長の情報を抽出し、抽出したパケット長の情報に基づきコンポーネント毎のパケット長の合計を求める情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により求められたコンポーネント毎のパケット長の合計と、前記現在フレームの直前フレームについて前記情報取得手段により求められたコンポーネント毎のパケット長の合計とを比較することにより、前記現在フレームと前記直前フレームとのコンポーネント毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェン ジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする画像処理装置。 - Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダからパケット長の情報を抽出し、抽出したパケット長の情報に基づきレイヤ毎のパケット長の合計を求める情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により求められたレイヤ毎のパケット長の合計と、前記現在フレームの直前フレームについて前記情報取得手段により求められたレイヤ毎のパケット長の合計とを比較することにより、前記現在フレームと前記直前フレームとのレイヤ毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする画像処理装置。 - Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダから符号パス数の情報を抽出し、抽出した符号パス数の情報からプリシンクト毎の符号パス数の合計を求め、求めたプリシンクト毎の符号パス数の合計に基づいてプリシンクト単位でのＲＯＩ領域の有無を示す情報を取得する情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により取得されたプリシンクト単位でのＲＯＩ領域の有無を示す情報と、前記現在フレームの直前フレームについて前記情報取得手段により取得されたプリシンクト単位でのＲＯＩ領域の有無を示す情報とを比較することにより、前記現在フレームと前記直前フレームとのＲＯＩ領域の位置の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする画像処理装置。 - Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のタイルヘッダからＲＧＮマーカセグメントを抽出することにより、タイル単位でのＲＯＩ領域の有無を示す情報を取得する情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により取得されたタイル単位でのＲＯＩ領域の有無を示す情報と、前記現在フレームの直前フレームについて前記情報取得手段により取得されたタイル単位でのＲＯＩ領域の有無を示す情報とを比較することにより、前記現在フレームと前記直前フレームとのＲＯＩ領域の 位置の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする画像処理装置。 - Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力手段と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画像の符号化データ及び前記シーンチェンジ検出手段によるシーンチェンジの検出結果を記憶する記憶手段と、
を有し、
前記シーンチェンジ検出手段は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダから圧縮方法に関連した所定のヘッダ情報を取得する情報取得手段と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得手段により取得された所定のヘッダ情報と、前記現在フレームの直前フレームについて前記情報取得手段により取得された所定のヘッダ情報とを比較することにより、前記現在フレームと前記直前フレームとの圧縮方法が異なると判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理手段と、を有することを特徴とする画像処理装置。 - Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダからパケット長の情報を抽出し、抽出したパケット長の情報に基づき解像度レベル毎のパケット長の合計を求める情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により求められた解像度レベル毎のパケット長の合計と、前記現在フレームの直前フレームについて前記情報取得工程により求められた解像度レベル毎のパケット長の合計とを比較することにより、前記現在フレームと前記直前フレームとの解像度レベル毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする画像処理方法。 - Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダから符号パス数の情報を抽出し、抽出した符号パス数の情報に基づきプリシンクト毎の符号パス数の合計を求める情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により求められたプリシンクト毎の符号パス数の合計と、前記現在フレームの直前フレームについて前記情報取得工程により求められたプリシンクト毎の符号パス数の合計とを比較することにより、前記現在フレームと前記直前フレームとのプリシンクト毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする画像処理方法。 - Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号 化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダからパケット長の情報を抽出し、抽出したパケット長の情報に基づきコンポーネント毎のパケット長の合計を求める情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により求められたコンポーネント毎のパケット長の合計と、前記現在フレームの直前フレームについて前記情報取得工程により求められたコンポーネント毎のパケット長の合計とを比較することにより、前記現在フレームと前記直前フレームとのコンポーネント毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする画像処理方法。 - Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダからパケット長の情報を抽出し、抽出したパケット長の情報に基づきレイヤ毎のパケット長の合計を求める情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により求められたレイヤ毎のパケット長の合計と、前記現在フレームの直前フレームについて前記情報取得工程により求められたレイヤ毎のパケット長の合計とを比較することにより、前記現在フレームと前記直前フレームとのレイヤ毎の符号量の分布の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする画像処理方法。 - Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダ、タイルヘッダ又はパケットヘッダから符号パス数の情報を抽出し、抽出した符号パス数の情報からプリシンクト毎の符号パス数の合計を求め、求めたプリシンクト毎の符号パス数の合計に基づいてプリシンクト単位でのＲＯＩ領域の有無を示す情報を取得する情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により取得されたプリシンクト単位でのＲＯＩ領域の有無を示す情報と、前記現在フレームの直前フレームについて前記情報取得工程により取得されたプリシンクト単位でのＲＯＩ領域の有無を示す情報とを比較することにより、前記現在フレームと前記直前フレームとのＲＯＩ領域の位置の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする画像処理方法。 - Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のタイルヘッダからＲＧＮマーカセグメントを抽出することにより、タイル単位でのＲＯＩ領域の有無を示す情報を取得する情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により取得されたタイル単位でのＲＯＩ領域の有無を示す情報と、前記現在フレームの直前フレームについて前記情報取得工程により取得されたタイル単位でのＲＯＩ領域の有無を示す情報とを比較することにより、前記現在フレームと前記直前フレームとのＲＯＩ領域の位置の違いが所定の程度を越えたと判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする画像処理方法。 - Motion-JPEG2000 に準拠した動画像の符号化データを入力する符号化データ入力工程と、
前記動画像のシーンチェンジを検出するシーンチェンジ検出工程と、
前記動画像の符号化データ及び前記シーンチェンジ検出工程によるシーンチェンジの検出結果を記憶する記憶工程と、
を有し、
前記シーンチェンジ検出工程は、
前記動画像の各フレームについて、その符号化データ中のメインヘッダから圧縮方法に関連した所定のヘッダ情報を取得する情報取得工程と、
前記動画像の各フレーム（以下、現在フレームと記す）について前記情報取得工程により取得された所定のヘッダ情報と、前記現在フレームの直前フレームについて前記情報取得工程により取得された所定のヘッダ情報とを比較することにより、前記現在フレームと前記直前フレームとの圧縮方法が異なると判定したときに、前記現在フレームをシーンチェンジ発生フレームと判定する比較判定処理工程と、を有することを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002282733A JP3942088B2 (ja) | 2002-09-27 | 2002-09-27 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002282733A JP3942088B2 (ja) | 2002-09-27 | 2002-09-27 | 画像処理装置及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004120497A JP2004120497A (ja) | 2004-04-15 |
| JP3942088B2 true JP3942088B2 (ja) | 2007-07-11 |
Family
ID=32276803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002282733A Expired - Fee Related JP3942088B2 (ja) | 2002-09-27 | 2002-09-27 | 画像処理装置及び画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3942088B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4442893B2 (ja) * | 2005-01-14 | 2010-03-31 | キヤノン株式会社 | 画像検索装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
| JP4707713B2 (ja) * | 2005-08-11 | 2011-06-22 | 三菱電機株式会社 | 映像記録装置及びシーンチェンジ抽出方法 |
| US9998749B2 (en) * | 2010-10-19 | 2018-06-12 | Otoy, Inc. | Composite video streaming using stateless compression |
| JP5036882B2 (ja) * | 2011-01-14 | 2012-09-26 | 三菱電機株式会社 | 映像記録装置、映像記録方法、映像音声記録装置、及び映像音声記録方法 |
| JP6806466B2 (ja) * | 2016-06-01 | 2021-01-06 | キヤノン株式会社 | 画像符号化装置及びその制御方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3315766B2 (ja) * | 1992-09-07 | 2002-08-19 | 富士通株式会社 | 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置 |
| JP3496907B2 (ja) * | 1996-05-24 | 2004-02-16 | 株式会社日立国際電気 | 音声・動画像符号化データ検索方法及び検索装置 |
| JP2001186528A (ja) * | 1999-12-27 | 2001-07-06 | Victor Co Of Japan Ltd | 画像信号のビットストリーム周波数変換装置及びその方法 |
| JP2002245071A (ja) * | 2001-02-15 | 2002-08-30 | Sony Corp | 画像管理装置及び画像管理方法、画像データベース装置、並びに記憶媒体 |
-
2002
- 2002-09-27 JP JP2002282733A patent/JP3942088B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004120497A (ja) | 2004-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI436286B (zh) | 畫像解碼方法及裝置 | |
| JP4254017B2 (ja) | 画像符号化装置及び方法 | |
| US7707422B2 (en) | Method for embedding watermark into an image and digital video recorder using said method | |
| US7310447B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US20040264576A1 (en) | Method for processing I-blocks used with motion compensated temporal filtering | |
| US20080089413A1 (en) | Moving Image Encoding Apparatus And Moving Image Encoding Method | |
| US6553071B1 (en) | Motion compensation coding apparatus using wavelet transformation and method thereof | |
| JP2007142614A (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
| JP2004165760A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP4349816B2 (ja) | 画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、プログラム、及び記録媒体 | |
| US7409095B2 (en) | Image processing apparatus and method for scalable encoded image data | |
| JP2007028439A (ja) | 画像処理装置、画像処理方法 | |
| US9264736B2 (en) | Encoding method, decoding method, encoding device, and decoding device | |
| JP3942088B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2004166254A (ja) | 画像符号化装置及び方法、並びにプログラム及び記録媒体 | |
| JP4073333B2 (ja) | 画像圧縮装置及び画像圧縮方法 | |
| JP4792250B2 (ja) | 動画像処理装置、及び動画像処理方法 | |
| JP4129913B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2007074042A (ja) | 動画像処理装置及び方法 | |
| JP2004215155A (ja) | 動き量検出装置、符号列変換装置、画像圧縮装置、撮像装置、撮像システム、画像編集装置及びプログラム | |
| JP4471310B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4195978B2 (ja) | 映像信号符号化装置及び方法及び記録媒体 | |
| JP4055994B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP4040404B2 (ja) | 符号列変換装置及び方法、画像処理装置並びに画像記録装置 | |
| JP4667424B2 (ja) | 画像復号装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060811 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060830 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061030 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070330 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100413 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110413 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120413 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140413 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |