JP4471310B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、静止画像又は動画像を扱う画像処理装置に係り、特に、画像の符号化データを符号状態で処理する画像処理装置に関する。

例えば、デジタルカメラやデジタルビデオカメラ、さらには監視カメラ・システムなどにおいては、撮影された画像のデータは圧縮符号化処理を施されてから記録媒体に記録されるのが一般的である。画像の圧縮符号化方式としてはＪＰＥＧやＭＰＥＧが広く採用されている。ＪＰＥＧやＭＰＥＧでは、圧縮符号化された画像をさらに圧縮したい場合には、符号化データを一旦復号伸長した後に再度圧縮符号化を行う必要がある。

圧縮符号化処理の圧縮率は、符号化データを記録するための記憶媒体の容量などを考慮して事前に設定されることが多いが、例えば特許文献１には、符号化データのサイズが格納可能なメモリサイズを超えると判断した場合に、符号化データを復号伸長し、再生した画像データをより高い圧縮率で再圧縮する如き構成の画像処理装置が記載されている。

近年、ＪＰＥＧやＭＰＥＧに代わる新しい圧縮符号化方式として、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）とＭｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）が注目されている。ＪＰＥＧ２０００の符号化データは、符号状態のままで符号量（圧縮率）を調整することができ、ＪＰＥＧのような再圧縮に伴うジェネレーション的な画質劣化を生じない。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００は、連続した複数の静止画像のそれぞれをフレームとして動画像を扱うが、各フレームの符号化データはＪＰＥＧ２０００に従っている。ＪＰＥＧ２０００については、例えば、非特許文献１に詳しい。

特開平５−６４００１号公報 野水泰之著、「次世代画像符号化方式 ＪＰＥＧ２０００」、株式会社トリケップス、2001年2月13日

画像の符号化データを記録するための記憶媒体の残容量が不足した場合など、符号化データの符号量を後から削減したい場合がある。その場合、画質との兼ね合いなどから適切な符号量削減度合を決定するためには、符号量削減をやり直すことができると具合が良い。ただし、再圧縮によるジェネレーション的な画質劣化の発生は回避したい。

動画像の内容を確認する場合には、再生フレーム数を減らすと再生時間が短縮されて効率的である。特に、監視カメラで撮影された動画像の場合、人物が写っているフレームや動きのあるフレームだけを再生できると、内容確認を極めて効率的に行うことができる。しかし、詳細確認などのために、再生されなかったフレームの画像も必要に応じて再生できることが望ましい。その一方で、内容的に重要性が低いと確認されたフレームの符号化データを適宜廃棄できると都合がよい。

本発明は、上に述べたような要望を叶えるための新規な画像処理装置及び画像処理方法を提供することを目的とするものである。

本発明の画像処理装置及び画像処理方法で処理される画像の符号化データは、ＪＰＥＧ２０００やＭｏｔｉｏｎ−ＪＰＥＧ２０００の符号化データ、又は、それと同様な符号状態での加工が可能な形式の符号化データである。

本発明の画像処理装置は、請求項１に記載のように、
ユーザの指示を入力する入力手段と、
前記入力手段より符号列削除指示が入力されたときに、記憶手段に記憶されている画像の符号化データの所定のタグ情報を、前記符号化データの一部符号列が復号対象から除外されるように書き替える符号列仮削除処理を行う符号列仮削除処理手段と、
前記入力手段よりアンドゥ指示が入力されたときに、前記記憶手段に記憶されている前記符号化データの前記所定のタグ情報を、前記符号列仮削除処理により書き替えられる前の状態に戻す復元処理を行う復元処理手段と、
前記記憶手段に記憶されている前記符号化データを、前記所定のタグ情報の書き替えにより復号対象から除外された一部符号列を除外して復号伸長し、画像データを再生する画像伸長手段と、
前記画像伸長手段により再生された画像データを表示する表示手段と、
を有することを特徴とする。

本発明の画像処理装置のもう１つの特徴は、請求項２に記載のように、請求項１記載の構成に加え、前記入力手段よりアンドゥ解除指示が入力されたときに、前記記憶手段に記憶されている前記符号化データを、前記所定のタグ情報の書き替えにより復号対象から除外された一部符号列が削除された符号化データへ変換し、変換後の符号化データにより前記記憶手段に記憶されている前記符号化データを書き替える符号列廃棄処理手段を有することにある。

本発明の画像処理装置のもう１つの特徴は、請求項３に記載のように、請求項１記載の構成において、前記符号化データはＪＰＥＧ２０００準拠の符号化データであることにある。

また、本発明の画像処理装置は、請求項４に記載のように、
ユーザの指示を入力する入力手段と、
前記入力手段より符号列削除指示が入力されたときに、記憶手段に記憶されている、フレーム単位で符号化された複数フレームからなる動画像符号化データの所定のタグ情報を、前記動画像符号化データ中の選択した一部フレームが復号対象から除外されるように書き替えるフレーム単位の符号列仮削除処理を行う符号列仮削除処理手段と、
前記入力手段よりアンドゥ指示が入力されたときに、前記記憶手段に記憶されている前動画像符号化データ中の前記所定のタグ情報を前記符号列仮削除処理により書き替えられる前の状態に戻す復元処理を行う復元処理手段と、
前記記憶手段に記憶されている前記動画像符号化データを、前記所定のタグ情報の書き替えにより復号対象から除外された一部フレームを除外して復号伸長し、動画像データを再生する画像伸長手段と、
前記画像伸長手段により再生された動画像データを表示する表示手段と、
を有することを特徴とする。

本発明の画像処理装置のもう１つの特徴は、請求項５に記載のように、請求項４記載の構成に加え、前記入力手段よりアンドゥ解除指示が入力されたときに、前記記憶手段に記憶されている前記動画像符号化データの、前記所定のタグ情報の書き換えにより復号対象から除外された一部フレームの符号化データを前記記憶手段から消去する符号列廃棄処理手段を有することにある。

本発明の画像処理装置のもう１つの特徴は、請求項６に記載のように、請求項４記載の構成において、前記動画像符号化データはＭｏｔｉｏｎ−ＪＰＥＧ２０００準拠の動画像の符号化データであることにある。

本発明の画像処理方法は、請求項７に記載のように、
ユーザの指示を入力する入力工程と、
前記入力工程により符号列削除指示が入力されたときに、記憶手段に記憶されている画像の符号化データの所定のタグ情報を、前記符号化データの一部符号列が復号対象から除外されるように書き替える符号列仮削除処理を行う符号列仮削除処理工程と、
前記入力工程によりアンドゥ指示が入力されたときに、前記記憶手段に記憶されている前記符号化データの前記所定のタグ情報を、前記符号列仮削除処理により書き替えられる前の状態に戻す復元処理を行う復元処理工程と、
前記記憶手段に記憶されている前記符号化データを、前記所定のタグ情報の書き替えにより復号対象から除外された一部符号列を除外して復号伸長し、画像データを再生する画像伸長工程と、
前記画像伸長工程により再生された画像データを表示する表示工程と、
を有することを特徴とする。

本発明の画像処理方法のもう１つの特徴は、請求項８に記載のように、請求項７記載の構成に加え、前記入力工程によりアンドゥ解除指示が入力されたときに、前記記憶手段に記憶されている前記符号化データを、前記所定のタグ情報の書き替えにより復号対象から除外された一部符号列が削除された符号化データへ変換し、変換後の符号化データにより前記記憶手段に記憶されている前記符号化データを書き替える符号列廃棄処理工程を有することにある。

本発明の画像処理方法のもう１つの特徴は、請求項９に記載のように、請求項７記載の構成において、前記符号化データはＪＰＥＧ２０００準拠の符号化データであることにある。

本発明の画像処理方法は、請求項１０に記載のように、
ユーザの指示を入力する入力工程と、
前記入力工程により符号列削除指示が入力されたときに、記憶手段に記憶されている、フレーム単位で符号化された複数フレームからなる動画像符号化データの所定のタグ情報を、前記動画像符号化データ中の選択した一部フレームが復号対象から除外されるように書き替えるフレーム単位の符号列仮削除処理を行う符号列仮削除処理工程と、
前記入力工程によりアンドゥ指示が入力されたときに、前記記憶手段に記憶されている前動画像符号化データ中の前記所定のタグ情報を前記符号列仮削除処理により書き替えられる前の状態に戻す復元処理を行う復元処理工程と、
前記記憶手段に記憶されている前記動画像符号化データを、前記所定のタグ情報の書き替えにより復号対象から除外された一部フレームを除外して復号伸長し、動画像データを再生する画像伸長工程と、
前記画像伸長工程により再生された動画像データを表示する表示工程と、
を有することを特徴とする。

本発明の画像処理方法のもう１つの特徴は、請求項１１に記載のように、請求項１０記載の構成に加え、前記入力工程によりアンドゥ解除指示が入力されたときに、前記記憶手段に記憶されている前記動画像符号化データの、前記所定のタグ情報の書き換えにより復号対象から除外された一部フレームの符号化データを前記記憶手段から消去する符号列廃棄処理工程を有することにある。

本発明の画像処理方法のもう１つの特徴は、請求項１２に記載のように、請求項１０記載の構成において、前記動画像符号化データはＭｏｔｉｏｎ−ＪＰＥＧ２０００準拠の動画像の符号化データであることにある。

本発明によれば、符号列仮削減処理と復元処理によって、静止画像又は動画像のフレームの符号化データの符号量削減を何度でも試行することができる。それら処理は符号化データの再圧縮を伴わないため、符号量削減を繰り返してもジェネレーション的な画質悪化は生じない。そして、元の符号化データの復元が必要でない場合には、符号列廃棄処理により符号化データの不要な符号列又は動画像のフレームを廃棄することができるため、符号化データを記録するための記憶媒体を有効に利用できる。フレーム単位の符号列仮削除処理によって動画像の再生フレーム数を減らすことができるため、動画像の内容確認を短時間で行うことができる。特に、人物が写っていないフレームや動きの小さいフレームの符号列仮削除処理を自動的に行うことにより、監視カメラで撮影された動画像の内容確認などを極めて効率的に行うことができる。フレーム単位の符号列仮削除処理を行った後でも、復元処理により元の動画像を完全に復元することができるため、フレーム単位の符号列仮削除を何度でも行うことができる等々の効果を得られる。

以下に説明する実施の形態においては、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）に準拠した静止画像の符号化データ、又は、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）に準拠した動画像の符号化データを処理対象とする。

ＪＰＥＧ２０００のアルゴリズムについては、非特許文献１などに詳しいが、以下の実施の形態の説明に必要な範囲でＪＰＥＧ２０００のアルゴリズムについて説明する。

図１はＪＰＥＧ２０００のアルゴリズムを説明するための簡略化されたブロック図である。圧縮符号化の対象となる画像データ（動画像を扱う場合には各フレームの画像データ）は、コンポーネント毎にタイルと呼ばれる重複しない矩形領域に分割され、コンポーネント毎にタイルを単位として処理される。ただし、タイルサイズを画像サイズと同一にすること、つまりタイル分割を行わないことも可能である。

タイル画像は、圧縮率の向上を目的として、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換が施される（ステップＳ１）。この色空間変換が省かれる場合もある。

色空間変換後の各コンポーネントの各タイル画像に対し２次元ウェーブレット変換（離散ウェーブレット変換：ＤＷＴ）が実行される（ステップＳ２）。

図２はデコンポジションレベル数が３の場合のウェーブレット変換の説明図である。図２（ａ）に示すタイル画像（デコンポジションレベル０）に対する２次元ウェーブレット変換により、図２（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｃ）に示すように２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｄ）に示すように３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。

このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、サブバンド毎に量子化される（ステップＳ３）。ＪＰＥＧ２０００ではロスレス（可逆）圧縮とロッシー（非可逆）圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に１であり、この段階では量子化されない。

量子化後の各サブバンド係数はエントロピー符号化される（ステップＳ４）。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と呼ばれる符号化方式が用いられ、量子化後の各サブバンド係数のビットプレーンが上位プレーンから下位プレーンへ向かって、コードブロックと呼ばれるブロック毎に符号化される。

最後の２つのステップＳ５，Ｓ６は符号形成プロセスである。まず、ステップＳ５において、ステップＳ４で生成されたコードブロックの符号をまとめてパケットが作成される。次のステップＳ６において、ステップＳ５で生成されたパケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、プリシンクト(position)、レイヤ、コンポーネント（色成分)の組み合わせによる５種類のプログレッション順序が定義されている。

このようにして生成されるＪＰＥＧ２０００の符号化データのフォーマットを図３に示す。図３に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ(Main Header)と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ(Tile
Header)と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Tile Data）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。

このようなＪＰＥＧ２０００のアルゴリズムは高圧縮率（低ビットレート）での画質が良好であるほか、多くの特徴を有する。

その１つは、符号化データの符号の削除（トランケーション）によるポスト量子化によって、再圧縮を行うことなく全体の符号量を調整できることである。この符号削除は、タイルやプリシンクトなどの領域、コンポーネント、デコンポジションレベル（もしくは解像度レベル）、ビットプレーン、サブビットプレーン、パケット、マルチレイヤ構成の場合にはレイヤなど、多様な単位で行うことができる。デコンポジションレベルと解像度レベルとの関係であるが、図２（ｄ）の各サブバンドに括弧で囲んで示した数字が、そのサブバンドの解像度レベルを示している。もう１つは、符号化データを符号状態のままで２以上の符号化データに容易に分割し、また、それらの符号化データを合成して元の符号化データを復元することができることである。もう１つは、符号化データのタグ情報の書き換えだけで、復号化時に、あたかも一部の符号列が削除されたかのように処理させることができることである。

ここで、プリシンクト、コードブロック、パケット、レイヤについて簡単に説明する。画像≧タイル≧サブバンド≧プリシンクト≧コードブロックの大きさ関係がある。

プリシンクトとは、サブバンドの矩形領域で、同じデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドの空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。ただし、ＬＬサブバンドでは、１つの領域が１つのプリシンクトとして扱われる。プリシンクトのサイズをサブバンドと同じサイズにすることも可能である。また、プリシンクトを分割した矩形領域がコードブロックである。図４にデコンポジションレベル１における１つのプリシンクトとコードブロックを例示した。図中のプリシンクトと記された空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。

プリシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号化データを形成する。図３の各タイルに関するＳＯＤ以下の部分がパケットの集合である。

全てのプリシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである（ただし、次に示す例のように、必ずしも全てのプリシンクトのパケットをレイヤに含めなくともよい）。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位とも言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。

デコンポジションレベル数＝２（解像度レベル数＝３）の場合のパケットとレイヤの例を図５に示す。図中の縦長の小さな矩形がパケットであり、その内部に示した数字はパケット番号である。レイヤを濃淡を付けた横長矩形領域として図示してある。すなわち、この例では、パケット番号０〜１６のパケットの符号からなるレイヤ０、パケット番号１７〜３３のパケットの符号からなるレイヤ１、パケット番号３４〜５０のパケットの符号からなるレイヤ２、パケット番号５１〜６７のパケットの符号からなるレイヤ３、パケット番号６８〜８４のパケットの符号からなるレイヤ４、パケット番号８５〜１０１のパケットの符号からなるレイヤ５、パケット番号１０２〜１１８のパケットの符号からなるレイヤ６、パケット番号１１９〜１３５のパケットの符号からなるレイヤ７、パケット番号１３６〜１４８のパケットの符号からなるレイヤ８、及び、残りのパケット番号１４９〜１６１のパケットの符号からなるレイヤ９の９レイヤに分割されている。なお、パケットとプリシンクトとの対応関係などは、プログレッション順序の違いやレイヤ分割数等により様々に変化するものであり、上に示したレイヤ構成はあくまで一例である。

また、符号化データのプログレッション順序を符号状態で変更できることもＪＰＥＧ２０００の特徴の１つである。ＪＰＥＧ２０００においてはＬＲＣＰ、ＲＬＣＰ、ＲＰＣＬ、ＰＣＲＬ、ＣＰＲＬの５つのプログレッション順序が定義されている。ここで、Ｌはレイヤ、Ｒは解像度レベル、Ｃはコンポーネント、Ｐはプリシンクト(Position)である。

ＬＲＣＰプログレッションの場合、パケットの配置（符号化時）又はパケットの解釈（復号化時）の順序は、Ｌ，Ｒ，Ｃ，Ｐの順にネストされた次のようなforループで表すことができる。
for(レイヤ)｛
for(解像度レベル)｛
for(コンポーネント)｛
for(プリシンクト)｛
パケットを配置：符号化時
パケットを解釈：復号化時
｝
｝
｝
｝

具体例を示せば、画像サイズ＝１００×１００画素（タイル分割なし）、レイヤ数＝２、解像度レベル数＝３（レベル０〜２）、コンポーネント数＝３、プリシンクトサイズ＝３２×３２の場合における３６個のパケットは、図６のような順に配置され、また解釈される。

また、ＲＬＣＰプログレッションの場合には、
for(解像度レベル)｛
for(レイヤ)｛
for(コンポーネント)｛
for(プリシンクト)｛
パケットを配置：符号化時
パケットを解釈：復号化時
｝
｝
｝
｝
という順で、パケットの配置（符号化時）又はパケットの解釈（復号化時）がなされる。他のプログレッション順序の場合も同様のネストされたforループにより、パケットの配置順又は解釈順が決まる。

なお、タグ情報とその書き換えについては後述する。

《実施の形態１》以下、本発明の実施の形態１について説明する。
図７は、本発明の実施の形態１を説明するためのブロック図である。ここに示す画像処理装置は、静止画像又は動画像の符号化データを入力するための手段として、有線又は無線の伝送路もしくはネットワークを介して外部のパソコン等の機器より符号化データを直接取り込むインターフェース部１０００、有線又は無線の伝送路もしくはネットワークを介して外部のパソコン等の機器より画像データを取り込むインターフェース部１００１、被写体を撮影して静止画像又は動画像の画像データを入力する撮像部（例えば監視カメラ）１００２、インターフェース部１００１又は撮像部１００２より入力する画像データを圧縮符号化して符号化データを生成する、ＪＰＥＧ２０００準拠の画像圧縮部１００３を有する。なお、インターフェース部１０００のみ備える態様、撮像部１００２を含まない態様、インターフェース部１００１を含まない態様も本発明に包含される。また、インターフェース部１０００をメモリカードなどの記憶媒体から符号化データを読み込む手段に置き換えることも可能であり、そのような態様も本発明に包含される。入力された符号化データは記憶部（Ａ）１００４Ａに記憶される。

符号列仮削除処理部１０１０は、制御部１０２０の制御下で符号列仮削除処理を行うための手段である。この符号列仮削除処理部１０１０は、符号列削除指令に従って、記憶部（Ａ）１００４Ａより、入力された符号化データ又は復元処理により復元された符号化データを読み込み、削除対象符号列が削除された別の符号化データを作成し、その符号化データを記憶部（Ａ）１００４Ａ内の元の符号化データに上書きするとともに、削除された符号列を記憶部（Ｂ）１００４Ｂに保存する。なお、記憶部（Ａ）１００４Ａと記憶部（Ｂ）１００４Ｂは必ずしも物理的に独立している必要はなく、同一の記憶部内の別々の記憶領域を割り当ててもよい。削除された符号列は、どのような形で保存することも可能であるが、本実施の形態においては、復元処理を考慮して、符号列仮削除処理部１０１０は削除された符号列のみからなるＪＰＥＧ２０００フォーマットの符号化データを作成し、それを記憶部１００４（Ｂ）に保存する。符号列仮削除処理部１０１０は、動画像に対してはフレーム単位（画像単位）の符号列仮削除（フレームの仮間引き）も可能であり、この場合は、フレームの元の符号化データが記憶部（Ｂ）１００４Ｂに保存され、記憶部（Ａ）１００４Ａ内の元の符号化データが消去される。つまり、そのフレームは、動画像のフレーム列から実際に削除されることになる。

復元処理部１０１１は、制御部１０２０の制御下で、符号列仮削除処理がなされる前の符号化データを復元する処理を行う手段である。この復元処理部１０１１は、アンドゥ(undo)指令に従って、記憶部（Ａ）１００４Ａ内の符号列仮削除後の符号化データと、記憶部（Ｂ）１００４Ｂ内の削除された符号列のみからなる符号化データとを読み込み、両者を合成することにより元の（入力された）符号化データを復元する。復元された符号化データは、記憶部（Ａ）１００４Ａ内の符号列が削除された符号化データに上書きされ、記憶部（Ｂ）１００４Ｂ内の削除された符号列のみからなる符号化データは消去される。符号列仮削除処理によって仮間引きされた動画像のフレームである場合は、単純に、そのフレームの符号化データを記憶部（Ａ）１００４Ａに書き込むとともに、記憶部（Ｂ）１００４Ｂ内の当該符号化データを消去するのみである。つまり、そのフレームは、動画像のフレーム列に戻される。

符号列廃棄処理部１０１２は、制御部１０２０の制御下で、仮削除された符号列を廃棄する処理を行う手段である。この符号列廃棄処理部１０１２は、アンドゥ解除指令に従って、記憶部（Ｂ）１００４Ｂに保存されている、符号列仮削除処理により削除された符号列のみからなる符号化データを消去する。この符号列廃棄処理が行われると、その符号列が含まれていた元の符号化データの復元は不可能になる。仮間引きされたフレームに関しては、この符号列廃棄処理によって、そのフレームの符号化データが全て消去され、以後、そのフレームの復元は不可能となる。

画像伸長部１０１３は、記憶部（Ａ）１００４Ａに記憶されている符号化データを、ＪＰＥＧ２０００（又はＭｏｔｉｏｎ−ＪＰＥＧ２０００）のアルゴリズムに従って復号伸長して画像データを再生する手段である。再生された画像データは表示部１０１４により画像として表示される。この表示部１０１４は、再生画像の表示のほか、画像選択やユーザとの対話などのためにも利用される。

制御部１０２０は画像処理装置の全体的動作及び前記各部の動作を制御する手段である。操作部１０２１はユーザによって操作される入力手段であり、画像の選択指示、符号列の削除指示、符号列の削除方法（削除単位）、アンドゥ指示、アンドゥ解除指示などを制御部１０２０に入力するために利用される。解析部１０２２は、符号化データなどの解析によって仮間引きすべきフレームを選択するための情報を取得するための手段である。制御部１０２０は、操作部１０２１から入力される指示や解析部１０２２の解析により得られた情報に応じて、符号列削除指令、アンドゥ指令、アンドゥ解除指令を発行する。

なお、符号列仮削除処理部１０１０、復元処理部１０１１、符号列廃棄処理部１０１２、解析部１０２２などはハードウェアで実現してもよいが、パソコン等の汎用コンピュータあるいはマイクロコンピュータ等の専用コンピュータを利用してソフトウェアにより実現してもよい。このことは制御部１０２０、画像圧縮部１００３、画像伸長部１０１３についても同様である。また、そのためのプログラム、及び、同プログラムが記録されたコンピュータが読み取り可能な記録（記憶）媒体も本発明に包含される。このことは、後記実施の形態２においても同様である。

以下、この画像処理装置の動作について説明する。
まず、ユーザが、１つの画像（動画の１つのフレームも含む）の符号化データを指定し、この符号化データの符号列削除を、その結果を確認しながら行う動作モード（１−１）について説明する。図８は、その説明のためのフローチャートである。

ある画像（動画像の１つのフレームも含まれる）が指定されると、制御部１０２０の制御下で、その画像の符号化データが記憶部（Ａ）１００４Ａより読み出されて画像伸長部１０１３により復号伸長され、再生された画像データが表示部１０１４に表示される（ステップＳ１０１）。

ユーザは、表示された画像を見て符号列削除が必要と判断したならば、符号列削除方法を指定して符号列削除指示を入力する。この符号列削除方法の指定とは、削除すべき単位を指定することであり、より具体的には、例えば、レイヤ単位の符号列削除（削除すべきレイヤ数）、解像度レベル単位の符号列削除（削除すべき解像度レベル数）、ビットプレーン単位の符号列削除（削除すべきビットプレーン数）、タイル単位の符号列削除（削除すべきタイル番号）、コンポーネント単位の符号列削除（削除すべきコンポーネント）などを指定することである。つまり、ユーザは、このような指示によって符号列削除単位を選択することができる。

制御部１０２０は、ユーザからの入力の内容を判定し（ステップＳ１０２）、入力内容に応じた制御を行う。

ユーザからの入力が符号列削除指示の場合には、制御部１０２０から符号列仮削除処理部１０１０に対し、ユーザに指定された符号列削除方法の情報を含む符号列削除指令が発行され、制御部１０２０の制御下で、符号列仮削除処理部１０１０において当該符号化データに対し指定された符号列削除方法に従った符号列仮削除処理が実行される（ステップＳ１０３）。そして、制御部１０２０の制御下で、この符号列仮削除処理により作成された、削除対象符号列が削除された符号化データが記憶部（Ａ）１００４Ａより読み出されて画像伸長部１０１３で復号伸長され、その画像データが表示部１０１４に表示される（ステップＳ１０４）。

ユーザは、表示された画像の品質などを確認し、符号列削除をやり直したいと判断した場合にはアンドゥ指示を、現在の符号列削除の結果で確定したい場合にはアンドゥ解除指示を、動作を終了したい場合には終了指示を、それぞれ入力することができる。

アンドゥ指示が入力された場合には、制御部１０２０から復元処理部１０１１に対しアンドゥ指令が発行され、復元処理部１０１１において復元処理が実行される（ステップＳ１０５）。そして、制御部１０２０の制御下で、復元された符号化データが記憶部（Ａ）１００４Ａより読み出されて画像伸長部１０１３で復号伸長され、その画像が表示部１０１４に表示される（ステップＳ１０６）。ユーザは、この符号化データに対し、再び符号削減方法を変えて符号列削除指示を入力することにより、改めて符号列仮削除処理を実行させることができる。

このように、ユーザは、符号化データの符号量削減を何回でも繰り返して行うことができる。符号化データの再圧縮を行わないため、ジェネレーション的な画質悪化は生じない。

ユーザよりアンドゥ解除指示が入力された場合には、制御部１０２０から符号列廃棄処理部１０１２に対しアンドゥ解除指令が発行され、符号列廃棄処理部１０１２によって符号列廃棄処理が実行される（ステップＳ１０７）。すなわち、符号列仮削除処理により記憶部（Ｂ）１００４Ｂに保存されている、削除対象符号列のみからなる符号化データが消去される。したがって、この削除対象符号列を含んでいた元の符号化データはもはや復元不可能となる。

記憶部（Ａ）１００４Ａの空き容量が不足するために符号化データの符号量削減を行う場合には、この符号列廃棄処理を実行することによって、空き容量を増加させることができる。

なお、符号列仮削除処理を実行させた後に終了指示を入力して動作を終了させ、別の時点で、この動作モード（１−１）を利用し当該符号化データに関しアンドゥ指示又はアンドゥ解除指示を入力することにより、復元処理又は符号列廃棄処理を実行させることもできる。

図９と図１０は、最も分かりやすいタイル単位の符号列仮削除処理とその復元処理の例を示すイメージ図である。図９に示すように、画像２００１の符号化データ２０００は、符号列仮削除処理により、下半分の４つのタイルが削除された画像２００３の符号化データ２００２に変換される。下半分の４つのタイルの画像２００５の符号列は符号化データ２００４として保存される。アンドゥ指示が入力されると、図１０に示すように、復元処理により、符号化データ２００２と符号化データ２００４が合成され、元の符号化データ２０００が復元される。この例で、符号列仮削除処理後にアンドゥ解除指示が入力された場合には、符号化データ２００４が廃棄されるため、元の符号化データの復元は不可能になる。ただし、この符号列廃棄処理後に、符号化データ２００２に対し再び符号列仮削除処理を行うことは可能である。

こまでは説明しなかったが、符号列削除指示を入力する際に、必要に応じて符号化データのプログレッション順序の変更を指示することも可能である。この指示が与えられた場合には、符号列仮削除処理部１０１０は、前述の符号列仮削除処理に先立ってプログレッション順序の変更操作を行う。

この画像処理装置は、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像の全フレームに対し、前記動作モード（１−１）と同様の符号列仮削除を行う動作モード（１−２）を有する。図１１は、その説明のためのフローチャートである。

制御部１０２０により、記憶部（Ａ）１００４Ａ内の符号化データが先頭のフレームより順に選択される（ステップＳ１５１）。制御部１０２０より、ユーザに指定された又はデフォルトの符号列削除方法の符号列削除指令が発行され、符号列仮削除処理部１０１０は、選択されたフレームの符号化データに対し符号列仮削除処理を実行する（ステップＳ１５２）。同様の動作が動画の最終フレームまで繰り返され、最終フレームまで処理済みとなると（ステップＳ１５３，Ｙｅｓ）、この動作モードの動作が終了する。

この画像処理装置は、動作モード（１−２）により符号列仮削除処理された全フレームの符号化データを復元するための動作モード（１−３）も有する。この動作モード（１−３）においては、そのフローチャートは省略するが、制御部１０２０よりアンドゥ指令が発行され、制御部１０２０の制御下で、復元処理部１０１１により動画像の各フレーム毎に復元処理が実行される。

この画像処理装置は、動作モード（１−２）により動画像の全フレームの仮削除された符号列を廃棄するための動作モード（１−４）も有する。この動作モード（１−４）においては、そのフローチャートは省略するが、制御部１０２０よりアンドゥ解除指令が発行され、制御部１０２０の制御下で、符号列廃棄処理部１０１２により記憶部（Ｂ）１００４Ｂ内の各フレームの削除された符号列からなる符号化データが消去される。この後は、符号列が削除されたフレームの符号化データの復元は不可能となる。

この画像処理装置は、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像の符号化データに対して、フレームの仮間引き（フレーム単位の符号列仮削除）を行う動作モード（１−５）を有する。図１２は、その説明のためのフローチャートである。ユーザは、予め仮間引きするフレームの選択方法を指定する。この方法としては、例えば、Ｎ（≧１）フレーム置きにフレームを選択する方法、先行フレームとの違いが少ない（動きの少ない）フレームを選択する方法、手振れの大きいフレームを選択する方法、人物が写っていないフレームを選択する方法を指定することができる。

制御部１０２０は、記憶部（Ａ）１００４Ａに符号化データが記憶されている動画像のフレームを先頭から順に選択し（ステップＳ２０１）、そのフレームが仮間引きすべきフレームであるか判定する（ステップＳ２０２）。例えば、Ｎフレーム置きにフレームを仮間引きする方法が指定されている場合には、フレーム番号から仮間引きすべきか否かを判定する。先行フレームとの違いが少ない（動きが小さい）フレームや手振れの大きいフレームを仮間引きする方法が選択されている場合には、解析部１０２２による解析結果に基づいて判定する。なお、解析部１０２２については後述する。

仮間引きすべきと判断したフレームについては、制御部１０２０でフレーム単位の符号列仮削除指令が発行され、符号列仮削除処理部１０１０において、このフレームの符号化データに対して前述のフレーム単位の符号列仮削除処理が実行される（ステップＳ２０３）。すなわち、仮間引きされたフレームの符号化データは記憶部（Ｂ）１００４Ｂに保存され、記憶部（Ａ）１００４Ａ内の同符号化データは消去される。つまり、このフレームは動画像のフレーム列から削除されるが、その符号化データは保存される。同様の動作が動画の最終フレームまで繰り返され、最終フレームまで処理済みとなると（ステップＳ２０４，Ｙｅｓ）、この動作モードの動作が終了する。

この画像処理装置は記憶部（Ａ）１００４Ａに蓄積されている動画像のフレーム列を再生するための動作モード（１−６）も有する。この動作モード（１−６）においては、そのフローチャートは省略するが、制御部１０２０の制御下で、画像伸長部１０１３によって、記憶部（Ａ）１００４Ａ内に記憶されている動画像のフレーム列中の各フレームの符号化データが順に復号伸長され、再生されたフレーム画像が表示部１０１４に表示される。

前述の動作モード（１−５）により一定数フレーム毎のフレーム仮間引きや動きの小さいフレームの仮間引きを行った後に、この動作モード（１−６）で画像処理装置を動作させるならば、フレーム仮間引きを行わなかった場合に比べ短い時間で動画像の内容を確認することができる。特に、監視カメラで撮影された動画像の場合に、動きの小さいフレームや人物が写っていないフレームを仮削除することにより、極めて効率的に動画像の内容を確認することができる。

この画像処理装置は、仮間引きされたフレームの符号化データを復元する（つまり動画像のフレーム列に戻す）ための動作モード（１−７）も有する。この動作モード（１−７）においては、そのフローチャートは省略するが、制御部１０２０よりアンドゥ指令が発行され、制御部１０２０の制御下で、復元処理部１０１１により記憶部（Ｂ）１００４Ｂに保存されている仮間引きされた各フレームの符号化データが記憶部（Ａ）１００４Ａに書き込まれるとともに、記憶部（Ｂ）１００４Ｂ内の同符号化データが消去される。この復元処理を行ったならば、前記動作モード（１−６）を利用することにより、元の動画像をそのまま再生可能となる。また、前記動作モード（１−５）を利用し、別のフレーム仮間引き方法を指定してフレームの仮間引きを行うことも可能である。

このように、符号列仮間引きを行って動画像の内容を効率的に確認した後に、動画像の全フレームを完全な状態に復元することができる。

なお、動作モード（１−１）で、仮間引きされたフレームを１つずつ指定して、そのフレームをフレーム列に戻すこともできる。これは、動画像の内容を確認した後、重要と判断した区間に含まれるフレームで仮削除されたフレームをフレーム列に戻したい場合などに有用である。

図１３は、動画像のフレーム仮間引きとその復元のイメージ図である。図１３において、２１００はフレーム仮間引き前の動画像のフレーム列である。前記動作モード（１−５）によるフレーム仮間引き処理が実行されると、フレーム系列２１００中の例えば網掛けされたフレームの符号化データが仮間引きされ、それらフレームの符号化データ系列２１０１が記憶部（Ｂ）１００４Ｂに保存され、それ以外のフレームの符号化データ系列２１０２が記憶部（Ａ）１００４Ａに残される。この後に前記動作モード（１−７）による復元処理が実行されると、フレームの符号化データ系列２１０１が記憶部（Ａ）１００４Ａに戻され、元のフレーム列２１００が復元される。

この画像処理装置は、仮間引きされた全てのフレームの符号化データを廃棄するための動作モード（１−８）を有する。この動作モード（１−８）では、そのフローチャートは省略するが、制御部１０２０よりアンドゥ解除指令が発行され、制御部１０２０の制御下で、符号列廃棄処理部１０１２により記憶部（Ｂ）１００４Ｂに保存されている仮間引きされた各フレームの符号化データが消去される。この符号列廃棄処理後は、仮間引きされたフレームの符号化データの復元は不可能となる。

なお、この符号列廃棄処理後の動画像を対象として、前記動作モード（１−２）による符号列仮削除を行うこともできる。つまり、フレーム間引きと各フレームの符号列削除を組み合わせて適用することができる。

また、前記動作モード（１−２）で動画像の全フレームについて符号列仮削除を行ってから前記動作モード（１−４）による符号列廃棄を行った後に、前記動作モード（１−５）によりフレーム仮間引きを行うことも可能である。

ここで、解析部１０２２について説明する。この解析部１０２２は、動きの小さいフレームを識別するための解析手段と、手振れの大きいフレームを識別するための解析手段と、人物の写っていないフレームを識別するための解析手段から構成されている。

まず、動きの小さいフレームを識別するための解析手段は、動画像の符号化データの入力時に、各フレームの符号化データの符号量（タグ情報の分は除く）を先行フレームと比較し、その差がある閾値より小さい場合に現フレームを動きの小さいフレームとして識別する。動きの大きなシーンが撮影されている区間ではフレーム間で符号量が大きく変化するのに対し、動きの小さいシーンが撮影されている区間ではフレーム間で符号量がほとんど変化しないからである。符号量の評価に関しては、画像全域について符号量を評価する方法、特定の画像領域、例えば画像の中央部分について符号量を評価する方法、特定のコンポーネントについて符号量を評価する方法などが可能である。なお、動画像の画像データが入力される場合には、この解析手段で連続するフレーム間の動きを画像データの解析によって検出することも可能であり、そのような構成も本発明に包含される。

手振れの大きいフレームを識別するための解析手段は、画像圧縮部１００３における各フレームの圧縮符号化の過程で得られるウェーブレット係数に基づいて、各フレームの手振れの度合を判断する。例えば、デコンポジションレベル数が３の２次元ウェーブレット変換の場合には、図２（ｄ）に示すようなサブバンド係数が得られる。ＨＬサブバンド係数は画像の垂直方向の高周波成分であり、ＬＨサブバンド係数は水平方向の高周波成分である。そこで、例えば、図２（ｄ）に示す各レベルのＨＬサブバンド係数を用いて垂直方向の高周波成分の多さを表す尺度としての高周波成分量Ｙｖを（１）式により計算し、各レベルのＬＨサブバンド係数を用いて水平方向の高周波成分の多さを表す尺度としての高周波成分量Ｙｈを（２）式により計算する。

Ｙv＝av・Σ|1HL|＋bv・Σ|2HL|＋cv・Σ|3HL| （１）式
Ｙh＝ah・Σ|1LH|＋bh・Σ|2LH|＋ch・Σ|3LH| （２）式
ただし、av,bv,cv,ah,bh,chは０以上の定数である。
ここでは、デコンポジションレベル数が３の場合を想定しているが、レベル数が４以上又は２以下の場合にも同様の計算式によって高周波成分量を計算することができる。また、レベル１など一部のレベルのＨＬ，ＬＨサブバンド係数だけを用いることも可能である。また、計算式も変更し得る。

なお、一般的に主要な被写体は画像の中央部分にあり、それ以外の被写体や背景はピントが合わないことが多い。したがって、高周波成分量の計算には画像の中央部分の所定領域に対応したウェーブレット係数だけを利用することができる。ただし、画像全体の係数を用いることもできる。

このようにして算出される高周波成分量と手振れとの間には図１４に示すような関係が認められる。手振れがない場合には、図１４（ｄ）のように、水平方向と垂直方向の高周波成分量Ｙｈ，Ｙｖはいずれも大きく、その違いもそれほど大きくない。水平方向の手振れが生じた場合には、図１４（ａ）のように水平方向の高周波成分量Ｙｈが手振れのない場合に比べ大きく減少する。垂直方向の手振れが生じた場合には、図１４（ｂ）に示すように垂直方向の高周波成分量Ｙｖが大きく減少する。斜め方向の手振れが生じた場合には、図１４（ｃ）のように高周波成分量Ｙｈ，Ｙｖがともに減少する。このような性質に着目し、手振れの大きいフレームを識別するための解析手段は、Ｙｖ，Ｙｈの値に基づいて各フレームの手振れの大小を判定する。

なお、符号化データのＨＬ，ＬＨサブバンドの符号量の間にも類似の関係が認められることが多いため、この解析手段でそのような符号量に基づいて手振れ判定を行うことも可能であり、そのような構成も本発明に包含される。また、撮像部１００２が加速度センサなどの手振れ検出センサを備えている場合には、この解析手段で手振れ検出センサの出力に基づいて手振れの大きなフレームを識別するようにしてもよく、そのような構成も本発明に包含される。

人物の写っていないフレームを識別するための解析手段は、撮像部１０２１又はインターフェース部１００１より入力する各フレームの画像データに対し、人の顔の認識処理を行い、顔が認識されないフレームを人物の写っていないフレームと判断する。なお、撮像部１０２１で自動ホワイトバランス調整のために色温度検出を行っている場合には、検出された色温度が人の肌色に近いフレームを人物が写っているフレーム、色温度が肌色から遠いフレームを人物が写っていないフレーム、と判断する構成とすることも可能であり、そのような構成も本発明に包含される。

以上に説明した各解析手段による解析結果は、制御部１０２０より参照可能な記憶手段、例えば、解析部１０２２又は制御部１０２０の内部メモリ、あるいは記憶部（Ｂ）１００４Ｂなどに保存される。

《実施の形態２》以下、本発明の実施の形態２について説明する。
ＪＰＥＧ２０００の符号化コードでは、前述したようにプログレッション順序に対応したネストされたforループで決まる順序でパケットが配置され、また解釈される。したがって、例えば、ＬＲＣＰプログレッションの場合に、レイヤのforループを２回だけ回すようにタグ情報を書き換えるならば、デコーダ側はレイヤ０，１のパケットだけをハンドリングするため、部分的な復号が行われることになる。同様に、ＲＬＣＰプログレッションの場合に、解像度のforループを２回だけ回すようにタグ情報を書き換えるならば、デコーダ側は、解像度レベル０，１のパケットだけを復号する。

このように、ＪＰＥＧ２０００の符号化コードは、そのタグ情報の書き換え操作を行うことにより、デコーダ側で部分的な復号を行わせることができる。つまり、符号列を実際に削除することなく、一部の符号列があたかも削除されたかのようにデコーダ側に見せかけることができる。

こうした部分的復号を正しく行わせるために書き換えるる必要がある情報は、プログレッション順序の最上位の要素の個数と、それに関連した情報である。ここで、最上位の要素とは、前述のネストされたforループの中の一番外側のforループの要素である。例えば、ＬＲＣＰプログレッションならばレイヤ、ＲＬＣＰプログレッションならば解像度である。

この実施の形態２においては、符号列仮削除処理は、このようなタグ情報の書き換え操作によって行われる。また、復元処理は、書き換えられたタグ情報を書き換え前の内容に戻すことによって行われる。符号列廃棄処理は、符号列仮削除後の符号化データから、削除対象符号列を実際に削除、廃棄することによって行われる。

以下の説明に必要な範囲で、ＪＰＥＧ２０００の符号化データに付加されるタグ情報の概要を示す。

図１５にメインヘッダの構成を示す。ＳＩＺ，ＣＯＤ，ＱＣＤの各マーカセグメントは必須であるが、他のマーカセグメントはオプションである。

図１６にタイルヘッダの構成を示す。（ａ）はタイルデータの先頭に付加されるヘッダであり、（ｂ）はタイル内が複数に分割されている場合に分割されたタイル部分列の先頭に付加されるヘッダである。タイルヘッダでは必須のマーカセグメントはなく、すべてオプションである。

図１７に、マーカ及びマーカセグメントの一覧表を示す。
ＳＩＺマーカセグメントの構成を図１８に、ＣＯＤマーカセグメントの構成を図１９に、ＣＯＣマーカセグメントの構成を図２０に、ＱＣＤマーカセグメントの構成を図２１に、ＱＣＣマーカセグメントの構成を図２２に、また、ＣＯＭマーカセグメントの構成を図２３に、それぞれ示す。

符号列仮削除処理におけるタグ情報書き換えの具体例をいくつか示す。
（ａ）ＬＲＣＰプログレッションの符号化データにおいて、レイヤ単位で符号列仮削除を行う場合：書き換えの対象となるタグ情報は、ＣＯＤマーカセグメント（図１９）のＳＧcodのレイヤ数である。
（ｂ）ＲＬＣＰ又はＲＰＣＬプログレッションの符号化データにおいて、解像度レベル単位で符号列仮削除を行う場合：書き換えの対象となるタグ情報は、ＳＩＺマーカセグメント（図１８）のＸsiz、Ｙsiz、ＸＴsiz、ＹＴsiz、ＣＯＤマーカセグメント（図１９）のＳＰcodのデコンポジションレベル数、ＱＣＤマーカセグメント（図２１）のＬqcdとＳＰqcdである。ＣＯＣマーカセグメント（図１８）が存在するときには、そのＳＰcodのデコンポジションレベル数、ＱＣＣマーカセグメント（図２２）が存在するときには、そのＳＰqccのデコンポジションレベル数も書き換え対象となる。
（ｃ）任意のプログレッション順序の符号化データにおいて、タイル単位で符号列仮削除を行う場合：書き換えの対象となるタグ情報は、ＳＩＺマーカセグメント（図１８）のＸsiz、Ｙsizである。
（ｄ）ＣＰＲＬプログレッションの符号化データにおいて、コンポーネント単位で符号列仮削除を行う場合：書き換えの対象となるタグ情報は、ＳＩＺマーカセグメント（図１８）のＬsiz、Ｃzis、Ｓsiz、ＸＲsiz、ＹＲsizである。なお、ＣＯＤマーカセグメント（図１９）のＳＧcodのコンポーネント変換に１があるときには必要に応じて０に変更する（ＪＰＥＧ２０００は、最初の３コンポーネントのみにコンポーネント変換を施す仕様であり、例えば、４コンポーネント中の最初の３コンポーネントを残す場合はＳＧcodのコンポーネント変換は１のままでよいが、３コンポーネント中のいくつかのコンポーネントだけを残す場合には、それを０に代える必要がある）。

また、この実施の形態２においても、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像符号化データに対し、フレーム単位の符号列仮削除（フレーム仮間引き）が可能である。この場合、仮間引きされたフレームであることを識別するための情報がフレームに付加されるだけで、そのフレームは動画像のフレーム列から実際に抜かれるわけではない。ここでは、フレームの符号化データのメインヘッダ中のＣＯＭマーカセグメント（図２３）のＣcomとして、仮削除された旨のコメントを記述する方法が用いられるものとして説明する。その復元処理は、仮削除された旨のコメントを破棄することにより行うことができる。なお、この識別のための情報は、装置内でその識別が可能であるならば基本的には任意の形で付加してよく、例えば、ＳＩＺマーカを無効なビット列に書き換えるような方法も可能であり、その復元処理はＳＩＺマーカを有効なビット列に戻すことによって行われることになる。

以下、この実施の形態２における画像処理装置の構成及び動作について説明する。
この実施の形態２における装置構成は、前記実施の形態１と部分的に異なるのみであるので、図７を援用して説明する。符号列仮削除処理部１０１０は、前述のタグ情報の書き換えによって、静止画像又は動画像の各フレームの符号列仮削除処理を行い、また、動画像のフレームの仮間引きは前述のコメントの付加によって行う構成に変更される。復元処理部１０１１は、書き換えられたタグ情報を元に戻す操作によって静止画像又は個々のフレーム画像の復元処理を行い、動画像の仮間引きされたフレームの復元処理をコメントの破棄によって行う構成に変更される。符号列廃棄処理部１０１２は、静止画像又は個々のフレーム画像については、符号列仮削除後の符号データから削除対象符号列を実際に削除して廃棄し、符号化対象符号列が削除された符号化データを作成し、また、仮間引きされたフレームの符号化データを廃棄する構成に変更されている。なお、この実施の形態２においては、２つの記憶部（記憶領域）１００４Ａ，１００４Ｂを使い分ける必要がないため、以下の説明においては記憶部１００４と総称する。これ以外の装置構成は実施の形態１と同じである。

本実施の形態２における画像処理装置は、前記実施の形態１の動作モード（１−１）〜（１−８）に対応した動作モード（２−１）〜（２−８）を有する。各動作モードにおける動作を順に説明する。

まず、ユーザが、１つの画像の符号化データを指定し、この符号化データの符号列削除を、その結果を確認しながら行う動作モード（２−１）について、図８を援用して説明する。

ある画像（動画像の１つのフレームも含まれる）が指定されると、制御部１０２０の制御下で、その符号化データが記憶部１００４より読み出されて画像伸長部１０１３に入力され、復号伸長された画像データが表示部１０１４に表示される（ステップＳ１０１）。

ユーザは、表示された画像を見て符号列削除が必要と判断したならば、符号列削除方法を指定して符号列削除指示を入力する。この符号列削除方法の指定は実施の形態１と同様である。
制御部１０２０は、ユーザの入力内容を判定し（ステップＳ１０２）、入力内容に応じた制御を行う。

ユーザからの入力が符号列削除指示の場合には、制御部１０２０から符号列仮削除処理部１０１０に対し、ユーザに指定された符号列削除方法の情報を含む符号列削除指令が発行され、制御部１０２０の制御下で、符号列仮削除処理部１０１０において、指定された符号列削除方法に従って当該符号化データのタグ情報の書き換えによる符号列仮削除処理が実行される（ステップＳ１０３）。そして、制御部１０２０の制御下で、タグ情報を書き換えられた符号化データが記憶部１００４より読み出されて画像伸長部１０１３で復号伸長され、その画像データが表示部１０１４に表示される（ステップＳ１０４）。タグ情報の書き換えにより、削除対象符号列は復号伸長されないため、削除対象符号列が実際に削除された場合と同じ画像が再生される。

ユーザは、表示された画像の品質などを確認し、符号列削除をやり直したいと判断した場合にはアンドゥ指示を、現在の符号列削除の結果で確定したい場合にはアンドゥ解除指示を、動作を終了したい場合には終了指示を、それぞれ入力することができる。

アンドゥ指示が入力された場合には、制御部１０２０から復元処理部１０１１に対しアンドゥ指令が発行され、復元処理部１０１１において、符号列仮削除処理により書き換えられた符号化データのタグ情報を元の内容に戻す復元処理が実行される（ステップＳ１０５）。そして、制御部１０２０の制御下で、復元された符号化データが記憶部１００４より読み出されて画像伸長部１０１３で復号伸長され、その画像が表示部１０１４に表示される（ステップＳ１０６）。ユーザは、この符号化データに対し、再び符号削減方法を変えて符号列削除指示を入力することにより、符号列仮削除処理を実行させることができる。

ユーザよりアンドゥ解除指示が入力された場合には、制御部１０２０から符号列廃棄処理部１０１２に対してアンドゥ解除指令が発行され、符号列廃棄処理部１０１２において符号列廃棄処理が実行される（ステップＳ１０７）。この符号列廃棄処理では、符号列仮削除後の符号化データの削除対象符号列が実際に削除されて廃棄（消去）され、処理後の符号化データのみ記憶部１００４に保存される。したがって、この削除対象符号列を含んでいた元の符号化データはもはや復元不可能となる。

なお、符号列仮削除処理を実行させた後に終了指示を入力して動作を終了させ、別の時点で、この動作モード（２−１）を利用し当該符号化データに関しアンドゥ指示又はアンドゥ解除指示を入力することにより、復元処理又は符号列廃棄処理を実行させることもできる。

なお、符号列削除指示を入力する際に、必要に応じて符号化データのプログレッション順序の変更を指示することも可能である。この指示が与えられた場合には、符号列仮削除処理部１０１０は、プログレッション順序の変更操作を行った後に符号列仮削除処理を行う。

次に、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像の全フレームについて、前記動作モード（２−１）と同様の符号列仮削除を行う動作モード（２−２）について説明する。図１１を援用する。

制御部１０２０により、記憶部１００４内の符号化データが先頭のフレームより順に選択される（ステップＳ１５１）。制御部１０２０より、ユーザに指定された又はデフォルトの符号列削除方法の符号列削除指令が発行され、符号列仮削除処理部１０１０は、選択されたフレームの符号化データに対し、タグ情報の書き換えによる符号列仮削除処理を実行する（ステップＳ１５１）。同様の動作が最終フレームまで繰り返される。最終フレームまで処理済みとなると（ステップＳ１５３，Ｙｅｓ）、この動作モードの動作が終了する。

この画像処理装置は、動作モード（２−２）により符号列仮削除処理が行われた全フレームの符号化データを復元するための動作モード（２−３）も有する。この動作モード（２−３）においては、そのフローチャートは省略するが、制御部１０２０よりアンドゥ指令が発行され、制御部１０２０の制御下で、復元処理部１０１１により動画像の各フレームの復元処理（タグ情報を元の内容に戻す処理）が連続して実行される。

この画像処理装置は、動作モード（２−２）により符号列仮削除が行われた動画像の全フレームの符号列廃棄処理を行うための動作モード（１−４）も有する。この動作モード（２−４）においては、そのフローチャートは省略するが、制御部１０２０よりアンドゥ解除指令が発行され、制御部１０２０の制御下で、符号列廃棄処理部１０１２により記憶部１００４内の各フレームの符号化データの削除対象符号列が削除、廃棄される。

次に、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像の符号化データに対して、フレームの仮間引き（フレーム単位の符号列仮削除）を行う動作モード（２−５）について、図１２を援用して説明する。ユーザは、予めフレームの仮間引きの方法を指定する。この方法は実施の形態１の場合と同様である。

制御部１０２０は、記憶部１００４に符号化データが記憶されている動画像のフレームを先頭から順に選択し（ステップＳ２０１）、そのフレームが仮間引きすべきフレームであるか判定する（ステップＳ２０２）。例えば、Ｎフレーム置きにフレームを仮間引きする方法が指定されている場合には、フレーム番号から仮間引きすべきか否かを判定する。先行フレームとの違いが少ないフレームや手振れの大きいフレームを仮間引きする方法が選択されている場合には、解析部１０２２による解析結果に基づいて判定する。

仮間引きすべきと判断されたフレームについては、制御部１０２０でフレーム単位の符号列仮削除指令が発行され、符号列仮削除処理部１０１０において、このフレームの符号化データのメインヘッダのＣＯＭマーカセグメントに、仮間引きされたフレームである旨のコメントが書き込まれる（ステップＳ２０３）。同様の動作が動画の最終フレームまで繰り返され、最終フレームまで処理済みとなると（ステップＳ２０４，Ｙｅｓ）、この動作モードの動作が終了する。

次に、記憶部１００４に符号化データが蓄積されている動画像を再生するための動作モード（２−６）について説明する。図２４は、その説明のためのフローチャートである。

制御部１０２０によって、先頭のフレームから順に１つのフレームの符号化データが選択され（ステップＳ３０１）、そのメインヘッダのＣＯＭマーカセグメントの内容がチェックされる（ステップＳ３０２）。仮間引きされた旨のコメントが記述されているときには（ステップＳ３０２，Ｙｅｓ）、そのフレームの再生は行われず、次のフレームが選択される。仮間引きされた旨のコメントが記述されていないときには、そのフレームの符号化データが画像伸長部１０１３に読み込まれて復号伸長され、その画像が表示部１０１４に表示される（ステップＳ３０３）。同様の動作が繰り返され、最終フレームまで終了すると（ステップＳ３０４，Ｙｅｓ）、この動作モードの動作が終了する。

例えば、図１３に示すフレーム列２１００中の網掛けされたフレームが仮間引きされていた場合、同図中のフレーム列２１０２だけが連続的に再生されることになる。よって、フレーム仮間引きを行わなかった場合に比べ、短い時間で効率的に動画像の内容を確認することができる。

この画像処理装置は、仮間引きされたフレームの符号化データを復元するための動作モード（２−７）も有する。この動作モード（２−７）においては、そのフローチャートは省略するが、制御部１０２０よりアンドゥ指令が発行され、制御部１０２０の制御下で、復元処理部１０１１により、記憶部１００４より仮間引きされた各フレームの符号化データが順に読み込まれ、そのＣＯＭマーカセグメントに記述されている、仮間引きされたフレームを識別するためのコメントが破棄される。この復元処理を行ったならば、前記動作モード（２−６）を利用することにより、元の動画像をそのまま再生可能となる。また、前記動作モード（２−６）を利用し、別のフレーム仮間引き方法を指定してフレームの仮間引きを行うことも可能である。

この画像処理装置は、仮間引きされた全てのフレームの符号化データを廃棄するための動作モード（２−８）を有する。この動作モード（２−８）では、そのフローチャートは省略するが、制御部１０２０よりアンドゥ解除指令が発行され、制御部１０２０の制御下で、符号列廃棄処理部１０１２により、記憶部１００４内の仮間引きされた各フレームの符号化データが順次消去される。この符号列廃棄処理後は、仮間引きされたフレームの復元は不可能となる。

なお、この符号列廃棄処理後の動画像を対象として、前記動作モード（２−２）による符号列仮削除を行うこともできる。つまり、フレーム仮間引きと各フレームの符号列仮削除を組み合わせて適用することができる。

また、前記動作モード（２−２）で動画像の全フレームについて符号列仮削除を行ってから前記動作モード（２−４）による符号列廃棄を行った後に、前記動作モード（２−５）によりフレーム仮間引きを行うことも可能である。

ＪＰＥＧ２０００のアルゴリズムを説明するための簡略化したブロック図である。 デコンポジションレベル数が３の二次元ウェーブレット変換を説明するための図である。 ＪＰＥＧ２０００の符号化データのフォーマットを示す図である。 プリシンクトとコードブロックを説明するための図である。 パケットとレイヤ分割の例を示す図である。 ＬＲＣＰプログレッションの場合のパケットの配置順及び解釈順の例を示す図である。 本発明の実施の形態を説明するためのブロック図である。 個々の画像に対する符号列仮削除、復元処理及び符号列廃棄処理を行う動作モードを説明するためのフローチャートである。 符号列仮削除処理のイメージ図である。 復元処理のイメージ図である。 動画像のフレームに対する符号列仮削減処理を連続的に行う動作モードを説明するためのフローチャートである。 動画像のフレーム単位の符号列仮削除処理を連続的に行う動作モードを説明するためのフローチャートである。 動画像のフレーム単位の符号列仮削除処理と復元処理のイメージ図である。 手振れと方向別高周波成分量との関係を説明するための図である。 メインヘッダの構成を示す図である。 タイルヘッダの構成を示す図である。 マーカ及びマーカセグメントの一覧表である。 ＳＩＺマーカセグメントの構成を示す図である。 ＣＯＤマーカセグメントの構成を示す図である。 ＣＯＣマーカセグメントの構成を示す図である。 ＱＣＤマーカセグメントの構成を示す図である。 ＱＣＣマーカセグメントの構成を示す図である。 ＣＯＭマーカセグメントの構成を示す図である。 フレーム単位の符号列仮削減処理を行った動画像を再生する動作モードを説明するためのフローチャートである。

符号の説明

１００４Ａ，Ｂ 記憶部
１０１０ 符号列仮削除処理部
１０１１ 復元処理部
１０１２ 符号列廃棄処理部
１０１３ 画像伸長部
１０１４ 表示部
１０２０ 制御部
１０２１ 操作部
１０２２ 解析部

Claims (12)

1. ユーザの指示を入力する入力手段と、
   前記入力手段より符号列削除指示が入力されたときに、記憶手段に記憶されている画像の符号化データの所定のタグ情報を、前記符号化データの一部符号列が復号対象から除外されるように書き替える符号列仮削除処理を行う符号列仮削除処理手段と、
   前記入力手段よりアンドゥ指示が入力されたときに、前記記憶手段に記憶されている前記符号化データの前記所定のタグ情報を、前記符号列仮削除処理により書き替えられる前の状態に戻す復元処理を行う復元処理手段と、
   前記記憶手段に記憶されている前記符号化データを、前記所定のタグ情報の書き替えにより復号対象から除外された一部符号列を除外して復号伸長し、画像データを再生する画像伸長手段と、
   前記画像伸長手段により再生された画像データを表示する表示手段と、
   を有することを特徴とする画像処理装置。
2. 前記入力手段よりアンドゥ解除指示が入力されたときに、前記記憶手段に記憶されている前記符号化データを、前記所定のタグ情報の書き替えにより復号対象から除外された一部符号列が削除された符号化データへ変換し、変換後の符号化データにより前記記憶手段に記憶されている前記符号化データを書き替える符号列廃棄処理手段をさらに有することを特徴とする請求項１記載の画像処理装置。
3. 前記符号化データはＪＰＥＧ２０００準拠の符号化データであることを特徴とする請求項１記載の画像処理装置。
4. ユーザの指示を入力する入力手段と、
   前記入力手段より符号列削除指示が入力されたときに、記憶手段に記憶されている、フレーム単位で符号化された複数フレームからなる動画像符号化データの所定のタグ情報を、前記動画像符号化データ中の選択した一部フレームが復号対象から除外されるように書き替えるフレーム単位の符号列仮削除処理を行う符号列仮削除処理手段と、
   前記入力手段よりアンドゥ指示が入力されたときに、前記記憶手段に記憶されている前動画像符号化データ中の前記所定のタグ情報を前記符号列仮削除処理により書き替えられる前の状態に戻す復元処理を行う復元処理手段と、
   前記記憶手段に記憶されている前記動画像符号化データを、前記所定のタグ情報の書き替えにより復号対象から除外された一部フレームを除外して復号伸長し、動画像データを再生する画像伸長手段と、
   前記画像伸長手段により再生された動画像データを表示する表示手段と、
   を有することを特徴とする画像処理装置。
5. 前記入力手段よりアンドゥ解除指示が入力されたときに、前記記憶手段に記憶されている前記動画像符号化データの、前記所定のタグ情報の書き換えにより復号対象から除外された一部フレームの符号化データを前記記憶手段から消去する符号列廃棄処理手段をさらに有することを特徴とする請求項４記載の画像処理装置。
6. 前記動画像符号化データはＭｏｔｉｏｎ−ＪＰＥＧ２０００準拠の動画像の符号化データであることを特徴とする請求項４記載の画像処理装置。
7. ユーザの指示を入力する入力工程と、
   前記入力工程により符号列削除指示が入力されたときに、記憶手段に記憶されている画像の符号化データの所定のタグ情報を、前記符号化データの一部符号列が復号対象から除外されるように書き替える符号列仮削除処理を行う符号列仮削除処理工程と、
   前記入力工程によりアンドゥ指示が入力されたときに、前記記憶手段に記憶されている前記符号化データの前記所定のタグ情報を、前記符号列仮削除処理により書き替えられる前の状態に戻す復元処理を行う復元処理工程と、
   前記記憶手段に記憶されている前記符号化データを、前記所定のタグ情報の書き替えにより復号対象から除外された一部符号列を除外して復号伸長し、画像データを再生する画像伸長工程と、
   前記画像伸長工程により再生された画像データを表示する表示工程と、
   を有することを特徴とする画像処理方法。
8. 前記入力工程によりアンドゥ解除指示が入力されたときに、前記記憶手段に記憶されている前記符号化データを、前記所定のタグ情報の書き替えにより復号対象から除外された一部符号列が削除された符号化データへ変換し、変換後の符号化データにより前記記憶手段に記憶されている前記符号化データを書き替える符号列廃棄処理工程をさらに有することを特徴とする請求項７記載の画像処理方法。
9. 前記符号化データはＪＰＥＧ２０００準拠の符号化データであることを特徴とする請求項７記載の画像処理方法。
10. ユーザの指示を入力する入力工程と、
    前記入力工程により符号列削除指示が入力されたときに、記憶手段に記憶されている、フレーム単位で符号化された複数フレームからなる動画像符号化データの所定のタグ情報を、前記動画像符号化データ中の選択した一部フレームが復号対象から除外されるように書き替えるフレーム単位の符号列仮削除処理を行う符号列仮削除処理工程と、
    前記入力工程によりアンドゥ指示が入力されたときに、前記記憶手段に記憶されている前動画像符号化データ中の前記所定のタグ情報を前記符号列仮削除処理により書き替えられる前の状態に戻す復元処理を行う復元処理工程と、
    前記記憶手段に記憶されている前記動画像符号化データを、前記所定のタグ情報の書き替えにより復号対象から除外された一部フレームを除外して復号伸長し、動画像データを再生する画像伸長工程と、
    前記画像伸長工程により再生された動画像データを表示する表示工程と、
    を有することを特徴とする画像処理方法。
11. 前記入力工程によりアンドゥ解除指示が入力されたときに、前記記憶手段に記憶されている前記動画像符号化データの、前記所定のタグ情報の書き換えにより復号対象から除外された一部フレームの符号化データを前記記憶手段から消去する符号列廃棄処理工程をさらに有することを特徴とする請求項１０記載の画像処理方法。
12. 前記動画像符号化データはＭｏｔｉｏｎ−ＪＰＥＧ２０００準拠の動画像の符号化データであることを特徴とする請求項１０記載の画像処理方法。

Images