JP4077706B2

JP4077706B2 - Interlaced image processing apparatus and processing method

Info

Publication number: JP4077706B2
Application number: JP2002289867A
Authority: JP
Inventors: 水納　　亨; 宏幸作山
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2002-10-02
Filing date: 2002-10-02
Publication date: 2008-04-23
Anticipated expiration: 2022-10-02
Also published as: JP2004126923A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画の処理装置、特に一連のインターレース画像の処理を行う画像処理装置に関する。
【０００２】
【従来の技術】
近年、高精細画像を取り扱うのに適した圧縮符号化方法としてＪＥＰＧ２０００が知られている。また、上記ＪＰＥＧ２０００形式で符号化された静止画像を連続して再生することにより動画表示を行うMotionＪＰＥＧ２０００という規格もある。
【０００３】
【発明が解決しようとする課題】
ビデオカメラ等によって撮られる一連のインターレース画像には、１つ前のフレームのインターレース画像との比較において、フレーム間における被写体の移動量（変化量）という静止画には無いパラメータが存在する。上記移動量というパラメータを用いてフレーム内における被写体の移動速度を検出し、適応的に圧縮符号化処理を実行するMotionＪＰＥＧ２０００形式の動画像処理装置が、既にいくつか提案されている。
【０００４】
上記MotionＪＰＥＧ２０００形式の動画像処理装置では、フレーム間における被写体の画像データの差分を求め、求めた差分データに基づいて移動速度を求める演算処理を行う。このため、処理するデータ量が多く、演算に時間を要すると共に、多くのメモリを必要としていた。
【０００５】
本発明は、上記フレーム間における被写体の画像データの差分を用いることなく、少ない量のデータを用いて、かつ、簡単な演算処理により、上記被写体の移動速度を判定し、当該判定結果に基づいて処理を行う画像処理装置を提供することを目的とする。
【０００６】
請求項１に記載のインターレース画像の処理装置は、一連のインターレース画像からノンインターレース画像を形成するインターレース変換手段と、上記インターレース変換手段により得られるノンインターレース画像のデータに対して２次元離散ウェーブレット変換を行うウェーブレット変換手段と、上記ウェーブレット変換手段によって得られるウェーブレット係数の内、１ＬＨのサブバンドの係数値の絶対値の合計に基づいて、インターレース画像内の被写体の移動速度を判定する判定手段と、判定手段によって判定された被写体の移動速度に基づいて、上記ウェーブレット係数の符号化処理を実行する第１符号化処理手段と、を含んでいることを特徴とする。
請求項２に記載のインターレース画像の処理装置は、請求項１に記載のインターレース画像の処理装置であって、上記判定手段が、１ＬＨのサブバンドの計数値の絶対値の合計（ sum1LH ）を、１ＨＬのサブバンドの計数値の絶対値の合計（ sum1HL ）で除算した値（ speed ）が第１しきい値（ Vth1 ）よりも大きいときに被写体の移動速度が高速であり、第１しきい値（ Vth1 ）以下のときに被写体の移動速度が低速であると判定するものである、ことを特徴とする。
請求項３に記載のインターレース画像の処理装置は、請求項１に記載のインターレース画像の処理装置であって、上記ウェーブレット変換手段が、レベル２以上の２次元離散ウェーブレット変換を行うものであり、上記判定手段が、１ＬＨのサブバンドの計数値の絶対値の合計（ sum1LH ）を、２ＬＨのサブバンドの計数値の絶対値の合計（ sum2LH ）で除算した値（ speed ）が第２しきい値 (Vth2) よりも大きいときに被写体の移動速度が高速であり、第２しきい値（ Vth2 ）以下のときに被写体の移動速度が低速であると判定するものである、ことを特徴とする。
請求項４に記載のインターレース画像の処理装置は、請求項１に記載のインターレース画像の処理装置であって、上記ウェーブレット変換手段が、レベル２以上の２次元離散ウェーブレット変換を行うものであり、上記判定手段が、１ＬＨのサブバンドの計数値の絶対値の合計（ sum1LH ）を１ＨＬのサブバンドの計数値の絶対値の合計（ sum1HL ）で除算した値を、２ＬＨのサブバンドの計数値の絶対値の合計（ sum2LH ）を２ＨＬのサブバンドの計数値の絶対値の合計（ sum2HL ）で除算した値で、除算した値（ speed ）が、第３しきい値 (Vth3) よりも大きいときに被写体の移動速度が高速であり、第３しきい値（ Vth3 ）以下のときに被写体の移動速度が低速であると判定するものである、ことを特徴とする。
【０００７】
請求項５に記載のインターレース画像の処理装置は、請求項２乃至請求項４の何れかに記載のインターレース画像の処理装置であって、上記判定手段が、上記処理を行う各サブバンドの計数値の絶対値の合計の代わりに、上記処理を行うサブバンドのウェーブレット係数に対して仮の符号化処理を実行して得られる符号量の合計を用いて、インターレース画像内の被写体の移動速度を判定するものである、ことを特徴とする。
請求項６に記載のインターレース画像の処理装置は、請求項２乃至請求項４の何れかに記載のインターフェース画像の処理装置であって、上記第１符号化処理手段が、判定手段による判定結果に基づいて、符号化を行うウェーブレット係数に基づくデータの削減処理を実行するデータ削減処理手段と、削減後のデータ符号化を行う第２符号化処理手段と、を含んでいるものである、ことを特徴とする。
【０００８】
請求項７に記載のインターレース画像の処理方法は、連続するインターレース画像からノンインターレース画像を形成するインターレース変換工程と、上記インターレース変換工程によって得られるノンインターレース画像のデータに対して２次元離散ウェーブレット変換を行うウェーブレット変換工程と、上記ウェーブレット変換工程によって得られるウェーブレット係数の内、１ＬＨのサブバンドの係数値の絶対値の合計に基づいて、インターレース画像内の被写体の移動速度を判定する判定工程と、上記判定工程によって判定された被写体の移動速度に基づいて、上記ウェーブレット係数の符号化処理を実行する第１符号化処理工程と、を行うことを特徴とする。
請求項８に記載のインターレース画像の処理方法は、請求項７に記載のインターレース画像の処理方法であって、上記判定工程が、１ＬＨのサブバンドの計数値の絶対値の合計（ sum1LH ）を、１ＨＬのサブバンドの計数値の絶対値の合計（ sum1HL ）で除算した値（ speed ）が第１しきい値（ Vth1 ）よりも大きいときに被写体の移動速度が高速であり、第１しきい値（ Vth1 ）以下のときに被写体の移動速度が低速であると判定するものである、ことを特徴とする。
請求項９に記載のインターレース画像の処理方法は、請求項７に記載のインターレース画像の処理方法であって、上記ウェーブレット変換工程が、レベル２以上の２次元離散ウェーブレット変換を行うものであり、上記判定工程が、１ＬＨのサブバンドの計数値の絶対値の合計（ sum1LH ）を、２ＬＨのサブバンドの計数値の絶対値の合計（ sum2LH ）で除算した値（ speed ）が第２しきい値 (Vth2) よりも大きいときに被写体の移動速度が高速であり、第２しきい値（ Vth2 ）以下のときに被写体の移動速度が低速であると判定するものである、ことを特徴とする。
請求項１０に記載のインターレース画像の処理方法は、請求項７に記載のインターレース画像の処理方法であって、上記ウェーブレット変換工程が、レベル２以上の２次元離散ウェーブレット変換を行うものであり、上記判定工程が、１ＬＨのサブバンドの計数値の絶対値の合計（ sum1LH ）を１ＨＬのサブバンドの計数値の絶対値の合計（ sum1HL ）で除算した値を、２ＬＨのサブバンドの計数値の絶対値の合計（ sum2LH ）を２ＨＬのサブバンドの計数値の絶対値の合計（ sum2HL ）で除算した値で、除算した値（ speed ）が、第３しきい値 (Vth3) よりも大きいときに被写体の移動速度が高速であり、第３しきい値（ Vth3 ）以下のときに被写体の移動速度が低速であると判定するものである、ことを特徴とする。
【０００９】
請求項１１に記載のインターレース画像の処理方法は、請求項８乃至請求項１０の何れかに記載のインターレース画像の処理方法であって、上記判定工程が、上記処理を行う各サブバンドの計数値の絶対値の合計の代わりに、上記処理を行うサブバンドのウェーブレット係数に対して仮の符号化工程を実行して得られる符号量の合計を用いて、インターレース画像内の被写体の移動速度を判定するものである、ことを特徴とする。
請求項１２に記載のインターレース画像の処理方法は、請求項８乃至請求項１０の何れかに記載のインターレース画像の処理方法であって、上記第１符号化処理工程が、判定工程による判定結果に基づいて、符号化を行うウェーブレット係数に基づくデータの削減処理を実行するデータ削減処理工程と、削減後のデータ符号化を行う第２符号化処理工程と、を含んでいるものである、ことを特徴とする。
【００１０】
【発明の実施の形態】
本発明の画像処理装置は、ビデオカメラ等により連続して撮り込まれる２フレーム分のインターレース画像を合成して得られる１枚のノンインターレース画像の画像データを処理対象とし、上記ノンインターレース画像の画像データを２次元離散ウェーブレット変換して得られるウェーブレット係数の内、１ＬＨのサブバンドの係数値及び符号量が撮像するフレーム内での被写体の横方向の移動速度に応じて増加するのに対し、１ＨＬのサブバンドの係数値及び符号量は、ほぼ一定の値を示すことに着目し、当該特性を利用してフレーム内での被写体の横方向の移動速度（高速／低速）を判定し、判定結果に応じて、より効果的な符号化処理を実行することを特徴とする。
【００１１】
以下、添付の図面を用いて本発明の画像処理装置の実施の形態、及び、フレーム内での被写体の移動速度の判定処理についての種々の変形例について説明する。図１は、インターレース画像の処理装置１０の全体構成を示す図である。インターレース画像の処理装置１０は、中央演算処理装置（ＣＰＵ）１を中心に、画像処理プログラムが格納されているＲＯＭ２、上記画像処理プログラムの実行時に使用されるＲＡＭ３、マン・マシン・インターフェースであるキーボード４及びマウス５、ディスプレイ６、主記録装置であり、ビデオカメラ８で撮影した映像の符号化処理途中における画像データ及び符号化処理後の符号データを記録するハードディスク（ＨＤ）７、並びに、ビデオカメラ８で構成される。
【００１２】
図２は、ビデオカメラ８により撮影される一連のフレームを示す図である。ビデオカメラ８は、撮影の開始時間ｔ_０と共にフレーム０の画像のインターレース形式によるスキャンを行い、１／６０秒後にフレーム１の画像のインターレース形式によるスキャンを行う。そして終了時間ｔ_ｎまでの間に１／６０秒単位で合計ｎ枚のフレームの画像をインターレース形式でスキャンする。
【００１３】
図３の（ａ）〜（ｄ）は、ビデオカメラ８により得られるインターレース画像からノンインターレース画像を生成する際に生じる現象と当該現象を利用する移動速度の判定原理について説明するための図である。図３の（ａ）に示すように、インターレース形式では、１画素のライン（実線で示す走査ライン）をスキャンした後、直ぐ下の画素のライン（点線で示す走査ライン）を飛ばして２画素下のライン（実線で示す走査ライン）をスキャンする。インターレース画像Ａのスキャン終了後、ビデオカメラ８は、直ちに、図３の（ｂ）に示すように、前回スキャンしなかった画素ライン（実線で示す走査ライン）のスキャンを行う。これによりインターレース画像Ｂが撮影される。この撮影時、あるラインをスキャンしてから直ぐ下の画素のラインをスキャンするのに１／６０秒経過している。図３の（ａ）と（ｂ）を比較すれば解るように、上記１／６０秒の間に被写体１５は右方向（当然左方向の場合もある）に移動している。このため、図３の（ｃ）に示すように、インターレース画像Ａにインターレース画像Ｂを重ね合わせて成るノンインターレース画像の両端部分には、数画素分のくし型のずれが生じる。
【００１４】
なお、上記ノンインターレース画像のデータは、インターレース画像Ａ及びインターレース画像Ｂの画像データをスキャンしたライン毎（上記の例では１画素単位の走査ライン毎）に、交互に並べる（スキャンしていないラインのデータを補充する）ことで形成することができる。
【００１５】
図３の（ｃ）に示すくし型のずれの量Ｌは、被写体１５のインターレース画像内での移動速度に比例して長くなる。図３の（ｄ）に示すように、上記くし型のずれを有するノンインターレス画像の画像データを２次元離散ウェーブレット変換して得られる１ＬＨのサブバンドの係数値は、横のエッジ成分Ｅ１の合計、即ち、被写体１５のインターレース画像内での移動速度に比例して増加する。また、１ＨＬのサブバンドの係数値は、縦のエッジ成分Ｅ２の合計に比例して係数値が増加するが、一般の撮影では殆どの被写体は横方向に移動するという経験則に従い、被写体の移動速度によって殆ど変化しないものであるとして取り扱う。以下に説明するように、画像処理装置１０では、１ＬＨのサブバンドの係数値の上記特性を利用して、インターレース画像内での被写体の移動速度を判定する。
【００１６】
図４は、画像処理装置１０のＣＰＵ１が実行する画像処理プログラムのメインルーチンのフローチャートである。まず、ビデオカメラ８により一連の複数のフレーム（図２を参照）で構成されるインターレース形式の画像データを取得する（ステップＳ１）。具体的には、ビデオカメラ８により１／６０秒単位でスキャンされるインターレース画像のデータをＲＡＭ３又はハードディスク７に記録する。なお、連続するフレームのインターレース画像のデータの取得方法としては、上記ビデオカメラ８を用いる他、例えば、圧縮符号化前の状態でハードディスク７に一連の複数のフレーム分のインターレース画像のデータを記録しておき、当該データを順に読み出すことも考えられる。
【００１７】
連続してスキャンされるフレーム２枚分のインターレース画像を合成（いわゆるインターレース変換）し、図３の（ｃ）に示したようなノンインターレース画像を形成する（ステップＳ２）。当該インターレース変換処理は、例えば、２枚の連続してスキャンされたインターレース画像の画像データを、ＲＡＭ３にスキャンしたライン毎に交互に出力することにより行う。または、先に読み込んだインターレース画像のデータをＲＡＭ３内に設けたノンインターレース画像のデータマップに展開した後、引き続きスキャンするインターフェース画像のデータを上記データマップに書き込むことにより行っても良い。
【００１８】
上記インターレース変換により得られたノンインターレース画像の画像データを、Ｙ，Ｃｒ，Ｃｂの色成分データに変換する（ステップＳ３）。以降の処理部で各成分の色データは同じ手順で並列に処理されるが、説明の簡単化のため、以下、Ｙ成分の色データに付いてのみ説明する。
【００１９】
Ｙ成分の色データにレベル３の２次元離散ウェーブレット変換を施し、得られるウェーブレット係数をＲＡＭ３又はハードディスク７に記録する（ステップＳ４）。当該処理により得られたウェーブレット係数に、ＪＰＥＧ２０００に規定のスカラ量子化処理を施した後、処理後のデータをＲＡＭ３またはハードディスク７に記録する（ステップＳ５）。スカラ量子化後、ＪＰＥＧ２０００に規定の手順によるエントロピー符号化処理（いわゆる係数モデリング処理）を施し、処理後のデータをＲＡＭ３又はハードディスク７に記録する（ステップＳ６）。上記ステップＳ３からステップＳ６までの処理は、ＪＰＥＧ２０００に準拠して行う周知の処理である。
【００２０】
次にデータ削減処理を行う（ステップＳ７）。当該処理は、画像処理装置１０独自の処理であり、後に詳しく説明するように、ＲＡＭ３又はハードディスク７に記録されている１ＬＨのサブバンドのウェーブレット係数に基づいて被写体の移動速度が高速であるのか、又は低速であるのかを判定する速度判定処理と、当該処理により被写体が高速で移動していると判定された画像については、上記ＲＡＭ３又はハードディスク７に記録されているエントロピ符号化後のデータに対し、ＬＨ成分を重視したデータ削減処理を施し、被写体が低速で移動していると判定された画像については、ＨＬ成分を重視したデータ削減処理を施す処理のことをいう。
【００２１】
上記データ削減処理後のデータにＪＰＥＧ２０００に規定されている算術符号化処理を実行し（ステップＳ８）、得られる符号データをハードディスク７に記録する（ステップＳ９）。全てのフレーム処理が終了していない場合（ステップＳ１０でＮＯ）、上記ステップＳ１に戻り、ビデオカメラ８により次に撮影された画像の符号化処理を実行する。他方、ビデオカメラ８による撮影が終了し、全ての符号化処理が終了した場合（ステップＳ１０でＹＥＳ）、処理を終了する。
【００２２】
上述するように、ステップＳ１、Ｓ２、Ｓ７以外の処理（ステップＳ３〜Ｓ６，Ｓ８）は、全てＪＰＥＧ２０００の規格に従う手順で実行されるものであり、これらの処理は、ステップＳ９及びステップＳ１０の処理と共に、ハードウェア回路により実現しても良い。これにより処理の高速化が図られる。なお、ＪＰＥＧ２０００に準拠する符号化処理を全てハードウェア回路で実現する画像処理装置は、既に存在する。
【００２３】
更に、インターレース変換（ステップＳ２）やデータ削減処理（ステップＳ７）をハード回路により実現しても良い。例えば、インターレース変換の処理は、最初にスキャンしたインターレース画像の画像データを保持しておく第１レジスタと、引き続きスキャンしたインターレース画像の画像データを保持しておく第２レジスタと、第２レジスタへのデータの書き込み終了と共に、第１及び第２レジスタからライン毎に交互にデータをノンインターレース用の画像メモリ又はバッファメモリに出力する第１リレースイッチと、第１及び第２レジスタからデータを出力している間、引き続きスキャンされるインターレース画像を保持するための第３及び第４レジスタ並びに当該第４レジスタへのデータの書き込み終了と共に第３及び第４レジスタからライン毎に交互にデータを上記ノンインターレース用の画像メモリ又はバッファメモリに出力する第２リレースイッチを用意することによりハード回路として実現することができる。これにより処理の高速化が図られる。
【００２４】
図５は、データ削減処理（図４、ステップＳ７）のフローチャートである。まず、レベル３の２次元離散ウェーブレット変換（図４、ステップＳ４）により得られたウェーブレット係数の１ＬＨのサブバンドの係数値に基づいて、フレーム内の被写体の移動速度が高速／低速の何れであるのかの判定を行う（ステップＳ１１）。当該処理内容については以下に詳しく説明する。
【００２５】
上記ステップＳ１１における速度判定処理の結果、高速と判断された場合（ステップＳ１２でＹＥＳ）、以下のＬＨ成分を重視したデータの削減処理を行う。これにより、良好な再現性を保ちながら、更なるデータの削減を可能にする。具体的には、図４のステップＳ６において実行したエントロピー符号化後のデータの内、１ＬＨのサブバンドのデータをビットプレーンに展開した場合の最下位ビット（ＬＳＢ）から２ビット分のデータを削除する（ステップＳ１３）。更に、図４のステップＳ６において実行したエントロピー符号化後のデータの内、３ＬＨのサブバンドのデータをビットプレーンに展開した場合の最下位ビット（ＬＳＢ）から１ビット分のデータを削除する（ステップＳ１４）。
【００２６】
他方、インターレース画像内における被写体の移動速度が低速であると判断された場合（ステップＳ１２でＮＯ）、以下のＨＬ成分を重視したデータの削減処理を行う。これにより、良好な再現性を保ちながら、更なるデータの削減を可能にする。具体的には、図４のステップＳ６において実行したエントロピー符号化後のデータの内、１ＬＨのサブバンドのデータをビットプレーンに展開した場合の最下位ビット（ＬＳＢ）から３ビット分のデータを削除する（ステップＳ１５）。低速の場合、図４のステップＳ６において実行したエントロピー符号化後のデータの内の３ＬＨのサブバンドのデータは削除しない。上記処理の後、図４のメインルーチンにリターンする。
【００２７】
図６の（ａ）は、上記エントロピー符号化後のデータをビットプレーンに分解した状態を示す図であり、図６の（ｂ）は、図５に示すフローチャートのステップＳ１１において高速と判断された場合にステップＳ１３及びＳ１４において実行する処理内容を図解するものである。図６の（ｂ）に斜線を付して示すように、ビットプレーンに分解された１ＬＨのサブバンドの係数の内、最下位ビットから２ビット分のデータを削除する。また、３ＬＨのサブバンドの係数の内、最下位ビットのデータを削除する。
【００２８】
また、図６の（ｃ）は、上記ステップＳ１１において低速と判断された場合にステップＳ１５において実行する処理内容を図解するものである。図６の（ｃ）に斜線を付して示すように、ビットプレーンに分解された１ＬＨのサブバンドの係数の内、最下位ビットから３ビット分のデータを削除する。この場合、３ＬＨのサブバンドの係数のデータは削除しない。
【００２９】
図７は、速度判定処理（図５、ステップＳ１１）の具体的な処理内容のフローチャートである。まず、図４に示したメインルーチンのステップＳ４において実行したレベル３の２次元離散ウェーブレット変換により得られるウェーブレット係数から１ＬＨの係数の絶対値の和であるｓｕｍ１ＬＨを求める（ステップＳ２０）。次に１ＨＬの係数の絶対値の和であるｓｕｍ１ＨＬを求める（ステップＳ２１）。ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬの値をフレーム内における被写体の移動速度を表す数値ｓｐｅｅｄとして求める（ステップＳ２２）。上記ｓｐｅｅｄは、フレーム内における被写体の移動速度に略比例して変化すると考えることができる。というのは、上述したように、１ＬＨの係数の値が画像の横方向のエッジ量の増加、即ち、フレーム内での被写体の移動速度の上昇に比例して増えるのに対して、１ＨＬの係数の値が画像の縦方向のエッジ量に比例する値を取り、経験上、被写体は殆どの場合横方向にしか移動しないため、比較的安定した値をとるためである。
【００３０】
上記ステップＳ２２において求めた係数ｓｐｅｅｄが実験的に定められるしきい値Ｖｔｈ１よりも大きい場合には（ステップＳ２３でＹＥＳ）、フレーム内での被写体の移動速度が高速であると判定することができる（ステップＳ２４）。他方、係数ｓｐｅｅｄがしきい値Ｖｔｈ１よりも小さい場合には（ステップＳ２３でＮＯ）、フレーム内での被写体の移動速度が低速であると判定することができる（ステップＳ２５）。上記判定の後、図５のフローチャートにリターンする。
【００３１】
以上に説明するように、画像処理装置１０では、符号化を行う画像データに対して行ったレベル３の２次元離散ウェーブレット変換により得られるウェーブレット係数の内、特に１ＬＨのサブバンドの係数値及び符号量が、撮像するフレーム内での被写体の横方向の移動速度に応じて増加するのに対し、１ＨＬのサブバンドの係数値及び符号量は、ほぼ一定の値を示すことに着目し、当該特性を利用してフレーム内での被写体の横方向の移動速度を検出し、検出した値に応じて、より効果的な符号化処理を実行する。これにより、フレーム間の画像データの差分を用いることなく、少ない量のデータを用いて、かつ、簡単な演算処理により、上記物体の移動速度を検出し、適応的に圧縮符号化を行うことができる。
【００３２】
（２）変形例１
上記画像処理装置１０では、図７のフローに示すように、１ＬＨ及び１ＨＬのサブバンドの係数値に基づいてフレーム内の被写体の移動速度の判定を行ったが、ウェーブレット係数の内、１ＬＨの係数値がくし型のずれの部分におけるエッジについての情報を含むのに対し、２ＬＨのサブバンドの係数値は、当該くし型のずれを含む２画素分のラインを単位として求めた値であるため、被写体の移動速度によらず比較的安定した値になる。そこで、速度判定処理の変形例として、１ＨＬの代わりに２ＬＨのサブバンドの係数値を用いて被写体の移動速度を判定するものを以下に説明する。
【００３３】
図８は、速度判定処理（図５のステップＳ１１）の変形例１のフローチャートである。まず、図４に示したメインルーチンのステップＳ４において実行した２次元離散ウェーブレット変換により得られるウェーブレット係数から１ＬＨのサブバンドの係数の絶対値の和であるｓｕｍ１ＬＨを求める（ステップＳ３０）。次に、２ＬＨのサブバンドの係数の絶対値の和であるｓｕｍ２ＬＨを求める（ステップＳ３１）。ｓｕｍ１ＬＨ／ｓｕｍ２ＬＨの値をフレーム内における被写体の移動速度を表す数値ｓｐｅｅｄとして求める（ステップＳ３２）。係数ｓｐｅｅｄが実験的に定められるしきい値Ｖｔｈ２より大きい場合（ステップＳ３３でＹＥＳ）、フレーム内の被写体が高速で移動している判定する（ステップＳ３４）。一方、係数ｓｐｅｅｄがしきい値Ｖｔｈ２以下の場合（ステップＳ３３でＮＯ）、フレーム内の被写体が低速で移動していると判定する（ステップＳ３５）。上記判定の後、図５のフローチャートにリターンする。
【００３４】
（３）変形例２
ウェーブレット係数の内、第１レベルの係数（１ＬＨ，１ＨＬ，１ＬＬ）は、インターレース画像を合成して形成したノンインターレース画像に表れるくし型のずれの部分についての情報が反映される。これに対して第２レベルの係数（２ＬＨ，２ＨＬ，２ＬＬ）は、上記くし型のずれを２画素分のラインを単位として求めた値であるため、被写体の移動速度によらず比較的安定した値であると考えられる。変形例２では、上記考えに基づいて求められる判定式の内、横方向に長く伸びるエッジ部分を多く有する被写体が静止又は低速で移動している場合を高速に移動していると誤判定することなく、フレーム内を被写体が高速で移動していることを実験的に最も正確に判定できた判定式を用いてフレーム内の被写体の移動速度を判定するものを用いる場合について説明する。
【００３５】
図９は、速度判定処理（図５のステップＳ１１）の変形例２のフローチャートである。まず、図４に示したメインルーチンのステップＳ４において実行した２次元離散ウェーブレット変換により得られるウェーブレット係数から１ＬＨの係数の絶対値の和であるｓｕｍ１ＬＨを求める（ステップＳ４０）。１ＨＬの係数の絶対値の和であるｓｕｍ１ＨＬを求める（ステップＳ４１）。２ＬＨの係数の絶対値の和であるｓｕｍ２ＬＨを求める（ステップＳ４２）。２ＨＬの係数の絶対値の和であるｓｕｍ２ＨＬを求める（ステップＳ４３）。（ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬ）／（ｓｕｍ２ＬＨ／ｓｕｍ２ＨＬ）の値をフレーム内における被写体の移動速度を表す数値ｓｐｅｅｄとして求める（ステップＳ４４）。係数ｓｐｅｅｄが実験的に定められるしきい値Ｖｔｈ３より大きい場合（ステップＳ４５でＹＥＳ）、フレーム内の被写体が高速で移動している判断する（ステップＳ４６）。一方、係数ｓｐｅｅｄがしきい値Ｖｔｈ３以下の場合（ステップＳ４５でＮＯ）、フレーム内の被写体が低速で移動していると判断する（ステップＳ４７）。上記判定の後、図５のフローチャートにリターンする。
【００３６】
（４）他の変形例
上述するようにフレーム内の被写体の移動速度は、１ＬＨのウェーブレット係数の値に比例するが、当該ウェーブレット係数を５：３のロスレス・フィルタを用いて符号化して得られる１ＬＨのサブバンドの符号データの量にも当然比例する。以下、図７、図８及び図９に示した３つの速度判定処理を仮算術符号化処理により求めた符号の量に基づいて行う場合について順に簡単に説明する。
【００３７】
図１０は、図７に示した速度判定処理を仮の算術符号化処理により求めた符号の量に基づいて行う場合の処理手順を示す図である。まず、図４のメインルーチンのステップＳ６において実行したエントロピー符号化により得られるデータに対し、仮の算出符号化処理を施す（ステップＳ５０）。符号化後のデータの内、１ＬＨのサブバンドの係数を符号化したデータの符号量の合計であるｓｕｍ１ＬＨを求める（ステップＳ５１）。１ＨＬのサブバンドの係数を符号化したデータの符号量の合計であるｓｕｍ１ＨＬを求める（ステップＳ５２）。ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬの計算により係数ｓｐｅｅｄを求める（ステップＳ５３）。求めた係数ｓｐｅｅｄの値が実験的に定められるしきい値Ｖｔｈ４より大きい場合には（ステップＳ５４でＹＥＳ）、フレーム内の被写体の移動速度は高速であると判定する（ステップＳ５５）。一方、係数ｓｐｅｅｄがしきい値Ｖｔｈ４以下の場合には（ステップＳ５４でＮＯ）、フレーム内の被写体の移動速度は低速であると判定する（ステップＳ５６）。上記判定処理の後、図５のフローチャートにリターンする。
【００３８】
図１１は、図８に示した速度判定処理を仮の算術符号化処理により求めた符号の量に基づいて行う場合の処理手順を示す図である。まず、図４のメインルーチンのステップＳ６において実行したエントロピー符号化により得られるデータに対し、仮の算出符号化処理を施す（ステップＳ６０）。符号化後のデータの内、１ＬＨのサブバンドの係数を符号化したデータの符号量の合計であるｓｕｍ１ＬＨを求める（ステップＳ６１）。２ＬＨのサブバンドの係数を符号化したデータの符号量の合計であるｓｕｍ２ＬＨを求める（ステップＳ６２）。ｓｕｍ１ＬＨ／ｓｕｍ２ＬＨの計算により係数ｓｐｅｅｄを求める（ステップＳ６３）。求めた係数ｓｐｅｅｄの値が実験的に定められるしきい値Ｖｔｈ５より大きい場合には（ステップＳ６４でＹＥＳ）、フレーム内の被写体の移動速度は高速であると判定する（ステップＳ６５）。一方、係数ｓｐｅｅｄがしきい値Ｖｔｈ５以下の場合には（ステップＳ６４でＮＯ）、フレーム内の被写体の移動速度は低速であると判定する（ステップＳ６６）。上記判定処理の後、図５のフローチャートにリターンする。
【００３９】
図１２は、図９に示した速度判定処理を仮の算術符号化処理により得られる符号の量に基づいて行う場合の処理手順を示す図である。まず、図４のメインルーチンのステップＳ６において実行したエントロピー符号化により得られるデータに対し、仮の算出符号化処理を施す（ステップＳ７０）。符号化後のデータの内、１ＬＨのサブバンドの係数を符号化したデータの符号量の合計であるｓｕｍ１ＬＨを求める（ステップＳ７１）。１ＨＬのサブバンドの係数を符号化したデータの符号量の合計であるｓｕｍ１ＨＬを求める（ステップＳ７２）。２ＬＨのサブバンドの係数を符号化したデータの符号量の合計であるｓｕｍ２ＬＨを求める（ステップＳ７３）。２ＨＬのサブバンドの係数を符号化したデータの符号量の合計であるｓｕｍ２ＨＬを求める（ステップＳ７４）。（ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬ）／（ｓｕｍ２ＬＨ／ｓｕｍ２ＨＬ）の計算により係数ｓｐｅｅｄを求める（ステップＳ７５）。求めた係数ｓｐｅｅｄの値が実験的に定められるしきい値Ｖｔｈ６より大きい場合には（ステップＳ７６でＹＥＳ）、フレーム内の被写体の移動速度は高速であると判定する（ステップＳ７７）。一方、係数ｓｐｅｅｄがしきい値Ｖｔｈ６以下の場合には（ステップＳ７６でＮＯ）、フレーム内の被写体の移動速度は低速であると判定する（ステップＳ７８）。上記判定処理の後、図５のフローチャートにリターンする。
【００４０】
以上に説明するように図１０〜図１２に示す３つの変形例を用いてもフレーム内の被写体の移動速度を簡単に判定することができる。
【００４１】
【発明の効果】
請求項１乃至請求項４に記載のインターレース画像の処理装置では、２次元離散ウェーブレット変換により得られる１ＬＨのサブバンドの係数値の絶対値の合計に基づいてフレーム内の被写体の移動速度を判定する。これにより、フレーム間の被写体の移動量を求めることなく、簡単な演算処理により被写体の移動速度の判定を行うことができる。
【００４２】
請求項５に記載のインターレース画像の処理装置では、請求項２乃至請求項４の何れかに記載の処理装置であって、２次元離散ウェーブレット変換により得られる１ＬＨのサブバンドの係数値を仮に算術符号化することにより得られる符号量の合計に基づいてフレーム内の被写体の移動速度を判定する。これにより、フレーム間の被写体の移動量を求めることなく、簡単な演算処理により被写体の移動速度の判定を行うことができる。
請求項６に記載のインターレース画像の処理装置では、請求項２乃至請求項４の何れかに記載の処理装置であって、更に、判定手段による判定結果に基づいて、データの削減処理を実行することができる。
【００４３】
請求項７乃至請求項１０に記載のインターレース画像の処理方法では、２次元離散ウェーブレット変換により得られる１ＬＨのサブバンドの係数値の絶対値の合計に基づいてフレーム内の被写体の移動速度を判定する。これにより、フレーム間の被写体の移動量を求めることなく、簡単な演算処理により被写体の移動速度の判定を行うことができる。
【００４４】
請求項１１に記載のインターレース画像の処理方法では、請求項８乃至請求項１０の何れかに記載の処理方法であって、２次元離散ウェーブレット変換により得られる１ＬＨのサブバンドの係数値を仮に算術符号化することにより得られる符号量の合計に基づいてフレーム内の被写体の移動速度を判定する。これにより、フレーム間の被写体の移動量を求めることなく、簡単な演算処理により被写体の移動速度の判定を行うことができる。
請求項１２に記載のインターフェース画像の処理方法では、請求項８乃至請求項１０の何れかに記載の処理方法であって、更に、判定工程による判定結果に基づいて、データの削減処理を実行することができる。
【図面の簡単な説明】
【図１】画像処理装置の全体構成図である。
【図２】ビデオカメラにより１／６０秒単位で撮影される一連のフレーム画像を示す図である。
【図３】（ａ）〜（ｄ）は、ビデオカメラにより得られるインターレース画像からノンインターレース画像を生成する際に生じる現象と当該現象を利用する移動速度の判定原理について説明するための図である。
【図４】画像処理装置の実行する処理のメインルーチンを示す図である。
【図５】データ削減処理のフローチャートである。
【図６】（ａ）〜（ｃ）は、フレーム内の被写体の移動速度に応じたデータ削減処理の様子を示す図である。
【図７】速度判定処理のフローチャートである。
【図８】速度判定処理の変形例のフローチャートである。
【図９】速度判定処理の変形例のフローチャートである。
【図１０】速度判定処理の変形例のフローチャートである。
【図１１】速度判定処理の変形例のフローチャートである。
【図１２】速度判定処理の変形例のフローチャートである。
【符号の説明】
１ＣＰＵ、２ＲＯＭ、３ＲＡＭ、４キーボード、５マウス、６ディスプレイ、７ハードディスク、８ビデオカメラ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image processing apparatus, and more particularly to an image processing apparatus that processes a series of interlaced images.
[0002]
[Prior art]
In recent years, JEPPG2000 is known as a compression encoding method suitable for handling high-definition images. There is also a standard called Motion JPEG 2000 that displays a moving image by continuously playing still images encoded in the JPEG 2000 format.
[0003]
[Problems to be solved by the invention]
In a series of interlaced images taken by a video camera or the like, there is a parameter that does not exist in a still image, that is, the amount of movement (change amount) of a subject between frames in comparison with the interlaced image of the previous frame. Several Motion JPEG 2000-format moving image processing apparatuses that detect the moving speed of a subject in a frame using the parameter of the moving amount and adaptively perform compression encoding processing have already been proposed.
[0004]
The motion image processing apparatus in the Motion JPEG 2000 format obtains a difference in subject image data between frames and performs a calculation process for obtaining a moving speed based on the obtained difference data. For this reason, the amount of data to be processed is large, time is required for calculation, and a large amount of memory is required.
[0005]
The present invention determines the moving speed of the subject by using a small amount of data and a simple calculation process without using the difference of the subject image data between the frames, and based on the determination result. An object of the present invention is to provide an image processing apparatus that performs processing.
[0006]
  The interlaced image processing apparatus according to claim 1, an interlace converting unit that forms a non-interlaced image from a series of interlaced images, and a two-dimensional discrete wavelet transform for non-interlaced image data obtained by the interlaced converting unit. A wavelet transform unit for performing, a determination unit for determining a moving speed of a subject in an interlaced image based on a sum of absolute values of coefficient values of 1LH subbands among wavelet coefficients obtained by the wavelet transform unit; And a first encoding processing means for executing the wavelet coefficient encoding processing based on the moving speed of the subject determined by the means.
  An interlaced image processing apparatus according to a second aspect is the interlaced image processing apparatus according to the first aspect, wherein the determination unit adds the absolute values of the count values of the subbands of 1LH ( sum1LH ) Is the sum of the absolute values of 1HL subband counts ( sum1HL ) Divided by ( speed ) Is the first threshold ( Vth1 ) Is larger than the first threshold ( Vth1 ) It is determined that the moving speed of the subject is low at the following times.
  The interlaced image processing apparatus according to claim 3 is the interlaced image processing apparatus according to claim 1, wherein the wavelet transform unit performs two-dimensional discrete wavelet transform of level 2 or higher, The determination means adds the absolute values of the count values of the 1LH subband ( sum1LH ) Is the sum of the absolute values of 2LH subband counts ( sum2LH ) Divided by ( speed ) Is the second threshold (Vth2) Is larger than the second threshold ( Vth2 ) It is determined that the moving speed of the subject is low at the following times.
  The interlaced image processing apparatus according to claim 4 is the interlaced image processing apparatus according to claim 1, wherein the wavelet transform unit performs two-dimensional discrete wavelet transform of level 2 or higher, The determination means adds the absolute values of the count values of the 1LH subband ( sum1LH ) Is the sum of the absolute values of 1HL subband counts ( sum1HL ) Is the sum of absolute values of 2LH subband counts ( sum2LH ) Is the sum of the absolute values of 2HL subband counts ( sum2HL ) Divided by the value divided by ( speed ) Is the third threshold (Vth3) Is larger than the third threshold ( Vth3 ) It is determined that the moving speed of the subject is low at the following times.
[0007]
  The interlaced image processing apparatus according to claim 5 is the interlaced image processing apparatus according to any one of claims 2 to 4, wherein the determination unit counts each subband to be processed. Instead of the sum of absolute values, the moving speed of the subject in the interlaced image is determined using the sum of the code amounts obtained by performing provisional coding processing on the wavelet coefficients of the subbands that perform the above processing. It is what is to be done.
  An interlaced image processing apparatus according to a sixth aspect is the interface image processing apparatus according to any one of the second to fourth aspects, wherein the first encoding processing means determines the determination result by the determination means. And a data reduction processing means for executing data reduction processing based on wavelet coefficients to be encoded, and a second encoding processing means for performing data encoding after the reduction. Features.
[0008]
  The interlaced image processing method according to claim 7 includes an interlace conversion step of forming a non-interlace image from continuous interlace images, and a two-dimensional discrete wavelet conversion on the non-interlace image data obtained by the interlace conversion step. A wavelet transform step to be performed; a determination step of determining a moving speed of a subject in an interlaced image based on a sum of absolute values of coefficient values of 1LH subbands among wavelet coefficients obtained by the wavelet transform step; and And a first encoding process step of performing the wavelet coefficient encoding process based on the moving speed of the subject determined in the determination process.
  The interlaced image processing method according to claim 8 is the interlaced image processing method according to claim 7, wherein the determination step includes a sum of absolute values of count values of 1 LH subbands ( sum1LH ) Is the sum of the absolute values of 1HL subband counts ( sum1HL ) Divided by ( speed ) Is the first threshold ( Vth1 ) Is larger than the first threshold ( Vth1 ) It is determined that the moving speed of the subject is low at the following times.
  The interlaced image processing method according to claim 9 is the interlaced image processing method according to claim 7, wherein the wavelet transform step performs two-dimensional discrete wavelet transform of level 2 or higher, The determination step is the sum of the absolute values of the count values of the 1LH subband ( sum1LH ) Is the sum of the absolute values of 2LH subband counts ( sum2LH ) Divided by ( speed ) Is the second threshold (Vth2) Is larger than the second threshold ( Vth2 ) It is determined that the moving speed of the subject is low at the following times.
  The interlaced image processing method according to claim 10 is the interlaced image processing method according to claim 7, wherein the wavelet transform step performs two-dimensional discrete wavelet transform of level 2 or higher, The determination step is the sum of the absolute values of the count values of the 1LH subband ( sum1LH ) Is the sum of the absolute values of 1HL subband counts ( sum1HL ) Is the sum of absolute values of 2LH subband counts ( sum2LH ) Is the sum of the absolute values of 2HL subband counts ( sum2HL ) Divided by the value divided by ( speed ) Is the third threshold (Vth3) Is larger than the third threshold ( Vth3 ) It is determined that the moving speed of the subject is low at the following times.
[0009]
  The interlaced image processing method according to claim 11 is the interlaced image processing method according to any one of claims 8 to 10, wherein the determination step includes a count value of each subband on which the processing is performed. Instead of the sum of absolute values, the moving speed of the subject in the interlaced image is determined using the sum of the code amounts obtained by executing the provisional encoding process on the wavelet coefficients of the subbands for which the above processing is performed. It is what is to be done.
  An interlaced image processing method according to a twelfth aspect is the interlaced image processing method according to any one of the eighth to tenth aspects, wherein the first encoding processing step is a result of determination by the determination step. And a data reduction processing step for executing data reduction processing based on wavelet coefficients to be encoded, and a second encoding processing step for performing data encoding after reduction. Features.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
  An image processing apparatus according to the present invention processes image data of one non-interlaced image obtained by synthesizing two frames of interlaced images continuously captured by a video camera or the like, andNon-interlaced imageAmong the wavelet coefficients obtained by performing two-dimensional discrete wavelet transformation on the image data, the coefficient value and code amount of the 1LH subband increase in accordance with the lateral movement speed of the subject within the imaged frame. Focusing on the fact that the coefficient value and code amount of the 1HL sub-band show almost constant values, the lateral movement speed (high speed / low speed) of the subject within the frame is determined using the characteristics, A more effective encoding process is executed according to the determination result.
[0011]
DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of an image processing apparatus according to the present invention and various modifications of a process for determining a moving speed of a subject within a frame will be described below with reference to the accompanying drawings. FIG. 1 is a diagram illustrating an overall configuration of an interlaced image processing apparatus 10. An interlaced image processing apparatus 10 is composed of a central processing unit (CPU) 1, a ROM 2 that stores an image processing program, a RAM 3 that is used when the image processing program is executed, and a keyboard that is a man-machine interface. 4 and mouse 5, display 6, main recording device, hard disk (HD) 7 for recording image data in the middle of encoding processing of video taken by video camera 8 and encoded data after encoding processing, and video camera 8 is composed.
[0012]
FIG. 2 is a diagram showing a series of frames taken by the video camera 8. The video camera 8 has a shooting start time t₀At the same time, the frame 0 image is scanned in the interlace format, and after 1/60 seconds, the frame 1 image is scanned in the interlace format. And end time t_nIn the meantime, images of a total of n frames are scanned in interlace format in units of 1/60 second.
[0013]
3A to 3D are diagrams for explaining a phenomenon that occurs when a non-interlaced image is generated from an interlaced image obtained by the video camera 8, and a principle of determination of a moving speed that uses the phenomenon. . As shown in FIG. 3A, in the interlaced format, after scanning a line of one pixel (scan line indicated by a solid line), the line of the pixel immediately below (scan line indicated by a dotted line) is skipped and two pixels below. Are scanned (scan lines indicated by solid lines). After the scan of the interlaced image A is completed, the video camera 8 immediately scans the pixel lines (scan lines indicated by solid lines) that were not scanned last time, as shown in FIG. Thereby, an interlaced image B is photographed. At the time of this photographing, 1/60 seconds have elapsed since the scanning of the line of the pixel immediately below after scanning a certain line. As can be seen by comparing (a) and (b) in FIG. 3, the subject 15 has moved in the right direction (of course, in some cases leftward) during the 1/60 second. For this reason, as shown in FIG. 3C, comb-shaped shifts of several pixels occur at both ends of the non-interlaced image formed by superimposing the interlaced image B on the interlaced image A.
[0014]
Note that the non-interlaced image data is alternately arranged for each line obtained by scanning the image data of the interlaced image A and the interlaced image B (in the above example, for each scanning line of one pixel unit). It can be formed by supplementing data).
[0015]
The amount L of the comb-shaped shift shown in FIG. 3C increases in proportion to the moving speed of the subject 15 in the interlaced image. As shown in FIG. 3 (d), the coefficient value of the 1LH subband obtained by two-dimensional discrete wavelet transform of the image data of the non-interlaced image having the comb-shaped shift is the horizontal edge component E1. The total increases, that is, in proportion to the moving speed of the subject 15 within the interlaced image. The coefficient value of the 1HL subband increases in proportion to the sum of the vertical edge components E2, but the subject movement follows the empirical rule that most subjects move in the horizontal direction in general shooting. Treated as being almost unchanged by speed. As will be described below, the image processing apparatus 10 determines the moving speed of the subject in the interlaced image using the above characteristics of the coefficient value of the 1LH subband.
[0016]
FIG. 4 is a flowchart of the main routine of the image processing program executed by the CPU 1 of the image processing apparatus 10. First, interlaced image data composed of a series of a plurality of frames (see FIG. 2) is acquired by the video camera 8 (step S1). Specifically, interlaced image data scanned by the video camera 8 in units of 1/60 seconds is recorded in the RAM 3 or the hard disk 7. As a method for acquiring interlaced image data of consecutive frames, in addition to using the video camera 8, for example, a series of interlaced image data for a plurality of frames is recorded on the hard disk 7 in a state before compression encoding. It is also possible to read out the data sequentially.
[0017]
Interlaced images for two frames scanned continuously are synthesized (so-called interlaced conversion) to form a non-interlaced image as shown in FIG. 3C (step S2). The interlace conversion process is performed, for example, by alternately outputting image data of two consecutively scanned interlace images for each scanned line in the RAM 3. Alternatively, after the previously read interlaced image data is developed into a non-interlaced image data map provided in the RAM 3, the interface image data to be continuously scanned may be written in the data map.
[0018]
The image data of the non-interlaced image obtained by the interlace conversion is converted into Y, Cr, Cb color component data (step S3). In the subsequent processing units, the color data of each component is processed in parallel in the same procedure, but for the sake of simplicity, only the Y component color data will be described below.
[0019]
The Y component color data is subjected to level 3 two-dimensional discrete wavelet transform, and the obtained wavelet coefficients are recorded in the RAM 3 or the hard disk 7 (step S4). The wavelet coefficient obtained by the processing is subjected to the scalar quantization processing prescribed in JPEG2000, and the processed data is recorded in the RAM 3 or the hard disk 7 (step S5). After scalar quantization, JPEG2000 is subjected to entropy encoding processing (so-called coefficient modeling processing) according to a prescribed procedure, and the processed data is recorded in the RAM 3 or the hard disk 7 (step S6). The processes from step S3 to step S6 are well-known processes performed in accordance with JPEG2000.
[0020]
Next, data reduction processing is performed (step S7). This process is unique to the image processing apparatus 10 and, as will be described in detail later, whether the moving speed of the subject is high based on the wavelet coefficient of the 1LH subband recorded in the RAM 3 or the hard disk 7. Alternatively, for the speed determination process for determining whether the speed is low and the image for which it is determined that the subject is moving at high speed by the process, the entropy-encoded data recorded in the RAM 3 or the hard disk 7 is used. The data reduction process that emphasizes the LH component and the image that is determined that the subject is moving at a low speed refers to the process that performs the data reduction process that emphasizes the HL component.
[0021]
An arithmetic coding process defined in JPEG2000 is executed on the data after the data reduction process (step S8), and the obtained code data is recorded on the hard disk 7 (step S9). If all the frame processes have not been completed (NO in step S10), the process returns to step S1 and an encoding process for the next image taken by the video camera 8 is executed. On the other hand, when shooting by the video camera 8 is finished and all encoding processes are finished (YES in step S10), the process is finished.
[0022]
As described above, the processes other than steps S1, S2, and S7 (steps S3 to S6 and S8) are all executed according to the procedure according to the JPEG2000 standard. These processes are the processes of steps S9 and S10. In addition, it may be realized by a hardware circuit. This speeds up the processing. Note that there is already an image processing apparatus that implements all the encoding processing compliant with JPEG2000 with a hardware circuit.
[0023]
Furthermore, interlace conversion (step S2) and data reduction processing (step S7) may be realized by a hardware circuit. For example, the interlace conversion process includes the first register that holds the image data of the first scanned interlaced image, the second register that holds the image data of the scanned interlaced image, and the second register. Upon completion of data writing, the first relay switch that outputs data alternately from the first and second registers line by line to the non-interlaced image memory or buffer memory, and data is output from the first and second registers. The third and fourth registers for holding the interlaced image to be continuously scanned, and the data for the non-interlace alternately from the third and fourth registers at the end of the writing of data to the fourth register. Relay that outputs to the image memory or buffer memory By providing a switch it can be implemented as a hardware circuit. This speeds up the processing.
[0024]
FIG. 5 is a flowchart of the data reduction process (FIG. 4, step S7). First, based on the coefficient value of the 1LH subband of the wavelet coefficient obtained by the level 3 two-dimensional discrete wavelet transform (FIG. 4, step S4), the moving speed of the subject in the frame is either high speed or low speed. Is determined (step S11). The processing contents will be described in detail below.
[0025]
As a result of the speed determination process in step S11, if it is determined that the speed is high (YES in step S12), the following data reduction process that emphasizes the LH component is performed. This enables further data reduction while maintaining good reproducibility. Specifically, of the entropy-encoded data executed in step S6 of FIG. 4, the 2-bit data is deleted from the least significant bit (LSB) when 1LH subband data is expanded on the bit plane. (Step S13). Further, of the entropy-encoded data executed in step S6 in FIG. 4, 1-bit data is deleted from the least significant bit (LSB) when 3LH subband data is expanded on the bit plane (step S6). S14).
[0026]
On the other hand, when it is determined that the moving speed of the subject in the interlaced image is low (NO in step S12), the following data reduction process is performed with emphasis on the HL component. This enables further data reduction while maintaining good reproducibility. Specifically, among the data after entropy coding executed in step S6 of FIG. 4, the data for 3 bits is deleted from the least significant bit (LSB) when 1LH sub-band data is expanded on the bit plane. (Step S15). In the case of the low speed, 3LH subband data in the data after entropy coding executed in step S6 of FIG. 4 is not deleted. After the above processing, the process returns to the main routine of FIG.
[0027]
6A is a diagram illustrating a state where the data after the entropy coding is decomposed into bit planes, and FIG. 6B is determined to be high speed in step S11 of the flowchart illustrated in FIG. In this case, the processing contents executed in steps S13 and S14 are illustrated. As shown by hatching in FIG. 6B, data of 2 bits is deleted from the least significant bit among the coefficients of the 1 LH subband decomposed into bit planes. The least significant bit data is deleted from the 3LH subband coefficients.
[0028]
FIG. 6C illustrates the contents of processing executed in step S15 when it is determined that the speed is low in step S11. As shown by hatching in FIG. 6C, data of 3 bits is deleted from the least significant bit among the coefficients of 1 LH subband decomposed into bit planes. In this case, the 3LH subband coefficient data is not deleted.
[0029]
FIG. 7 is a flowchart of specific processing contents of the speed determination processing (FIG. 5, step S11). First, sum1LH, which is the sum of absolute values of 1LH coefficients, is obtained from the wavelet coefficients obtained by the level 3 two-dimensional discrete wavelet transform executed in step S4 of the main routine shown in FIG. 4 (step S20). Next, sum1HL, which is the sum of absolute values of 1HL coefficients, is obtained (step S21). The value of sum1LH / sum1HL is obtained as a numerical speed representing the moving speed of the subject in the frame (step S22). The speed can be considered to change substantially in proportion to the moving speed of the subject in the frame. This is because, as described above, the value of the 1LH coefficient increases in proportion to the increase in the edge amount in the horizontal direction of the image, that is, the increase in the moving speed of the subject within the frame, whereas the coefficient of 1HL. This value is a value that is proportional to the amount of edge in the vertical direction of the image, and from experience, the subject moves only in the horizontal direction in most cases, and thus takes a relatively stable value.
[0030]
If the coefficient speed obtained in step S22 is larger than the experimentally determined threshold value Vth1 (YES in step S23), it can be determined that the moving speed of the subject within the frame is high ( Step S24). On the other hand, when the coefficient speed is smaller than the threshold value Vth1 (NO in step S23), it can be determined that the moving speed of the subject within the frame is low (step S25). After the above determination, the process returns to the flowchart of FIG.
[0031]
As described above, in the image processing apparatus 10, among the wavelet coefficients obtained by the level 3 two-dimensional discrete wavelet transform performed on the image data to be encoded, in particular, coefficient values and codes of 1 LH subbands. Focusing on the fact that the coefficient value and code amount of the 1HL sub-band show almost constant values, while the amount increases in accordance with the lateral movement speed of the subject within the frame to be imaged, Is used to detect the moving speed of the subject in the frame in the horizontal direction, and more effective encoding processing is executed according to the detected value. As a result, the moving speed of the object can be detected and adaptively encoded by using a small amount of data and a simple calculation process without using the difference in image data between frames. it can.
[0032]
(2) Modification 1
In the image processing apparatus 10, as shown in the flow of FIG. 7, the moving speed of the subject in the frame is determined based on the coefficient values of the 1LH and 1HL subbands. While the numerical value includes information about the edge in the comb-shaped shift portion, the coefficient value of the 2LH subband is a value obtained in units of lines corresponding to two pixels including the comb-shaped shift. It becomes a relatively stable value regardless of the moving speed. Accordingly, as a modified example of the speed determination process, a description will be given below of determining a moving speed of a subject using a coefficient value of a 2LH subband instead of 1HL.
[0033]
FIG. 8 is a flowchart of Modification 1 of the speed determination process (step S11 in FIG. 5). First, sum1LH, which is the sum of absolute values of 1LH subband coefficients, is obtained from the wavelet coefficients obtained by the two-dimensional discrete wavelet transform executed in step S4 of the main routine shown in FIG. 4 (step S30). Next, sum2LH, which is the sum of absolute values of the coefficients of the 2LH subband, is obtained (step S31). The value of sum1LH / sum2LH is obtained as a numerical value speed representing the moving speed of the subject in the frame (step S32). If the coefficient speed is larger than the experimentally determined threshold value Vth2 (YES in step S33), it is determined that the subject in the frame is moving at high speed (step S34). On the other hand, when the coefficient speed is equal to or lower than the threshold value Vth2 (NO in step S33), it is determined that the subject in the frame is moving at a low speed (step S35). After the above determination, the process returns to the flowchart of FIG.
[0034]
(3) Modification 2
Of the wavelet coefficients, the first level coefficients (1LH, 1HL, 1LL) reflect information on the comb-shaped shift portion appearing in the non-interlace image formed by synthesizing the interlace images. On the other hand, the second-level coefficients (2LH, 2HL, 2LL) are values obtained by calculating the above-mentioned comb-shaped deviation in units of lines corresponding to two pixels, and thus are relatively stable regardless of the moving speed of the subject. It is considered to be a value. In the second modification, among the determination formulas obtained based on the above idea, when a subject having many edge portions extending in the horizontal direction is moving at a low speed or at a low speed, it is erroneously determined as moving at a high speed. In the following, a case will be described in which an object that determines the moving speed of an object in a frame is determined by using a determination expression that can most accurately experimentally determine that the object is moving at high speed in the frame.
[0035]
FIG. 9 is a flowchart of Modification 2 of the speed determination process (step S11 in FIG. 5). First, sum1LH, which is the sum of absolute values of 1LH coefficients, is obtained from the wavelet coefficients obtained by the two-dimensional discrete wavelet transform executed in step S4 of the main routine shown in FIG. 4 (step S40). Sum1HL, which is the sum of absolute values of 1HL coefficients, is obtained (step S41). Sum2LH, which is the sum of absolute values of 2LH coefficients, is obtained (step S42). Sum2HL, which is the sum of the absolute values of the 2HL coefficients, is obtained (step S43). The value of (sum1LH / sum1HL) / (sum2LH / sum2HL) is obtained as a numerical speed representing the moving speed of the subject in the frame (step S44). If the coefficient speed is greater than the experimentally determined threshold value Vth3 (YES in step S45), it is determined that the subject in the frame is moving at high speed (step S46). On the other hand, when the coefficient speed is equal to or lower than the threshold value Vth3 (NO in step S45), it is determined that the subject in the frame is moving at a low speed (step S47). After the above determination, the process returns to the flowchart of FIG.
[0036]
(4) Other variations
As described above, the moving speed of the object in the frame is proportional to the value of the 1LH wavelet coefficient, but the code data of the 1LH subband obtained by encoding the wavelet coefficient using a 5: 3 lossless filter. Of course, it is proportional to the amount of. Hereinafter, the case where the three speed determination processes shown in FIGS. 7, 8, and 9 are performed based on the amount of codes obtained by the provisional arithmetic encoding process will be briefly described in order.
[0037]
FIG. 10 is a diagram illustrating a processing procedure when the speed determination process illustrated in FIG. 7 is performed based on the amount of codes obtained by the provisional arithmetic encoding process. First, provisional calculation encoding processing is performed on the data obtained by entropy encoding executed in step S6 of the main routine of FIG. 4 (step S50). Sum1LH which is the sum of the code amount of the data obtained by encoding the coefficients of the 1LH subband among the encoded data is obtained (step S51). Sum1HL, which is the sum of code amounts of data obtained by encoding the coefficients of the 1HL subband, is obtained (step S52). A coefficient speed is obtained by calculating sum1LH / sum1HL (step S53). If the obtained coefficient speed is larger than the experimentally determined threshold value Vth4 (YES in step S54), it is determined that the moving speed of the subject in the frame is high (step S55). On the other hand, when the coefficient speed is equal to or lower than the threshold value Vth4 (NO in step S54), it is determined that the moving speed of the subject in the frame is low (step S56). After the determination process, the process returns to the flowchart of FIG.
[0038]
FIG. 11 is a diagram illustrating a processing procedure when the speed determination process illustrated in FIG. 8 is performed based on the amount of codes obtained by the provisional arithmetic encoding process. First, provisional calculation encoding processing is performed on the data obtained by entropy encoding executed in step S6 of the main routine of FIG. 4 (step S60). Sum1LH, which is the sum of the code amounts of the data obtained by encoding the 1LH subband coefficients in the encoded data, is obtained (step S61). Sum2LH, which is the sum of the code amounts of the data obtained by encoding the coefficients of the 2LH subband, is obtained (step S62). A coefficient speed is obtained by calculating sum1LH / sum2LH (step S63). If the obtained coefficient speed is larger than the experimentally determined threshold value Vth5 (YES in step S64), it is determined that the moving speed of the subject in the frame is high (step S65). On the other hand, when the coefficient speed is equal to or lower than the threshold value Vth5 (NO in step S64), it is determined that the moving speed of the subject in the frame is low (step S66). After the determination process, the process returns to the flowchart of FIG.
[0039]
FIG. 12 is a diagram illustrating a processing procedure when the speed determination process illustrated in FIG. 9 is performed based on the amount of codes obtained by the provisional arithmetic encoding process. First, provisional calculation encoding processing is performed on the data obtained by entropy encoding executed in step S6 of the main routine of FIG. 4 (step S70). Sum1LH, which is the sum of the code amounts of the data obtained by encoding the coefficients of the 1LH subband among the encoded data, is obtained (step S71). Sum1HL, which is the sum of the code amounts of the data obtained by encoding the 1HL subband coefficients, is obtained (step S72). Sum2LH, which is the sum of the code amounts of data obtained by encoding the coefficients of the 2LH subband, is obtained (step S73). Sum2HL, which is the sum of the code amounts of the data obtained by encoding the 2HL subband coefficients, is obtained (step S74). The coefficient speed is obtained by calculating (sum1LH / sum1HL) / (sum2LH / sum2HL) (step S75). If the obtained coefficient speed is larger than the experimentally determined threshold value Vth6 (YES in step S76), it is determined that the moving speed of the subject in the frame is high (step S77). On the other hand, when the coefficient speed is equal to or less than the threshold value Vth6 (NO in step S76), it is determined that the moving speed of the subject in the frame is low (step S78). After the determination process, the process returns to the flowchart of FIG.
[0040]
As described above, the moving speed of the subject in the frame can be easily determined even using the three modified examples shown in FIGS.
[0041]
【The invention's effect】
  In the interlaced image processing apparatus according to any one of claims 1 to 4,Coefficient value of 1LH subband obtained by 2D discrete wavelet transformSum of absolute values ofBased on the above, the moving speed of the subject in the frame is determined. Thereby, the moving speed of the subject can be determined by a simple calculation process without obtaining the moving amount of the subject between frames.
[0042]
  The interlaced image processing apparatus according to claim 5 is the processing apparatus according to any one of claims 2 to 4,Obtained by arithmetically encoding coefficient values of 1 LH subbands obtained by two-dimensional discrete wavelet transformTo the total code amountBased on this, the moving speed of the subject in the frame is determined. Thereby, the moving speed of the subject can be determined by a simple calculation process without obtaining the moving amount of the subject between frames.
  The interlaced image processing apparatus according to claim 6 is the processing apparatus according to any one of claims 2 to 4, and further executes data reduction processing based on a determination result by the determination unit. be able to.
[0043]
  In the interlaced image processing method according to any one of claims 7 to 10,Coefficient value of 1LH subband obtained by 2D discrete wavelet transformSum of absolute values ofBased on the above, the moving speed of the subject in the frame is determined. Thereby, the moving speed of the subject can be determined by a simple calculation process without obtaining the moving amount of the subject between frames.
[0044]
  The interlaced image processing method according to claim 11 is the processing method according to any one of claims 8 to 10,Obtained by arithmetically encoding coefficient values of 1 LH subbands obtained by two-dimensional discrete wavelet transformTo the total code amountBased on this, the moving speed of the subject in the frame is determined. Thereby, the moving speed of the subject can be determined by a simple calculation process without obtaining the moving amount of the subject between frames.
  The interface image processing method according to claim 12 is the processing method according to any one of claims 8 to 10, and further executes a data reduction process based on a determination result of the determination step. be able to.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of an image processing apparatus.
FIG. 2 is a diagram showing a series of frame images taken in 1/60 second units by a video camera.
FIGS. 3A to 3D are diagrams for explaining a phenomenon that occurs when generating a non-interlaced image from an interlaced image obtained by a video camera and a principle of determination of a moving speed that uses the phenomenon. .
FIG. 4 is a diagram illustrating a main routine of processing executed by the image processing apparatus.
FIG. 5 is a flowchart of data reduction processing.
FIGS. 6A to 6C are views showing a state of data reduction processing according to the moving speed of a subject in a frame.
FIG. 7 is a flowchart of speed determination processing.
FIG. 8 is a flowchart of a modified example of the speed determination process.
FIG. 9 is a flowchart of a modified example of the speed determination process.
FIG. 10 is a flowchart of a modified example of the speed determination process.
FIG. 11 is a flowchart of a modified example of the speed determination process.
FIG. 12 is a flowchart of a modified example of the speed determination process.
[Explanation of symbols]
1 CPU, 2 ROM, 3 RAM, 4 keyboard, 5 mouse, 6 display, 7 hard disk, 8 video camera.

Claims

一連のインターレース画像からノンインターレース画像を形成するインターレース変換手段と、
上記インターレース変換手段により得られるノンインターレース画像のデータに対して２次元離散ウェーブレット変換を行うウェーブレット変換手段と、
上記ウェーブレット変換手段によって得られるウェーブレット係数の内、１ＬＨのサブバンドの係数値の絶対値の合計に基づいて、インターレース画像内の被写体の移動速度を判定する判定手段と、
判定手段によって判定された被写体の移動速度に基づいて、上記ウェーブレット係数の符号化処理を実行する第１符号化処理手段と、
を含んでいることを特徴とするインターレース画像の処理装置。 Interlace conversion means for forming a non-interlaced image from a series of interlaced images;
A wavelet transformation means for performing two-dimensional discrete wavelet transform for the data of the non-interlaced image obtained by the interlace conversion means,
Determination means for determining a moving speed of a subject in an interlaced image based on a sum of absolute values of coefficient values of 1LH subbands of wavelet coefficients obtained by the wavelet transform means;
First encoding processing means for executing the wavelet coefficient encoding processing based on the moving speed of the subject determined by the determining means;
A device for processing an interlaced image, comprising:

請求項１に記載のインターレース画像の処理装置であって、The interlaced image processing apparatus according to claim 1,
上記判定手段が、１ＬＨのサブバンドの計数値の絶対値の合計（The determination means adds the absolute values of the count values of the 1LH subband ( sum1LHsum1LH ）を、１ＨＬのサブバンドの計数値の絶対値の合計（) Is the sum of the absolute values of 1HL subband counts ( sum1HLsum1HL ）で除算した値（) Divided by ( speedspeed ）が第１しきい値（) Is the first threshold ( Vth1Vth1 ）よりも大きいときに被写体の移動速度が高速であり、第１しきい値（) Is larger than the first threshold ( Vth1Vth1 ）以下のときに被写体の移動速度が低速であると判定するものである、インターレース画像の処理装置。) An interlaced image processing apparatus that determines that the moving speed of a subject is low when:

請求項１に記載のインターレース画像の処理装置であって、The interlaced image processing apparatus according to claim 1,
上記ウェーブレット変換手段が、レベル２以上の２次元離散ウェーブレット変換を行うものであり、The wavelet transform means performs level 2 or higher two-dimensional discrete wavelet transform;
上記判定手段が、１ＬＨのサブバンドの計数値の絶対値の合計（The determination means adds the absolute values of the count values of the 1LH subband ( sum1LHsum1LH ）を、２ＬＨのサブバンドの計数値の絶対値の合計（) Is the sum of the absolute values of 2LH subband counts ( sum2LHsum2LH ）で除算した値（) Divided by ( speedspeed ）が第２しきい値) Is the second threshold (Vth2) (Vth2) よりも大きいときに被写体の移動速度が高速であり、第２しきい値（Is larger than the second threshold ( Vth2Vth2 ）以下のときに被写体の移動速度が低速であると判定するものである、インターレース画像の処理装置。) An interlaced image processing apparatus that determines that the moving speed of a subject is low when:

請求項１に記載のインターレース画像の処理装置であって、The interlaced image processing apparatus according to claim 1,
上記ウェーブレット変換手段が、レベル２以上の２次元離散ウェーブレット変換を行うものであり、The wavelet transform means performs level 2 or higher two-dimensional discrete wavelet transform;
上記判定手段が、１ＬＨのサブバンドの計数値の絶対値の合計（The determination means adds the absolute values of the count values of the 1LH subband ( sum1LHsum1LH ）を１ＨＬのサブバンドの計数値の絶対値の合計（) Is the sum of the absolute values of 1HL subband counts ( sum1HLsum1HL ）で除算した値を、２ＬＨのサブバンドの計数値の絶対値の合計（) Is the sum of absolute values of 2LH subband counts ( sum2LHsum2LH ）を２ＨＬのサブバンドの計数値の絶対値の合計（) Is the sum of the absolute values of 2HL subband counts ( sum2HLsum2HL ）で除算した値で、除算した値（) Divided by the value divided by ( speedspeed ）が、第３しきい値) Is the third threshold (Vth3)(Vth3) よりも大きいときに被写体の移動速度が高速であり、第３しきい値（Is larger than the third threshold ( Vth3Vth3 ）以下のときに被写体の移動速度が低速であると判定するものである、インターレース画像の処理装置。) An interlaced image processing apparatus that determines that the moving speed of a subject is low when:

請求項２乃至４の何れかに記載のインターレース画像の処理装置であって、An interlaced image processing apparatus according to any one of claims 2 to 4,
上記判定手段が、上記処理を行う各サブバンドの計数値の絶対値の合計の代わりに、上記処理を行うサブバンドのウェーブレット係数に対して仮の符号化処理を実行して得られる符号量の合計を用いて、インターレース画像内の被写体の移動速度を判定するものである、インターレース画像の処理装置。Instead of the sum of the absolute values of the count values of the subbands for which the above processing is performed, the determination means performs a provisional encoding process on the wavelet coefficients of the subbands for which the above processing is performed. An interlaced image processing apparatus for determining a moving speed of a subject in an interlaced image using a total.

請求項１乃至請求項５の何れかに記載のインターレース画像の処理装置であって、An interlaced image processing apparatus according to any one of claims 1 to 5, wherein
上記第１符号化処理手段が、判定手段による判定結果に基づいて、符号化を行うウェーブレット係数に基づくデータの削減処理を実行するデータ削減処理手段と、削減後のデータ符号化を行う第２符号化処理手段と、を含んでいるものである、インターレース画像の処理装置。The first encoding processing means includes a data reduction processing means for executing data reduction processing based on wavelet coefficients to be encoded based on a determination result by the determination means, and a second code for performing data encoding after the reduction. And an interlaced image processing apparatus.

連続するインターレース画像からノンインターレース画像を形成するインターレース変換工程と、An interlace conversion process for forming a non-interlaced image from continuous interlaced images;
上記インターレース変換工程によって得られるノンインターレース画像のデータに対して２次元離散ウェーブレット変換を行うウェーブレット変換工程と、A wavelet transform step for performing a two-dimensional discrete wavelet transform on the non-interlaced image data obtained by the interlace transform step;
上記ウェーブレット変換工程によって得られるウェーブレット係数の内、１ＬＨのサブバンドの係数値の絶対値の合計に基づいて、インターレース画像内の被写体の移動速度を判定する判定工程と、A determination step of determining a moving speed of a subject in an interlaced image based on a sum of absolute values of coefficient values of subbands of 1 LH among wavelet coefficients obtained by the wavelet transform step;
上記判定工程によって判定された被写体の移動速度に基づいて、上記ウェーブレット係数の符号化処理を実行する第１符号化処理工程と、A first encoding processing step for performing the wavelet coefficient encoding processing based on the moving speed of the subject determined in the determination step;
を行うことを特徴とするインターレース画像の処理方法。And a method for processing an interlaced image.

請求項７に記載のインターレース画像の処理方法であって、The interlaced image processing method according to claim 7,
上記判定工程が、１ＬＨのサブバンドの計数値の絶対値の合計（The determination step is the sum of absolute values of count values of 1 LH subbands ( sum1LHsum1LH ）を、１ＨＬのサブバンドの計数値の絶対値の合計（) Is the sum of the absolute values of 1HL subband counts ( sum1HLsum1HL ）で除算した値（) Divided by ( speedspeed ）が第１しきい値（) Is the first threshold ( Vth1Vth1 ）よりも大きいときに被写体の移動速度が高速であり、第１しきい値（) Is larger than the first threshold ( Vth1Vth1 ）以下のときに被写体の移動速度が低速であると判定するものである、インターレース画像の処理方法。) An interlaced image processing method for determining that the moving speed of the subject is low at the following times.

請求項７に記載のインターレース画像の処理方法であって、The interlaced image processing method according to claim 7,
上記ウェーブレット変換工程が、レベル２以上の２次元離散ウェーブレット変換を行うものであり、The wavelet transform step performs level 2 or higher two-dimensional discrete wavelet transform,
上記判定工程が、１ＬＨのサブバンドの計数値の絶対値の合計（The determination step is the sum of absolute values of count values of 1 LH subbands ( sum1LHsum1LH ）を、２ＬＨのサブバンドの計数値の絶対値の合計（) Is the sum of the absolute values of 2LH subband counts ( sum2LHsum2LH ）で除算した値（) Divided by ( speedspeed ）が第２しきい値) Is the second threshold (Vth2) (Vth2) よりも大きいときに被写体の移動速度が高速であり、第２しきい値（Is larger than the second threshold ( Vth2Vth2 ）以下のときに被写体の移動速度が低速であると判定するものである、インターレース画像の処理方法。) An interlaced image processing method for determining that the moving speed of the subject is low at the following times.

請求項７に記載のインターレース画像の処理方法であって、The interlaced image processing method according to claim 7,
上記ウェーブレット変換工程が、レベル２以上の２次元離散ウェーブレット変換を行うものであり、The wavelet transform step performs level 2 or higher two-dimensional discrete wavelet transform,
上記判定工程が、１ＬＨのサブバンドの計数値の絶対値の合計（The determination step is the sum of absolute values of count values of 1 LH subbands ( sum1LHsum1LH ）を１ＨＬのサブバンドの計数値の絶対値の合計（) Is the sum of the absolute values of 1HL subband counts ( sum1HLsum1HL ）で除算した値を、２ＬＨのサブバンドの計数値の絶対値の合計（) Is the sum of absolute values of 2LH subband counts ( sum2LHsum2LH ）を２ＨＬのサブバンドの計数値の絶対値の合計（) Is the sum of the absolute values of 2HL subband counts ( sum2HLsum2HL ）で除算した値で、除算した値（) Divided by the value divided by ( speedspeed ）が、第３しきい値) Is the third threshold (Vth3)(Vth3) よりも大きいときに被写体の移動速度が高速であり、第３しきい値（Is larger than the third threshold ( Vth3Vth3 ）以下のときに被写体の移動速度が低速であると判定するものである、インターレース画像の処理方法。) An interlaced image processing method for determining that the moving speed of the subject is low at the following times.

請求項８乃至１０の何れかに記載のインターレース画像の処理方法であって、An interlaced image processing method according to any one of claims 8 to 10,
上記判定工程が、上記処理を行う各サブバンドの計数値の絶対値の合計の代わりに、上記処理を行うサブバンドのウェーブレット係数に対して仮の符号化工程を実行して得られる符号量の合計を用いて、インターレース画像内の被写体の移動速度を判定するものである、インターレース画像の処理方法。In the determination step, instead of the sum of absolute values of the count values of the subbands for which the above processing is performed, the code amount obtained by performing a temporary encoding step on the wavelet coefficients of the subbands for which the above processing is performed A method for processing an interlaced image, which uses the sum to determine the moving speed of a subject in the interlaced image.

請求項８乃至請求項１１の何れかに記載のインターレース画像の処理方法であって、An interlaced image processing method according to any one of claims 8 to 11, comprising:
上記第１符号化処理工程が、判定工程による判定結果に基づいて、符号化を行うウェーブレット係数に基づくデータの削減処理を実行するデータ削減処理工程と、削減後のデータ符号化を行う第２符号化処理工程と、を含んでいるものである、インターレース画像の処理方法。The first encoding processing step includes a data reduction processing step for executing data reduction processing based on wavelet coefficients to be encoded based on a determination result in the determination step, and a second code for performing data encoding after the reduction. A process for processing an interlaced image.