JP4077706B2 - Interlaced image processing apparatus and processing method - Google Patents
Interlaced image processing apparatus and processing method Download PDFInfo
- Publication number
- JP4077706B2 JP4077706B2 JP2002289867A JP2002289867A JP4077706B2 JP 4077706 B2 JP4077706 B2 JP 4077706B2 JP 2002289867 A JP2002289867 A JP 2002289867A JP 2002289867 A JP2002289867 A JP 2002289867A JP 4077706 B2 JP4077706 B2 JP 4077706B2
- Authority
- JP
- Japan
- Prior art keywords
- interlaced image
- sum
- absolute values
- subject
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、動画の処理装置、特に一連のインターレース画像の処理を行う画像処理装置に関する。
【0002】
【従来の技術】
近年、高精細画像を取り扱うのに適した圧縮符号化方法としてJEPG2000が知られている。また、上記JPEG2000形式で符号化された静止画像を連続して再生することにより動画表示を行うMotionJPEG2000という規格もある。
【0003】
【発明が解決しようとする課題】
ビデオカメラ等によって撮られる一連のインターレース画像には、1つ前のフレームのインターレース画像との比較において、フレーム間における被写体の移動量(変化量)という静止画には無いパラメータが存在する。上記移動量というパラメータを用いてフレーム内における被写体の移動速度を検出し、適応的に圧縮符号化処理を実行するMotionJPEG2000形式の動画像処理装置が、既にいくつか提案されている。
【0004】
上記MotionJPEG2000形式の動画像処理装置では、フレーム間における被写体の画像データの差分を求め、求めた差分データに基づいて移動速度を求める演算処理を行う。このため、処理するデータ量が多く、演算に時間を要すると共に、多くのメモリを必要としていた。
【0005】
本発明は、上記フレーム間における被写体の画像データの差分を用いることなく、少ない量のデータを用いて、かつ、簡単な演算処理により、上記被写体の移動速度を判定し、当該判定結果に基づいて処理を行う画像処理装置を提供することを目的とする。
【0006】
請求項1に記載のインターレース画像の処理装置は、一連のインターレース画像からノンインターレース画像を形成するインターレース変換手段と、上記インターレース変換手段により得られるノンインターレース画像のデータに対して2次元離散ウェーブレット変換を行うウェーブレット変換手段と、上記ウェーブレット変換手段によって得られるウェーブレット係数の内、1LHのサブバンドの係数値の絶対値の合計に基づいて、インターレース画像内の被写体の移動速度を判定する判定手段と、判定手段によって判定された被写体の移動速度に基づいて、上記ウェーブレット係数の符号化処理を実行する第1符号化処理手段と、を含んでいることを特徴とする。
請求項2に記載のインターレース画像の処理装置は、請求項1に記載のインターレース画像の処理装置であって、上記判定手段が、1LHのサブバンドの計数値の絶対値の合計( sum1LH )を、1HLのサブバンドの計数値の絶対値の合計( sum1HL )で除算した値( speed )が第1しきい値( Vth1 )よりも大きいときに被写体の移動速度が高速であり、第1しきい値( Vth1 )以下のときに被写体の移動速度が低速であると判定するものである、ことを特徴とする。
請求項3に記載のインターレース画像の処理装置は、請求項1に記載のインターレース画像の処理装置であって、上記ウェーブレット変換手段が、レベル2以上の2次元離散ウェーブレット変換を行うものであり、上記判定手段が、1LHのサブバンドの計数値の絶対値の合計( sum1LH )を、2LHのサブバンドの計数値の絶対値の合計( sum2LH )で除算した値( speed )が第2しきい値 (Vth2) よりも大きいときに被写体の移動速度が高速であり、第2しきい値( Vth2 )以下のときに被写体の移動速度が低速であると判定するものである、ことを特徴とする。
請求項4に記載のインターレース画像の処理装置は、請求項1に記載のインターレース画像の処理装置であって、上記ウェーブレット変換手段が、レベル2以上の2次元離散ウェーブレット変換を行うものであり、上記判定手段が、1LHのサブバンドの計数値の絶対値の合計( sum1LH )を1HLのサブバンドの計数値の絶対値の合計( sum1HL )で除算した値を、2LHのサブバンドの計数値の絶対値の合計( sum2LH )を2HLのサブバンドの計数値の絶対値の合計( sum2HL )で除算した値で、除算した値( speed )が、第3しきい値 (Vth3) よりも大きいときに被写体の移動速度が高速であり、第3しきい値( Vth3 )以下のときに被写体の移動速度が低速であると判定するものである、ことを特徴とする。
【0007】
請求項5に記載のインターレース画像の処理装置は、請求項2乃至請求項4の何れかに記載のインターレース画像の処理装置であって、上記判定手段が、上記処理を行う各サブバンドの計数値の絶対値の合計の代わりに、上記処理を行うサブバンドのウェーブレット係数に対して仮の符号化処理を実行して得られる符号量の合計を用いて、インターレース画像内の被写体の移動速度を判定するものである、ことを特徴とする。
請求項6に記載のインターレース画像の処理装置は、請求項2乃至請求項4の何れかに記載のインターフェース画像の処理装置であって、上記第1符号化処理手段が、判定手段による判定結果に基づいて、符号化を行うウェーブレット係数に基づくデータの削減処理を実行するデータ削減処理手段と、削減後のデータ符号化を行う第2符号化処理手段と、を含んでいるものである、ことを特徴とする。
【0008】
請求項7に記載のインターレース画像の処理方法は、連続するインターレース画像からノンインターレース画像を形成するインターレース変換工程と、上記インターレース変換工程によって得られるノンインターレース画像のデータに対して2次元離散ウェーブレット変換を行うウェーブレット変換工程と、上記ウェーブレット変換工程によって得られるウェーブレット係数の内、1LHのサブバンドの係数値の絶対値の合計に基づいて、インターレース画像内の被写体の移動速度を判定する判定工程と、上記判定工程によって判定された被写体の移動速度に基づいて、上記ウェーブレット係数の符号化処理を実行する第1符号化処理工程と、を行うことを特徴とする。
請求項8に記載のインターレース画像の処理方法は、請求項7に記載のインターレース画像の処理方法であって、上記判定工程が、1LHのサブバンドの計数値の絶対値の合計( sum1LH )を、1HLのサブバンドの計数値の絶対値の合計( sum1HL )で除算した値( speed )が第1しきい値( Vth1 )よりも大きいときに被写体の移動速度が高速であり、第1しきい値( Vth1 )以下のときに被写体の移動速度が低速であると判定するものである、ことを特徴とする。
請求項9に記載のインターレース画像の処理方法は、請求項7に記載のインターレース画像の処理方法であって、上記ウェーブレット変換工程が、レベル2以上の2次元離散ウェーブレット変換を行うものであり、上記判定工程が、1LHのサブバンドの計数値の絶対値の合計( sum1LH )を、2LHのサブバンドの計数値の絶対値の合計( sum2LH )で除算した値( speed )が第2しきい値 (Vth2) よりも大きいときに被写体の移動速度が高速であり、第2しきい値( Vth2 )以下のときに被写体の移動速度が低速であると判定するものである、ことを特徴とする。
請求項10に記載のインターレース画像の処理方法は、請求項7に記載のインターレース画像の処理方法であって、上記ウェーブレット変換工程が、レベル2以上の2次元離散ウェーブレット変換を行うものであり、上記判定工程が、1LHのサブバンドの計数値の絶対値の合計( sum1LH )を1HLのサブバンドの計数値の絶対値の合計( sum1HL )で除算した値を、2LHのサブバンドの計数値の絶対値の合計( sum2LH )を2HLのサブバンドの計数値の絶対値の合計( sum2HL )で除算した値で、除算した値( speed )が、第3しきい値 (Vth3) よりも大きいときに被写体の移動速度が高速であり、第3しきい値( Vth3 )以下のときに被写体の移動速度が低速であると判定するものである、ことを特徴とする。
【0009】
請求項11に記載のインターレース画像の処理方法は、請求項8乃至請求項10の何れかに記載のインターレース画像の処理方法であって、上記判定工程が、上記処理を行う各サブバンドの計数値の絶対値の合計の代わりに、上記処理を行うサブバンドのウェーブレット係数に対して仮の符号化工程を実行して得られる符号量の合計を用いて、インターレース画像内の被写体の移動速度を判定するものである、ことを特徴とする。
請求項12に記載のインターレース画像の処理方法は、請求項8乃至請求項10の何れかに記載のインターレース画像の処理方法であって、上記第1符号化処理工程が、判定工程による判定結果に基づいて、符号化を行うウェーブレット係数に基づくデータの削減処理を実行するデータ削減処理工程と、削減後のデータ符号化を行う第2符号化処理工程と、を含んでいるものである、ことを特徴とする。
【0010】
【発明の実施の形態】
本発明の画像処理装置は、ビデオカメラ等により連続して撮り込まれる2フレーム分のインターレース画像を合成して得られる1枚のノンインターレース画像の画像データを処理対象とし、上記ノンインターレース画像の画像データを2次元離散ウェーブレット変換して得られるウェーブレット係数の内、1LHのサブバンドの係数値及び符号量が撮像するフレーム内での被写体の横方向の移動速度に応じて増加するのに対し、1HLのサブバンドの係数値及び符号量は、ほぼ一定の値を示すことに着目し、当該特性を利用してフレーム内での被写体の横方向の移動速度(高速/低速)を判定し、判定結果に応じて、より効果的な符号化処理を実行することを特徴とする。
【0011】
以下、添付の図面を用いて本発明の画像処理装置の実施の形態、及び、フレーム内での被写体の移動速度の判定処理についての種々の変形例について説明する。図1は、インターレース画像の処理装置10の全体構成を示す図である。インターレース画像の処理装置10は、中央演算処理装置(CPU)1を中心に、画像処理プログラムが格納されているROM2、上記画像処理プログラムの実行時に使用されるRAM3、マン・マシン・インターフェースであるキーボード4及びマウス5、ディスプレイ6、主記録装置であり、ビデオカメラ8で撮影した映像の符号化処理途中における画像データ及び符号化処理後の符号データを記録するハードディスク(HD)7、並びに、ビデオカメラ8で構成される。
【0012】
図2は、ビデオカメラ8により撮影される一連のフレームを示す図である。ビデオカメラ8は、撮影の開始時間t0と共にフレーム0の画像のインターレース形式によるスキャンを行い、1/60秒後にフレーム1の画像のインターレース形式によるスキャンを行う。そして終了時間tnまでの間に1/60秒単位で合計n枚のフレームの画像をインターレース形式でスキャンする。
【0013】
図3の(a)〜(d)は、ビデオカメラ8により得られるインターレース画像からノンインターレース画像を生成する際に生じる現象と当該現象を利用する移動速度の判定原理について説明するための図である。図3の(a)に示すように、インターレース形式では、1画素のライン(実線で示す走査ライン)をスキャンした後、直ぐ下の画素のライン(点線で示す走査ライン)を飛ばして2画素下のライン(実線で示す走査ライン)をスキャンする。インターレース画像Aのスキャン終了後、ビデオカメラ8は、直ちに、図3の(b)に示すように、前回スキャンしなかった画素ライン(実線で示す走査ライン)のスキャンを行う。これによりインターレース画像Bが撮影される。この撮影時、あるラインをスキャンしてから直ぐ下の画素のラインをスキャンするのに1/60秒経過している。図3の(a)と(b)を比較すれば解るように、上記1/60秒の間に被写体15は右方向(当然左方向の場合もある)に移動している。このため、図3の(c)に示すように、インターレース画像Aにインターレース画像Bを重ね合わせて成るノンインターレース画像の両端部分には、数画素分のくし型のずれが生じる。
【0014】
なお、上記ノンインターレース画像のデータは、インターレース画像A及びインターレース画像Bの画像データをスキャンしたライン毎(上記の例では1画素単位の走査ライン毎)に、交互に並べる(スキャンしていないラインのデータを補充する)ことで形成することができる。
【0015】
図3の(c)に示すくし型のずれの量Lは、被写体15のインターレース画像内での移動速度に比例して長くなる。図3の(d)に示すように、上記くし型のずれを有するノンインターレス画像の画像データを2次元離散ウェーブレット変換して得られる1LHのサブバンドの係数値は、横のエッジ成分E1の合計、即ち、被写体15のインターレース画像内での移動速度に比例して増加する。また、1HLのサブバンドの係数値は、縦のエッジ成分E2の合計に比例して係数値が増加するが、一般の撮影では殆どの被写体は横方向に移動するという経験則に従い、被写体の移動速度によって殆ど変化しないものであるとして取り扱う。以下に説明するように、画像処理装置10では、1LHのサブバンドの係数値の上記特性を利用して、インターレース画像内での被写体の移動速度を判定する。
【0016】
図4は、画像処理装置10のCPU1が実行する画像処理プログラムのメインルーチンのフローチャートである。まず、ビデオカメラ8により一連の複数のフレーム(図2を参照)で構成されるインターレース形式の画像データを取得する(ステップS1)。具体的には、ビデオカメラ8により1/60秒単位でスキャンされるインターレース画像のデータをRAM3又はハードディスク7に記録する。なお、連続するフレームのインターレース画像のデータの取得方法としては、上記ビデオカメラ8を用いる他、例えば、圧縮符号化前の状態でハードディスク7に一連の複数のフレーム分のインターレース画像のデータを記録しておき、当該データを順に読み出すことも考えられる。
【0017】
連続してスキャンされるフレーム2枚分のインターレース画像を合成(いわゆるインターレース変換)し、図3の(c)に示したようなノンインターレース画像を形成する(ステップS2)。当該インターレース変換処理は、例えば、2枚の連続してスキャンされたインターレース画像の画像データを、RAM3にスキャンしたライン毎に交互に出力することにより行う。または、先に読み込んだインターレース画像のデータをRAM3内に設けたノンインターレース画像のデータマップに展開した後、引き続きスキャンするインターフェース画像のデータを上記データマップに書き込むことにより行っても良い。
【0018】
上記インターレース変換により得られたノンインターレース画像の画像データを、Y,Cr,Cbの色成分データに変換する(ステップS3)。以降の処理部で各成分の色データは同じ手順で並列に処理されるが、説明の簡単化のため、以下、Y成分の色データに付いてのみ説明する。
【0019】
Y成分の色データにレベル3の2次元離散ウェーブレット変換を施し、得られるウェーブレット係数をRAM3又はハードディスク7に記録する(ステップS4)。当該処理により得られたウェーブレット係数に、JPEG2000に規定のスカラ量子化処理を施した後、処理後のデータをRAM3またはハードディスク7に記録する(ステップS5)。スカラ量子化後、JPEG2000に規定の手順によるエントロピー符号化処理(いわゆる係数モデリング処理)を施し、処理後のデータをRAM3又はハードディスク7に記録する(ステップS6)。上記ステップS3からステップS6までの処理は、JPEG2000に準拠して行う周知の処理である。
【0020】
次にデータ削減処理を行う(ステップS7)。当該処理は、画像処理装置10独自の処理であり、後に詳しく説明するように、RAM3又はハードディスク7に記録されている1LHのサブバンドのウェーブレット係数に基づいて被写体の移動速度が高速であるのか、又は低速であるのかを判定する速度判定処理と、当該処理により被写体が高速で移動していると判定された画像については、上記RAM3又はハードディスク7に記録されているエントロピ符号化後のデータに対し、LH成分を重視したデータ削減処理を施し、被写体が低速で移動していると判定された画像については、HL成分を重視したデータ削減処理を施す処理のことをいう。
【0021】
上記データ削減処理後のデータにJPEG2000に規定されている算術符号化処理を実行し(ステップS8)、得られる符号データをハードディスク7に記録する(ステップS9)。全てのフレーム処理が終了していない場合(ステップS10でNO)、上記ステップS1に戻り、ビデオカメラ8により次に撮影された画像の符号化処理を実行する。他方、ビデオカメラ8による撮影が終了し、全ての符号化処理が終了した場合(ステップS10でYES)、処理を終了する。
【0022】
上述するように、ステップS1、S2、S7以外の処理(ステップS3〜S6,S8)は、全てJPEG2000の規格に従う手順で実行されるものであり、これらの処理は、ステップS9及びステップS10の処理と共に、ハードウェア回路により実現しても良い。これにより処理の高速化が図られる。なお、JPEG2000に準拠する符号化処理を全てハードウェア回路で実現する画像処理装置は、既に存在する。
【0023】
更に、インターレース変換(ステップS2)やデータ削減処理(ステップS7)をハード回路により実現しても良い。例えば、インターレース変換の処理は、最初にスキャンしたインターレース画像の画像データを保持しておく第1レジスタと、引き続きスキャンしたインターレース画像の画像データを保持しておく第2レジスタと、第2レジスタへのデータの書き込み終了と共に、第1及び第2レジスタからライン毎に交互にデータをノンインターレース用の画像メモリ又はバッファメモリに出力する第1リレースイッチと、第1及び第2レジスタからデータを出力している間、引き続きスキャンされるインターレース画像を保持するための第3及び第4レジスタ並びに当該第4レジスタへのデータの書き込み終了と共に第3及び第4レジスタからライン毎に交互にデータを上記ノンインターレース用の画像メモリ又はバッファメモリに出力する第2リレースイッチを用意することによりハード回路として実現することができる。これにより処理の高速化が図られる。
【0024】
図5は、データ削減処理(図4、ステップS7)のフローチャートである。まず、レベル3の2次元離散ウェーブレット変換(図4、ステップS4)により得られたウェーブレット係数の1LHのサブバンドの係数値に基づいて、フレーム内の被写体の移動速度が高速/低速の何れであるのかの判定を行う(ステップS11)。当該処理内容については以下に詳しく説明する。
【0025】
上記ステップS11における速度判定処理の結果、高速と判断された場合(ステップS12でYES)、以下のLH成分を重視したデータの削減処理を行う。これにより、良好な再現性を保ちながら、更なるデータの削減を可能にする。具体的には、図4のステップS6において実行したエントロピー符号化後のデータの内、1LHのサブバンドのデータをビットプレーンに展開した場合の最下位ビット(LSB)から2ビット分のデータを削除する(ステップS13)。更に、図4のステップS6において実行したエントロピー符号化後のデータの内、3LHのサブバンドのデータをビットプレーンに展開した場合の最下位ビット(LSB)から1ビット分のデータを削除する(ステップS14)。
【0026】
他方、インターレース画像内における被写体の移動速度が低速であると判断された場合(ステップS12でNO)、以下のHL成分を重視したデータの削減処理を行う。これにより、良好な再現性を保ちながら、更なるデータの削減を可能にする。具体的には、図4のステップS6において実行したエントロピー符号化後のデータの内、1LHのサブバンドのデータをビットプレーンに展開した場合の最下位ビット(LSB)から3ビット分のデータを削除する(ステップS15)。低速の場合、図4のステップS6において実行したエントロピー符号化後のデータの内の3LHのサブバンドのデータは削除しない。上記処理の後、図4のメインルーチンにリターンする。
【0027】
図6の(a)は、上記エントロピー符号化後のデータをビットプレーンに分解した状態を示す図であり、図6の(b)は、図5に示すフローチャートのステップS11において高速と判断された場合にステップS13及びS14において実行する処理内容を図解するものである。図6の(b)に斜線を付して示すように、ビットプレーンに分解された1LHのサブバンドの係数の内、最下位ビットから2ビット分のデータを削除する。また、3LHのサブバンドの係数の内、最下位ビットのデータを削除する。
【0028】
また、図6の(c)は、上記ステップS11において低速と判断された場合にステップS15において実行する処理内容を図解するものである。図6の(c)に斜線を付して示すように、ビットプレーンに分解された1LHのサブバンドの係数の内、最下位ビットから3ビット分のデータを削除する。この場合、3LHのサブバンドの係数のデータは削除しない。
【0029】
図7は、速度判定処理(図5、ステップS11)の具体的な処理内容のフローチャートである。まず、図4に示したメインルーチンのステップS4において実行したレベル3の2次元離散ウェーブレット変換により得られるウェーブレット係数から1LHの係数の絶対値の和であるsum1LHを求める(ステップS20)。次に1HLの係数の絶対値の和であるsum1HLを求める(ステップS21)。sum1LH/sum1HLの値をフレーム内における被写体の移動速度を表す数値speedとして求める(ステップS22)。上記speedは、フレーム内における被写体の移動速度に略比例して変化すると考えることができる。というのは、上述したように、1LHの係数の値が画像の横方向のエッジ量の増加、即ち、フレーム内での被写体の移動速度の上昇に比例して増えるのに対して、1HLの係数の値が画像の縦方向のエッジ量に比例する値を取り、経験上、被写体は殆どの場合横方向にしか移動しないため、比較的安定した値をとるためである。
【0030】
上記ステップS22において求めた係数speedが実験的に定められるしきい値Vth1よりも大きい場合には(ステップS23でYES)、フレーム内での被写体の移動速度が高速であると判定することができる(ステップS24)。他方、係数speedがしきい値Vth1よりも小さい場合には(ステップS23でNO)、フレーム内での被写体の移動速度が低速であると判定することができる(ステップS25)。上記判定の後、図5のフローチャートにリターンする。
【0031】
以上に説明するように、画像処理装置10では、符号化を行う画像データに対して行ったレベル3の2次元離散ウェーブレット変換により得られるウェーブレット係数の内、特に1LHのサブバンドの係数値及び符号量が、撮像するフレーム内での被写体の横方向の移動速度に応じて増加するのに対し、1HLのサブバンドの係数値及び符号量は、ほぼ一定の値を示すことに着目し、当該特性を利用してフレーム内での被写体の横方向の移動速度を検出し、検出した値に応じて、より効果的な符号化処理を実行する。これにより、フレーム間の画像データの差分を用いることなく、少ない量のデータを用いて、かつ、簡単な演算処理により、上記物体の移動速度を検出し、適応的に圧縮符号化を行うことができる。
【0032】
(2)変形例1
上記画像処理装置10では、図7のフローに示すように、1LH及び1HLのサブバンドの係数値に基づいてフレーム内の被写体の移動速度の判定を行ったが、ウェーブレット係数の内、1LHの係数値がくし型のずれの部分におけるエッジについての情報を含むのに対し、2LHのサブバンドの係数値は、当該くし型のずれを含む2画素分のラインを単位として求めた値であるため、被写体の移動速度によらず比較的安定した値になる。そこで、速度判定処理の変形例として、1HLの代わりに2LHのサブバンドの係数値を用いて被写体の移動速度を判定するものを以下に説明する。
【0033】
図8は、速度判定処理(図5のステップS11)の変形例1のフローチャートである。まず、図4に示したメインルーチンのステップS4において実行した2次元離散ウェーブレット変換により得られるウェーブレット係数から1LHのサブバンドの係数の絶対値の和であるsum1LHを求める(ステップS30)。次に、2LHのサブバンドの係数の絶対値の和であるsum2LHを求める(ステップS31)。sum1LH/sum2LHの値をフレーム内における被写体の移動速度を表す数値speedとして求める(ステップS32)。係数speedが実験的に定められるしきい値Vth2より大きい場合(ステップS33でYES)、フレーム内の被写体が高速で移動している判定する(ステップS34)。一方、係数speedがしきい値Vth2以下の場合(ステップS33でNO)、フレーム内の被写体が低速で移動していると判定する(ステップS35)。上記判定の後、図5のフローチャートにリターンする。
【0034】
(3)変形例2
ウェーブレット係数の内、第1レベルの係数(1LH,1HL,1LL)は、インターレース画像を合成して形成したノンインターレース画像に表れるくし型のずれの部分についての情報が反映される。これに対して第2レベルの係数(2LH,2HL,2LL)は、上記くし型のずれを2画素分のラインを単位として求めた値であるため、被写体の移動速度によらず比較的安定した値であると考えられる。変形例2では、上記考えに基づいて求められる判定式の内、横方向に長く伸びるエッジ部分を多く有する被写体が静止又は低速で移動している場合を高速に移動していると誤判定することなく、フレーム内を被写体が高速で移動していることを実験的に最も正確に判定できた判定式を用いてフレーム内の被写体の移動速度を判定するものを用いる場合について説明する。
【0035】
図9は、速度判定処理(図5のステップS11)の変形例2のフローチャートである。まず、図4に示したメインルーチンのステップS4において実行した2次元離散ウェーブレット変換により得られるウェーブレット係数から1LHの係数の絶対値の和であるsum1LHを求める(ステップS40)。1HLの係数の絶対値の和であるsum1HLを求める(ステップS41)。2LHの係数の絶対値の和であるsum2LHを求める(ステップS42)。2HLの係数の絶対値の和であるsum2HLを求める(ステップS43)。(sum1LH/sum1HL)/(sum2LH/sum2HL)の値をフレーム内における被写体の移動速度を表す数値speedとして求める(ステップS44)。係数speedが実験的に定められるしきい値Vth3より大きい場合(ステップS45でYES)、フレーム内の被写体が高速で移動している判断する(ステップS46)。一方、係数speedがしきい値Vth3以下の場合(ステップS45でNO)、フレーム内の被写体が低速で移動していると判断する(ステップS47)。上記判定の後、図5のフローチャートにリターンする。
【0036】
(4)他の変形例
上述するようにフレーム内の被写体の移動速度は、1LHのウェーブレット係数の値に比例するが、当該ウェーブレット係数を5:3のロスレス・フィルタを用いて符号化して得られる1LHのサブバンドの符号データの量にも当然比例する。以下、図7、図8及び図9に示した3つの速度判定処理を仮算術符号化処理により求めた符号の量に基づいて行う場合について順に簡単に説明する。
【0037】
図10は、図7に示した速度判定処理を仮の算術符号化処理により求めた符号の量に基づいて行う場合の処理手順を示す図である。まず、図4のメインルーチンのステップS6において実行したエントロピー符号化により得られるデータに対し、仮の算出符号化処理を施す(ステップS50)。符号化後のデータの内、1LHのサブバンドの係数を符号化したデータの符号量の合計であるsum1LHを求める(ステップS51)。1HLのサブバンドの係数を符号化したデータの符号量の合計であるsum1HLを求める(ステップS52)。sum1LH/sum1HLの計算により係数speedを求める(ステップS53)。求めた係数speedの値が実験的に定められるしきい値Vth4より大きい場合には(ステップS54でYES)、フレーム内の被写体の移動速度は高速であると判定する(ステップS55)。一方、係数speedがしきい値Vth4以下の場合には(ステップS54でNO)、フレーム内の被写体の移動速度は低速であると判定する(ステップS56)。上記判定処理の後、図5のフローチャートにリターンする。
【0038】
図11は、図8に示した速度判定処理を仮の算術符号化処理により求めた符号の量に基づいて行う場合の処理手順を示す図である。まず、図4のメインルーチンのステップS6において実行したエントロピー符号化により得られるデータに対し、仮の算出符号化処理を施す(ステップS60)。符号化後のデータの内、1LHのサブバンドの係数を符号化したデータの符号量の合計であるsum1LHを求める(ステップS61)。2LHのサブバンドの係数を符号化したデータの符号量の合計であるsum2LHを求める(ステップS62)。sum1LH/sum2LHの計算により係数speedを求める(ステップS63)。求めた係数speedの値が実験的に定められるしきい値Vth5より大きい場合には(ステップS64でYES)、フレーム内の被写体の移動速度は高速であると判定する(ステップS65)。一方、係数speedがしきい値Vth5以下の場合には(ステップS64でNO)、フレーム内の被写体の移動速度は低速であると判定する(ステップS66)。上記判定処理の後、図5のフローチャートにリターンする。
【0039】
図12は、図9に示した速度判定処理を仮の算術符号化処理により得られる符号の量に基づいて行う場合の処理手順を示す図である。まず、図4のメインルーチンのステップS6において実行したエントロピー符号化により得られるデータに対し、仮の算出符号化処理を施す(ステップS70)。符号化後のデータの内、1LHのサブバンドの係数を符号化したデータの符号量の合計であるsum1LHを求める(ステップS71)。1HLのサブバンドの係数を符号化したデータの符号量の合計であるsum1HLを求める(ステップS72)。2LHのサブバンドの係数を符号化したデータの符号量の合計であるsum2LHを求める(ステップS73)。2HLのサブバンドの係数を符号化したデータの符号量の合計であるsum2HLを求める(ステップS74)。(sum1LH/sum1HL)/(sum2LH/sum2HL)の計算により係数speedを求める(ステップS75)。求めた係数speedの値が実験的に定められるしきい値Vth6より大きい場合には(ステップS76でYES)、フレーム内の被写体の移動速度は高速であると判定する(ステップS77)。一方、係数speedがしきい値Vth6以下の場合には(ステップS76でNO)、フレーム内の被写体の移動速度は低速であると判定する(ステップS78)。上記判定処理の後、図5のフローチャートにリターンする。
【0040】
以上に説明するように図10〜図12に示す3つの変形例を用いてもフレーム内の被写体の移動速度を簡単に判定することができる。
【0041】
【発明の効果】
請求項1乃至請求項4に記載のインターレース画像の処理装置では、2次元離散ウェーブレット変換により得られる1LHのサブバンドの係数値の絶対値の合計に基づいてフレーム内の被写体の移動速度を判定する。これにより、フレーム間の被写体の移動量を求めることなく、簡単な演算処理により被写体の移動速度の判定を行うことができる。
【0042】
請求項5に記載のインターレース画像の処理装置では、請求項2乃至請求項4の何れかに記載の処理装置であって、2次元離散ウェーブレット変換により得られる1LHのサブバンドの係数値を仮に算術符号化することにより得られる符号量の合計に基づいてフレーム内の被写体の移動速度を判定する。これにより、フレーム間の被写体の移動量を求めることなく、簡単な演算処理により被写体の移動速度の判定を行うことができる。
請求項6に記載のインターレース画像の処理装置では、請求項2乃至請求項4の何れかに記載の処理装置であって、更に、判定手段による判定結果に基づいて、データの削減処理を実行することができる。
【0043】
請求項7乃至請求項10に記載のインターレース画像の処理方法では、2次元離散ウェーブレット変換により得られる1LHのサブバンドの係数値の絶対値の合計に基づいてフレーム内の被写体の移動速度を判定する。これにより、フレーム間の被写体の移動量を求めることなく、簡単な演算処理により被写体の移動速度の判定を行うことができる。
【0044】
請求項11に記載のインターレース画像の処理方法では、請求項8乃至請求項10の何れかに記載の処理方法であって、2次元離散ウェーブレット変換により得られる1LHのサブバンドの係数値を仮に算術符号化することにより得られる符号量の合計に基づいてフレーム内の被写体の移動速度を判定する。これにより、フレーム間の被写体の移動量を求めることなく、簡単な演算処理により被写体の移動速度の判定を行うことができる。
請求項12に記載のインターフェース画像の処理方法では、請求項8乃至請求項10の何れかに記載の処理方法であって、更に、判定工程による判定結果に基づいて、データの削減処理を実行することができる。
【図面の簡単な説明】
【図1】 画像処理装置の全体構成図である。
【図2】 ビデオカメラにより1/60秒単位で撮影される一連のフレーム画像を示す図である。
【図3】 (a)〜(d)は、ビデオカメラにより得られるインターレース画像からノンインターレース画像を生成する際に生じる現象と当該現象を利用する移動速度の判定原理について説明するための図である。
【図4】 画像処理装置の実行する処理のメインルーチンを示す図である。
【図5】 データ削減処理のフローチャートである。
【図6】 (a)〜(c)は、フレーム内の被写体の移動速度に応じたデータ削減処理の様子を示す図である。
【図7】 速度判定処理のフローチャートである。
【図8】 速度判定処理の変形例のフローチャートである。
【図9】 速度判定処理の変形例のフローチャートである。
【図10】 速度判定処理の変形例のフローチャートである。
【図11】 速度判定処理の変形例のフローチャートである。
【図12】 速度判定処理の変形例のフローチャートである。
【符号の説明】
1 CPU、2 ROM、3 RAM、4 キーボード、5 マウス、6 ディスプレイ、7 ハードディスク、8 ビデオカメラ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image processing apparatus, and more particularly to an image processing apparatus that processes a series of interlaced images.
[0002]
[Prior art]
In recent years, JEPPG2000 is known as a compression encoding method suitable for handling high-definition images. There is also a standard called Motion JPEG 2000 that displays a moving image by continuously playing still images encoded in the JPEG 2000 format.
[0003]
[Problems to be solved by the invention]
In a series of interlaced images taken by a video camera or the like, there is a parameter that does not exist in a still image, that is, the amount of movement (change amount) of a subject between frames in comparison with the interlaced image of the previous frame. Several Motion JPEG 2000-format moving image processing apparatuses that detect the moving speed of a subject in a frame using the parameter of the moving amount and adaptively perform compression encoding processing have already been proposed.
[0004]
The motion image processing apparatus in the Motion JPEG 2000 format obtains a difference in subject image data between frames and performs a calculation process for obtaining a moving speed based on the obtained difference data. For this reason, the amount of data to be processed is large, time is required for calculation, and a large amount of memory is required.
[0005]
The present invention determines the moving speed of the subject by using a small amount of data and a simple calculation process without using the difference of the subject image data between the frames, and based on the determination result. An object of the present invention is to provide an image processing apparatus that performs processing.
[0006]
The interlaced image processing apparatus according to
An interlaced image processing apparatus according to a second aspect is the interlaced image processing apparatus according to the first aspect, wherein the determination unit adds the absolute values of the count values of the subbands of 1LH ( sum1LH ) Is the sum of the absolute values of 1HL subband counts ( sum1HL ) Divided by ( speed ) Is the first threshold ( Vth1 ) Is larger than the first threshold ( Vth1 ) It is determined that the moving speed of the subject is low at the following times.
The interlaced image processing apparatus according to claim 3 is the interlaced image processing apparatus according to
The interlaced image processing apparatus according to
[0007]
The interlaced image processing apparatus according to
An interlaced image processing apparatus according to a sixth aspect is the interface image processing apparatus according to any one of the second to fourth aspects, wherein the first encoding processing means determines the determination result by the determination means. And a data reduction processing means for executing data reduction processing based on wavelet coefficients to be encoded, and a second encoding processing means for performing data encoding after the reduction. Features.
[0008]
The interlaced image processing method according to
The interlaced image processing method according to
The interlaced image processing method according to
The interlaced image processing method according to
[0009]
The interlaced image processing method according to
An interlaced image processing method according to a twelfth aspect is the interlaced image processing method according to any one of the eighth to tenth aspects, wherein the first encoding processing step is a result of determination by the determination step. And a data reduction processing step for executing data reduction processing based on wavelet coefficients to be encoded, and a second encoding processing step for performing data encoding after reduction. Features.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
An image processing apparatus according to the present invention processes image data of one non-interlaced image obtained by synthesizing two frames of interlaced images continuously captured by a video camera or the like, andNon-interlaced imageAmong the wavelet coefficients obtained by performing two-dimensional discrete wavelet transformation on the image data, the coefficient value and code amount of the 1LH subband increase in accordance with the lateral movement speed of the subject within the imaged frame. Focusing on the fact that the coefficient value and code amount of the 1HL sub-band show almost constant values, the lateral movement speed (high speed / low speed) of the subject within the frame is determined using the characteristics, A more effective encoding process is executed according to the determination result.
[0011]
DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of an image processing apparatus according to the present invention and various modifications of a process for determining a moving speed of a subject within a frame will be described below with reference to the accompanying drawings. FIG. 1 is a diagram illustrating an overall configuration of an interlaced
[0012]
FIG. 2 is a diagram showing a series of frames taken by the
[0013]
3A to 3D are diagrams for explaining a phenomenon that occurs when a non-interlaced image is generated from an interlaced image obtained by the
[0014]
Note that the non-interlaced image data is alternately arranged for each line obtained by scanning the image data of the interlaced image A and the interlaced image B (in the above example, for each scanning line of one pixel unit). It can be formed by supplementing data).
[0015]
The amount L of the comb-shaped shift shown in FIG. 3C increases in proportion to the moving speed of the subject 15 in the interlaced image. As shown in FIG. 3 (d), the coefficient value of the 1LH subband obtained by two-dimensional discrete wavelet transform of the image data of the non-interlaced image having the comb-shaped shift is the horizontal edge component E1. The total increases, that is, in proportion to the moving speed of the subject 15 within the interlaced image. The coefficient value of the 1HL subband increases in proportion to the sum of the vertical edge components E2, but the subject movement follows the empirical rule that most subjects move in the horizontal direction in general shooting. Treated as being almost unchanged by speed. As will be described below, the
[0016]
FIG. 4 is a flowchart of the main routine of the image processing program executed by the
[0017]
Interlaced images for two frames scanned continuously are synthesized (so-called interlaced conversion) to form a non-interlaced image as shown in FIG. 3C (step S2). The interlace conversion process is performed, for example, by alternately outputting image data of two consecutively scanned interlace images for each scanned line in the RAM 3. Alternatively, after the previously read interlaced image data is developed into a non-interlaced image data map provided in the RAM 3, the interface image data to be continuously scanned may be written in the data map.
[0018]
The image data of the non-interlaced image obtained by the interlace conversion is converted into Y, Cr, Cb color component data (step S3). In the subsequent processing units, the color data of each component is processed in parallel in the same procedure, but for the sake of simplicity, only the Y component color data will be described below.
[0019]
The Y component color data is subjected to level 3 two-dimensional discrete wavelet transform, and the obtained wavelet coefficients are recorded in the RAM 3 or the hard disk 7 (step S4). The wavelet coefficient obtained by the processing is subjected to the scalar quantization processing prescribed in JPEG2000, and the processed data is recorded in the RAM 3 or the hard disk 7 (step S5). After scalar quantization, JPEG2000 is subjected to entropy encoding processing (so-called coefficient modeling processing) according to a prescribed procedure, and the processed data is recorded in the RAM 3 or the hard disk 7 (step S6). The processes from step S3 to step S6 are well-known processes performed in accordance with JPEG2000.
[0020]
Next, data reduction processing is performed (step S7). This process is unique to the
[0021]
An arithmetic coding process defined in JPEG2000 is executed on the data after the data reduction process (step S8), and the obtained code data is recorded on the hard disk 7 (step S9). If all the frame processes have not been completed (NO in step S10), the process returns to step S1 and an encoding process for the next image taken by the
[0022]
As described above, the processes other than steps S1, S2, and S7 (steps S3 to S6 and S8) are all executed according to the procedure according to the JPEG2000 standard. These processes are the processes of steps S9 and S10. In addition, it may be realized by a hardware circuit. This speeds up the processing. Note that there is already an image processing apparatus that implements all the encoding processing compliant with JPEG2000 with a hardware circuit.
[0023]
Furthermore, interlace conversion (step S2) and data reduction processing (step S7) may be realized by a hardware circuit. For example, the interlace conversion process includes the first register that holds the image data of the first scanned interlaced image, the second register that holds the image data of the scanned interlaced image, and the second register. Upon completion of data writing, the first relay switch that outputs data alternately from the first and second registers line by line to the non-interlaced image memory or buffer memory, and data is output from the first and second registers. The third and fourth registers for holding the interlaced image to be continuously scanned, and the data for the non-interlace alternately from the third and fourth registers at the end of the writing of data to the fourth register. Relay that outputs to the image memory or buffer memory By providing a switch it can be implemented as a hardware circuit. This speeds up the processing.
[0024]
FIG. 5 is a flowchart of the data reduction process (FIG. 4, step S7). First, based on the coefficient value of the 1LH subband of the wavelet coefficient obtained by the level 3 two-dimensional discrete wavelet transform (FIG. 4, step S4), the moving speed of the subject in the frame is either high speed or low speed. Is determined (step S11). The processing contents will be described in detail below.
[0025]
As a result of the speed determination process in step S11, if it is determined that the speed is high (YES in step S12), the following data reduction process that emphasizes the LH component is performed. This enables further data reduction while maintaining good reproducibility. Specifically, of the entropy-encoded data executed in step S6 of FIG. 4, the 2-bit data is deleted from the least significant bit (LSB) when 1LH subband data is expanded on the bit plane. (Step S13). Further, of the entropy-encoded data executed in step S6 in FIG. 4, 1-bit data is deleted from the least significant bit (LSB) when 3LH subband data is expanded on the bit plane (step S6). S14).
[0026]
On the other hand, when it is determined that the moving speed of the subject in the interlaced image is low (NO in step S12), the following data reduction process is performed with emphasis on the HL component. This enables further data reduction while maintaining good reproducibility. Specifically, among the data after entropy coding executed in step S6 of FIG. 4, the data for 3 bits is deleted from the least significant bit (LSB) when 1LH sub-band data is expanded on the bit plane. (Step S15). In the case of the low speed, 3LH subband data in the data after entropy coding executed in step S6 of FIG. 4 is not deleted. After the above processing, the process returns to the main routine of FIG.
[0027]
6A is a diagram illustrating a state where the data after the entropy coding is decomposed into bit planes, and FIG. 6B is determined to be high speed in step S11 of the flowchart illustrated in FIG. In this case, the processing contents executed in steps S13 and S14 are illustrated. As shown by hatching in FIG. 6B, data of 2 bits is deleted from the least significant bit among the coefficients of the 1 LH subband decomposed into bit planes. The least significant bit data is deleted from the 3LH subband coefficients.
[0028]
FIG. 6C illustrates the contents of processing executed in step S15 when it is determined that the speed is low in step S11. As shown by hatching in FIG. 6C, data of 3 bits is deleted from the least significant bit among the coefficients of 1 LH subband decomposed into bit planes. In this case, the 3LH subband coefficient data is not deleted.
[0029]
FIG. 7 is a flowchart of specific processing contents of the speed determination processing (FIG. 5, step S11). First, sum1LH, which is the sum of absolute values of 1LH coefficients, is obtained from the wavelet coefficients obtained by the level 3 two-dimensional discrete wavelet transform executed in step S4 of the main routine shown in FIG. 4 (step S20). Next, sum1HL, which is the sum of absolute values of 1HL coefficients, is obtained (step S21). The value of sum1LH / sum1HL is obtained as a numerical speed representing the moving speed of the subject in the frame (step S22). The speed can be considered to change substantially in proportion to the moving speed of the subject in the frame. This is because, as described above, the value of the 1LH coefficient increases in proportion to the increase in the edge amount in the horizontal direction of the image, that is, the increase in the moving speed of the subject within the frame, whereas the coefficient of 1HL. This value is a value that is proportional to the amount of edge in the vertical direction of the image, and from experience, the subject moves only in the horizontal direction in most cases, and thus takes a relatively stable value.
[0030]
If the coefficient speed obtained in step S22 is larger than the experimentally determined threshold value Vth1 (YES in step S23), it can be determined that the moving speed of the subject within the frame is high ( Step S24). On the other hand, when the coefficient speed is smaller than the threshold value Vth1 (NO in step S23), it can be determined that the moving speed of the subject within the frame is low (step S25). After the above determination, the process returns to the flowchart of FIG.
[0031]
As described above, in the
[0032]
(2)
In the
[0033]
FIG. 8 is a flowchart of
[0034]
(3)
Of the wavelet coefficients, the first level coefficients (1LH, 1HL, 1LL) reflect information on the comb-shaped shift portion appearing in the non-interlace image formed by synthesizing the interlace images. On the other hand, the second-level coefficients (2LH, 2HL, 2LL) are values obtained by calculating the above-mentioned comb-shaped deviation in units of lines corresponding to two pixels, and thus are relatively stable regardless of the moving speed of the subject. It is considered to be a value. In the second modification, among the determination formulas obtained based on the above idea, when a subject having many edge portions extending in the horizontal direction is moving at a low speed or at a low speed, it is erroneously determined as moving at a high speed. In the following, a case will be described in which an object that determines the moving speed of an object in a frame is determined by using a determination expression that can most accurately experimentally determine that the object is moving at high speed in the frame.
[0035]
FIG. 9 is a flowchart of
[0036]
(4) Other variations
As described above, the moving speed of the object in the frame is proportional to the value of the 1LH wavelet coefficient, but the code data of the 1LH subband obtained by encoding the wavelet coefficient using a 5: 3 lossless filter. Of course, it is proportional to the amount of. Hereinafter, the case where the three speed determination processes shown in FIGS. 7, 8, and 9 are performed based on the amount of codes obtained by the provisional arithmetic encoding process will be briefly described in order.
[0037]
FIG. 10 is a diagram illustrating a processing procedure when the speed determination process illustrated in FIG. 7 is performed based on the amount of codes obtained by the provisional arithmetic encoding process. First, provisional calculation encoding processing is performed on the data obtained by entropy encoding executed in step S6 of the main routine of FIG. 4 (step S50). Sum1LH which is the sum of the code amount of the data obtained by encoding the coefficients of the 1LH subband among the encoded data is obtained (step S51). Sum1HL, which is the sum of code amounts of data obtained by encoding the coefficients of the 1HL subband, is obtained (step S52). A coefficient speed is obtained by calculating sum1LH / sum1HL (step S53). If the obtained coefficient speed is larger than the experimentally determined threshold value Vth4 (YES in step S54), it is determined that the moving speed of the subject in the frame is high (step S55). On the other hand, when the coefficient speed is equal to or lower than the threshold value Vth4 (NO in step S54), it is determined that the moving speed of the subject in the frame is low (step S56). After the determination process, the process returns to the flowchart of FIG.
[0038]
FIG. 11 is a diagram illustrating a processing procedure when the speed determination process illustrated in FIG. 8 is performed based on the amount of codes obtained by the provisional arithmetic encoding process. First, provisional calculation encoding processing is performed on the data obtained by entropy encoding executed in step S6 of the main routine of FIG. 4 (step S60). Sum1LH, which is the sum of the code amounts of the data obtained by encoding the 1LH subband coefficients in the encoded data, is obtained (step S61). Sum2LH, which is the sum of the code amounts of the data obtained by encoding the coefficients of the 2LH subband, is obtained (step S62). A coefficient speed is obtained by calculating sum1LH / sum2LH (step S63). If the obtained coefficient speed is larger than the experimentally determined threshold value Vth5 (YES in step S64), it is determined that the moving speed of the subject in the frame is high (step S65). On the other hand, when the coefficient speed is equal to or lower than the threshold value Vth5 (NO in step S64), it is determined that the moving speed of the subject in the frame is low (step S66). After the determination process, the process returns to the flowchart of FIG.
[0039]
FIG. 12 is a diagram illustrating a processing procedure when the speed determination process illustrated in FIG. 9 is performed based on the amount of codes obtained by the provisional arithmetic encoding process. First, provisional calculation encoding processing is performed on the data obtained by entropy encoding executed in step S6 of the main routine of FIG. 4 (step S70). Sum1LH, which is the sum of the code amounts of the data obtained by encoding the coefficients of the 1LH subband among the encoded data, is obtained (step S71). Sum1HL, which is the sum of the code amounts of the data obtained by encoding the 1HL subband coefficients, is obtained (step S72). Sum2LH, which is the sum of the code amounts of data obtained by encoding the coefficients of the 2LH subband, is obtained (step S73). Sum2HL, which is the sum of the code amounts of the data obtained by encoding the 2HL subband coefficients, is obtained (step S74). The coefficient speed is obtained by calculating (sum1LH / sum1HL) / (sum2LH / sum2HL) (step S75). If the obtained coefficient speed is larger than the experimentally determined threshold value Vth6 (YES in step S76), it is determined that the moving speed of the subject in the frame is high (step S77). On the other hand, when the coefficient speed is equal to or less than the threshold value Vth6 (NO in step S76), it is determined that the moving speed of the subject in the frame is low (step S78). After the determination process, the process returns to the flowchart of FIG.
[0040]
As described above, the moving speed of the subject in the frame can be easily determined even using the three modified examples shown in FIGS.
[0041]
【The invention's effect】
In the interlaced image processing apparatus according to any one of
[0042]
The interlaced image processing apparatus according to
The interlaced image processing apparatus according to claim 6 is the processing apparatus according to any one of
[0043]
In the interlaced image processing method according to any one of
[0044]
The interlaced image processing method according to
The interface image processing method according to claim 12 is the processing method according to any one of
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of an image processing apparatus.
FIG. 2 is a diagram showing a series of frame images taken in 1/60 second units by a video camera.
FIGS. 3A to 3D are diagrams for explaining a phenomenon that occurs when generating a non-interlaced image from an interlaced image obtained by a video camera and a principle of determination of a moving speed that uses the phenomenon. .
FIG. 4 is a diagram illustrating a main routine of processing executed by the image processing apparatus.
FIG. 5 is a flowchart of data reduction processing.
FIGS. 6A to 6C are views showing a state of data reduction processing according to the moving speed of a subject in a frame.
FIG. 7 is a flowchart of speed determination processing.
FIG. 8 is a flowchart of a modified example of the speed determination process.
FIG. 9 is a flowchart of a modified example of the speed determination process.
FIG. 10 is a flowchart of a modified example of the speed determination process.
FIG. 11 is a flowchart of a modified example of the speed determination process.
FIG. 12 is a flowchart of a modified example of the speed determination process.
[Explanation of symbols]
1 CPU, 2 ROM, 3 RAM, 4 keyboard, 5 mouse, 6 display, 7 hard disk, 8 video camera.
Claims (12)
上記インターレース変換手段により得られるノンインターレース画像のデータに対して2次元離散ウェーブレット変換を行うウェーブレット変換手段と、
上記ウェーブレット変換手段によって得られるウェーブレット係数の内、1LHのサブバンドの係数値の絶対値の合計に基づいて、インターレース画像内の被写体の移動速度を判定する判定手段と、
判定手段によって判定された被写体の移動速度に基づいて、上記ウェーブレット係数の符号化処理を実行する第1符号化処理手段と、
を含んでいることを特徴とするインターレース画像の処理装置。 Interlace conversion means for forming a non-interlaced image from a series of interlaced images;
A wavelet transformation means for performing two-dimensional discrete wavelet transform for the data of the non-interlaced image obtained by the interlace conversion means,
Determination means for determining a moving speed of a subject in an interlaced image based on a sum of absolute values of coefficient values of 1LH subbands of wavelet coefficients obtained by the wavelet transform means;
First encoding processing means for executing the wavelet coefficient encoding processing based on the moving speed of the subject determined by the determining means;
A device for processing an interlaced image, comprising:
上記判定手段が、1LHのサブバンドの計数値の絶対値の合計(The determination means adds the absolute values of the count values of the 1LH subband ( sum1LHsum1LH )を、1HLのサブバンドの計数値の絶対値の合計() Is the sum of the absolute values of 1HL subband counts ( sum1HLsum1HL )で除算した値() Divided by ( speedspeed )が第1しきい値() Is the first threshold ( Vth1Vth1 )よりも大きいときに被写体の移動速度が高速であり、第1しきい値() Is larger than the first threshold ( Vth1Vth1 )以下のときに被写体の移動速度が低速であると判定するものである、インターレース画像の処理装置。) An interlaced image processing apparatus that determines that the moving speed of a subject is low when:
上記ウェーブレット変換手段が、レベル2以上の2次元離散ウェーブレット変換を行うものであり、The wavelet transform means performs level 2 or higher two-dimensional discrete wavelet transform;
上記判定手段が、1LHのサブバンドの計数値の絶対値の合計(The determination means adds the absolute values of the count values of the 1LH subband ( sum1LHsum1LH )を、2LHのサブバンドの計数値の絶対値の合計() Is the sum of the absolute values of 2LH subband counts ( sum2LHsum2LH )で除算した値() Divided by ( speedspeed )が第2しきい値) Is the second threshold (Vth2) (Vth2) よりも大きいときに被写体の移動速度が高速であり、第2しきい値(Is larger than the second threshold ( Vth2Vth2 )以下のときに被写体の移動速度が低速であると判定するものである、インターレース画像の処理装置。) An interlaced image processing apparatus that determines that the moving speed of a subject is low when:
上記ウェーブレット変換手段が、レベル2以上の2次元離散ウェーブレット変換を行うものであり、The wavelet transform means performs level 2 or higher two-dimensional discrete wavelet transform;
上記判定手段が、1LHのサブバンドの計数値の絶対値の合計(The determination means adds the absolute values of the count values of the 1LH subband ( sum1LHsum1LH )を1HLのサブバンドの計数値の絶対値の合計() Is the sum of the absolute values of 1HL subband counts ( sum1HLsum1HL )で除算した値を、2LHのサブバンドの計数値の絶対値の合計() Is the sum of absolute values of 2LH subband counts ( sum2LHsum2LH )を2HLのサブバンドの計数値の絶対値の合計() Is the sum of the absolute values of 2HL subband counts ( sum2HLsum2HL )で除算した値で、除算した値() Divided by the value divided by ( speedspeed )が、第3しきい値) Is the third threshold (Vth3)(Vth3) よりも大きいときに被写体の移動速度が高速であり、第3しきい値(Is larger than the third threshold ( Vth3Vth3 )以下のときに被写体の移動速度が低速であると判定するものである、インターレース画像の処理装置。) An interlaced image processing apparatus that determines that the moving speed of a subject is low when:
上記判定手段が、上記処理を行う各サブバンドの計数値の絶対値の合計の代わりに、上記処理を行うサブバンドのウェーブレット係数に対して仮の符号化処理を実行して得られる符号量の合計を用いて、インターレース画像内の被写体の移動速度を判定するものである、インターレース画像の処理装置。Instead of the sum of the absolute values of the count values of the subbands for which the above processing is performed, the determination means performs a provisional encoding process on the wavelet coefficients of the subbands for which the above processing is performed. An interlaced image processing apparatus for determining a moving speed of a subject in an interlaced image using a total.
上記第1符号化処理手段が、判定手段による判定結果に基づいて、符号化を行うウェーブレット係数に基づくデータの削減処理を実行するデータ削減処理手段と、削減後のデータ符号化を行う第2符号化処理手段と、を含んでいるものである、インターレース画像の処理装置。The first encoding processing means includes a data reduction processing means for executing data reduction processing based on wavelet coefficients to be encoded based on a determination result by the determination means, and a second code for performing data encoding after the reduction. And an interlaced image processing apparatus.
上記インターレース変換工程によって得られるノンインターレース画像のデータに対して2次元離散ウェーブレット変換を行うウェーブレット変換工程と、A wavelet transform step for performing a two-dimensional discrete wavelet transform on the non-interlaced image data obtained by the interlace transform step;
上記ウェーブレット変換工程によって得られるウェーブレット係数の内、1LHのサブバンドの係数値の絶対値の合計に基づいて、インターレース画像内の被写体の移動速度を判定する判定工程と、A determination step of determining a moving speed of a subject in an interlaced image based on a sum of absolute values of coefficient values of subbands of 1 LH among wavelet coefficients obtained by the wavelet transform step;
上記判定工程によって判定された被写体の移動速度に基づいて、上記ウェーブレット係数の符号化処理を実行する第1符号化処理工程と、A first encoding processing step for performing the wavelet coefficient encoding processing based on the moving speed of the subject determined in the determination step;
を行うことを特徴とするインターレース画像の処理方法。And a method for processing an interlaced image.
上記判定工程が、1LHのサブバンドの計数値の絶対値の合計(The determination step is the sum of absolute values of count values of 1 LH subbands ( sum1LHsum1LH )を、1HLのサブバンドの計数値の絶対値の合計() Is the sum of the absolute values of 1HL subband counts ( sum1HLsum1HL )で除算した値() Divided by ( speedspeed )が第1しきい値() Is the first threshold ( Vth1Vth1 )よりも大きいときに被写体の移動速度が高速であり、第1しきい値() Is larger than the first threshold ( Vth1Vth1 )以下のときに被写体の移動速度が低速であると判定するものである、インターレース画像の処理方法。) An interlaced image processing method for determining that the moving speed of the subject is low at the following times.
上記ウェーブレット変換工程が、レベル2以上の2次元離散ウェーブレット変換を行うものであり、The wavelet transform step performs level 2 or higher two-dimensional discrete wavelet transform,
上記判定工程が、1LHのサブバンドの計数値の絶対値の合計(The determination step is the sum of absolute values of count values of 1 LH subbands ( sum1LHsum1LH )を、2LHのサブバンドの計数値の絶対値の合計() Is the sum of the absolute values of 2LH subband counts ( sum2LHsum2LH )で除算した値() Divided by ( speedspeed )が第2しきい値) Is the second threshold (Vth2) (Vth2) よりも大きいときに被写体の移動速度が高速であり、第2しきい値(Is larger than the second threshold ( Vth2Vth2 )以下のときに被写体の移動速度が低速であると判定するものである、インターレース画像の処理方法。) An interlaced image processing method for determining that the moving speed of the subject is low at the following times.
上記ウェーブレット変換工程が、レベル2以上の2次元離散ウェーブレット変換を行うものであり、The wavelet transform step performs level 2 or higher two-dimensional discrete wavelet transform,
上記判定工程が、1LHのサブバンドの計数値の絶対値の合計(The determination step is the sum of absolute values of count values of 1 LH subbands ( sum1LHsum1LH )を1HLのサブバンドの計数値の絶対値の合計() Is the sum of the absolute values of 1HL subband counts ( sum1HLsum1HL )で除算した値を、2LHのサブバンドの計数値の絶対値の合計() Is the sum of absolute values of 2LH subband counts ( sum2LHsum2LH )を2HLのサブバンドの計数値の絶対値の合計() Is the sum of the absolute values of 2HL subband counts ( sum2HLsum2HL )で除算した値で、除算した値() Divided by the value divided by ( speedspeed )が、第3しきい値) Is the third threshold (Vth3)(Vth3) よりも大きいときに被写体の移動速度が高速であり、第3しきい値(Is larger than the third threshold ( Vth3Vth3 )以下のときに被写体の移動速度が低速であると判定するものである、インターレース画像の処理方法。) An interlaced image processing method for determining that the moving speed of the subject is low at the following times.
上記判定工程が、上記処理を行う各サブバンドの計数値の絶対値の合計の代わりに、上記処理を行うサブバンドのウェーブレット係数に対して仮の符号化工程を実行して得られる符号量の合計を用いて、インターレース画像内の被写体の移動速度を判定するものである、インターレース画像の処理方法。In the determination step, instead of the sum of absolute values of the count values of the subbands for which the above processing is performed, the code amount obtained by performing a temporary encoding step on the wavelet coefficients of the subbands for which the above processing is performed A method for processing an interlaced image, which uses the sum to determine the moving speed of a subject in the interlaced image.
上記第1符号化処理工程が、判定工程による判定結果に基づいて、符号化を行うウェーブレット係数に基づくデータの削減処理を実行するデータ削減処理工程と、削減後のデータ符号化を行う第2符号化処理工程と、を含んでいるものである、インターレース画像の処理方法。The first encoding processing step includes a data reduction processing step for executing data reduction processing based on wavelet coefficients to be encoded based on a determination result in the determination step, and a second code for performing data encoding after the reduction. A process for processing an interlaced image.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002289867A JP4077706B2 (en) | 2002-10-02 | 2002-10-02 | Interlaced image processing apparatus and processing method |
US10/678,696 US7450768B2 (en) | 2002-10-02 | 2003-10-02 | Apparatus and method for processing image data based on object movement speed within a frame |
US12/234,451 US8000542B2 (en) | 2002-10-02 | 2008-09-19 | Apparatus and method for processing image data based on object movement speed within a frame |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002289867A JP4077706B2 (en) | 2002-10-02 | 2002-10-02 | Interlaced image processing apparatus and processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004126923A JP2004126923A (en) | 2004-04-22 |
JP4077706B2 true JP4077706B2 (en) | 2008-04-23 |
Family
ID=32281913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002289867A Expired - Fee Related JP4077706B2 (en) | 2002-10-02 | 2002-10-02 | Interlaced image processing apparatus and processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4077706B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008058221A (en) * | 2006-09-01 | 2008-03-13 | Kobe Univ | Velocity of high-speed moving body, estimation method of position, estimation program, and estimation system |
-
2002
- 2002-10-02 JP JP2002289867A patent/JP4077706B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004126923A (en) | 2004-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI436287B (en) | Method and apparatus for coding image | |
US7302105B2 (en) | Moving image coding apparatus, moving image decoding apparatus, and methods therefor | |
JP2001326936A (en) | Image encoding device and method | |
JP2006050534A (en) | Method for processing video image | |
JP2003018602A (en) | Method and device for encoding and decoding image data | |
JP2002247518A (en) | Electronic camera and image processing program | |
WO2006046550A1 (en) | Image encoding method and device, image decoding method, and device | |
JP4077706B2 (en) | Interlaced image processing apparatus and processing method | |
JP4990622B2 (en) | Method for encoding and / or decoding a group of images | |
JP4247089B2 (en) | Non-interlaced image processing apparatus and processing method | |
JP4792250B2 (en) | Moving image processing apparatus and moving image processing method | |
JP4247088B2 (en) | Non-interlaced image processing apparatus and processing method | |
JP2007074042A (en) | Moving picture processing apparatus and method | |
JP4749508B2 (en) | Image decoding method | |
JP3709106B2 (en) | Image compression and decompression device | |
JP3897253B2 (en) | Image processing method, image processing apparatus, imaging apparatus, program, and recording medium | |
JP3775180B2 (en) | Image processing method and apparatus | |
JP4667424B2 (en) | Image decoding device | |
JP4667423B2 (en) | Image decoding device | |
JP4194311B2 (en) | Moving picture encoding apparatus, moving picture decoding apparatus, and methods thereof | |
JP4551413B2 (en) | Image processing apparatus and image processing method | |
JP2005065230A (en) | Encoding apparatus, encoding control method, program and recording medium | |
JP2007049582A (en) | Encoding apparatus, program and information recording medium | |
JP4594425B2 (en) | Image processing device | |
JP3983657B2 (en) | Image processing apparatus and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071023 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080201 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140208 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |