JP4247088B2 - Non-interlaced image processing apparatus and processing method - Google Patents
Non-interlaced image processing apparatus and processing method Download PDFInfo
- Publication number
- JP4247088B2 JP4247088B2 JP2003353760A JP2003353760A JP4247088B2 JP 4247088 B2 JP4247088 B2 JP 4247088B2 JP 2003353760 A JP2003353760 A JP 2003353760A JP 2003353760 A JP2003353760 A JP 2003353760A JP 4247088 B2 JP4247088 B2 JP 4247088B2
- Authority
- JP
- Japan
- Prior art keywords
- data deletion
- code block
- data
- subject
- moving speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、動画の処理装置、特に一連の複数のインターレース画像より得られるノンインターレース画像の処理を行う画像処理装置及び処理方法に関する。 The present invention relates to a moving image processing apparatus, and more particularly to an image processing apparatus and processing method for processing a non-interlaced image obtained from a series of a plurality of interlaced images.
近年、高精細画像を取り扱うのに適した圧縮符号化方法としてＪＥＰＧ２０００が知られている。また、上記ＪＰＥＧ２０００形式で符号化された静止画像を連続して再生することにより動画表示を行うMotionＪＰＥＧ２０００という規格もある。 In recent years, JEPPG2000 is known as a compression encoding method suitable for handling high-definition images. There is also a standard called Motion JPEG 2000 that displays a moving image by continuously playing still images encoded in the JPEG 2000 format.
ビデオカメラ等によって撮られる一連のインターレース画像には、１つ前のフレームのインターレース画像との比較において、フレーム間における被写体の移動量（変化量）という静止画には無いパラメータが存在する。上記移動量というパラメータを用いてフレーム内における被写体の移動速度を検出し、適応的に圧縮符号化処理を実行する動画像処理装置が、既にいくつか提案されている（例えば、特許文献１を参照）。
しかし、上記動画像処理装置では、フレーム間における被写体の画像データの差分を求め、求めた差分データに基づいて移動速度を求める演算処理を行う。このため、処理するデータ量が多く、演算に時間を要すると共に、多くのメモリを必要としていた。 However, the moving image processing apparatus calculates a difference between subject image data between frames and performs a calculation process for determining a moving speed based on the obtained difference data. For this reason, the amount of data to be processed is large, time is required for calculation, and a large amount of memory is required.
本発明は、上記フレーム間における被写体の画像データの差分を用いることなく、少ない量のデータを用いて、かつ、簡単な演算処理により、上記被写体の移動速度を判定するノンインターレース画像の画像処理装置及び画像処理方法を提供することを目的とする。 The present invention provides an image processing apparatus for a non-interlaced image that determines the moving speed of the subject by using a small amount of data and a simple arithmetic process without using a difference in image data of the subject between the frames. And an image processing method.
請求項１に記載のノンインターレース画像の処理装置は、連続してスキャンした２枚分のインターレース画像をスキャンしたライン毎に交互に並べて形成されるノンインターレース画像の処理装置（１０）であって、ウェーブレット変換手段（ステップＳ４）と、判定手段（ステップＳ２５、Ｓ４６、Ｓ６６、Ｓ８７）と、データ削除処理手段（ステップＳ６）と、符号化処理手段（ステップＳ８）と、を含んでおり、上記ウェーブレット変換手段が、上記ノンインターレース画像のデータに対してレベル１以上の２次元離散ウェーブレット変換を行うものであり、上記判定手段が、ウェーブレット変換手段によって得られるウェーブレット係数の内、レベル１の各サブバンドのウェーブレット係数をそれぞれ前記サブバンドよりも小さな画素マトリクスから成るコードブロックに分割し、コードブロック毎に、１ＬＨのコードブロックの係数値の絶対値の合計を、該コードブロックに対応する位置の少なくとも１ＨＬを含むレベル１のコードブロックの係数値の絶対値の合計で割った値が、予め定めたしきい値よりも大きい場合に被写体の移動速度が高速であると判断し、予め定めたしきい値以下の場合に被写体の移動速度が低速であると判断するものであり、上記データ削除処理手段が、判定手段によって被写体の移動速度が高速であると判断されたコードブロックについては１ＬＨのサブバンドのデータ削除量を他のサブバンドのデータ削除量よりも少なくしたデータ削除処理を実行し、判定手段によって被写体の移動速度が低速であると判断されたコードブロックについては１ＨＬのサブバンドのデータ削除量を他のサブバンドのデータ削除量よりも少なくしたデータ削除処理を実行するものであり、上記符号化処理手段が、データ削除処理手段によってデータ削除処理されたウェーブレット係数を用いて符号化処理を実行するものである、ことを特徴とする。
また、請求項２に記載のノンインターレース画像の処理装置は、請求項１に記載のノンインターレース画像の処理装置であって、上記判定手段（ステップＳ２５）が、分割したコードブロック毎に、１ＬＨのサブバンドの係数値の絶対値の合計（sum1LH）を、１ＨＬのサブバンドの係数値の絶対値の合計（sum1HL）で割った値（speed）が、しきい値（th1）よりも大きいときに被写体の移動速度が高速であり、しきい値（th1）以下のときに被写体の移動速度が低速であると判定するものである、ことを特徴とする。
また、請求項３に記載のノンインターレース画像の処理装置は、請求項１に記載のノンインターレース画像の処理装置であって、上記判定手段（ステップＳ４６）が、分割したコードブロック毎に、１ＬＨのサブバンドの係数値の絶対値の合計（sum1LH）を、１ＨＬと１ＬＨと１ＨＨとのサブバンドの係数値の絶対値の合計（即ち、sum1HL+sum1LH+sum1HHで表される値）で割った値（speed）が、しきい値（th2）よりも大きいときに被写体の移動速度が高速であり、しきい値（th2）以下のときに被写体の移動速度が低速であると判定するものである、ことを特徴とする。
また、請求項４に記載のノンインターレース画像の処理装置は、上記判定手段（ステップＳ６６、Ｓ８７）が、上記処理を行うサブバンドのウェーブレット係数に対して仮の符号化処理を実行する仮算術符号化手段を含んでおり、上記処理を行う各サブバンドの係数値の絶対値の合計の代わりに、仮算術符号化手段によって得られる符号量の合計を用いて、インターレース画像内の被写体の移動速度を判定するものである、ことを特徴とする。
The non-interlaced image processing device according to
A non-interlaced image processing apparatus according to
A non-interlaced image processing apparatus according to
The non-interlaced image processing apparatus according to
請求項５に記載のノンインターレース画像の処理装置は、請求項１乃至請求項４の内の１つに記載のノンインターレース画像の処理装置であって、上記データ削除処理手段が、ウェーブレット係数をビットプレーンに分割したデータの内、下位ビットプレーンに対応するデータから順に削除することでデータ削除処理を行うものである、ことを特徴とする。The non-interlaced image processing apparatus according to
請求項６に記載のノンインターレース画像の処理方法は、連続してスキャンした２枚分のインターレース画像をスキャンしたライン毎に交互に並べて形成されるノンインターレース画像の処理方法であって、上記ノンインターレース画像のデータに対してレベル１以上の２次元離散ウェーブレット変換を行うウェーブレット変換工程と、ウェーブレット変換工程によって得られるウェーブレット係数の内、レベル１の各サブバンドのウェーブレット係数をそれぞれ前記サブバンドよりも小さな画素マトリクスから成るコードブロックに分割し、コードブロック毎に、１ＬＨのコードブロックの係数値の絶対値の合計を、該コードブロックに対応する位置の少なくとも１ＨＬを含むレベル１のコードブロックの係数値の絶対値の合計で割った値が、予め定めたしきい値よりも大きい場合に被写体の移動速度が高速であると判断し、予め定めたしきい値以下の場合に被写体の移動速度が低速であると判断する判定工程と、判定工程によって被写体の移動速度が高速であると判断されたコードブロックについては１ＬＨのサブバンドのデータ削除量を他のサブバンドのデータ削除量よりも少なくしたデータ削除処理を実行し、判定工程によって被写体の移動速度が低速であると判断されたコードブロックについては１ＨＬのサブバンドのデータ削除量を他のサブバンドのデータ削除量よりも少なくしたデータ削除処理を実行するデータ削除処理工程と、データ削除処理工程によってデータ削除処理されたウェーブレット係数を用いて符号化処理を実行する符号化処理工程と、を含んでいることを特徴とする。
7. The non-interlaced image processing method according to claim 6, wherein the non-interlaced image is formed by alternately arranging two interlaced images scanned successively for each scanned line. small wavelet transform step of performing
請求項７に記載のノンインターレース画像の処理方法は、請求項６に記載のノンインターレース画像の処理方法であって、上記判定工程が、上記処理を行うサブバンドのウェーブレット係数に対して仮の符号化処理を実行し、上記処理を行う各サブバンドの係数値の絶対値の合計の代わりに、前記仮の符号化処理によって得られる符号量の合計を用いて、インターレース画像内の被写体の移動速度を判定するものである、ことを特徴とする。
The non-interlaced image processing method according to
請求項１乃至請求項３、請求項５（請求項１乃至３を引用するものに限る）に記載のノンインターレース画像の処理装置、請求項６に記載のノンインターレース画像の処理方法は、２次元離散ウェーブレット変換により得られる１ＬＨのサブバンドの係数値に基づいてフレーム内の被写体の移動速度をコードブロック単位で判定する。これにより、フレーム間の被写体の移動量を求めることなく、簡単な演算処理により被写体の移動速度の判定を行うことができる。また、サブバンドよりも細かなコードブロック単位で被写体の移動速度の判定を行うことにより、サブバンド単位で被写体の移動速度を判定する場合に比べて、例えば、静止画の中で被写体だけが移動する場合に、静止画の部分と動画の部分とを分けて適応的に処理することができる。
The non-interlaced image processing apparatus according to any one of
請求項４、請求項５（請求項４を引用するものに限る）に記載のノンインターレース画像の処理装置、請求項７に記載のノンインターレース画像の処理方法は、２次元離散ウェーブレット変換により得られる１ＬＨのサブバンドの係数値を仮に算術符号化することにより得られる符号の量に基づいてフレーム内の被写体の移動速度をコードブロック単位で判定する。これにより、フレーム間の被写体の移動量を求めることなく、簡単な演算処理により被写体の移動速度の判定を行うことができる。また、サブバンドよりも細かなコードブロック単位で被写体の移動速度の判定を行うことにより、サブバンド単位で被写体の移動速度を判定する場合に比べて、例えば、静止画の中で被写体だけが移動する場合に、静止画の部分と動画の部分とを分けて適応的に処理することができる。
The non-interlaced image processing apparatus according to
（１）実施の形態
本発明の画像処理装置は、ＪＰＥＧ２０００に準拠した符号化処理を実行する装置であり、ビデオカメラ等により連続して撮り込まれる一連の複数のインターレース画像より得られる１枚のノンインターレース画像の画像データを処理対象とする。以下、文中において、ノンインターレース画像とは、一連の複数のインターレース画像より得られる１枚の画像のことを意味する。
(1) Embodiment The image processing apparatus of the present invention is an apparatus that executes encoding processing compliant with JPEG2000, and is a single image obtained from a series of a plurality of interlaced images continuously captured by a video camera or the like. The image data of a non-interlaced image is a processing target. Hereinafter, in the text, a non-interlaced image means one image obtained from a series of a plurality of interlaced images.
本発明の画像処理装置は、上記ノンインターレス画像の画像データを２次元離散ウェーブレット変換して得られるウェーブレット係数の内、１ＨＬのサブバンドの係数値及び符号量は、１ＬＨのサブバンドの係数値及び符号量が撮像するフレーム内での被写体の横方向の移動速度に応じて増加するのに対して、ほぼ一定の値を示すことに着目し、当該特性を利用してフレーム内での被写体の横方向の移動速度（高速／低速）を、サブバンドよりも小さな、例えば、３２×３２画素マトリクスよりなるコードブロック単位に判定し、判定結果に応じて、コードブロック単位により効果的な符号化処理を実行することを特徴とする。これにより、サブバンド単位で被写体の移動速度を判定し、判定結果に基づいて適応的な画像処理を実行する場合に比べて、例えば、静止画の中で被写体だけが移動する場合に、静止画の部分と動画の部分とをコードブロック単位で分けてより適切な処理を施すことができる。 In the image processing apparatus of the present invention, among the wavelet coefficients obtained by performing two-dimensional discrete wavelet transform on the image data of the non-interlaced image, the coefficient value and code amount of the 1HL subband are the coefficient values of the 1LH subband. Focusing on the fact that the code amount increases according to the lateral movement speed of the subject within the frame to be imaged, it shows an almost constant value. The moving speed (high speed / low speed) in the horizontal direction is determined in units of code blocks that are smaller than the subband, for example, a 32 × 32 pixel matrix, and more effective coding processing is performed in units of code blocks according to the determination result. It is characterized by performing. Thus, compared with the case where the moving speed of the subject is determined in units of subbands and adaptive image processing is executed based on the determination result, for example, when only the subject moves in the still image, the still image And the video part can be divided into code block units for more appropriate processing.
以下、添付の図面を用いて本発明の画像処理装置の実施の形態、及び、フレーム内での被写体の移動速度の判定処理についての種々の変形例について説明する。図１は、インターレース画像の処理装置１０の全体構成を示す図である。インターレース画像の処理装置１０は、中央演算処理装置（ＣＰＵ）１を中心に、画像処理プログラムが格納されているＲＯＭ２、上記画像処理プログラムの実行時に使用されるＲＡＭ３、マン・マシン・インターフェースであるキーボード４及びマウス５、ディスプレイ６、主記録装置であり、ビデオカメラ８で撮影した映像の符号化処理途中における画像データ及び符号化処理後の符号データを記録するハードディスク（ＨＤ）７、並びに、ビデオカメラ８で構成される。
DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of an image processing apparatus according to the present invention and various modifications of a process for determining a moving speed of a subject within a frame will be described below with reference to the accompanying drawings. FIG. 1 is a diagram illustrating an overall configuration of an interlaced
図２は、ビデオカメラ８により撮影される一連のフレームを示す図である。ビデオカメラ８は、撮影の開始時間ｔ０と共にフレーム０の画像のインターレース形式によるスキャンを行い、１／６０秒後にフレーム１の画像のインターレース形式によるスキャンを行う。そして終了時間ｔｎまでの間に１／６０秒単位で合計ｎ枚のフレームの画像をインターレース形式でスキャンする。
FIG. 2 is a diagram showing a series of frames taken by the
図３の（ａ）〜（ｄ）は、ビデオカメラ８により得られるインターレース画像からノンインターレース画像を生成する際に生じる現象と当該現象を利用する移動速度の判定原理について説明するための図である。図３の（ａ）に示すように、インターレース形式では、１画素のライン（実線で示す走査ライン）をスキャンした後、直ぐ下の画素のライン（点線で示す走査ライン）を飛ばして２画素下のライン（実線で示す走査ライン）をスキャンする。インターレース画像Ａのスキャン終了後、ビデオカメラ８は、直ちに、図３の（ｂ）に示すように、前回スキャンしなかった画素ライン（実線で示す走査ライン）のスキャンを行う。これによりインターレース画像Ｂが撮影される。この撮影時、あるラインをスキャンしてから直ぐ下の画素のラインをスキャンするのに１／６０秒経過している。図３の（ａ）と（ｂ）を比較すれば解るように、上記１／６０秒の間に被写体１５は右方向（当然左方向の場合もある）に移動している。このため、図３の（ｃ）に示すように、インターレース画像Ａにインターレース画像Ｂを重ね合わせて成るノンインターレース画像の両端部分には、数画素分のくし型のずれが生じる。
3A to 3D are diagrams for explaining a phenomenon that occurs when a non-interlaced image is generated from an interlaced image obtained by the
なお、上記ノンインターレース画像のデータは、インターレース画像Ａ及びインターレース画像Ｂの画像データをスキャンしたライン毎（上記の例では１画素単位の走査ライン毎）に、交互に並べる（スキャンしていないラインのデータを補充する）ことで形成することができる。 Note that the non-interlaced image data is alternately arranged for each line obtained by scanning the image data of the interlaced image A and the interlaced image B (in the above example, for each scanning line of one pixel unit). It can be formed by supplementing data).
図３の（ｃ）に示すくし型のずれの量Ｌは、被写体１５のインターレース画像内での移動速度に比例して長くなる。図３の（ｄ）に示すように、上記くし型のずれを有するノンインターレス画像の画像データを２次元離散ウェーブレット変換して得られる１ＬＨのサブバンドの係数値は、横のエッジ成分Ｅ１の合計、即ち、被写体１５のインターレース画像内での移動速度に比例して増加する。また、１ＨＬのサブバンドの係数値は、縦のエッジ成分Ｅ２の合計に比例して係数値が増加するが、一般の撮影では殆どの被写体は横方向に移動するという経験則に従い、被写体の移動速度によって殆ど変化しないものであるとして取り扱う。以下に説明するように、画像処理装置１０では、１ＬＨのサブバンドの係数値の上記特性を利用して、インターレース画像内での被写体の移動速度をコードブロック単位で判定する。
The amount L of the comb-shaped shift shown in FIG. 3C increases in proportion to the moving speed of the subject 15 in the interlaced image. As shown in FIG. 3 (d), the coefficient value of the 1LH subband obtained by two-dimensional discrete wavelet transform of the image data of the non-interlaced image having the comb-shaped shift is the horizontal edge component E1. The total increases, that is, in proportion to the moving speed of the subject 15 within the interlaced image. The coefficient value of the 1HL subband increases in proportion to the sum of the vertical edge components E2, but the subject movement follows the empirical rule that most subjects move in the horizontal direction in general shooting. Treated as being almost unchanged by speed. As will be described below, the
図４は、画像処理装置１０のＣＰＵ１が実行する画像処理プログラムのメインルーチンのフローチャートである。まず、ビデオカメラ８により一連の複数のフレーム（図２を参照）で構成されるインターレース形式の画像データを取得する（ステップＳ１）。具体的には、ビデオカメラ８により１／６０秒単位でスキャンされるインターレース画像のデータをＲＡＭ３又はハードディスク７に記録する。なお、連続するフレームのインターレース画像のデータの取得方法としては、上記ビデオカメラ８を用いる他、例えば、圧縮符号化前の状態でハードディスク７に一連の複数のフレーム分のインターレース画像のデータを記録しておき、当該データを順に読み出すことも考えられる。
FIG. 4 is a flowchart of the main routine of the image processing program executed by the
連続してスキャンされるフレーム２枚分のインターレース画像を合成（いわゆるインターレース変換）し、図３の（ｃ）に示したようなノンインターレース画像を形成する（ステップＳ２）。当該インターレース変換処理は、例えば、２枚の連続してスキャンされたインターレース画像の画像データを、ＲＡＭ３にスキャンしたライン毎に交互に出力することにより行う。または、先に読み込んだインターレース画像のデータをＲＡＭ３内に設けたノンインターレース画像のデータマップに展開した後、引き続きスキャンするインターフェース画像のデータを上記データマップに書き込むことにより行っても良い。
Interlaced images for two frames scanned continuously are synthesized (so-called interlaced conversion) to form a non-interlaced image as shown in FIG. 3C (step S2). The interlace conversion process is performed, for example, by alternately outputting image data of two consecutively scanned interlace images for each scanned line in the
上記インターレース変換により得られたノンインターレース画像の画像データを、Ｙ，Ｃｒ，Ｃｂの色成分データに変換する（ステップＳ３）。以降の処理部で各成分の色データは同じ手順で並列に処理されるが、説明の簡単化のため、以下、Ｙ成分の色データについてのみ説明する。 The image data of the non-interlaced image obtained by the interlace conversion is converted into Y, Cr, Cb color component data (step S3). In the subsequent processing units, the color data of each component is processed in parallel according to the same procedure, but for the sake of simplicity, only the color data of the Y component will be described below.
Ｙ成分の色データにレベル３の２次元離散ウェーブレット変換を施し、ウェーブレット係数をコードブロックに分割し、得られるウェーブレット係数をＲＡＭ３又はハードディスク７に記録する（ステップＳ４）。当該処理により得られたウェーブレット係数に、ＪＰＥＧ２０００に規定のスカラ量子化処理を施した後、処理後のデータをＲＡＭ３またはハードディスク７に記録する（ステップＳ５）。上記ステップＳ３からステップＳ５までの処理は、ＪＰＥＧ２０００に準拠して行う周知の処理である。
The Y component color data is subjected to
次にデータ削減処理を行う（ステップＳ６）。当該処理は、画像処理装置１０独自の処理であり、後に詳しく説明するように、ＲＡＭ３又はハードディスク７に記録されている１ＬＨのサブバンドのウェーブレット係数に基づいて被写体の移動速度が高速であるのか、又は低速であるのかをコードブロック単位で判定する速度判定処理と、当該処理により被写体が高速で移動していると判定されたコードブロックの画像については、上記ＲＡＭ３又はハードディスク７に記録されているスカラ量子化後のデータに対し、ＬＨ成分を重視したデータ削減処理を施し、被写体が低速で移動していると判定された画像については、ＨＬ成分を重視したデータ削減処理を施す処理のことをいう。
Next, data reduction processing is performed (step S6). This process is unique to the
上記データ削減処理後、各ブロックに分割されたウェーブレット係数をビットプレーンに分割し、ＪＰＥＧ２０００に規定の手順による算術符号化処理（いわゆる係数モデリング処理）を施し、処理後のデータをＲＡＭ３又はハードディスク７に記録する（ステップＳ７）。
After the above data reduction processing, the wavelet coefficients divided into blocks are divided into bit planes, subjected to arithmetic coding processing (so-called coefficient modeling processing) according to a procedure prescribed in JPEG2000, and the processed data is stored in the
上記算術符号化により得られた符号のデータを用いてＪＰＥＧ２０００に規定されている符号形成理を実行し（ステップＳ８）、得られる符号データをハードディスク７に記録する（ステップＳ９）。全てのフレーム処理が終了していない場合（ステップＳ１０でＮＯ）、上記ステップＳ１に戻り、ビデオカメラ８により次に撮影された画像の符号化処理を実行する。他方、ビデオカメラ８による撮影が終了し、全ての符号化処理が終了した場合（ステップＳ１０でＹＥＳ）、処理を終了する。
Using the code data obtained by the above arithmetic coding, the code formation defined in JPEG2000 is executed (step S8), and the obtained code data is recorded on the hard disk 7 (step S9). If all the frame processes have not been completed (NO in step S10), the process returns to step S1 and an encoding process for the next image taken by the
上述するように、ステップＳ１、Ｓ２、Ｓ６以外の処理（ステップＳ３，Ｓ４，Ｓ５，Ｓ７，Ｓ８）は、全てＪＰＥＧ２０００の規格に従う手順で実行されるものであり、これらの処理は、ステップＳ９及びステップＳ１０の処理と共に、ハードウェア回路により実現しても良い。これにより処理の高速化が図られる。なお、ＪＰＥＧ２０００に準拠する符号化処理を全てハードウェア回路で実現する画像処理装置は、既に存在する。 As described above, the processes other than steps S1, S2, and S6 (steps S3, S4, S5, S7, and S8) are all executed according to the procedure according to the JPEG2000 standard. Along with the processing in step S10, it may be realized by a hardware circuit. This speeds up the processing. Note that there is already an image processing apparatus that implements all the encoding processing compliant with JPEG2000 with a hardware circuit.
更に、インターレース変換（ステップＳ２）やデータ削減処理（ステップＳ６）をハード回路により実現しても良い。例えば、インターレース変換の処理は、最初にスキャンしたインターレース画像の画像データを保持しておく第１レジスタと、引き続きスキャンしたインターレース画像の画像データを保持しておく第２レジスタと、第２レジスタへのデータの書き込み終了と共に、第１及び第２レジスタからライン毎に交互にデータをノンインターレース用の画像メモリ又はバッファメモリに出力する第１リレースイッチと、第１及び第２レジスタからデータを出力している間、引き続きスキャンされるインターレース画像を保持するための第３及び第４レジスタ並びに当該第４レジスタへのデータの書き込み終了と共に第３及び第４レジスタからライン毎に交互にデータを上記ノンインターレース用の画像メモリ又はバッファメモリに出力する第２リレースイッチを用意することによりハード回路として実現することができる。これにより処理の高速化が図られる。 Furthermore, interlace conversion (step S2) and data reduction processing (step S6) may be realized by a hardware circuit. For example, the interlace conversion process includes the first register that holds the image data of the first scanned interlaced image, the second register that holds the image data of the scanned interlaced image, and the second register. Upon completion of data writing, the first relay switch that outputs data alternately from the first and second registers line by line to the non-interlaced image memory or buffer memory, and data is output from the first and second registers. The third and fourth registers for holding the interlaced image to be continuously scanned, and the data for the non-interlace alternately from the third and fourth registers at the end of the writing of data to the fourth register. Relay that outputs to the image memory or buffer memory By providing a switch it can be implemented as a hardware circuit. This speeds up the processing.
図５は、データ削減処理（図４のステップＳ６）の処理フローチャートを示す図である。まず、レベル３の２次元離散ウェーブレット変換により得られたウェーブレット係数を、例えば、３２×３２画素マトリクスで成るコードブロックに分割する（ステップＳ２０）。図６は、上記分割処理により各サブバンド（1LH,1HL,1HH,2LH,2HL,2HH,3LL,3LH,3HL,3HH）内に生成されるコードブロックを示す図である。１ＬＨ及び１ＨＬのサブバンドは、合計でｎ個のコードブロックに分割される。また、２ＬＨ及び２ＨＬのサブバンドは、合計でｍ個のコードブロックに分割される。以下、サブバンド内の各コードブロックを変数ＣＢの値で特定するが、理解の容易のため、図には、例えば、１ＬＨのサブバンドのＣＢ＝１のコードブロックをＣＢ１と記す。変数ＣＢの値は、例えば、１ＨＬのサブバンドの領域に複数の矢印で示すように、各サブバンド内で、いわゆるラスタ走査順序に従い１づつ増加する。
FIG. 5 is a diagram showing a process flowchart of the data reduction process (step S6 in FIG. 4). First, the wavelet coefficients obtained by the
再び、図５のフローチャートを参照する。初期値としてコードブロックを表す変数ＣＢの値を１に設定する（ステップＳ２１）。１ＬＨのコードブロックＣＢの係数の絶対値の和ｓｕｍ１ＬＨを算出する（ステップＳ２２）。１ＨＬのコードブロックＣＢの係数の絶対値の和ｓｕｍ１ＨＬを算出する（ステップＳ２３）。上記求めた係数を用いてｓｕｍ１ＬＨ／ｓｕｍ１ＨＬ＝ｓｐｅｅｄを算出する（ステップＳ２４）。上記変数ｓｐｅｅｄは、フレーム内における被写体の移動速度に略比例して変化すると考えることができる。というのは、上述したように、１ＬＨの係数の値が画像の横方向のエッジ量の増加、即ち、フレーム内での被写体の移動速度の上昇に比例して増えるのに対して、１ＨＬの係数の値が画像の縦方向のエッジ量に比例する値を取り、経験上、被写体は殆どの場合、横方向にしか移動しないため、比較的安定した値をとるためである。 Reference is again made to the flowchart of FIG. The value of the variable CB representing the code block is set to 1 as an initial value (step S21). The sum sum1LH of the absolute values of the coefficients of the 1LH code block CB is calculated (step S22). The sum sum1HL of the absolute values of the coefficients of the 1HL code block CB is calculated (step S23). Sum1LH / sum1HL = speed is calculated using the obtained coefficient (step S24). The variable speed can be considered to change substantially in proportion to the moving speed of the subject in the frame. This is because, as described above, the value of the 1LH coefficient increases in proportion to the increase in the edge amount in the horizontal direction of the image, that is, the increase in the moving speed of the subject within the frame, whereas the coefficient of 1HL. This value is a value that is proportional to the amount of edge in the vertical direction of the image, and from experience, the subject moves only in the horizontal direction in most cases, and thus takes a relatively stable value.
算出した変数ｓｐｅｅｄが実験的に定められるしきい値ｔｈ１よりも大きい場合には（ステップＳ２５でＹＥＳ）、当該コードブロックＣＢ内の画像は高速で移動していると判断し、１ＬＨ重視のデータ削減処理を実行する。具体的には、１ＬＨのコードブロックＣＢのビットプレーンをＬＳＢから１枚削除し（ステップＳ２６）、１ＨＬのコードブロックＣＢのビットプレーンをＬＳＢから２枚削除する（ステップＳ２７）。他方、変数ｓｐｅｅｄがしきい値ｔｈ１以下の場合には（ステップＳ２５でＮＯ）、当該コードブロックＣＢ内の画像は低速で移動していると判断し、１ＨＬ重視のデータ削減処理を実行する。具体的には、１ＬＨのコードブロックＣＢのビットプレーンをＬＳＢから１枚削除し（ステップＳ２８）、１ＨＬのコードブロックＣＢのビットプレーンをＬＳＢから２枚削除する（ステップＳ２９）。 If the calculated variable speed is larger than the experimentally determined threshold value th1 (YES in step S25), it is determined that the image in the code block CB is moving at a high speed, and data reduction is focused on 1LH. Execute the process. Specifically, one bit plane of the 1LH code block CB is deleted from the LSB (step S26), and two bit planes of the 1HL code block CB are deleted from the LSB (step S27). On the other hand, when the variable speed is equal to or less than the threshold th1 (NO in step S25), it is determined that the image in the code block CB is moving at a low speed, and data reduction processing with an emphasis on 1HL is executed. Specifically, one bit plane of the 1LH code block CB is deleted from the LSB (step S28), and two bit planes of the 1HL code block CB are deleted from the LSB (step S29).
図７の（ａ）は、スカラ量子化後の１ＬＨ及び１Ｈｌのサブバンドのウェーブレット係数をビットプレーンに分解した状態を示す図である。図７の（ｂ）は、図５に示すフローチャートのステップＳ２５において高速と判断された場合にステップＳ２６及びＳ２７において実行する処理内容を図解するものである。図７の（ｂ）に斜線を付して示すように、ビットプレーンに分解された１ＬＨのコードブロックＣＢの係数の内、最下位ビットであるＬＳＢから１ビット分のデータを削除する。また、１ＨＬのコードブロックＣＢの係数の内、最下位ビットであるＬＳＢから２ビット分のデータを削除する。 FIG. 7A is a diagram illustrating a state in which wavelet coefficients of 1LH and 1Hl subbands after scalar quantization are decomposed into bit planes. (B) of FIG. 7 illustrates the processing contents executed in steps S26 and S27 when it is determined that the speed is high in step S25 of the flowchart shown in FIG. As shown by hatching in FIG. 7 (b), one bit of data is deleted from the least significant bit LSB among the coefficients of the 1LH code block CB decomposed into bit planes. Further, 2 bits of data are deleted from the least significant bit LSB among the coefficients of the 1HL code block CB.
また、図７の（ｃ）は、上記ステップＳ２５において低速と判断された場合にステップＳ２８及びＳ２９において実行する処理内容を図解するものである。図７の（ｃ）に斜線を付して示すように、ビットプレーンに分解された１ＬＨのコードブロックＣＢの係数の内、最下位ビットであるＬＳＢから２ビット分のデータを削除する。また、１ＨＬのコードブロックＣＢの係数の内、最下位ビットであるＬＳＢから１ビット分のデータを削除する。 FIG. 7C illustrates the processing contents executed in steps S28 and S29 when the low speed is determined in step S25. As indicated by hatching in FIG. 7C, 2-bit data is deleted from the least significant bit LSB among the coefficients of the 1LH code block CB decomposed into bit planes. In addition, one bit of data is deleted from the least significant bit LSB among the coefficients of the 1HL code block CB.
再び図５のフローチャートを参照する。ｎ個のコードブロック全てについて上記移動速度に応じたデータ削減処理が終了していない場合には（ステップＳ３０でＮＯ）、変数ＣＢに１を加算した後（ステップＳ３１）、上記ステップＳ２２に戻り、コードブロック単位での移動速度の判定処理を続行する。他方、ｎ個のコードブロック全てについて上記処理が完了した場合、即ち変数ＣＢ＝ｎの場合には（ステップＳ３０でＹＥＳ）、処理を終了してメインルーチンにリターンする。 Reference is again made to the flowchart of FIG. If the data reduction processing corresponding to the moving speed has not been completed for all n code blocks (NO in step S30), 1 is added to the variable CB (step S31), and the process returns to step S22. Continue moving speed judgment processing in code blocks. On the other hand, when the above process is completed for all n code blocks, that is, when variable CB = n (YES in step S30), the process ends and the process returns to the main routine.
以上に説明するように、画像処理装置１０では、符号化を行う画像データに対して行ったレベル３の２次元離散ウェーブレット変換により得られるウェーブレット係数の内、特に１ＬＨのサブバンドの係数値及び符号量が、撮像するフレーム内での被写体の横方向の移動速度に応じて増加するのに対し、１ＨＬのサブバンドの係数値及び符号量は、ほぼ一定の値を示すことに着目し、当該特性を利用してコードブロック毎の被写体の横方向の移動速度を検出し、検出した値に応じて、より効果的な符号化処理を実行する。これにより、フレーム間の画像データの差分を用いることなく、少ない量のデータを用いて、かつ、簡単な演算処理により、上記物体の移動速度をコードブロック単位で検出し、コードブロック単位で適応的な圧縮符号化処理を行うことができる。
As described above, in the
（２）変形例１
上記画像処理装置１０では、図５のフローに示すように、１ＬＨ及び１ＨＬのサブバンドの係数値に基づいてフレーム内の被写体の移動速度の判定を行ったが、更に１ＨＨのサブバンドの係数値も処理対象とし、実験的に速度判定に有効であった被写体の移動速度判定処理を利用するデータ削減処理の変形例を以下に説明する。
(2)
In the
図８は、データ削減処理（図４、ステップＳ６）の変形例１の処理フローチャートである。まず、レベル３の２次元離散ウェーブレット変換により得られたウェーブレット係数を３２×３２画素マトリクスで成るコードブロックに分割する（ステップＳ２０）。これにより、レベル１のサブバンドは、各ｎ個のコードブロックに分割される。コードブロックを表す変数ＣＢの値を初期値である１に設定する（ステップＳ４１）。１ＬＨのコードブロックＣＢの係数の絶対値の和ｓｕｍ１ＬＨを算出する（ステップＳ４２）。１ＨＬのコードブロックＣＢの係数の絶対値の和ｓｕｍ１ＨＬを算出する（ステップＳ４３）。１ＨＨのコードブロックＣＢの係数の絶対値の和ｓｕｍ１ＨＨを算出する（ステップＳ４４）。上記求めた係数を用いてｓｕｍ１ＬＨ／（ｓｕｍ１ＬＨ＋ｓｕｍ１ＨＬ＋ｓｕｍ１ＨＨ）＝ｓｐｅｅｄを算出する（ステップＳ２４）。
FIG. 8 is a process flowchart of
算出した変数ｓｐｅｅｄが実験的に定められるしきい値ｔｈ２よりも大きい場合には（ステップＳ４６でＹＥＳ）、当該コードブロックＣＢ内の画像は高速で移動していると判断し、１ＬＨ重視のデータ削減処理を実行する。具体的には、１ＬＨのコードブロックＣＢのビットプレーンをＬＳＢから１枚削除し（ステップＳ４７）、１ＨＬのコードブロックＣＢのビットプレーンをＬＳＢから２枚削除する（ステップＳ４８）。他方、変数ｓｐｅｅｄがしきい値ｔｈ２以下の場合には（ステップＳ４６でＮＯ）、当該コードブロックＣＢ内の画像は低速で移動していると判断し、１ＨＬ重視のデータ削減処理を実行する。具体的には、１ＬＨのコードブロックＣＢのビットプレーンをＬＳＢから１枚削除し（ステップＳ４９）、１ＨＬのコードブロックＣＢのビットプレーンをＬＳＢから２枚削除する（ステップＳ５０）。 If the calculated variable speed is greater than the experimentally determined threshold value th2 (YES in step S46), it is determined that the image in the code block CB is moving at a high speed, and data reduction is focused on 1LH. Execute the process. Specifically, one bit plane of the 1LH code block CB is deleted from the LSB (step S47), and two bit planes of the 1HL code block CB are deleted from the LSB (step S48). On the other hand, when the variable speed is equal to or smaller than the threshold th2 (NO in step S46), it is determined that the image in the code block CB is moving at a low speed, and the data reduction process with emphasis on 1HL is executed. Specifically, one bit plane of the 1LH code block CB is deleted from the LSB (step S49), and two bit planes of the 1HL code block CB are deleted from the LSB (step S50).
ｎ個のコードブロック全てについて上記移動速度に応じたデータ削減処理が終了していない場合には（ステップＳ５１でＮＯ）、変数ＣＢに１を加算した後（ステップＳ５２）、上記ステップＳ４２に戻り、コードブロック単位での移動速度の判定処理を続行する。他方、ｎ個のコードブロック全てについて上記処理が完了した場合、即ち変数ＣＢ＝ｎの場合には（ステップＳ４６でＹＥＳ）、処理を終了してメインルーチンにリターンする。 If the data reduction process corresponding to the moving speed has not been completed for all n code blocks (NO in step S51), 1 is added to the variable CB (step S52), and the process returns to step S42. Continue moving speed judgment processing in code blocks. On the other hand, when the above process is completed for all n code blocks, that is, when variable CB = n (YES in step S46), the process ends and the process returns to the main routine.
（３）他の変形例
上述するようにフレーム内の被写体の移動速度は、１ＬＨのウェーブレット係数の値に比例するが、当該ウェーブレット係数を５：３のロスレス・フィルタを用いて符号化して得られる１ＬＨのサブバンドの符号データの量にも当然比例する。以下、図５及び図８に示した２つの速度判定処理を仮算術符号化処理により求めた符号の量に基づいて行う場合について順に簡単に説明する。
(3) Other Modifications As described above, the moving speed of the subject in the frame is proportional to the value of the wavelet coefficient of 1LH, but is obtained by encoding the wavelet coefficient using a 5: 3 lossless filter. Naturally, it is also proportional to the amount of code data of the 1 LH subband. Hereinafter, the case where the two speed determination processes shown in FIGS. 5 and 8 are performed based on the amount of codes obtained by the provisional arithmetic encoding process will be briefly described in order.
図９は、図５に示した速度判定処理を仮算術符号化処理により求めた符号の量に基づいて行う場合の処理手順を示す図である。まず、図４のメインルーチンのステップＳ５において実行したスカラ量子化後のウェーブレット係数のデータを３２×３２画素マトリクスで成るコードブロックに分割する（ステップＳ６０）。これにより、レベル１のサブバンドは、各ｎ個のコードブロックに分割される。次に、各コードブロックに分割したウェーブレット係数に対して仮算術符号化処理を施す（ステップＳ６１）。各サブバンドのコードブロックを表す変数ＣＢの値を初期値である１に設定する（ステップＳ６２）。１ＬＨのコードブロックＣＢの符号量の和ｓｕｍ１ＬＨを算出する（ステップＳ６３）。１ＨＬのコードブロックＣＢの符号量の和ｓｕｍ１ＨＬを算出する（ステップＳ６４）。ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬ＝ｓｐｅｅｄを算出する（ステップＳ６５）。
FIG. 9 is a diagram illustrating a processing procedure when the speed determination process illustrated in FIG. 5 is performed based on the amount of codes obtained by the provisional arithmetic encoding process. First, the data of the wavelet coefficient after the scalar quantization executed in step S5 of the main routine of FIG. 4 is divided into code blocks composed of a 32 × 32 pixel matrix (step S60). As a result, the
算出した変数ｓｐｅｅｄが実験的に定められるしきい値ｔｈ３よりも大きい場合には（ステップＳ６６でＹＥＳ）、当該コードブロックＣＢ内の画像は高速で移動していると判断し、１ＬＨ重視のデータ削減処理を実行する。具体的には、１ＬＨのコードブロックＣＢのビットプレーンをＬＳＢから１枚削除し（ステップＳ６７）、１ＨＬのコードブロックＣＢのビットプレーンをＬＳＢから２枚削除する（ステップＳ６８）。他方、変数ｓｐｅｅｄがしきい値ｔｈ３以下の場合には（ステップＳ６６でＮＯ）、当該コードブロックＣＢ内の画像は低速で移動していると判断し、１ＨＬ重視のデータ削減処理を実行する。具体的には、１ＬＨのコードブロックＣＢのビットプレーンをＬＳＢから１枚削除し（ステップＳ６９）、１ＨＬのコードブロックＣＢのビットプレーンをＬＳＢから２枚削除する（ステップＳ７０）。 If the calculated variable speed is larger than the experimentally determined threshold value th3 (YES in step S66), it is determined that the image in the code block CB is moving at a high speed, and 1LH-oriented data reduction is performed. Execute the process. Specifically, one bit plane of the 1LH code block CB is deleted from the LSB (step S67), and two bit planes of the 1HL code block CB are deleted from the LSB (step S68). On the other hand, if the variable speed is equal to or less than the threshold th3 (NO in step S66), it is determined that the image in the code block CB is moving at a low speed, and 1HL-oriented data reduction processing is executed. Specifically, one bit plane of the 1LH code block CB is deleted from the LSB (step S69), and two bit planes of the 1HL code block CB are deleted from the LSB (step S70).
ｎ個のコードブロック全てについて上記移動速度に応じたデータ削減処理が終了していない場合には（ステップＳ７１でＮＯ）、変数ＣＢに１を加算した後（ステップＳ７２）、上記ステップＳ６３に戻り、コードブロック単位での移動速度の判定処理を続行する。他方、ｎ個のコードブロック全てについて上記処理が完了した場合、即ち変数ＣＢ＝ｎの場合には（ステップＳ７１でＹＥＳ）、処理を終了してメインルーチンにリターンする。 If the data reduction processing corresponding to the moving speed has not been completed for all n code blocks (NO in step S71), 1 is added to the variable CB (step S72), and the process returns to step S63. Continue moving speed judgment processing in code blocks. On the other hand, when the above process is completed for all n code blocks, that is, when variable CB = n (YES in step S71), the process ends and the process returns to the main routine.
図１０は、図８に示した速度判定処理を仮算術符号化処理により求めた符号の量に基づいて行う場合の処理手順を示す図である。まず、図４のメインルーチンのステップＳ５において実行したスカラ量子化後のウェーブレット係数のデータを３２×３２画素マトリクスで成るコードブロックに分割する（ステップＳ８０）。これにより、レベル１のサブバンドは、各ｎ個のコードブロックに分割される。次に、各コードブロックに分割したウェーブレット係数のデータに対して仮算術符号化処理を施す（ステップＳ８１）。コードブロックを表す変数ＣＢの値を初期値である１に設定する（ステップＳ８２）。１ＬＨのコードブロックＣＢの符号量の和ｓｕｍ１ＬＨを算出する（ステップＳ８３）。１ＨＬのコードブロックＣＢの符号量の和ｓｕｍ１ＨＬを算出する（ステップＳ８４）。１ＨＨのコードブロックＣＢの符号量の和ｓｕｍ１ＨＨを算出する（ステップＳ８５）。ｓｕｍ１ＬＨ／（ｓｕｍ１ＬＨ＋ｓｕｍ１ＨＬ＋ｓｕｍ１ＨＨ）＝ｓｐｅｅｄを算出する（ステップＳ８６）。
FIG. 10 is a diagram illustrating a processing procedure when the speed determination process illustrated in FIG. 8 is performed based on the amount of codes obtained by the provisional arithmetic encoding process. First, the data of the wavelet coefficient after the scalar quantization executed in step S5 of the main routine of FIG. 4 is divided into code blocks composed of a 32 × 32 pixel matrix (step S80). As a result, the
算出した変数ｓｐｅｅｄが実験的に定められるしきい値ｔｈ４よりも大きい場合には（ステップＳ８７でＹＥＳ）、当該コードブロックＣＢ内の画像は高速で移動していると判断し、１ＬＨ重視のデータ削減処理を実行する。具体的には、１ＬＨのコードブロックＣＢのビットプレーンをＬＳＢから１枚削除し（ステップＳ８８）、１ＨＬのコードブロックＣＢのビットプレーンをＬＳＢから２枚削除する（ステップＳ８９）。他方、変数ｓｐｅｅｄがしきい値ｔｈ４以下の場合には（ステップＳ８７でＮＯ）、当該コードブロックＣＢ内の画像は低速で移動していると判断し、１ＨＬ重視のデータ削減処理を実行する。具体的には、１ＬＨのコードブロックＣＢのビットプレーンをＬＳＢから１枚削除し（ステップＳ９０）、１ＨＬのコードブロックＣＢのビットプレーンをＬＳＢから２枚削除する（ステップＳ９１）。 If the calculated variable speed is larger than the experimentally determined threshold value th4 (YES in step S87), it is determined that the image in the code block CB is moving at high speed, and data reduction is focused on 1LH. Execute the process. Specifically, one bit plane of the 1LH code block CB is deleted from the LSB (step S88), and two bit planes of the 1HL code block CB are deleted from the LSB (step S89). On the other hand, when the variable speed is equal to or less than the threshold th4 (NO in step S87), it is determined that the image in the code block CB is moving at a low speed, and data reduction processing with an emphasis on 1HL is executed. Specifically, one bit plane of the 1LH code block CB is deleted from the LSB (step S90), and two bit planes of the 1HL code block CB are deleted from the LSB (step S91).
ｎ個のコードブロック全てについて上記移動速度に応じたデータ削減処理が終了していない場合には（ステップＳ９２でＮＯ）、変数ＣＢに１を加算した後（ステップＳ９３）、上記ステップＳ８３に戻り、コードブロック単位での移動速度の判定処理を続行する。他方、ｎ個のコードブロック全てについて上記処理が完了した場合、即ち変数ＣＢ＝ｎの場合には（ステップＳ９２でＹＥＳ）、処理を終了してメインルーチンにリターンする。 If the data reduction process corresponding to the moving speed has not been completed for all n code blocks (NO in step S92), 1 is added to the variable CB (step S93), and the process returns to step S83. Continue moving speed judgment processing in code blocks. On the other hand, when the above process is completed for all n code blocks, that is, when variable CB = n (YES in step S92), the process ends and the process returns to the main routine.
以上に説明するように図９及び図１０に示す２つの変形例を用いてもコードブロック単位の被写体の移動速度を簡単に判定することができる。これにより、サブバンド単位で被写体の移動速度を判定する場合に比べて、例えば、静止画の中で被写体だけが移動する場合に、静止画の部分と動画の部分とを分けて適応的に処理することができる。 As described above, the moving speed of the subject in units of code blocks can be easily determined using the two modified examples shown in FIGS. As a result, compared to determining the moving speed of the subject in units of subbands, for example, when only the subject moves in a still image, the still image portion and the moving image portion are processed separately. can do.
１ ＣＰＵ、２ ＲＯＭ、３ ＲＡＭ、４ キーボード、５ マウス、６ ディスプレイ、７ ハードディスク、８ ビデオカメラ、１０ 画像処理装置、１５ 被写体。
1 CPU, 2 ROM, 3 RAM, 4 keyboard, 5 mouse, 6 display, 7 hard disk, 8 video camera, 10 image processing device, 15 subject.
Claims (7)
上記ウェーブレット変換手段が、上記ノンインターレース画像のデータに対してレベル１以上の２次元離散ウェーブレット変換を行うものであり、
上記判定手段が、ウェーブレット変換手段によって得られるウェーブレット係数の内、レベル１の各サブバンドのウェーブレット係数をそれぞれ前記サブバンドよりも小さな画素マトリクスから成るコードブロックに分割し、コードブロック毎に、１ＬＨのコードブロックの係数値の絶対値の合計を、該コードブロックに対応する位置の少なくとも１ＨＬを含むレベル１のコードブロックの係数値の絶対値の合計で割った値が、予め定めたしきい値よりも大きい場合に被写体の移動速度が高速であると判断し、予め定めたしきい値以下の場合に被写体の移動速度が低速であると判断するものであり、
上記データ削除処理手段が、判定手段によって被写体の移動速度が高速であると判断されたコードブロックについては１ＬＨのサブバンドのデータ削除量を他のサブバンドのデータ削除量よりも少なくしたデータ削除処理を実行し、判定手段によって被写体の移動速度が低速であると判断されたコードブロックについては１ＨＬのサブバンドのデータ削除量を他のサブバンドのデータ削除量よりも少なくしたデータ削除処理を実行するものであり、
上記符号化処理手段が、データ削除処理手段によってデータ削除処理されたウェーブレット係数を用いて符号化処理を実行するものである、
ことを特徴とするノンインターレース画像の処理装置。 A non-interlaced image processing apparatus (10) formed by alternately arranging two interlaced images scanned in succession for each scanned line, including a wavelet transform unit (step S4) and a determination unit (step S25). , S46, S66, S87), data deletion processing means (step S6), and encoding processing means (step S8),
The wavelet transform means performs a two-dimensional discrete wavelet transform of level 1 or higher on the data of the non-interlaced image;
The determination means divides the wavelet coefficients of the subbands of level 1 among the wavelet coefficients obtained by the wavelet transform means into code blocks each composed of a pixel matrix smaller than the subband, and each code block has 1 LH. A value obtained by dividing the sum of the absolute values of the coefficient values of the code block by the sum of the absolute values of the coefficient values of the level 1 code block including at least 1HL at the position corresponding to the code block is greater than a predetermined threshold value. Is determined to be a high speed, the object moving speed is determined to be low when it is equal to or less than a predetermined threshold ,
Data deletion processing in which the data deletion processing means has the data deletion amount of the sub-band of 1LH smaller than the data deletion amount of the other subbands for the code block determined by the determination means to have a high moving speed of the subject. , And for the code block for which the moving speed of the subject is determined to be low by the determination means, a data deletion process is performed in which the data deletion amount of the 1HL subband is smaller than the data deletion amount of the other subbands. Is,
The encoding processing means executes encoding processing using the wavelet coefficients subjected to data deletion processing by the data deletion processing means.
And a non-interlaced image processing apparatus.
上記ノンインターレース画像のデータに対してレベル１以上の２次元離散ウェーブレット変換を行うウェーブレット変換工程と、
ウェーブレット変換工程によって得られるウェーブレット係数の内、レベル１の各サブバンドのウェーブレット係数をそれぞれ前記サブバンドよりも小さな画素マトリクスから成るコードブロックに分割し、コードブロック毎に、１ＬＨのコードブロックの係数値の絶対値の合計を、該コードブロックに対応する位置の少なくとも１ＨＬを含むレベル１のコードブロックの係数値の絶対値の合計で割った値が、予め定めたしきい値よりも大きい場合に被写体の移動速度が高速であると判断し、予め定めたしきい値以下の場合に被写体の移動速度が低速であると判断する判定工程と、
判定工程によって被写体の移動速度が高速であると判断されたコードブロックについては１ＬＨのサブバンドのデータ削除量を他のサブバンドのデータ削除量よりも少なくしたデータ削除処理を実行し、判定工程によって被写体の移動速度が低速であると判断されたコードブロックについては１ＨＬのサブバンドのデータ削除量を他のサブバンドのデータ削除量よりも少なくしたデータ削除処理を実行するデータ削除処理工程と、
データ削除処理工程によってデータ削除処理されたウェーブレット係数を用いて符号化処理を実行する符号化処理工程と、
を含んでいることを特徴とするノンインターレース画像の処理方法。 A non-interlaced image processing method in which two consecutively scanned interlaced images are alternately arranged for each scanned line,
A wavelet transform step for performing a two-dimensional discrete wavelet transform of level 1 or higher on the non-interlaced image data;
Of the wavelet coefficients obtained by the wavelet transform process , the wavelet coefficients of the subbands of level 1 are divided into code blocks each composed of a pixel matrix smaller than the subband, and for each code block, the coefficient value of the code block of 1 LH When a value obtained by dividing the sum of the absolute values of the two by the sum of the absolute values of the coefficient values of the level 1 code block including at least 1HL at the position corresponding to the code block is greater than a predetermined threshold value, A determination step of determining that the movement speed of the subject is high, and determining that the movement speed of the subject is low when the movement speed is equal to or lower than a predetermined threshold value;
Moving speed of the object by determining step executes the data deletion processing less than the data deletion of the other sub-band data deletion of subbands 1LH for code block determined to be high speed, the determination step A data deletion processing step of executing a data deletion process in which the data deletion amount of the subband of 1HL is smaller than the data deletion amount of the other subbands for the code block determined to have a low moving speed of the subject;
An encoding process step for performing an encoding process using the wavelet coefficients subjected to the data deletion process by the data deletion process step;
And a non-interlaced image processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003353760A JP4247088B2 (en) | 2002-10-15 | 2003-10-14 | Non-interlaced image processing apparatus and processing method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002300476 | 2002-10-15 | ||
| JP2003353760A JP4247088B2 (en) | 2002-10-15 | 2003-10-14 | Non-interlaced image processing apparatus and processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004159312A JP2004159312A (en) | 2004-06-03 |
| JP4247088B2 true JP4247088B2 (en) | 2009-04-02 |
Family
ID=32827900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003353760A Expired - Fee Related JP4247088B2 (en) | 2002-10-15 | 2003-10-14 | Non-interlaced image processing apparatus and processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4247088B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008058221A (en) * | 2006-09-01 | 2008-03-13 | Kobe Univ | Velocity of high-speed moving body, estimation method of position, estimation program, and estimation system |
-
2003
- 2003-10-14 JP JP2003353760A patent/JP4247088B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004159312A (en) | 2004-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI436286B (en) | Method and apparatus for decoding image | |
| JP4254017B2 (en) | Image coding apparatus and method | |
| JP2006050534A (en) | Method for processing video image | |
| US11140392B2 (en) | Image encoding apparatus, image decoding apparatus, control methods thereof, and non- transitory computer-readable storage medium | |
| JP2004153751A (en) | Image processing apparatus and image processing method | |
| JP2002247518A (en) | Electronic camera and image processing program | |
| WO2006046550A1 (en) | Image encoding method and device, image decoding method, and device | |
| JP4247088B2 (en) | Non-interlaced image processing apparatus and processing method | |
| JP6471022B2 (en) | Image processing system and image processing method | |
| JP4247089B2 (en) | Non-interlaced image processing apparatus and processing method | |
| KR102250088B1 (en) | Method and Apparatus for decoding video stream | |
| JP4726040B2 (en) | Encoding processing device, decoding processing device, encoding processing method, decoding processing method, program, and information recording medium | |
| JP4510701B2 (en) | Video encoding device | |
| JP4792250B2 (en) | Moving image processing apparatus and moving image processing method | |
| JP4077706B2 (en) | Interlaced image processing apparatus and processing method | |
| JP2007074042A (en) | Moving picture processing apparatus and method | |
| JP4749508B2 (en) | Image decoding method | |
| JP4988623B2 (en) | Image encoding apparatus and image decoding apparatus | |
| JP2006340300A (en) | Signal processing method, signal processing apparatus, signal processing program and information recording medium | |
| JP4667424B2 (en) | Image decoding device | |
| JP4667423B2 (en) | Image decoding device | |
| JP3897253B2 (en) | Image processing method, image processing apparatus, imaging apparatus, program, and recording medium | |
| CN103888780B (en) | Moving picture encoding device, dynamic image decoding device, motion image encoding method and dynamic image decoding method | |
| JP4551413B2 (en) | Image processing apparatus and image processing method | |
| JP4594425B2 (en) | Image processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051020 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071211 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081014 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090109 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4247088 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140116 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |