JP3511645B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing methodInfo
- Publication number
- JP3511645B2 JP3511645B2 JP21396293A JP21396293A JP3511645B2 JP 3511645 B2 JP3511645 B2 JP 3511645B2 JP 21396293 A JP21396293 A JP 21396293A JP 21396293 A JP21396293 A JP 21396293A JP 3511645 B2 JP3511645 B2 JP 3511645B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- coefficient
- data
- transform
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Studio Circuits (AREA)
- Television Systems (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は、基準画像が拡大されて
画素数が増加された画像を出力する画像処理装置及び画
像処理方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus and an image processing method for outputting an image in which a reference image is enlarged and the number of pixels is increased.
【０００２】[0002]
【従来の技術】テレビカメラ等によってディジタル画像
をズームして拡大して得られた画像の画素数は元の画像
の画素数よりも増加することになる。このような画像を
拡大する方法、すなわち画素数を増加させる方法には、
空間内で拡大画像内に画素を補間して画像を拡大する方
法と、直交変換される領域を拡張し、変換空間で拡大画
像の画像データに直交変換を行ったときの変換係数を上
記拡張された領域内に補充して逆変換を行うことによ
り、画像を拡大する方法とが存在する。2. Description of the Related Art The number of pixels of an image obtained by zooming and enlarging a digital image with a television camera or the like is larger than the number of pixels of the original image. A method of enlarging such an image, that is, a method of increasing the number of pixels is
A method of enlarging an image by interpolating pixels in a magnified image in space, and expanding a region to be orthogonally transformed, and transforming the transform coefficient when the image data of the magnified image is orthogonally transformed in the transform space are expanded as described above. There is a method of enlarging an image by replenishing it in a region and performing inverse transformation.
【０００３】上記空間内で拡大画像内の画素を補間する
方法においては、線形補間フィルタ等を用いて画素を補
間しているが、この方法により得られる拡大画像は、拡
大される前の画像よりも解像度が低下し、拡大画像上に
はぼけが目立つことが問題となっている。In the method of interpolating the pixels in the enlarged image in the above space, the pixels are interpolated using a linear interpolation filter or the like. However, the enlarged image obtained by this method is better than the image before being enlarged. However, there is a problem that the resolution is lowered and blur is noticeable on the enlarged image.
【０００４】一方、変換係数を補充して逆変換を行う方
法は、上記線形補間フィルタを用いて画素を補間する方
法よりも拡大画像の解像度を低下させることはない。On the other hand, the method of supplementing the conversion coefficient and performing the inverse conversion does not lower the resolution of the enlarged image as compared with the method of interpolating the pixels using the linear interpolation filter.
【０００５】[0005]
【発明が解決しようとする課題】ところで、通常、画像
データに直交変換を施すことにより得られる変換係数に
は、画像の高周波成分が表れている。しかし、従来の変
換係数を補充して逆変換を行う方法においては、拡大画
像内の補充された変換係数を単にゼロとしているので、
高周波成分は含まれていない。従って、このゼロが設定
されて補充された変換係数を用いて逆変換を行い、拡大
画像を合成した場合には、画素数が増加するが、解像度
の不足した画像が得られる。すなわち、画像拡大に伴
い、画素数が増加した分の解像度の向上が得られない。By the way, usually, a high-frequency component of an image appears in a transform coefficient obtained by performing an orthogonal transform on image data. However, in the conventional method of supplementing the transform coefficient and performing the inverse transform, since the supplemented transform coefficient in the enlarged image is simply zero,
It does not contain high frequency components. Therefore, when the inverse transformation is performed using the transformation coefficient replenished with zero set and an enlarged image is combined, the number of pixels increases, but an image with insufficient resolution is obtained. That is, as the image is enlarged, the resolution cannot be improved due to the increase in the number of pixels.
【０００６】そこで、本発明は上述の実情に鑑み、拡大
画像の高周波成分を含み、画像の特徴を反映させた変換
係数により拡大画像を得ることができ、画素数が増加し
た分の解像度の向上が得られるような画像処理装置及び
画像処理方法を提供するものである。In view of the above situation, the present invention can obtain a magnified image by a conversion coefficient that includes the high frequency component of the magnified image and reflects the characteristics of the image, and the resolution is improved by the number of pixels. The present invention provides an image processing apparatus and an image processing method capable of obtaining
【０００７】[0007]
【課題を解決するための手段】本発明に係る画像処理装
置は、入力される基準画像の画像データのブロック化を
行うブロック化手段と、上記ブロック化手段からのブロ
ック化された画像データに直交変換を行い変換係数を求
める直交変換手段と、上記直交変換手段からの変換係数
を複数のクラスのうち該当するクラスに分類し、このク
ラスを示すクラスコードを発生するクラス分類手段と、
基準画像及び拡大画像の画像データに直交変換を施した
変換係数に基づき予め学習によって取得された変換係数
データのうち、上記クラス分類手段からのクラスコード
に対応する変換係数データが読み出される係数データ発
生手段と、上記直交変換手段からの変換係数と上記係数
データ発生手段からの変換係数データとにより拡大画像
の変換係数を合成する係数合成手段と、上記係数合成手
段からの変換係数に逆変換を行い、拡大画像のブロック
毎の画像データを出力する逆変換手段とから成ることに
より、上述の課題を解決する。SUMMARY OF THE INVENTION An image processing apparatus according to the present invention comprises a blocking means for blocking image data of an input reference image, and an orthogonal to the blocked image data from the blocking means. Orthogonal transformation means for performing transformation to obtain a transformation coefficient, classifying means for classifying the transformation coefficient from the orthogonal transformation means into a corresponding class among a plurality of classes, and generating a class code indicating this class,
Coefficient data generation in which the conversion coefficient data corresponding to the class code from the class classification means is read out of the conversion coefficient data acquired by learning based on the conversion coefficient obtained by orthogonally transforming the image data of the reference image and the enlarged image Means, a coefficient synthesizing means for synthesizing the transform coefficient of the enlarged image by the transform coefficient from the orthogonal transforming means and the transform coefficient data from the coefficient data generating means, and the inverse transform to the transform coefficient from the coefficient synthesizing means. The above-mentioned problem is solved by the inverse conversion means for outputting the image data for each block of the enlarged image.
【０００８】また、上記係数データ発生手段には、基準
画像及び拡大画像の画像データをそれぞれブロック化し
て直交変換を施すことにより変換係数を求め、上記基準
画像の変換係数と上記拡大画像の変換係数との間で学習
を行うことにより最適化された変換係数データを求め、
上記クラスコードとこのクラスコードに対応する最適化
された変換係数データとが予めテーブルに記憶されてい
ることを特徴とする。In the coefficient data generating means, the image data of the reference image and the enlarged image are divided into blocks and orthogonal transformation is performed to obtain the transformation coefficient, and the transformation coefficient of the reference image and the transformation coefficient of the enlarged image are obtained. Optimized transform coefficient data is obtained by learning between
The class code and the optimized conversion coefficient data corresponding to the class code are stored in a table in advance.
【０００９】本発明に係る画像処理方法は、入力される
基準画像の画像データのブロック化を行うブロック化工
程と、上記ブロック化工程からのブロック化された画像
データに直交変換を行い変換係数を求める直交変換工程
と、上記直交変換工程からの変換係数を複数のクラスの
うち該当するクラスに分類し、このクラスを示すクラス
コードを発生するクラス分類工程と、基準画像及び拡大
画像の画像データに直交変換を施した変換係数に基づき
予め学習によって取得された変換係数データのうち、上
記クラス分類工程からのクラスコードに対応する変換係
数データが読み出される係数データ発生工程と、上記直
交変換工程からの変換係数と上記係数データ発生手段か
らの変換係数データとにより拡大画像の変換係数を合成
する係数合成工程と、上記係数合成工程からの変換係数
に逆変換を行い、拡大画像のブロック毎の画像データを
出力する逆変換工程とから成ることにより、上述の課題
を解決する。The image processing method according to the present invention comprises a block forming step of forming image data of the input reference image into blocks, and an orthogonal transform of the block image data obtained from the block forming step to obtain transform coefficients. The orthogonal transformation step to be obtained, the transformation coefficient from the orthogonal transformation step is classified into a corresponding class among a plurality of classes, and a class classification step of generating a class code indicating this class, and the image data of the reference image and the enlarged image. Of the transform coefficient data obtained by learning in advance based on the transform coefficient subjected to the orthogonal transform, the coefficient data generating step in which the transform coefficient data corresponding to the class code from the class classification step is read, and the orthogonal transform step from the orthogonal transform step. A coefficient synthesizing step of synthesizing the conversion coefficient of the enlarged image with the conversion coefficient and the conversion coefficient data from the coefficient data generating means. Performs inverse transform on the transform coefficients from the coefficient synthesis step, by comprising a reverse transformation step of outputting the image data for each block of the enlarged image, which solves the problems described above.
【００１０】また、上記係数データ発生工程には、基準
画像及び拡大画像の画像データをそれぞれブロック化し
て直交変換を施すことにより変換係数を求め、上記基準
画像の変換係数と上記拡大画像の変換係数との間で学習
を行うことにより最適化された変換係数データを求め、
上記クラスコードとこのクラスコードに対応する最適化
された変換係数データとが予めテーブルに記憶されてい
ることを特徴とする。In the coefficient data generating step, the image data of the reference image and the enlarged image are divided into blocks and orthogonal transformation is performed to obtain the transformation coefficient, and the transformation coefficient of the reference image and the transformation coefficient of the enlarged image are obtained. Optimized transform coefficient data is obtained by learning between
The class code and the optimized conversion coefficient data corresponding to the class code are stored in a table in advance.
【００１１】[0011]
【作用】本発明においては、基準画像の画像データを直
交変換して求めた変換係数と係数データ発生手段に予め
学習されて記憶されている拡張された領域内の変換係数
データとを合成して逆変換を行うことにより、拡大画像
を合成する。According to the present invention, the transform coefficient obtained by orthogonally transforming the image data of the reference image and the transform coefficient data in the expanded area previously learned and stored in the coefficient data generating means are synthesized. The inverse image is converted to synthesize the enlarged image.
【００１２】[0012]
【実施例】以下、本発明の好ましい実施例について、図
面を参照しながら説明する。図１には、本発明に係る画
像処理装置の実施例となる電子ズーム装置の概略的な構
成を示す。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT A preferred embodiment of the present invention will be described below with reference to the drawings. FIG. 1 shows a schematic configuration of an electronic zoom device which is an embodiment of an image processing device according to the present invention.
【００１３】図１の入力端子１から入力される基準画像
のディジタル画像データは、ブロック化部２に送られ
る。上記ブロック化部２には基準画像を拡大する所望の
ズーム率が外部から与えられている。よって、上記ブロ
ック化部２では、上記ズーム率により、基準画像内の拡
大される領域を特定することができ、この特定された拡
大されるべき領域の画像データのブロック化が行われ
る。上記ブロック化された画像データは、ブロック毎に
直交変換部３に出力される。この直交変換部３では、上
記ブロック毎のそれぞれの画像データに直交変換を施
し、変換係数を得る。この直交変換としては、ＤＣＴ
（Discrete Cosine Transform)、アダマール変換、ＫＬ
（カルーネンレーブ）変換等を用いることが考えられ
る。Digital image data of the reference image input from the input terminal 1 of FIG. 1 is sent to the blocking unit 2. A desired zoom ratio for enlarging the reference image is given to the blocking unit 2 from the outside. Therefore, the blocking unit 2 can specify the area to be enlarged in the reference image based on the zoom ratio, and the image data of the specified area to be enlarged is divided into blocks. The block-shaped image data is output to the orthogonal transformation unit 3 for each block. The orthogonal transform unit 3 performs orthogonal transform on each image data of each block to obtain transform coefficients. As this orthogonal transformation, the DCT
(Discrete Cosine Transform), Hadamard transform, KL
It is conceivable to use (Karunen-Rave) transformation or the like.
【００１４】例えば、上記ブロック化部２において、４
行４列（４×４）でブロック化された各画素データに直
交変換を施した場合には、図２の（ａ）の○印で示すよ
うな変換係数群が得られる。For example, in the blocking unit 2, 4
When orthogonal transformation is applied to each pixel data which is divided into blocks of 4 rows (4 × 4), a transformation coefficient group as indicated by a circle in FIG. 2A is obtained.
【００１５】ここで、基準画像内の４行４列（４×４）
でブロック化された画像データを２倍して、８行８列
（８×８）のブロック化された画像データに拡大した拡
大画像を合成する場合には、画素数が４×４から８×８
に増加することから、変換係数も同様に増加させること
が必要となり、図２の（ａ）の×印で示される変換係数
を補充することになる。従って、図２の（ｂ）の●印で
示される位置に変換係数が補充され、○印及び●印で示
される全ての変換係数に逆変換を施すことにより、基準
画像を２倍に拡大した拡大画像のブロック化された画像
データを得ることができる。すなわち、画素数が増加さ
れた画像データを得ることができる。Here, 4 rows and 4 columns (4 × 4) in the reference image
When synthesizing an enlarged image that is enlarged into block image data of 8 rows and 8 columns (8 × 8) by doubling the block image data of 4 × 4 to 8 × 8
Therefore, it is necessary to increase the conversion coefficient in the same manner, and the conversion coefficient indicated by x in FIG. 2A is supplemented. Therefore, the conversion coefficient is replenished at the positions indicated by ● in FIG. 2B, and all the conversion coefficients indicated by ○ and ● are inversely converted to double the reference image. It is possible to obtain the blocked image data of the enlarged image. That is, it is possible to obtain image data having an increased number of pixels.
【００１６】上記直交変換部３において得られた変換係
数は、クラスコード発生部４に送られる。このクラスコ
ード発生部４では、送られた各ブロック毎の変換係数を
クラス分類し、このクラス分類された変換係数のクラス
コードを発生する。発生されたクラスコードはＲＯＭ
（読み出し専用メモリ）テーブル５に送られる。The transform coefficient obtained by the orthogonal transform unit 3 is sent to the class code generation unit 4. The class code generation unit 4 classifies the transmitted transform coefficients of each block and generates a class code of the transform coefficients classified in this class. The generated class code is ROM
(Read-only memory) Sent to table 5.
【００１７】このＲＯＭテーブル５には、拡大画像内に
補充される最適化された変換係数データが予め学習によ
り得られ、クラスコードと共にテーブルとして記憶され
ている。よって、上記ＲＯＭテーブル５からは、上記ク
ラスコード発生部４からのクラスコードをアドレスとし
て用いることにより、このクラスコードに対応した拡大
画像中の変換係数データが読み出される。In the ROM table 5, optimized conversion coefficient data to be supplemented in the enlarged image is obtained by learning in advance and stored as a table together with the class code. Therefore, by using the class code from the class code generator 4 as an address, the conversion coefficient data in the enlarged image corresponding to this class code is read from the ROM table 5.
【００１８】ここで、上記ＲＯＭテーブル５に予め学習
される変換係数データについて説明する。The conversion coefficient data learned in advance in the ROM table 5 will now be described.
【００１９】先ず、例えば、図３の（ａ）の基準画像
と、この基準画像のズーム中心ｓを中心として拡大され
た図３の（ｂ）に示す拡大画像とを用意する。この拡大
画像の画像データは、特願平４−３１８７６６号の明細
書及び図面等において提案されているズーム率算出方法
により求めることができる。First, for example, the reference image shown in FIG. 3A and the enlarged image shown in FIG. 3B enlarged about the zoom center s of the reference image are prepared. The image data of this enlarged image can be obtained by the zoom ratio calculation method proposed in the specification and drawings of Japanese Patent Application No. 4-318766.
【００２０】図４のフローチャートには変換係数を学習
するときの手順が示されており、ステップＳ１で、図３
の（ａ）の基準画像の画像データをブロック化し、ステ
ップＳ２で上記ブロック化された画像データに直交変換
を施して変換係数を求める。さらに、ステップＳ３で、
上記変換係数をクラス分類して、このクラス分類された
変換係数に対応するクラスコードを生成する。The flow chart of FIG. 4 shows the procedure for learning the conversion coefficient.
In (a), the image data of the reference image is divided into blocks, and the block image data is subjected to orthogonal transformation in step S2 to obtain transform coefficients. Furthermore, in step S3,
The conversion coefficients are classified into classes, and a class code corresponding to the classified conversion coefficients is generated.
【００２１】また、上述の動作と平行して、ステップＳ
４では、図３の（ｂ）の拡大画像の画像データをブロッ
ク化し、ステップＳ５で上記ブロック化された画像デー
タに直交変換を施して変換係数を求める。In parallel with the above operation, step S
In step 4, the image data of the enlarged image of FIG. 3B is divided into blocks, and in step S5, the blocked image data is subjected to orthogonal transformation to obtain transform coefficients.
【００２２】次に、ステップＳ６に進んで、ステップＳ
３でクラス分類された変換係数と、この変換係数に対応
する拡大画像の変換係数との間で学習を行う。この後、
ステップＳ７で、基準画像における全てのブロック化さ
れた画像データについて、変換係数が求められてクラス
分類され、拡大画像のブロック化された画像データの変
換係数との間で学習が行われたか否かを判別する。Next, the process proceeds to step S6, and step S
Learning is performed between the conversion coefficient classified into the class 3 and the conversion coefficient of the enlarged image corresponding to this conversion coefficient. After this,
In step S7, it is determined whether the transform coefficients are obtained and classified for all the block image data in the reference image, and whether learning is performed with the transform coefficients of the block image data of the enlarged image. To determine.
【００２３】上記学習が全てのブロック化された画像デ
ータに対して行われていないならば、ステップＳ１及び
ステップＳ４に戻って、さらに、まだ学習が行われてい
ない基準画像及び拡大画像の画像データをブロック化
し、このブロック化された画像データに直交変換を施し
て変換係数を求め、学習を行う。しかし、上記学習が全
てのブロック化された画像データに対して行われたなら
ば、ステップＳ８に進んで、上記学習されたクラス分類
に対応するクラスコードとこのクラスコードに対応する
拡大画像の最適化された変換係数とからマッピングテー
ブルを生成する。このように、上記ＲＯＭテーブル５内
には、所定のクラスコード及びこのクラスコードに対応
する変換係数データが、予め学習されて複数記憶されて
いる。If the learning has not been performed on all the blocked image data, the process returns to step S1 and step S4, and the image data of the reference image and the enlarged image which have not been learned yet. Is divided into blocks, and orthogonal transformation is performed on the block-shaped image data to obtain transform coefficients, and learning is performed. However, if the learning is performed on all the blocked image data, the process proceeds to step S8 to optimize the class code corresponding to the learned class classification and the enlarged image corresponding to the class code. A mapping table is generated from the converted conversion coefficient. As described above, in the ROM table 5, a plurality of predetermined class codes and conversion coefficient data corresponding to the class codes are previously learned and stored.
【００２４】上記ＲＯＭテーブル５内に記憶されるクラ
スコードの最も簡便な分類方法は、クラス分類される、
基準画像のブロック毎の画像データに直交変換を施すこ
とにより得られる変換係数に圧縮等の処理を行わず、上
記ブロック毎の画像データの変換係数をそのままクラス
コードとする方法である。しかし、変換係数がそのまま
クラスコードである場合には、上記クラスコードと同等
な数の変換係数のパターンを記憶しておかなければなら
ず、このためには膨大な容量のＲＯＭが必要となる。従
って、実現性を考慮した場合には、学習される基準画像
の変換係数に圧縮等の処理を用いることが考えられる。The simplest classification method for class codes stored in the ROM table 5 is classification.
This is a method in which the conversion coefficient of the image data of each block is directly used as a class code without performing processing such as compression on the conversion coefficient obtained by performing orthogonal transformation on the image data of each block of the reference image. However, if the conversion coefficient is the class code as it is, it is necessary to store the same number of conversion coefficient patterns as the class code, and a huge capacity of ROM is required for this purpose. Therefore, in consideration of feasibility, it is conceivable to use processing such as compression for the conversion coefficient of the reference image to be learned.
【００２５】そこで、例えば、上記クラスコード数をＡ
ＤＲＣ（適応型ダイナミックレンジ符号化）を使用して
削減する方法が考えられる。本来、ＡＤＲＣはＶＴＲ
（ビデオテープレコーダ）向けの高能率符号化用に開発
された適応的再量子化法であり、信号レベルの局所的な
パターンを短い語長で効率的に表現することができる。
よって、ＡＤＲＣを使用した場合には、変換係数のパタ
ーンの性質を保存した効果的なクラスコードの数の削減
を行うことができる。Therefore, for example, the class code number is A
A method of reduction using DRC (Adaptive Dynamic Range Coding) is conceivable. Originally, ADRC is a VTR
It is an adaptive requantization method developed for high-efficiency coding for (video tape recorders), and can efficiently express local patterns of signal levels with short word lengths.
Therefore, when ADRC is used, it is possible to effectively reduce the number of class codes in which the property of the transform coefficient pattern is preserved.
【００２６】ここで、上記変換係数として予測係数を用
いる場合の、クラス分割にＡＤＲＣを用いた予測係数の
学習方法について具体的に説明する。Here, a method of learning a prediction coefficient using ADRC for class division when a prediction coefficient is used as the conversion coefficient will be specifically described.
【００２７】図５は、上記ＲＯＭテーブル５内に記憶さ
れる予測係数を学習する際の概略的な構成を示す。この
図５の入力端子１１からはブロック化されたズーム前の
画像である基準画像の１ブロックの画像データに直交変
換を施して得られた変換係数が入力され、入力端子１２
からは上記基準画像の１ブロックの画像データに対応す
るブロック化された拡大画像の１ブロックの画像データ
に直交変換を施して得られた変換係数が入力される。こ
れら２つのブロックの変換係数は、学習部１３に送られ
る。この学習部１３では、入力された基準画像の変換係
数と拡大画像の変換係数とを用いて学習し、クラスコー
ドとこのクラスコードに対応する予測係数を作成する。
このクラスコードと予測係数とは、予測係数メモリ１４
に送られ、記憶される。FIG. 5 shows a schematic configuration for learning the prediction coefficient stored in the ROM table 5. From the input terminal 11 of FIG. 5, a transform coefficient obtained by performing orthogonal transform on the image data of one block of the reference image that is a block-before image is input, and the input terminal 12
From, the transformation coefficient obtained by performing the orthogonal transformation on the image data of one block of the block-enlarged image corresponding to the image data of one block of the reference image is input. The transform coefficients of these two blocks are sent to the learning unit 13. The learning unit 13 learns using the input conversion coefficient of the reference image and the conversion coefficient of the enlarged image, and creates a class code and a prediction coefficient corresponding to this class code.
The class code and the prediction coefficient are stored in the prediction coefficient memory 14
Sent to and stored in.
【００２８】先ず、基準画像としてブロック化されたズ
ーム前の画像の１ブロック分の変換係数をｘ1 ，・・
・，ｘn とし、この変換係数ｘ1 ，・・・，ｘn の各デ
ータに対してｐビットＡＤＲＣを行った結果の再量子化
データをｑ1 ，・・・，ｑn としたときのブロック毎の
クラスコードｃｌａｓｓは（１）式で定義される。例え
ば、上記変換係数ｘ1 ，・・・，ｘn は、図２の（ａ）
内の４×４画素から成る１ブロック（ｎ＝４）に相当す
る。First, the conversion coefficient for one block of the image before zooming, which is blocked as a reference image, is x 1 , ...
-, and x n, the transform coefficients x 1, · · ·, requantization data results of p-bit ADRC for each data x n q 1, ···, when the q n The class code class for each block is defined by the equation (1). For example, the conversion coefficients x 1 , ..., X n are (a) in FIG.
This corresponds to one block (n = 4) composed of 4 × 4 pixels.
【００２９】[0029]
【数１】 [Equation 1]
【００３０】そこで、一般的に、２倍に拡大された拡大
画像内で補充されるべき変換係数をｙとし、この変換係
数ｙが補充されるズーム前の基準画像内のブロックの変
換係数をｘ1 ，・・・，ｘn としたときに、クラス分類
毎に（２）式に示す係数ｗ1，・・・，ｗn によるｎタ
ップの線形推定式を設定する。Therefore, generally, the conversion coefficient to be replenished in the magnified image magnified twice is set to y, and the conversion coefficient of the block in the reference image before zooming to which the conversion coefficient y is replenished is x. 1, ..., when the x n, coefficients w 1 shown in every classification (2), ..., sets the linear estimation equation of n tap according to w n.
【００３１】 ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋・・・＋ｗn ｘn ・・・（２） 学習前は、ｗi が未定係数である。Y = w 1 x 1 + w 2 x 2 + ... + w n x n (2) Before learning, w i is an undetermined coefficient.
【００３２】学習は、クラス分類された複数の変換係数
に対して行う。例えば、変換係数の数がｍの場合には、
（２）式に従って、
ｙk ＝ｗ1 ｘk1＋ｗ2 ｘk2＋・・・＋ｗn ｘkn ・・・（３）
（ｋ＝１，２，・・・，ｍ）
となる。Learning is performed on a plurality of transform coefficients classified into classes. For example, when the number of conversion coefficients is m,
According to the equation (2), y k = w 1 x k1 + w 2 x k2 + ... + w n x kn (3) (k = 1, 2, ..., M).
【００３３】ここで、ｍ＞ｎの場合には、係数ｗ1 ，・
・・，ｗn は一意には決まらないので、誤差ベクトルｅ
の要素を、
ｅk ＝ｙk −｛ｗ1 ｘk1＋ｗ2 ｘk2＋・・・＋ｗn ｘkn｝ ・・・（４）
（ｋ＝１，２，・・・，ｍ）
と定義して、（５）式を最小にする係数を求める。Here, when m> n, the coefficients w 1 , ...
.., w n are not uniquely determined, so the error vector e
The elements, e k = y k - { w 1 x k1 + w 2 x k2 + ··· + w n x kn} ··· (4) defines (k = 1,2, ···, m ) and Then, the coefficient that minimizes the equation (5) is obtained.
【００３４】[0034]
【数２】 [Equation 2]
【００３５】これは、いわゆる最小自乗法による解法で
ある。ここで、（４）式の予測係数セットｗi による偏
微分係数を求める。This is a so-called least squares method. Here, the partial differential coefficient by the prediction coefficient set w i of the equation (4) is obtained.
【００３６】[0036]
【数３】 [Equation 3]
【００３７】（６）式を０にするように、各予測係数セ
ットｗi を決めればよいから、Since each prediction coefficient set w i may be determined so that the equation (6) becomes 0,
【００３８】[0038]
【数４】 [Equation 4]
【００３９】として行列を用いると、Using a matrix as
【００４０】[0040]
【数５】 [Equation 5]
【００４１】となる。この方程式は、一般に正規方程式
と呼ばれている。この方程式を掃き出し法などの一般的
な行列解法を用いて、予測係数セットｗi について解け
ば予測係数セットｗi が決まる。よって、上記ＲＯＭテ
ーブル５には、クラスコードをアドレスとして、上記予
測係数セットｗi を記憶しておく。It becomes This equation is generally called a normal equation. The prediction coefficient set w i is determined by solving this equation for the prediction coefficient set w i using a general matrix solution method such as a sweeping method. Therefore, the prediction coefficient set w i is stored in the ROM table 5 with the class code as an address.
【００４２】従って、上記ＲＯＭテーブル５内の予め学
習されて記憶されている補充のための変換係数が予測係
数である場合には、上記ＲＯＭテーブル５に上記クラス
コード発生部４からのクラスコードが入力されると、入
力されたクラスコードに応じた予測係数データが読み出
される。上記読み出された予測係数は、係数合成部６に
送られる。この係数合成部６では、上記予測係数を用い
て（１０）式の予測式に従った演算を行うことにより、
拡大画像内の補充される変換係数ｙ’を算出する。Therefore, when the conversion coefficient for supplementation that has been learned and stored in advance in the ROM table 5 is a prediction coefficient, the class code from the class code generating section 4 is stored in the ROM table 5. When input, the prediction coefficient data corresponding to the input class code is read. The read prediction coefficient is sent to the coefficient synthesizing unit 6. In the coefficient synthesizing unit 6, the above-described prediction coefficient is used to perform an operation in accordance with the prediction formula (10).
The conversion coefficient y ′ to be supplemented in the enlarged image is calculated.
【００４３】
ｙ’＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋・・・＋ｗn ｘn ・・・（１０）
さらに、この係数合成部６には、上記直交変換部３で得
られた変換係数が供給されており、この基準画像の画像
データの変換係数と補充される変換係数とが合成され、
逆変換部７に供給される。この逆変換部７では、合成さ
れた拡大画像の変換係数に逆変換を施すことにより、拡
大画像のブロック化された画像データを得る。Y ′ = w 1 x 1 + w 2 x 2 + ... + w n x n (10) Further, the coefficient synthesizing unit 6 stores the transform coefficient obtained by the orthogonal transform unit 3 described above. Is supplied, the conversion coefficient of the image data of this reference image and the conversion coefficient to be supplemented are combined,
It is supplied to the inverse conversion unit 7. The inverse transform unit 7 obtains blocked image data of the enlarged image by inversely transforming the conversion coefficient of the synthesized enlarged image.
【００４４】上記逆変換部７で得られた拡大画像の画像
データは、ブロック分解部８に送られて、それぞれのブ
ロックが分解され、１つの拡大画像の画像データが生成
される。この拡大画像の画像データは、出力端子９から
出力される。The image data of the enlarged image obtained by the inverse transform unit 7 is sent to the block decomposing unit 8 to decompose each block into image data of one enlarged image. The image data of this enlarged image is output from the output terminal 9.
【００４５】尚、クラス分割のための画像データ圧縮方
法としてＡＤＲＣを用いたが、このＡＤＲＣの代わり
に、ＶＱ（ベクトル量子化）、ＤＰＣＭ（予測符号化）
等のデータ圧縮方法を用いてもよい。Although ADRC is used as the image data compression method for class division, VQ (vector quantization) and DPCM (predictive coding) are used instead of ADRC.
A data compression method such as the above may be used.
【００４６】[0046]
【発明の効果】以上の説明からも明らかなように、本発
明に係る画像処理装置は、入力される基準画像の画像デ
ータのブロック化を行うブロック化手段と、上記ブロッ
ク化手段からのブロック化された画像データに直交変換
を行い変換係数を求める直交変換手段と、上記直交変換
手段からの変換係数を複数のクラスのうち該当するクラ
スに分類し、このクラスを示すクラスコードを発生する
クラス分類手段と、基準画像及び拡大画像の画像データ
に直交変換を施した変換係数に基づき予め学習によって
取得された変換係数データのうち、上記クラス分類手段
からのクラスコードに対応する変換係数データが読み出
される係数データ発生手段と、上記直交変換手段からの
変換係数と上記係数データ発生手段からの変換係数デー
タとにより拡大画像の変換係数を合成する係数合成手段
と、上記係数合成手段からの変換係数に逆変換を行い、
拡大画像のブロック毎の画像データを出力する逆変換手
段とから成ることにより、拡大画像の高周波成分が反映
した変換係数データを用いるので、解像度を低下させる
ことなく拡大画像を合成することができる。As is apparent from the above description, the image processing apparatus according to the present invention comprises a blocking means for blocking the input image data of the reference image, and a blocking means from the blocking means. Orthogonal transformation means for performing transformation of the transformed image data to obtain transformation coefficients, and classification of transformation coefficients from the above-mentioned orthogonal transformation means into a corresponding class of a plurality of classes and generating a class code indicating this class And transform coefficient data corresponding to the class code from the class categorizing means is read out from the transform coefficient data acquired by learning in advance based on the transform coefficient obtained by orthogonally transforming the image data of the reference image and the enlarged image. An enlarged image is formed by the coefficient data generation means, the conversion coefficient from the orthogonal transformation means and the conversion coefficient data from the coefficient data generation means. A coefficient combining means for combining the transform coefficients performs an inverse transform to the transform coefficients from the coefficient combining means,
Since the conversion coefficient data reflecting the high-frequency component of the enlarged image is used by including the inverse conversion unit that outputs the image data for each block of the enlarged image, the enlarged image can be combined without lowering the resolution.
【００４７】また、本発明に係る画像処理方法は、入力
される基準画像の画像データのブロック化を行うブロッ
ク化工程と、上記ブロック化工程からのブロック化され
た画像データに直交変換を行い変換係数を求める直交変
換工程と、上記直交変換工程からの変換係数を複数のク
ラスのうち該当するクラスに分類し、このクラスを示す
クラスコードを発生するクラス分類工程と、基準画像及
び拡大画像の画像データに直交変換を施した変換係数に
基づき予め学習によって取得された変換係数データのう
ち、上記クラス分類工程からのクラスコードに対応する
変換係数データが読み出される係数データ発生工程と、
上記直交変換工程からの変換係数と上記係数データ発生
手段からの変換係数データとにより拡大画像の変換係数
を合成する係数合成工程と、上記係数合成工程からの変
換係数に逆変換を行い、拡大画像のブロック毎の画像デ
ータを出力する逆変換工程とから成ることにより、拡大
画像の高周波成分が反映した変換係数データを用いるの
で、解像度を低下させることなく拡大画像を合成するこ
とができる。Further, the image processing method according to the present invention comprises a blocking step of blocking the input image data of the reference image, and an orthogonal transformation of the blocked image data from the blocking step to transform the image data. Orthogonal transformation step for obtaining coefficients, the transformation coefficient from the orthogonal transformation step is classified into a corresponding class of a plurality of classes, and a class classification step for generating a class code indicating this class, and images of the reference image and the enlarged image Of the conversion coefficient data acquired by learning in advance based on the conversion coefficient obtained by orthogonally transforming the data, the coefficient data generating step in which the conversion coefficient data corresponding to the class code from the class classification step is read out,
A coefficient synthesizing step of synthesizing the transform coefficient of the enlarged image by the transform coefficient from the orthogonal transforming step and the transform coefficient data from the coefficient data generating means, and an inverse transform to the transform coefficient from the coefficient synthesizing step to obtain an enlarged image. Since the conversion coefficient data reflecting the high frequency component of the enlarged image is used, the enlarged image can be combined without lowering the resolution.
【図１】本発明に係る画像処理装置の実施例となる電子
ズーム装置の概略的な構成を示す図である。FIG. 1 is a diagram showing a schematic configuration of an electronic zoom device as an embodiment of an image processing device according to the present invention.
【図２】基準画像を直交変換したときの変換係数の構成
と拡大画像を直交変換したときの変換係数の構成とを示
す図である。FIG. 2 is a diagram showing a configuration of transform coefficients when orthogonally transforming a reference image and a configuration of transform coefficients when orthogonally transforming an enlarged image.
【図３】基準画像と拡大画像とを概略的に示す図であ
る。FIG. 3 is a diagram schematically showing a reference image and an enlarged image.
【図４】拡大画像内に補充される変換係数データの学習
手順を示すフローチャートである。FIG. 4 is a flowchart showing a learning procedure of transform coefficient data supplemented in an enlarged image.
【図５】予測係数の学習のための概略的な構成を示す図
である。FIG. 5 is a diagram showing a schematic configuration for learning prediction coefficients.
２ ブロック化部、 ３ 直交変換部、 ４ クラスコ
ード発生部、 ５ ＲＯＭテーブル、 ６ 係数合成
部、 ７ 逆変換部、 ８ ブロック分解部、１３ 学
習部、 １４ 予測係数メモリ2 block forming section, 3 orthogonal transform section, 4 class code generating section, 5 ROM table, 6 coefficient combining section, 7 inverse transform section, 8 block decomposing section, 13 learning section, 14 prediction coefficient memory
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/262 H04N 7/01 ─────────────────────────────────────────────────── ─── Continuation of the front page (58) Fields surveyed (Int.Cl. 7 , DB name) H04N 5/262 H04N 7/01
Claims (5)
ック化を行うブロック化手段と、 上記ブロック化手段からのブロック化された画像データ
に直交変換を行い変換係数を求める直交変換手段と、 上記直交変換手段からの変換係数を複数のクラスのうち
該当するクラスに分類し、このクラスを示すクラスコー
ドを発生するクラス分類手段と、基準画像及び拡大画像の画像データに直交変換を施した
変換係数に基づき予め学習によって取得された変換係数
データのうち、 上記クラス分類手段からのクラスコード
に対応する変換係数データが読み出される係数データ発
生手段と、 上記直交変換手段からの変換係数と上記係数データ発生
手段からの変換係数データとにより拡大画像の変換係数
を合成する係数合成手段と、 上記係数合成手段からの変換係数に逆変換を行い、拡大
画像のブロック毎の画像データを出力する逆変換手段と
から成ることを特徴とする画像処理装置。1. Blocking means for blocking image data of an input reference image, orthogonal transforming means for orthogonally transforming the blocked image data from the blocking means to obtain transform coefficients, and Transform coefficients from the orthogonal transform means among multiple classes
A class classification unit that classifies into a corresponding class and generates a class code indicating this class, and performs orthogonal transformation on the image data of the reference image and the enlarged image
Transformation coefficient acquired by learning in advance based on the transformation coefficient
An enlarged image of the coefficient data generating means from which the conversion coefficient data corresponding to the class code from the class classification means is read out, the conversion coefficient from the orthogonal conversion means and the conversion coefficient data from the coefficient data generating means. The image processing apparatus, which comprises: a coefficient synthesizing unit for synthesizing the transform coefficient of .
及び拡大画像の画像データをそれぞれブロック化して直
交変換を施すことにより変換係数を求め、上記基準画像
の変換係数と上記拡大画像の変換係数との間で学習を行
うことにより最適化された変換係数データを求め、上記
クラスコードとこのクラスコードに対応する最適化され
た変換係数データとが予めテーブルに記憶されているこ
とを特徴とする請求項１記載の画像処理装置。2. The coefficient data generating means obtains a conversion coefficient by dividing the image data of the reference image and the enlarged image into blocks and subjecting them to orthogonal transformation, and the conversion coefficient of the reference image and the transformation coefficient of the enlarged image. Characterized in that the optimized transform coefficient data is obtained by learning between and, and the class code and the optimized transform coefficient data corresponding to the class code are stored in a table in advance. The image processing apparatus according to claim 1.
れたズーム率により、基準画像内の拡大されるべき領域
が特定され、上記特定された拡大されるべき領域の画像
データをブロック化することを特徴とする請求項１記載
の画像処理装置。 3. The blocking means is input from the outside.
Area to be magnified in the reference image due to the zoom factor
The image of the area to be enlarged that has been identified
The data is divided into blocks, and the data is divided into blocks.
Image processing device.
のズーム中心を中心として上記基準画像を拡大してなる
拡大画像との間で行われることを特徴とする請求項１記
載の画像処理装置。 4. The learning is performed by using a reference image and the reference image.
Enlarged the above reference image around the zoom center of
The process according to claim 1, wherein the process is performed with the enlarged image.
Image processing device.
ック化を行うブロック化工程と、 上記ブロック化工程からのブロック化された画像データ
に直交変換を行い変換係数を求める直交変換工程と、 上記直交変換工程からの変換係数を複数のクラスのうち
該当するクラスに分類し、このクラスを示すクラスコー
ドを発生するクラス分類工程と、基準画像及び拡大画像の画像データに直交変換を施した
変換係数に基づき予め学習によって取得された変換係数
データのうち、 上記クラス分類工程からのクラスコード
に対応する変換係数データが読み出される係数データ発
生工程と、 上記直交変換工程からの変換係数と上記係数データ発生
手段からの変換係数データとにより拡大画像の変換係数
を合成する係数合成工程と、 上記係数合成工程からの変換係数に逆変換を行い、拡大
画像のブロック毎の画像データを出力する逆変換工程と
から成ることを特徴とする画像処理方法。5. A blocking process for blocking image data of an input reference image, an orthogonal transform process for performing orthogonal transform on the blocked image data from the blocking process to obtain transform coefficients, The transformation coefficient from the orthogonal transformation process among multiple classes
A class classification process of classifying into a corresponding class and generating a class code indicating this class, and orthogonal transformation was applied to the image data of the reference image and the enlarged image.
Transformation coefficient acquired by learning in advance based on the transformation coefficient
Of the data, a magnified image is obtained by the coefficient data generation process in which the conversion coefficient data corresponding to the class code from the class classification process is read, the conversion coefficient from the orthogonal conversion process, and the conversion coefficient data from the coefficient data generation means. The image processing method, which comprises a coefficient synthesizing step of synthesizing the transform coefficient of .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21396293A JP3511645B2 (en) | 1993-08-30 | 1993-08-30 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21396293A JP3511645B2 (en) | 1993-08-30 | 1993-08-30 | Image processing apparatus and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0767031A JPH0767031A (en) | 1995-03-10 |
| JP3511645B2 true JP3511645B2 (en) | 2004-03-29 |
Family
ID=16647952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21396293A Expired - Lifetime JP3511645B2 (en) | 1993-08-30 | 1993-08-30 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3511645B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5737019A (en) * | 1996-01-29 | 1998-04-07 | Matsushita Electric Corporation Of America | Method and apparatus for changing resolution by direct DCT mapping |
| JP4596197B2 (en) | 2000-08-02 | 2010-12-08 | ソニー株式会社 | Digital signal processing method, learning method and apparatus, and program storage medium |
| JP4538705B2 (en) | 2000-08-02 | 2010-09-08 | ソニー株式会社 | Digital signal processing method, learning method and apparatus, and program storage medium |
| JP4596196B2 (en) | 2000-08-02 | 2010-12-08 | ソニー株式会社 | Digital signal processing method, learning method and apparatus, and program storage medium |
| EP1326436B1 (en) * | 2001-12-28 | 2013-02-13 | Sony Corporation | Displaying information |
| JP4026491B2 (en) * | 2002-12-13 | 2007-12-26 | ソニー株式会社 | Image signal processing apparatus, image signal processing method, program, and medium |
| CN100493174C (en) | 2004-01-09 | 2009-05-27 | 松下电器产业株式会社 | Image processing method and image processing apparatus |
| JP2013098730A (en) * | 2011-10-31 | 2013-05-20 | Toshiba Corp | Resolution converter, resolution conversion method and moving image decoder |
-
1993
- 1993-08-30 JP JP21396293A patent/JP3511645B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0767031A (en) | 1995-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3438233B2 (en) | Image conversion apparatus and method | |
| US5406334A (en) | Apparatus and method for producing a zoomed image signal | |
| US5739873A (en) | Method and apparatus for processing components of a digital signal in the temporal and frequency regions | |
| EP0653727B1 (en) | Method and apparatus for processing a decoded image signal having a distortion | |
| JP3511645B2 (en) | Image processing apparatus and image processing method | |
| US7542611B2 (en) | Image processing apparatus and method for converting first code data sets into second code data for JPEG 2000 and motion JPEG 2000 | |
| JP3321915B2 (en) | Image signal converter | |
| US6856706B2 (en) | Image processing method and system, and storage medium | |
| JP3400055B2 (en) | Image information conversion device, image information conversion method, image processing device, and image processing method | |
| US6473207B1 (en) | Image size transformation method for orthogonal transformation coded image | |
| JP3632993B2 (en) | Electronic zoom device and electronic zoom method | |
| JP3277696B2 (en) | Digital signal processing apparatus and method | |
| JP3326879B2 (en) | Image signal converter | |
| JP2002344732A (en) | Image expansion method for conversion code, program and recording medium | |
| JP3709106B2 (en) | Image compression and decompression device | |
| JPH0888849A (en) | Picture signal processing method and picture signal transmitter | |
| JP3882828B2 (en) | Electronic zoom device and electronic zoom method | |
| JP3235266B2 (en) | Image enlargement device and image encoding / decoding device | |
| JP4274187B2 (en) | Display data decompression method, display data compression / decompression method, display data decompression device, and display data compression / decompression device | |
| US6032242A (en) | Methods and systems for generating alternate and zigzag address scans based on feedback addresses of alternate and zigzag access patterns | |
| JP3871350B2 (en) | Image conversion apparatus and method capable of resolution compensation | |
| JP3988738B2 (en) | Image conversion apparatus and image conversion method | |
| US20050190982A1 (en) | Image reducing device and image reducing method | |
| JP2002237942A (en) | Digital image signal processing unit and processing method | |
| JP2002199352A (en) | Device and method for generating parameter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031229 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090116 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100116 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100116 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110116 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 9 |