JPH08294001A - Image processing method and image processing unit - Google Patents
Image processing method and image processing unitInfo
- Publication number
- JPH08294001A JPH08294001A JP9571195A JP9571195A JPH08294001A JP H08294001 A JPH08294001 A JP H08294001A JP 9571195 A JP9571195 A JP 9571195A JP 9571195 A JP9571195 A JP 9571195A JP H08294001 A JPH08294001 A JP H08294001A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frequency
- original image
- enlargement
- frequency region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 360
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 230000009466 transformation Effects 0.000 claims abstract description 121
- 238000006243 chemical reaction Methods 0.000 claims abstract description 74
- 238000000034 method Methods 0.000 claims description 186
- 230000001131 transforming effect Effects 0.000 claims description 19
- 230000002708 enhancing effect Effects 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 9
- 230000001965 increasing effect Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 238000007796 conventional method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 101100311064 Caenorhabditis elegans ssp-32 gene Proteins 0.000 description 1
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Complex Calculations (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、鮮明で処理速度の早い
高品質の拡大画像を得ることのできる画像処理方法およ
び画像処理装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing method and an image processing apparatus capable of obtaining a high quality enlarged image which is clear and has a high processing speed.
【０００２】[0002]
【従来の技術】画像データベース、高精細画像印刷等の
分野において、高品質な画像処理技術が求められてお
り、その画像処理技術の１つとして、画像の拡大があ
る。また画像の拡大は、画像処理システムの一機能とし
てのほかに、解像度の異なるデバイス間におけるマッチ
ングをとるため、例えば、電子スチールカメラ等で入力
した低解像度の画像を、レーザープリンタ、インクジェ
ットプリンタ等の高解像度のプリンタに出力する際にお
いても重要な技術となる。2. Description of the Related Art In the fields of image databases, high-definition image printing, etc., high quality image processing technology is required, and one of the image processing technologies is image enlargement. Further, the image enlargement is a function of the image processing system as well as matching between devices having different resolutions. Therefore, for example, a low resolution image input by an electronic still camera or the like is processed by a laser printer, an inkjet printer, or the like. This is an important technology when outputting to a high-resolution printer.
【０００３】従来の画像の拡大方法としては、単純に画
素を補間するする方法が採用されていた。代表的な補間
方法としては、補間する画像に近いサンプル画素の距離
比を用いて補間値を決定する線形補間法や、最も近いサ
ンプルの値を補間値とするニアレストネイバ法（neares
t neighbor method ）等がある。As a conventional image enlarging method, a method of simply interpolating pixels has been adopted. Typical interpolation methods include a linear interpolation method that determines the interpolation value using the distance ratio of sample pixels close to the image to be interpolated, and a nearest neighbor method (neares neighbor method) that uses the nearest sample value as the interpolation value.
t neighbor method).
【０００４】しかし、上記方法において、線形補間法は
通過帯域の周波数特性が抑制されるために、ＬＰＦ（lo
w pass filter ）的な作用をうけてスムージングされ、
ぼやけた画像となる欠点がある。また、ニアレストネイ
バ法は高周波の漏れが多いため歪みが生じやすく、その
歪みがモザイクやエッジ部分のジャギーとして現れる欠
点がある。However, in the above method, the linear interpolation method suppresses the frequency characteristic of the pass band, so that the LPF (lo
w pass filter), and smoothed,
There is a drawback that it becomes a blurred image. Further, the nearest neighbor method has a drawback in that distortion is likely to occur due to a large amount of high-frequency leakage, and the distortion appears as a mosaic or jaggies in the edge portion.
【０００５】そこで、上記問題を解決し、周波数成分を
保存するために、ＦＦＴ（高速フーリエ変換）やＤＣＴ
（ディスクリートコサイン変換）などの直交変換を用い
て、実空間の画像データ（人間の見たままの画像デー
タ）を、周波数空間の画像データに変換したのちに拡大
する方法が提案されている。Therefore, in order to solve the above problem and preserve the frequency component, FFT (Fast Fourier Transform) or DCT
A method has been proposed in which image data in a real space (image data as seen by a human) is converted into image data in a frequency space and then enlarged using an orthogonal transform such as (discrete cosine transform).
【０００６】すなわち、図１９（ａ）に示すような実空
間の原画像（Ｎ×Ｎ画素）を直交変換を用いて、同図
（ｂ）に示すような周波数空間の画像（Ｎ×Ｎ画素）に
変換する。この周波数空間の画像データは、Ｎ×Ｎの行
列で表され、この周波数変換後の行列は、図示、左上部
分に行くほど低周波成分となり、図示、矢印に沿って右
方向および下方向に行くにしたがって高周波成分となる
特徴がある。そして、このように、周波数空間の画像に
変換された領域をα倍した領域、すなわち、図１９
（ｃ）のように、αＮ×αＮの領域を用意し、αＮ×α
Ｎの領域における低周波成分の部分には、上記直交変換
により得られた同図（ｂ）で示すＮ×Ｎの周波数領域を
そのままコピーし、残りの高周波領域にはゼロを補間す
る。最後に、このαＮ×αＮの周波数領域を逆直交変換
することにより、図１９（ｄ）のようにα倍された実空
間の拡大画像が得られる（特開平２−７６４７２、特開
平５−１６７９２０）。That is, an original image (N × N pixels) in a real space as shown in FIG. 19A is subjected to orthogonal transformation to obtain an image (N × N pixels) in a frequency space as shown in FIG. 19B. ). The image data in this frequency space is represented by an N × N matrix, and the matrix after frequency conversion becomes lower frequency components toward the upper left portion in the figure, and goes to the right and downward along the arrow in the figure. Therefore, there is a characteristic that becomes a high frequency component. A region obtained by multiplying the region converted into the frequency space image by α in this way, that is, FIG.
As shown in (c), an area of αN × αN is prepared, and αN × α
In the low frequency component portion of the N region, the N × N frequency region shown in FIG. 7B obtained by the orthogonal transformation is copied as it is, and zero is interpolated in the remaining high frequency region. Finally, the frequency domain of αN × αN is inversely orthogonally transformed to obtain a magnified image of the real space multiplied by α as shown in FIG. 19D (Japanese Patent Laid-Open Nos. 2-76472 and 5-167920). ).
【０００７】このような高周波領域にゼロを補間する方
法以外にも、画像を直交変換を用いて正変換と逆変換を
繰り返す過程で、高周波成分の復元をする方法も提案さ
れている（特開平６−５４１７２）。In addition to the method of interpolating zeros in such a high frequency region, a method of restoring a high frequency component in a process of repeating a normal transform and an inverse transform using an orthogonal transform of an image has also been proposed (Japanese Patent Laid-Open Publication No. Hei 10 (1999) -242945). 6-54172).
【０００８】[0008]
【発明が解決しようとする課題】しかし、前述した高周
波領域にゼロをうめて拡大する方法は、線形補間法やニ
アレストネイバー法による拡大方法に比べれば良好な画
像が得られるが、高周波成分の復元がされていないた
め、十分に鮮明な画像が得られないという問題があっ
た。また、画像を直交変換を用いて正変換と逆変換を繰
り返す過程で、高周波成分の復元をする方法は、正変換
と逆変換を繰り返すために、演算処理が多くなり、処理
速度において問題がある。However, although the above-described method of enlarging zeros in the high-frequency region to obtain a larger image can obtain a better image than the enlargement method using the linear interpolation method or the nearest neighbor method, Since it has not been restored, there is a problem that a sufficiently clear image cannot be obtained. Further, in the process of reconstructing the high frequency component in the process of repeating the normal transformation and the inverse transformation using the orthogonal transformation of the image, since the forward transformation and the inverse transformation are repeated, there are many arithmetic processes and there is a problem in the processing speed. .
【０００９】すなわち、直交変換、逆直交変換の演算量
は、拡大率αがあまり大きくない場合には問題ないが、
拡大率αが大きいと正変換の演算量に対し、逆変換の演
算量が（αＮ）にほぼ比例して増えることになる。特
に、実際に行われる２次元のブロックに対する処理にお
いては、その演算数は（αＮ）の３乗にほぼ比例して増
えることになる。さらに、カラー画像の拡大となると、
複数のカラープレーンに対して拡大処理を行なわなけれ
ばならないため、さらに処理時間がかかる事になる。ま
た、拡大処理の対象となる画像が低解像度の場合には、
高周波成分の復元が十分に行われないという問題もあ
る。That is, although the amount of calculation of the orthogonal transform and the inverse orthogonal transform is not a problem when the enlargement factor α is not so large,
If the enlargement ratio α is large, the amount of calculation of the inverse conversion increases with respect to the amount of calculation of the normal conversion, almost in proportion to (αN). In particular, in the processing actually performed on a two-dimensional block, the number of operations increases almost in proportion to the cube of (αN). Furthermore, when it comes to enlarging color images,
Since it is necessary to perform enlargement processing on a plurality of color planes, it takes more processing time. If the image to be enlarged is of low resolution,
There is also a problem that the high frequency components are not sufficiently restored.
【００１０】本発明は、前記従来の問題点を解決すべく
なされたもので、サンプリング時に失われた高周波成分
を予測し、かつ、カラー画像の拡大においても処理速度
が早く、さらに拡大処理の対象となる画像が低解像度で
あっても鮮明な拡大画像を得ることのできる画像処理方
法および画像処理装置を提供することを目的とする。The present invention has been made to solve the above-mentioned conventional problems, predicts a high-frequency component lost at the time of sampling, has a high processing speed even when enlarging a color image, and is an object of enlarging processing. It is an object of the present invention to provide an image processing method and an image processing apparatus capable of obtaining a clear enlarged image even if the image to be obtained has a low resolution.
【００１１】[0011]
【課題を解決するための手段】本発明の画像処理方法
は、画像入力手段により入力された原画像に含まれる画
像情報に基づいて画像を所定倍に拡大する拡大処理工程
を有する画像処理方法において、前記拡大処理工程は、
前記原画像を周波数領域に変換するために直交変換工程
により原画像の直交変換を行い、高周波領域予測工程に
より拡大率に応じた周波数領域を用意し、この周波数領
域における低周波領域には前記直交変換工程により直交
変換された原画像の周波数データをそのまま復元すると
ともに、前記拡大率に応じて準備された周波数領域にお
ける高周波領域には、予め準備された予測ルールに基づ
いて得られる周波数データを復元して、拡大後の周波数
領域の画像データを得たのち、この拡大後の周波数領域
の画像データを逆直交変換工程により逆直交変換を行
い、原画像に対して所定倍の拡大画像を得るようにして
いる。An image processing method of the present invention is an image processing method having an enlargement processing step of enlarging an image by a predetermined size based on image information included in an original image input by an image input means. , The enlargement processing step,
In order to transform the original image into the frequency domain, orthogonal transformation of the original image is performed by an orthogonal transformation step, and a frequency domain according to the enlargement ratio is prepared by a high frequency domain prediction step. The frequency data of the original image orthogonally transformed by the transformation process is restored as it is, and the frequency data obtained based on the prediction rule prepared in advance is restored in the high frequency region in the frequency region prepared according to the enlargement factor. Then, after obtaining the image data in the frequency domain after enlargement, the image data in the frequency domain after enlargement is subjected to inverse orthogonal transform in the inverse orthogonal transform step to obtain an enlarged image at a predetermined magnification with respect to the original image. I have to.
【００１２】前記拡大処理工程は、前記原画像のエッジ
部分を強調するエッジ強調工程を有し、このエッジ強調
工程によりエッジ強調された原画像を用いて拡大処理を
行うようにしてもよい。The enlarging processing step may include an edge emphasizing step for emphasizing an edge portion of the original image, and the enlarging processing may be performed using the original image edge-enhanced by the edge emphasizing step.
【００１３】また、本発明の画像処理方法は、画像入力
手段により入力された原画像に含まれる画像情報に基づ
いて画像を所定倍に拡大する拡大処理工程を有する画像
処理方法において、前記拡大処理工程は、第１の拡大処
理工程と第２の拡大処理工程を有し、前記第１の拡大処
理工程は、前記原画像を周波数領域に変換するために直
交変換工程により原画像の直交変換を行い、高周波領域
予測工程により、原画像のβ倍の周波数領域を用意し、
この原画像のβ倍の周波数領域における低周波領域には
前記直交変換工程により直交変換された原画像の周波数
データをそのまま復元するとともに、前記原画像のβ倍
の周波数領域における高周波領域には、予め準備された
予測ルールに基づいて得られる周波数データを復元し
て、拡大後の周波数領域の画像データを得たのち、この
拡大後の周波数領域の画像データを逆直交変換工程によ
り逆直交変換を行い、β倍に拡大された原画像の拡大画
像を出力し、前記第２の拡大処理工程は、前記β倍に拡
大された原画像を、周波数領域に変換しない実領域での
拡大方法を用いてα／β倍し、最終的に、原画像に対し
てα倍の拡大画像を得るようにしている。Further, the image processing method of the present invention is an image processing method having an enlargement processing step of enlarging an image by a predetermined magnification based on the image information contained in the original image input by the image input means. The process has a first enlargement processing step and a second enlargement processing step, and the first enlargement processing step performs orthogonal transformation of the original image by an orthogonal transformation step in order to transform the original image into a frequency domain. Perform a high-frequency region prediction process to prepare a frequency region that is β times the original image,
In the low frequency region in the β times frequency region of the original image, while directly restoring the frequency data of the original image orthogonally transformed by the orthogonal transformation step, in the high frequency region in the β times frequency region of the original image, The frequency data obtained based on the prediction rule prepared in advance is restored to obtain the image data in the frequency domain after expansion, and then the image data in the frequency domain after expansion is subjected to inverse orthogonal transform by the inverse orthogonal transform step. Then, an enlarged image of the original image enlarged by β times is output, and the second enlargement processing step uses the enlargement method in the real domain that does not convert the original image enlarged by β times into the frequency domain. Α / β times, and finally an enlarged image of α times the original image is obtained.
【００１４】そして、前記第１の拡大処理工程は、前記
原画像のエッジ部分を強調するエッジ強調工程を有し、
このエッジ強調工程によりエッジ強調された原画像を用
いて拡大処理を行うようにしてもよい。The first enlargement processing step includes an edge enhancement step of enhancing the edge portion of the original image,
The enlargement process may be performed using the original image whose edge is emphasized by this edge emphasis process.
【００１５】また、本発明の画像処理方法は、画像入力
手段により入力された原画像に含まれる画像情報に基づ
いて画像を所定倍に拡大する拡大処理工程を有する画像
処理方法において、前記画像入力手段により入力された
原画像がカラー画像である場合、前記拡大処理工程は、
輝度情報の大きいカラープレーン用の拡大処理工程、輝
度情報の小さいカラープレーン用の拡大処理工程および
これら各拡大処理工程にて拡大されたそれぞれの画像を
合成する画像合成工程を有し、前記輝度情報の大きいカ
ラープレーン用の拡大処理工程は、輝度情報の大きいカ
ラープレーンに対し、前記原画像を周波数領域に変換す
るために直交変換工程により原画像の直交変換を行い、
高周波領域予測工程により拡大率に応じた周波数領域を
用意し、この周波数領域における低周波領域には前記直
交変換工程により直交変換された原画像の周波数データ
をそのまま復元するとともに、前記拡大率に応じて準備
された周波数領域における高周波領域には、予め準備さ
れた予測ルールに基づいて得られる周波数データを復元
して、拡大後の周波数領域の画像データを得たのち、こ
の拡大後の周波数領域の画像データを逆直交変換工程に
より逆直行変換を行い、原画像に対して所定倍の拡大画
像を得るようにし、前記輝度情報の小さいカラープレー
ン用の拡大処理工程は、輝度情報の小さいカラープレー
ンに対し、周波数領域に変換しない実領域における原画
像の所定倍の拡大処理を行い、画像合成工程により、前
記各拡大処理工程により得られた画像を合成することに
より原画像に対する所定倍の拡大画像を得るようにして
いる。Further, the image processing method of the present invention is an image processing method having an enlargement processing step of enlarging an image to a predetermined size based on the image information included in the original image input by the image input means. When the original image input by the means is a color image, the enlarging processing step,
There is an enlargement processing step for a color plane with large luminance information, an enlargement processing step for a color plane with small luminance information, and an image combining step for combining the images enlarged in each of these enlargement processing steps. The enlarging processing step for a large color plane performs an orthogonal transformation of the original image by an orthogonal transformation step in order to transform the original image into the frequency domain for a color plane with large luminance information,
A frequency region corresponding to the enlargement ratio is prepared by the high frequency region prediction process, and the frequency data of the original image orthogonally transformed by the orthogonal transformation process is restored as it is in the low frequency region in this frequency region, In the high-frequency region in the prepared frequency region, the frequency data obtained based on the prediction rule prepared in advance is restored to obtain image data in the expanded frequency region, and then the expanded frequency region The image data is subjected to the inverse orthogonal transform by the inverse orthogonal transform process to obtain an enlarged image of a predetermined size with respect to the original image, and the enlarging process step for the color plane with small luminance information is performed on the color plane with small luminance information. On the other hand, the original image is enlarged by a predetermined magnification in the real region which is not converted into the frequency domain, and the enlargement process steps are performed by the image combining process. So as to obtain the predetermined multiple of the enlarged image of the original image by synthesizing more resulting images.
【００１６】そして、前記輝度情報の大きいカラープレ
ーン用の拡大処理工程は、 前記原画像のエッジ部分を
強調するエッジ強調工程を有し、このエッジ強調工程に
よりエッジ強調された原画像を用いて拡大処理を行うよ
うにしてもよい。Then, the enlargement processing step for the color plane having large luminance information includes an edge enhancement step for enhancing the edge portion of the original image, and enlargement is performed using the original image edge-enhanced by the edge enhancement step. You may make it process.
【００１７】さらに、前記輝度情報の大きいカラープレ
ーン用の拡大処理工程は、前記原画像のβ倍の周波数領
域を用意し、この周波数領域における低周波領域には前
記直交変換された原画像の周波数データをそのまま復元
するとともに、前記原画像のβ倍の周波数領域における
高周波領域には、予め準備された予測ルールに基づいて
得られる周波数データを復元して拡大後の周波数領域の
画像データを得たのち、この拡大後の周波数領域の画像
データを逆直行変換を行い、β倍に拡大された原画像の
拡大画像を得て、このβ倍に拡大された原画像を、周波
数領域に変換しない実領域での拡大方法を用いてα／β
倍し、最終的に、原画像に対してα倍の拡大画像を得る
ようにしてもよい。Further, in the enlarging process for the color plane having large luminance information, a frequency region of β times that of the original image is prepared, and a frequency of the orthogonally transformed original image is included in a low frequency region in this frequency region. While restoring the data as it is, in the high frequency region in the β times frequency region of the original image, the frequency data obtained based on the prediction rule prepared in advance is restored to obtain the image data of the enlarged frequency region. After that, the image data in the frequency domain after the enlargement is subjected to the inverse transform to obtain an enlarged image of the original image enlarged by β times, and the original image enlarged by β times is not actually converted into the frequency domain. Α / β using the region expansion method
Alternatively, the enlarged image may be finally obtained by multiplying the original image by α times.
【００１８】ところで、以上の画像処理方法において、
前記予測ルールは、解像度の高い複数のサンプルの画像
データを用い、これらの画像データから前記拡大率に応
じた領域を取り出し、この取り出した領域を直交変換を
用いて周波数領域に変換し、この周波数領域における低
周波領域の周波数成分と高周波領域の周波数成分との相
関関係をもとに求めるようにする。By the way, in the above image processing method,
The prediction rule uses image data of a plurality of high-resolution samples, extracts regions corresponding to the enlargement ratio from these image data, converts the extracted regions into a frequency domain using orthogonal transformation, and calculates the frequency It is determined based on the correlation between the frequency components in the low frequency region and the frequency components in the high frequency region.
【００１９】また、前記高周波領域予測工程は、前記直
交変換工程により得られた周波数領域を幾つかのエリア
に分割し、分割されたエリアのうち、低周波領域のエリ
アには前記直交変換工程により直行変換された原画像の
周波数情報をそのまま復元し、高周波領域のエリアにお
ける周波数データは前記解像度の高い複数のサンプルの
画像データから得られた予測ルールに基づいて予測を行
なう。In the high frequency region predicting step, the frequency domain obtained in the orthogonal transforming step is divided into several areas, and the low frequency area of the divided areas is subjected to the orthogonal transforming step. The frequency information of the orthogonally transformed original image is restored as it is, and the frequency data in the high frequency area is predicted based on the prediction rule obtained from the image data of a plurality of samples with high resolution.
【００２０】また、前記直交変換工程および逆直交変換
工程は、矩形波を基底ベクトルとした直交変換および逆
直交変換を用いる。Further, in the orthogonal transformation step and the inverse orthogonal transformation step, the orthogonal transformation and the inverse orthogonal transformation using the rectangular wave as a base vector are used.
【００２１】また、本発明の画像処理装置は、画像入力
手段により入力された原画像に含まれる画像情報に基づ
いて画像を所定倍に拡大する拡大処理手段を有する画像
処理装置において、前記拡大処理手段は、前記原画像を
周波数領域に変換するために直交変換を行う直交変換手
段と、拡大率に応じた周波数領域を用意し、この周波数
領域における低周波領域には前記直交変換手段により直
交変換された原画像の周波数データをそのまま復元する
とともに、前記拡大率に応じて準備された周波数領域に
おける高周波領域には、予め準備された予測ルールに基
づいて得られる周波数データを復元して、拡大後の周波
数領域の画像データを得る高周波領域予測部と、この高
周波領域予測部により得られた拡大後の周波数領域の画
像データを、逆直交変換を行い、原画像に対して所定倍
の拡大画像を得る逆直交変換手段とを有している。Further, the image processing apparatus of the present invention is an image processing apparatus having an enlargement processing means for enlarging an image to a predetermined size based on the image information included in the original image input by the image input means. The means prepares an orthogonal transformation means for performing an orthogonal transformation in order to transform the original image into a frequency domain, and a frequency domain corresponding to an enlargement ratio. The low frequency domain in this frequency domain is orthogonally transformed by the orthogonal transformation means. While restoring the frequency data of the original image as it is, in the high frequency region in the frequency region prepared according to the enlargement factor, the frequency data obtained based on the prediction rule prepared in advance is restored, and after enlargement. The inverse high-frequency region prediction unit that obtains the image data in the frequency region and the image data in the enlarged frequency region obtained by the high-frequency region prediction unit Performs conversion, and an inverse orthogonal transform means for obtaining a predetermined multiple of the enlarged image to the original image.
【００２２】そして、記拡大処理手段は、前記原画像の
エッジ部分を強調するエッジ強調手段を有し、このエッ
ジ強調手段によりエッジ強調された原画像を用いて拡大
処理を行うようにしてもよい。The enlarging processing means may have an edge emphasizing means for emphasizing an edge portion of the original image, and the enlarging processing may be carried out using the original image edge-enhanced by the edge emphasizing means. .
【００２３】また、本発明の画像処理装置は、画像入力
手段により入力された原画像に含まれる画像情報に基づ
いて画像を所定倍に拡大する拡大処理手段を有する画像
処理装置において、前記拡大処理手段は、第１の拡大処
理手段と第２の拡大処理手段を有している。そして、、
前記第１の拡大処理手段は、前記原画像を周波数領域に
変換するために直交変換を行う直交変換手段と、原画像
のβ倍の周波数領域を用意し、この原画像のβ倍の周波
数領域における低周波領域には前記直交変換手段により
直行変換された原画像の周波数データをそのまま復元す
るとともに、前記原画像のβ倍の周波数領域における高
周波領域には、予め準備された予測ルールに基づいて得
られる周波数データを復元して拡大後の周波数領域の画
像データを得る高周波領域予測手段と、この高周波領域
予測手段により得られる拡大後の周波数領域の画像デー
タを逆直交変換し、β倍に拡大された原画像の拡大画像
を得る逆直交変換手段とを有している。一方、前記第２
の拡大処理手段は、周波数領域に変換しない実領域での
拡大処理手段で構成され、前記第１の拡大処理手段によ
って前記β倍に拡大された原画像を、α／β倍し、最終
的に、原画像に対してα倍の拡大画像を得るようにして
いる。Further, the image processing apparatus of the present invention is an image processing apparatus having an enlargement processing unit for enlarging an image by a predetermined magnification based on image information included in an original image input by the image input unit, in the enlargement processing. The means has a first enlargement processing means and a second enlargement processing means. And ...
The first enlargement processing means prepares an orthogonal transformation means for performing an orthogonal transformation in order to transform the original image into a frequency domain, and a β-times frequency region of the original image, and a β-times frequency region of the original image. The frequency data of the original image orthogonally transformed by the orthogonal transformation means is restored as it is in the low frequency region in, and the high frequency region in the β times frequency region of the original image is based on the prepared prediction rule. High frequency region prediction means for restoring the obtained frequency data to obtain image data in the frequency region after enlargement, and inverse orthogonal transform of the image data in the enlarged frequency region obtained by this high frequency region prediction means, and enlarged to β times. Inverse orthogonal transformation means for obtaining a magnified image of the original image thus obtained. On the other hand, the second
The enlargement processing means of is constituted by enlargement processing means in the real domain which is not converted into the frequency domain, and the original image enlarged by the first enlargement processing means is multiplied by α / β, and finally , An enlarged image of α times the original image is obtained.
【００２４】そして、前記第１の拡大処理手段は、前記
原画像のエッジ部分を強調するエッジ強調手段を有し、
このエッジ強調手段によりエッジ強調された原画像を用
いて拡大処理を行うようにしてもよい。The first enlargement processing means has edge enhancing means for enhancing the edge portion of the original image,
The enlargement processing may be performed using the original image whose edge is emphasized by the edge emphasizing means.
【００２５】また、本発明の画像処理装置は、画像入力
手段により入力された原画像に含まれる画像情報に基づ
いて画像を所定倍に拡大する拡大処理手段を有する画像
処理装置において、前記画像入力手段により入力された
原画像がカラー画像である場合、前記拡大処理手段は、
輝度情報の大きいカラープレーン用の拡大処理手段、輝
度情報の小さいカラープレーン用の拡大処理手段および
これら各拡大処理手段にて拡大されたそれぞれの画像を
合成する画像合成手段を有している。そして、前記輝度
情報の大きいカラープレーン用の拡大処理手段は、輝度
情報の大きいカラープレーンに対し、前記原画像を周波
数領域に変換するために直交変換を行う直交変換手段
と、拡大率に応じた周波数領域を用意し、この周波数領
域における低周波領域には前記直交変換手段により直行
変換された原画像の周波数データをそのまま復元すると
ともに、前記拡大率に応じて準備された周波数領域にお
ける高周波領域には、予め準備された予測ルールに基づ
いて得られる周波数データを復元して拡大後の周波数領
域の画像データを得る高周波領域予測手段と、この高周
波領域予測手段により得られた拡大後の周波数領域の画
像データを逆直行変換し、原画像に対して所定倍の拡大
画像を得る逆直交変換手段とを有している。一方、前記
輝度情報の小さいカラープレーン用の拡大処理工程は、
周波数領域に変換しない実領域における拡大処理手段で
構成され、輝度情報の小さいカラープレーンに対し、周
波数領域に変換しない実領域における原画像の所定倍の
拡大処理を行い、画像合成手段により、前記各拡大処理
手段により得られた画像を合成することにより原画像に
対して所定倍の拡大画像を得るようにしている。Further, the image processing apparatus of the present invention is an image processing apparatus having an enlargement processing means for enlarging an image to a predetermined size based on image information included in the original image input by the image input means. When the original image input by the means is a color image, the enlargement processing means,
It has an enlargement processing means for a color plane with large luminance information, an enlargement processing means for a color plane with small luminance information, and an image synthesizing means for synthesizing the images enlarged by the respective enlargement processing means. Then, the enlargement processing unit for the color plane having the large luminance information responds to the color plane having the large luminance information by an orthogonal transformation unit for performing the orthogonal transformation to transform the original image into the frequency domain, and the enlargement ratio. A frequency region is prepared, and in the low frequency region in this frequency region, the frequency data of the original image orthogonally transformed by the orthogonal transformation means is restored as it is, and in the high frequency region in the frequency region prepared according to the enlargement ratio. Is a high-frequency region prediction unit that restores the frequency data obtained based on a previously prepared prediction rule to obtain image data of the frequency region after expansion, and a frequency region after expansion obtained by this high-frequency region prediction unit. The image data is inversely orthogonally transformed, and an inverse orthogonal transformation means is provided for obtaining an enlarged image of a predetermined magnification with respect to the original image. On the other hand, the enlargement processing step for the color plane with small luminance information is
The color plane having small luminance information is composed of enlargement processing means in the real area which is not converted into the frequency domain, and enlarges the original image in the real area which is not converted into the frequency domain by a predetermined number of times, and the image combining means is used to By synthesizing the images obtained by the enlargement processing means, an enlarged image of a predetermined size is obtained with respect to the original image.
【００２６】前記輝度情報の大きいカラープレーン用の
拡大処理手段は、 前記原画像のエッジ部分を強調する
エッジ強調手段を有し、このエッジ強調手段によりエッ
ジ強調された原画像を用いて拡大処理を行うようにして
もよい。The enlargement processing means for the color plane having large luminance information has an edge enhancement means for enhancing the edge portion of the original image, and the enlargement processing is performed using the original image edge-enhanced by the edge enhancement means. It may be performed.
【００２７】また、前記輝度情報の大きいカラープレー
ン用の拡大処理手段は、前記原画像のβ倍の周波数領域
を用意し、この周波数領域における低周波領域には前記
直交変換された原画像の周波数データをそのまま復元す
るとともに、前記原画像のβ倍の周波数領域における高
周波領域には、予め準備された予測ルールに基づいて得
られる周波数データを復元して拡大後の周波数領域の画
像データを得たのち、この拡大後の周波数領域の画像デ
ータを逆直交変換を行い、β倍に拡大された原画像の拡
大画像を得て、このβ倍に拡大された原画像を、周波数
領域に変換しない実領域での拡大方法を用いてα／β倍
し、最終的に、原画像に対してα倍の拡大画像を得るよ
うにしている。Further, the enlargement processing means for the color plane having large luminance information prepares a frequency region of β times that of the original image, and the frequency of the orthogonally transformed original image is included in a low frequency region in this frequency region. While restoring the data as it is, in the high frequency region in the β times frequency region of the original image, the frequency data obtained based on the prediction rule prepared in advance is restored to obtain the image data of the enlarged frequency region. After that, the image data in the frequency domain after the enlargement is subjected to inverse orthogonal transformation to obtain an enlarged image of the original image enlarged by β times, and the original image enlarged by β times is not actually converted into the frequency domain. The area enlargement method is used to multiply by α / β, and finally an enlarged image that is α times larger than the original image is obtained.
【００２８】以上の画像処理装置において、前記予測ル
ールは、解像度の高い複数のサンプルの画像データを用
い、これらの画像データから前記拡大率に応じた領域を
取り出し、この取り出した領域を直交変換を用いて周波
数領域に変換し、この周波数領域における低周波領域の
周波数成分と高周波領域の周波数成分との相関関係をも
とに求める。In the above image processing apparatus, the prediction rule uses image data of a plurality of high-resolution samples, extracts areas corresponding to the enlargement ratio from these image data, and performs orthogonal transformation on the extracted areas. It is converted to the frequency domain by using the frequency domain, and is obtained based on the correlation between the frequency components of the low frequency domain and the high frequency domain in this frequency domain.
【００２９】また、前記高周波領域予測手段は、前記直
交変換手段により得られた周波数領域を幾つかのエリア
に分割し、分割されたエリアのうち、低周波領域のエリ
アには前記直交変換手段により直交変換された原画像の
周波数情報をそのまま復元し、高周波領域のエリアにお
ける周波数データは前記解像度の高い複数のサンプルの
画像データから得られた予測ルールに基づいて予測を行
なう。Further, the high frequency region predicting means divides the frequency region obtained by the orthogonal transforming device into several areas, and the low frequency region among the divided areas is divided by the orthogonal transforming device. The frequency information of the original image subjected to the orthogonal transformation is restored as it is, and the frequency data in the high frequency area is predicted based on the prediction rule obtained from the image data of the plurality of samples with high resolution.
【００３０】さらにまた、前記直交変換手段および逆直
交変換手段は、矩形波を基底ベクトルとした直交変換お
よび逆直交変換を用いる。Furthermore, the orthogonal transforming means and the inverse orthogonal transforming means use the orthogonal transform and the inverse orthogonal transform with a rectangular wave as a base vector.
【００３１】[0031]
【作用】本発明は、原画像を周波数領域に変換するため
に、原画像の直交変換を行い、拡大率に応じた周波数領
域を準備し、この拡大率に応じた周波数領域における低
周波領域には前記直交変換された原画像の周波数データ
をそのまま復元するとともに、前記拡大率に応じて準備
された周波数領域における高周波領域には、予め準備さ
れた予測ルールに基づいて得られる周波数データを復元
して拡大後の周波数領域の画像データを得たのち、この
拡大後の周波数領域の画像データを逆直交変換して、原
画像に対して所定倍の拡大画像を得るようにしている。
したがって、拡大後の画像には高周波成分を含む画像が
得られるので、鮮明な拡大画像を得ることができる。ま
た、画像を直交変換を用いて正変換と逆変換を繰り返す
過程で、高周波成分の復元をする方法のように、直行変
化を繰り返す必用がないので、演算数を大幅に増やすこ
とがなく、高速な高周波予測が可能となる。According to the present invention, in order to transform the original image into the frequency domain, orthogonal transformation of the original image is performed, a frequency region corresponding to the enlargement ratio is prepared, and a low frequency region in the frequency region according to the enlargement ratio is prepared. Restores the frequency data of the original image subjected to the orthogonal transformation as it is, and restores the frequency data obtained based on the prediction rule prepared in advance in the high frequency region in the frequency region prepared according to the enlargement factor. After obtaining the image data in the frequency domain after enlargement, the image data in the frequency domain after enlargement is subjected to inverse orthogonal transform to obtain an enlarged image at a predetermined magnification with respect to the original image.
Therefore, an image including high-frequency components can be obtained in the enlarged image, so that a clear enlarged image can be obtained. In addition, since it is not necessary to repeat the orthogonal change like the method of restoring the high frequency component in the process of repeating the normal transform and the inverse transform using the orthogonal transform, the number of operations is not significantly increased, and high speed operation is possible. High frequency prediction is possible.
【００３２】さらに、直交変換手段として、矩形波を基
底ベクトルとした直交変換（たとえば、アダマール変換
など）を用いる。これら矩形波を基底ベクトルとした直
交変換および逆直交変換は、低周波領域への電力集中が
小さいことから、高周波の情報の影響がより大きなもの
となり、高周波成分を埋めることによる画像の鮮明度を
より大きくすることができ、画質改善効果を極めて大き
なものとすることができる。Further, as the orthogonal transform means, an orthogonal transform (for example, Hadamard transform) using a rectangular wave as a base vector is used. The orthogonal transformation and the inverse orthogonal transformation using these rectangular waves as a base vector have a smaller influence of high-frequency information because the power concentration in the low-frequency region is small, and the sharpness of the image due to the high-frequency component being filled is improved. It can be further increased, and the image quality improving effect can be made extremely large.
【００３３】また、原画像のエッジ部分のエッジ強調を
行い、擬似的に拡大の対象となる原画像に高周波データ
を加えたのちに、拡大処理を行うことにより、鮮明な拡
大画像を得ることができる。たとえば、テレビ信号であ
るＮＴＳＣ信号をキャプチャして得られた画像やデジタ
ルスチールカメラで得られた画像などの解像度の低い画
像の拡大処理に対しては、原画像に対して、エッジ強調
により、疑似的に高周波成分が加えられるので、これに
より、低解像度の画像を拡大処理した場合でも鮮明な画
像を得ることができる。Further, a sharp enlarged image can be obtained by performing edge enhancement on the edge portion of the original image, adding high frequency data to the original image to be pseudo-enlarged, and then performing enlargement processing. it can. For example, for enlargement processing of an image having a low resolution such as an image obtained by capturing an NTSC signal which is a television signal or an image obtained by a digital still camera, edge enhancement is performed on the original image by using edge enhancement. Since a high-frequency component is added, a clear image can be obtained even when a low-resolution image is enlarged.
【００３４】また、本発明は、第１，第２の２段の拡大
処理を行い、第１の拡大処理では、周波数領域に変換し
た拡大処理とし、この第１の拡大処理では拡大率を抑え
て（２から４倍程度）拡大処理し、その拡大処理した画
像を、線形補間法あるいはニアレストネイバ法などによ
る第２の拡大処理により、さらに拡大処理するようにし
たので、拡大率が大きい場合でも高速な拡大処理が可能
となり、かつ、様々な拡大率にも適応可能となる。Further, according to the present invention, the first and second stages of enlargement processing are performed. In the first enlargement processing, the enlargement processing is performed in the frequency domain, and the enlargement ratio is suppressed in the first enlargement processing. (2 to 4 times) enlargement processing, and the enlarged image is further enlarged by the second enlargement processing such as the linear interpolation method or the nearest neighbor method. However, high-speed enlargement processing is possible and various enlargement ratios can be applied.
【００３５】また、本発明では、入力された原画像がカ
ラーである場合、各カラープレーン（例えばＲＧＢカラ
ープレーン）の輝度に関する情報量の違いを考慮し、輝
度情報の大きいカラープレーンに対しては、鮮明な拡大
画像が得られる周波数領域での拡大処理を行い、輝度情
報の小さいカラープレーンに対しては、線形補完法、ニ
アレストネイバ法等の処理時間の速い拡大方法により拡
大処理を行なうようにしたので、全体として処理時間の
高速化が図れ、しかも鮮明な画像を得ることができる。Further, in the present invention, when the input original image is in color, the difference in the information amount regarding the luminance of each color plane (for example, the RGB color plane) is taken into consideration, and for the color plane with large luminance information, , Enlargement processing is performed in the frequency domain where a clear enlarged image can be obtained, and for color planes with small luminance information, enlargement processing should be performed with a fast processing method such as the linear interpolation method or the nearest neighbor method. Therefore, the processing time can be shortened as a whole and a clear image can be obtained.
【００３６】[0036]
（第１の実施例）以下、本発明の第１の実施例を説明す
る。(First Embodiment) A first embodiment of the present invention will be described below.
【００３７】図１は、第１の実施例の構成を説明するブ
ロック図である。１０は画像処理装置１内に設けられた
拡大処理部であり、処理対象となる実空間の画像の領域
（以下、実領域という）を周波数空間の画像の領域（以
下、周波数領域という）へ変換するために、直交変換を
行う直交変換部１１、拡大率に応じた周波数領域を用意
するとともに高周波成分の予測を行う高周波領域予測部
１２、高周波領域予測部１２で用意された周波数領域を
実領域に変換を行う逆直行変換部１３、およびこれら各
処理部を接続するためのバス１４より構成される。ま
た、１５は処理対象となる原画像の入力を行うための画
像入力装置１５であり、光学的な画像入力を行う場合は
光学的画像入力装置（たとえばスキャナ）や通信による
入力装置、あるいは画像デ−タを蓄える記憶装置などで
ある。FIG. 1 is a block diagram for explaining the configuration of the first embodiment. Reference numeral 10 denotes an enlargement processing unit provided in the image processing apparatus 1 for converting an image region of a real space (hereinafter referred to as a real region) to be processed into an image region of a frequency space (hereinafter referred to as a frequency region). In order to do so, the orthogonal transformation unit 11 that performs orthogonal transformation, the high frequency region prediction unit 12 that prepares the frequency region according to the enlargement factor and the high frequency component is predicted, and the frequency region prepared by the high frequency region prediction unit 12 is the real region. The inverse orthogonal conversion unit 13 for performing the conversion into the above, and the bus 14 for connecting these processing units. Reference numeral 15 denotes an image input device 15 for inputting an original image to be processed. When performing an optical image input, an optical image input device (for example, a scanner), an input device by communication, or an image data input device. -A storage device for storing data.
【００３８】また、前記各処理部は、ハードロジックに
より構成されるものであっても、さらにＣＰＵを付加す
ることによりソフト的な処理により実現されるものであ
ってもよい。Further, each of the processing units may be configured by a hard logic or may be realized by software processing by further adding a CPU.
【００３９】次に拡大処理部１０全体の概略的な処理の
流れについて説明する。図２はそのフローチャートであ
る。まず、図３（ａ）のように原画像１０１をある大き
さ、例えばＮ×Ｎ画素の大きさに分割したものを１つの
ブロック（ブロックＢ１，Ｂ２，・・・）とし、そのＮ
×Ｎ画素のブロックを１つの単位として、直交変換部１
１により実領域から周波数領域へ変換を行うために直交
変換を行う（ステップｓ１）。Next, a schematic processing flow of the entire enlargement processing unit 10 will be described. FIG. 2 is a flowchart thereof. First, as shown in FIG. 3A, the original image 101 is divided into a certain size, for example, N × N pixels, to form one block (blocks B1, B2, ...).
The orthogonal transformation unit 1 uses a block of × N pixels as one unit.
The orthogonal transformation is performed to transform the real domain to the frequency domain by 1 (step s1).
【００４０】そして、高周波領域予測部１２により拡大
率に応じた周波数領域を用意するとともに高周波成分の
予測を行う（ステップｓ２）。ここで拡大率をαとする
と、αＮ×αＮの大きさの周波数領域が用意されること
になる。Then, the high frequency region predicting section 12 prepares a frequency region corresponding to the enlargement ratio and predicts a high frequency component (step s2). Here, assuming that the enlargement ratio is α, a frequency region having a size of αN × αN is prepared.
【００４１】次に、逆直交変換部１３により高周波領域
予測部１２で用意されたαＮ×αＮの大きさの周波数領
域を実領域へ逆直交変換を行い、１つのブロックの処理
が終了する（ステップｓ３）。この処理によりαＮ×α
Ｎの画像が得られ、結果としてα倍に拡大された拡大画
像を得ることになる。そして、分割された全ブロックの
処理が終了しているか否かの判断を行い、全ブロックの
処理が終了していなければ、次のブロックの処理を行な
い、全ブロックの処理が終了していれば、処理を終了す
る（ステップｓ４）。Next, the inverse orthogonal transform unit 13 performs an inverse orthogonal transform of the frequency region of size αN × αN prepared in the high frequency region prediction unit 12 into the real region, and the processing of one block is completed (step s3). This process makes αN × α
N images are obtained, and as a result, an enlarged image enlarged by α times is obtained. Then, it is determined whether or not the processing of all the divided blocks is completed. If the processing of all the blocks is not completed, the next block is processed, and if the processing of all the blocks is completed. , The process is terminated (step s4).
【００４２】ここで、ブロックサイズが問題となるが、
これは任意であり、縦横の大きさが違っていてもよく、
また画像全体を１つのブロックとしてもよい。ただし、
処理時間はブロックサイズが小さいほど早くなるため、
処理速度と処理精度との関係から一般には４画素〜１６
画素程度のブロックサイズで処理を行うのが都合がよ
い。Here, although the block size becomes a problem,
This is optional, and the vertical and horizontal sizes may be different,
The entire image may be one block. However,
The processing time is faster as the block size is smaller, so
From the relationship between processing speed and processing accuracy, generally 4 pixels to 16 pixels.
It is convenient to perform processing with a block size of about a pixel.
【００４３】なお、画像をブロックに分割することによ
り拡大画像においてブロックの境界部分に歪みが生じる
場合があるが、図３（ｂ）のように、隣合うブロックの
一部分が重なるようなブロックの分割を行い、逆直行変
換後の画像において重なりのある部分については、画素
単位での画素値（たとえば濃度値）の平均を求めること
によりブロック歪みの低減を図ることができる。Although there are cases in which distortion occurs at the block boundaries in the enlarged image when the image is divided into blocks, as shown in FIG. 3B, the blocks are divided so that adjacent blocks partially overlap each other. The block distortion can be reduced by calculating the average of pixel values (for example, density values) in pixel units in the overlapped portion in the image after the inverse orthogonal transform.
【００４４】すなわち、図３（ａ）において、それぞれ
隣接するブロックＢ１，Ｂ２，Ｂ３，Ｂ４を例に取る
と、これらのブロックＢ１，Ｂ２，Ｂ３，Ｂ４を同図
（ｂ）に示すように、それぞれの１部が重なり合うよう
にブロック分割する。そして、たとえば、ブロックＢ１
とＢ２との重なり部分ｗ１に存在する画素については、
逆直交変換後の実領域におけるブロックＢ１での画素値
とブロックＢ２での画素値との平均を各画素単位で求
め、その平均値を当該画素の画素値とする。また、ブロ
ックＢ１，Ｂ２，Ｂ３，Ｂ４がすべて重なった部分ｗ２
に存在する画素については、逆直交変換後の実領域にお
けるブロックＢ１〜Ｂ４での画素値の平均を各画素単位
で求め、その平均値を当該画素の画素値とする。That is, when the adjacent blocks B1, B2, B3, B4 are taken as an example in FIG. 3 (a), these blocks B1, B2, B3, B4 are as shown in FIG. 3 (b). It is divided into blocks so that each part overlaps. Then, for example, block B1
Regarding the pixel existing in the overlapping portion w1 of
An average of the pixel value in the block B1 and the pixel value in the block B2 in the real region after the inverse orthogonal transformation is calculated for each pixel, and the average value is set as the pixel value of the pixel. Also, a portion w2 in which all the blocks B1, B2, B3, B4 overlap
For the pixels existing in 1), the average of the pixel values in the blocks B1 to B4 in the real region after the inverse orthogonal transform is calculated in each pixel unit, and the average value is set as the pixel value of the pixel.
【００４５】次に、前記した各処理部について説明す
る。まず、直交変換部１１について説明する。直交変換
部１１は実領域から周波数領域へ変換を行うために直交
変換を行う。直交変換の方法としては高速フーリエ変換
（ＦＦＴ）、ディスクリート・コサイン変換（ＤＣ
Ｔ）、アダマール（Hadamard）変換、画像の傾斜成分を
効率良く表現するために考案されたスラント（Slant ）
変換、変換の行列要素として＋１，０，−１を含み、ア
ダマール変換とほぼ同様の効果が得られるハール（Haa
r）変換等がある。変換方法の一例として、Ｍ×Ｎのブ
ロックサイズに対するディスクリート・コサイン変換を
下記〔１〕式に、アダマール変換を下記〔２〕式に示
す。なお、〔２〕式にはブロックサイズがＮ＝４の場合
の変換ベクトルの例も合わせて示してある。Next, each of the above processing units will be described. First, the orthogonal transformation unit 11 will be described. The orthogonal transformation unit 11 performs orthogonal transformation in order to transform from the real domain to the frequency domain. The methods of orthogonal transform include fast Fourier transform (FFT), discrete cosine transform (DC
T), Hadamard transform, and slant designed to efficiently express the gradient component of the image.
Transforms, which include +1, 0, -1 as matrix elements of the transforms, have the same effect as the Hadamard transform (Haa
r) There are conversions. As an example of the conversion method, the discrete cosine transform for the M × N block size is shown in the following formula [1], and the Hadamard transform is shown in the following formula [2]. It should be noted that the expression [2] also shows an example of the conversion vector when the block size is N = 4.
【００４６】[0046]
【数１】 [Equation 1]
【００４７】[0047]
【数２】 [Equation 2]
【００４８】原則としては、どの直交変換方法を用いて
もよい。なお、本発明に適した直交変換方法については
別途述べる。In principle, any orthogonal transform method may be used. The orthogonal transform method suitable for the present invention will be described separately.
【００４９】次に高周波領域予測部１２について述べ
る。高周波領域予測部１２は、拡大率に合わせた周波数
領域を用意するとともに、直交変換部１１により得られ
た周波数領域のデータをもとに後述する予測ルールを参
照して高周波領域の予測を行なう。Next, the high frequency region prediction section 12 will be described. The high frequency region predicting unit 12 prepares a frequency region according to the enlargement ratio, and based on the data of the frequency region obtained by the orthogonal transforming unit 11, refers to a prediction rule described later to predict the high frequency region.
【００５０】以下、高周波領域予測部１２の処理を図４
を用いて説明する。図４（ａ）は直交変換部１１によ
り、Ｎ×Ｎ画素のブロックを周波数領域に変換した結果
である。ここで、前記したように、図示、左上には低周
波成分が、左上からｘ１で示す矢印方向、あるいは、ｙ
１で示す矢印方向に向かうほど高周波成分が現れるもの
とする。なお、ブロック内に描かれた矢印は、それぞれ
のエリアにおける周波数分布の方向を示すものである
が、これについては後に説明する。また、図４（ｂ）
は、拡大率αに応じて用意された周波数領域であり、こ
こでは拡大率α＝２の場合を例示している。したがっ
て、図４（ｂ）で示す領域は、２Ｎ×２Ｎとなる。この
２Ｎ×２Ｎの範囲の領域においても、前記同様、図示、
左上方は低周波成分の領域、左上から矢印ｘ１方向、あ
るいは、矢印ｙ１方向に向かうほど高周波成分の領域で
あるとする。なお、同図（ｂ）において、濃い網点で示
されるＮ×Ｎの領域を低周波領域、それ以外の部分を高
周波領域と呼ぶことにする。Hereinafter, the processing of the high frequency region predicting section 12 will be described with reference to FIG.
Will be explained. FIG. 4A shows the result of transforming the block of N × N pixels into the frequency domain by the orthogonal transform unit 11. Here, as described above, in the figure, the low frequency component is in the upper left, from the upper left in the arrow direction indicated by x1, or y
It is assumed that the higher frequency components appear in the direction of the arrow indicated by 1. The arrows drawn in the blocks indicate the direction of frequency distribution in each area, which will be described later. In addition, FIG.
Is a frequency region prepared according to the enlargement ratio α, and here, the case where the enlargement ratio α = 2 is illustrated. Therefore, the area shown in FIG. 4B is 2N × 2N. Also in the region of this 2N × 2N range, as shown in the figure,
It is assumed that the upper left part is a region of low frequency components, and the upper left part is a region of high frequency components in the arrow x1 direction or the arrow y1 direction. In FIG. 6B, the N × N region indicated by the dark halftone dot is called a low frequency region, and the other part is called a high frequency region.
【００５１】まず、をＮ×Ｎの低周波領域には、直交変
換部１１により得られた図４（ａ）のＮ×Ｎの周波数領
域のデータを図４（ｂ）に示すようにそのままコピーす
る。これにより、拡大前の原画像の周波数情報がそのま
ま保存されることになる。First, in the low frequency region of N × N, the data of the frequency region of N × N of FIG. 4A obtained by the orthogonal transformation unit 11 is copied as it is as shown in FIG. 4B. To do. As a result, the frequency information of the original image before enlargement is stored as it is.
【００５２】次に、高周波領域における各画素値の予測
を行うが、これをどのようにするかが問題となる。な
お、周波数領域への変換は前記したように直交変換を用
いて行うが、ここで、「直交変換」とは、変換結果の各
要素が直交の関係にある、すなわち、各要素の相関はゼ
ロとなる変換を意味する。しかし、周波数領域への変換
結果を調べると、相関がゼロとなるわけでなく、低周波
成分と高周波成分との間に少なからず相関があり、この
相関は自然画において特にみられる。そこで、この低周
波成分と高周波成分との相関を応用して高周波の予測を
する。Next, each pixel value in the high frequency region is predicted, and how to do this poses a problem. It should be noted that the transformation into the frequency domain is performed using the orthogonal transformation as described above, but here, the "orthogonal transformation" means that the respective elements of the transformation result have an orthogonal relationship, that is, the correlation between the respective elements is zero. Means a transformation such that However, when the result of conversion into the frequency domain is examined, the correlation does not become zero, and there is a considerable correlation between the low frequency component and the high frequency component, and this correlation is particularly seen in natural images. Therefore, the high frequency is predicted by applying the correlation between the low frequency component and the high frequency component.
【００５３】具体的には以下の通りである。直交変換部
１１により得られた周波数領域のデータを図４（ｂ）に
おける低周波領域にそのままコピーした周波数領域を、
同図（ｂ）のように、いくつかのエリアに分割する。な
お、図４（ｂ）において、エリアの大きさはＮ／２×Ｎ
／２を単位として分割している。したがって、この場
合、４つのエリア（エリアａ０，ａ１，ａ２，ａ３）に
分割される。Specifically, it is as follows. The frequency domain obtained by directly copying the frequency domain data obtained by the orthogonal transformation unit 11 to the low frequency domain in FIG.
It is divided into several areas as shown in FIG. In addition, in FIG. 4B, the size of the area is N / 2 × N.
/ 2 is divided as a unit. Therefore, in this case, the area is divided into four areas (areas a0, a1, a2, a3).
【００５４】次に、事前に調査した低周波領域と高周波
領域とのエリア間の相関関係より、分割した低周波領域
のエリアａ０，ａ１，ａ２，ａ３の画素値を、高周波領
域の各エリア（このエリアも低周波領域と同様、Ｎ／２
×Ｎ／２を単位としたエリアである）にコピーする。こ
こで、低周波領域と高周波領域とのエリア間の相関関係
は、解像度の高い複数のサンプルを用意し調べる。この
とき、解像度の高いサンプルを用意するのは、拡大処理
は言い換えると解像度を上げる処理であり、解像度の高
いサンプルは拡大処理後の正解画像とみなすことができ
るからである。Next, the pixel values of the divided low frequency areas a0, a1, a2, and a3 are calculated from the correlations between the areas of the low frequency area and the high frequency area, which have been investigated in advance, in each area of the high frequency area ( This area is N / 2 as well as the low frequency area.
X N / 2 is a unit area). Here, the correlation between the areas of the low frequency region and the high frequency region is examined by preparing a plurality of samples with high resolution. At this time, the sample with high resolution is prepared because the enlargement process is, in other words, the process of increasing the resolution, and the sample with high resolution can be regarded as the correct image after the enlargement process.
【００５５】そこで、この解像度の高い原画像サンプル
を２Ｎ×２Ｎのブロックに分割し、このブロックを前記
同様、直交変換により周波数領域に変換する。そして、
変換した周波数領域を図４（ｂ）と同様にＮ／２×Ｎ／
２を単位としたエリアに分割し、低周波領域のエリアと
高周波領域のエリアとの相関を調べる。この相関をもと
に、高周波成分の予測ルールを作成する。ここで、予測
ルールとは、低周波領域の各エリアと高周波領域の各エ
リアにおける周波数分布などの関係等を表したものをい
う。この予測ルールは、１つだけのサンプルから得られ
るものではなく、幾つものサンプルを用意し、それぞれ
のサンプルから得られた低周波領域の各エリアと高周波
領域の各エリアにおける周波数分布などの相関を基にし
て、たとえば各サンプルの平均値を求めることによって
得るものである。Therefore, this high-resolution original image sample is divided into 2N × 2N blocks, and this block is transformed into the frequency domain by the orthogonal transformation as described above. And
The converted frequency domain is N / 2 × N / as in FIG.
The area is divided into units of 2 and the correlation between the low frequency area and the high frequency area is examined. A prediction rule for high frequency components is created based on this correlation. Here, the prediction rule represents a relationship such as a frequency distribution in each area of the low frequency region and each area of the high frequency region. This prediction rule prepares not only one sample but several samples, and correlates the frequency distribution in each area of the low frequency region and the high frequency region obtained from each sample. It is obtained by, for example, obtaining the average value of each sample.
【００５６】そして、このようにして事前に作成した予
測ルールを用い、高周波領域に画素データを埋めて行く
処理を行う。Then, using the prediction rule created in advance in this way, a process of filling the pixel data in the high frequency region is performed.
【００５７】あらかじめ作成された予測ルールの一例を
図５に示す。図５において、この場合も左上のＮ×Ｎの
領域を低周波領域とする。この低周波領域は４つのエリ
アに分割され、そのエリアは前記同様、ａ０〜ａ３で示
す。また、各エリア内に描かれた矢印は、そのエリアに
おける周波数分布の方向、つまり、高周波成分および低
周波成分の方向を示すもので、低周波方向は実線の矢
印、高周波方向は点線の矢印で示し、矢印の方向に従っ
て低周波または高周波の度合いが強くなることを示して
いる。FIG. 5 shows an example of the prediction rule created in advance. In FIG. 5, the upper left N × N region is the low frequency region also in this case. This low frequency region is divided into four areas, which are indicated by a0 to a3 as described above. Also, the arrows drawn in each area indicate the direction of the frequency distribution in that area, that is, the direction of the high frequency component and the low frequency component.The low frequency direction is a solid line arrow, and the high frequency direction is a dotted line arrow. It shows that the degree of low frequency or high frequency becomes stronger according to the direction of the arrow.
【００５８】この図５で示す予測ルール例によれば、図
４（ｂ）における高周波領域のエリアａ５には、低周波
領域のエリアａ１をそのままコピーする（矢印の向きも
同じ）ことが示されており、また、図４（ｂ）における
高周波領域のエリアａ４には、低周波領域のエリアａ１
をコピーする（矢印の向きは異なる）ということが示さ
れている。また、図４（ｂ）における高周波領域のエリ
アａ６，ａ７，ａ８には、それぞれ低周波領域のエリア
ａ２をコピーする（矢印の向きはそれぞれ異なる）とい
う予測ルールとなっている。さらに、図４（ｂ）におけ
る高周波領域のエリアａ９には、図５に示すように低周
波領域のエリアａ３をコピーする（矢印の向きは異な
る）ことが示されており、また、図４（ｂ）における高
周波領域のエリアａ１０には、図５に示すように低周波
領域のエリアａ３をそのままコピーする（矢印の向きも
同じ）ということが示されている。According to the prediction rule example shown in FIG. 5, it is shown that the area a1 of the low frequency area is directly copied to the area a5 of the high frequency area in FIG. 4B (the arrow direction is also the same). Further, the area a4 in the high frequency area in FIG. 4B is the area a1 in the low frequency area.
Is copied (the direction of the arrow is different). Further, the prediction rule is to copy the area a2 of the low frequency area to the areas a6, a7, a8 of the high frequency area in FIG. 4B (directions of arrows are different from each other). Further, as shown in FIG. 5, it is shown that the area a3 in the high frequency region in FIG. 4 (b) is copied from the area a3 in the low frequency region (the direction of the arrow is different), and FIG. It is shown that the area a10 in the high frequency area in b) is the area a3 in the low frequency area that is copied as it is (the direction of the arrow is the same) as shown in FIG.
【００５９】ここで、図５において、高周波領域の各エ
リアの予測周波数成分の矢印と、低周波領域に対応する
エリア内の予測周波数成分の矢印の方向が異なっている
ものがある。たとえば、高周波領域のエリアａ６は、低
周波エリアａ２をコピーすることが示されたいるが、エ
リアａ６の矢印の向きは、エリアａ２の矢印の向きと異
なっている。これは図６のように軸Ｘまたは軸Ｙまたは
交点Ｚを中心に折り返しをすることを意味する。以下、
これについて説明する。Here, in FIG. 5, the direction of the arrow of the predicted frequency component in each area of the high frequency region and the direction of the arrow of the predicted frequency component in the area corresponding to the low frequency region are different. For example, although it has been shown that the high frequency area a6 copies the low frequency area a2, the direction of the arrow of the area a6 is different from the direction of the arrow of the area a2. This means folding around the axis X or the axis Y or the intersection Z as shown in FIG. Less than,
This will be described.
【００６０】例えば、低周波領域に存在する或る１つの
エリア（ここではエリアａ２を例に取る）が図６に示す
ように、４つの周波数成分ｂ１からｂ４により構成され
ているものとする。また、このエリアａ２の周波数分布
の方向を示す矢印は、図５で示したように、低周波方向
は図示左上方向へ、また、高周波方向は右下方向へ向か
っている。そして、図５に示す予測ルール例によれば、
図４（ｂ）におけるエリアａ６は、低周波領域における
エリアａ２をコピーすることを示し、その周波数分布を
示す矢印の向きは、低周波方向を示す矢印は右上方向、
高周波方向を示す矢印は左下方向であることを示してい
る。これは、低周波領域におけるエリアａ２を軸Ｘを中
心に折り返すことを意味している。For example, it is assumed that a certain area existing in the low frequency region (here, the area a2 is taken as an example) is composed of four frequency components b1 to b4 as shown in FIG. Further, as shown in FIG. 5, the arrow indicating the direction of the frequency distribution in this area a2 is directed toward the upper left in the low frequency direction and toward the lower right in the high frequency direction. Then, according to the prediction rule example shown in FIG.
An area a6 in FIG. 4B indicates that the area a2 in the low frequency region is copied. The direction of the arrow indicating the frequency distribution is as follows: the arrow indicating the low frequency direction is the upper right direction.
The arrow indicating the high frequency direction indicates the lower left direction. This means that the area a2 in the low frequency region is folded back around the axis X.
【００６１】よって、図４（ｂ）における高周波領域の
エリアａ６は、低周波領域におけるエリアａ２を軸Ｘを
中心に折り返したものとなる。このときのエリアａ６内
の周波数成分ｂ１，ｂ２，ｂ３，ｂ４も、エリアａ２内
の周波数成分ｂ１，ｂ２，ｂ３，ｂ４を軸Ｘを中心に折
り返した位置となる。Therefore, the area a6 in the high frequency region in FIG. 4B is the area a2 in the low frequency region folded around the axis X. The frequency components b1, b2, b3, b4 in the area a6 at this time are also positions where the frequency components b1, b2, b3, b4 in the area a2 are folded back around the axis X.
【００６２】また、図５に示す予測ルール例によれば、
図４（ｂ）におけるエリアａ７は、低周波領域における
エリアａ２をコピーすることを示し、その周波数分布を
示す矢印の向きは、低周波方向を示す矢印は右下方向、
高周波方向を示す矢印は左上方向であることを示してい
る。これは、低周波領域におけるエリアａ２を軸Ｘと軸
Ｙの交点Ｚを中心に折り返すことを意味している。According to the prediction rule example shown in FIG. 5,
An area a7 in FIG. 4B indicates that the area a2 in the low frequency region is copied, and the direction of the arrow indicating the frequency distribution is as follows: the arrow indicating the low frequency direction is the lower right direction.
The arrow indicating the high frequency direction indicates the upper left direction. This means that the area a2 in the low frequency region is folded back around the intersection Z of the axis X and the axis Y.
【００６３】よって、図４（ｂ）における高周波領域の
エリアａ７は、低周波領域におけるエリアａ２を交点Ｚ
を中心に折り返したものとなる。このときのエリアａ７
内の周波数成分ｂ１，ｂ２，ｂ３，ｂ４も、エリアａ２
内の周波数成分ｂ１，ｂ２，ｂ３，ｂ４を交点Ｚを中心
に折り返した位置となる。Therefore, the area a7 in the high frequency area in FIG. 4B intersects the area a2 in the low frequency area at the intersection Z.
It will be folded around. Area a7 at this time
The frequency components b1, b2, b3, b4 in
It is the position where the frequency components b1, b2, b3, b4 inside are folded back around the intersection Z.
【００６４】また、図５に示す予測ルール例によれば、
図４（ｂ）におけるエリアａ８は、低周波領域における
エリアａ２をコピーすることを示し、その周波数分布を
示す矢印の向きは、低周波方向を示す矢印は左下方向、
高周波方向を示す矢印は右上方向であることを示してい
る。これは、低周波領域におけるエリアａ２を軸Ｙを中
心に折り返すことを意味している。According to the prediction rule example shown in FIG.
The area a8 in FIG. 4B indicates that the area a2 in the low frequency region is copied, and the direction of the arrow indicating the frequency distribution is as follows: the arrow indicating the low frequency direction is the lower left direction.
The arrow indicating the high frequency direction indicates that it is in the upper right direction. This means that the area a2 in the low frequency region is folded back around the axis Y.
【００６５】よって、図４（ｂ）における高周波領域の
エリアａ８は、低周波領域におけるエリアａ２を軸Ｙを
中心に折り返したものとなる。このときのエリアａ８内
の周波数成分ｂ１，ｂ２，ｂ３，ｂ４も、エリアａ２内
の周波数成分ｂ１，ｂ２，ｂ３，ｂ４を軸Ｙを中心に折
り返した位置となる。Therefore, the area a8 in the high frequency area in FIG. 4B is the area a2 in the low frequency area folded around the axis Y. The frequency components b1, b2, b3, b4 in the area a8 at this time are also positions where the frequency components b1, b2, b3, b4 in the area a2 are folded around the axis Y.
【００６６】このように、各エリアの相関から求めた予
測ルールに基づいて周波領域のエリアを高周波領域の各
エリアにコピーする。なお、図５は予測ルールの一例を
示している。In this way, the area in the frequency domain is copied to each area in the high frequency domain based on the prediction rule obtained from the correlation of each area. Note that FIG. 5 shows an example of the prediction rule.
【００６７】ところで、周波数の電力分布は一般に周波
数ｆの逆数、すなわち、ほぼ１／ｆとなる。また、電力
は各周波数の振幅の２乗に比例する。よって、低周波領
域のエリアを高周波領域にコピーする際に、係数を掛て
補正を行なった後にコピーするとよい。例えば、図４
（ｂ）を例にすると、周波数は、左上のＰ１点を原点と
して、そこからの距離に比例すると考えてよい。よっ
て、仮にエリアａ０の周波数を「１」とすると、エリア
ａ１は「２」、エリアａ４は「３」、エリアａ５は
「４」となる。エリアａ１とエリアａ５の関係をみると
エリアａ１とエリアａ５の電力の比は１／２：１／４＝
２：１となり、振幅の比で考えると２×２：１×１＝
４：１となる。よって、ａ５の位置にａ１をコピーする
際には、１／４を掛けた後にコピーする。高周波領域の
他のエリアにコピーする際も、振幅比を考慮して係数を
掛けた後にコピーする。By the way, the frequency power distribution is generally the reciprocal of the frequency f, that is, approximately 1 / f. The power is proportional to the square of the amplitude of each frequency. Therefore, when copying the area of the low frequency area to the high frequency area, it is advisable to apply a coefficient and perform correction before copying. For example, in FIG.
Taking (b) as an example, it can be considered that the frequency is proportional to the distance from the origin point P1 at the upper left. Therefore, assuming that the frequency of the area a0 is "1", the area a1 is "2", the area a4 is "3", and the area a5 is "4". Looking at the relationship between the area a1 and the area a5, the power ratio between the area a1 and the area a5 is 1/2: 1/4 =
It becomes 2: 1. Considering the ratio of amplitude, 2 × 2: 1 × 1 =
It becomes 4: 1. Therefore, when copying a1 to the position of a5, it is multiplied by ¼ and then copied. Also when copying to another area of the high frequency region, the coefficient is multiplied in consideration of the amplitude ratio before copying.
【００６８】周波数の電力分布は一般に周波数ｆの逆数
となることから、図４（ｂ）のＰ１点の部分から遠い位
置にある高周波領域のエリア、例えばエリアａ１１等に
データを埋めたとしても、画像を鮮明にする効果は低
い。よって、図４（ｂ）の高周波領域のうち、低周波領
域に近い領域（たとえば、薄い網点で示すエリアａ４〜
ａ１０）に対してのみ低周波領域Ｌのエリアをコピーす
る処理としてもよい。Since the power distribution of the frequency is generally the reciprocal of the frequency f, even if the data is filled in the high frequency area, which is far from the point P1 in FIG. The effect of sharpening the image is low. Therefore, in the high frequency region of FIG. 4B, a region close to the low frequency region (for example, an area a4 to a thin halftone dot
The process of copying the area of the low frequency region L may be performed only for a10).
【００６９】なお、図５は前記したように予測ルールの
１例を示すものであり、これに限られるものではない。
よって、分割するエリアのサイズも図５のＮ／２×Ｎ／
２に制限されるものではなく、拡大率αも２倍に制限さ
れるものではない。予測ルールにおいて重要なことは、
事前に調査した低周波領域のエリアと高周波領域のエリ
アとの相関を調査し作成する点にある。なお、ここで言
う予測ルールとは、コピー位置、折り返し方法に関する
情報のほかコピーする際の係数を含んだものをいう。Note that FIG. 5 shows an example of the prediction rule as described above, and the present invention is not limited to this.
Therefore, the size of the divided area is also N / 2 × N / in FIG.
It is not limited to 2, and the expansion rate α is not limited to double. The important thing about prediction rules is that
The point is that the correlation between the low-frequency area and the high-frequency area that was investigated in advance is investigated and created. It should be noted that the prediction rule referred to here is one that includes a copy position, information about a folding method, and a coefficient for copying.
【００７０】以上説明した高周波領域予測部１２におけ
る処理の流れを図７にまとめる。図７において、始め
に、拡大率に応じた周波数領域を準備する（ステップｓ
１１）。例えば、拡大率がαで１つのブロックサイズが
Ｎ×Ｎ画素の場合には、原画像から直交変換を用いてα
Ｎ×αＮの大きさの周波数領域を準備する。The flow of processing in the high frequency region predicting section 12 described above is summarized in FIG. In FIG. 7, first, a frequency region corresponding to the enlargement ratio is prepared (step s
11). For example, when the enlargement ratio is α and one block size is N × N pixels, α is obtained by using orthogonal transformation from the original image.
A frequency region having a size of N × αN is prepared.
【００７１】準備した周波数領域の低周波領域に図４
（ｂ）のように直交変換部１１で変換した結果をコピー
する（ステップｓ１２）。FIG. 4 shows the low frequency range of the prepared frequency range.
As shown in (b), the result converted by the orthogonal transform unit 11 is copied (step s12).
【００７２】そして、周波数領域を幾つかのエリア（た
とえば、１つのエリアが前記したようにＮ／２×Ｎ／２
画素で構成される）に分割し（ステップｓ１３）、予め
用意した予測ルールに基づき、低周波領域のエリアを必
要に応じて折り返し、係数を掛けた後に高周波領域のエ
リアにコピーする（ステップｓ１４）。Then, the frequency domain is divided into several areas (for example, one area is N / 2 × N / 2 as described above).
(Composed of pixels) (step s13), based on a prediction rule prepared in advance, the low-frequency area is folded as necessary, multiplied by a coefficient, and then copied to the high-frequency area (step s14). .
【００７３】以上のようにして、高周波領域予測部１２
の処理が行われる。高周波領域予測部１２により、以上
のような処理が行われることにより、拡大後の画像は高
周波成分を含む画像となるので、従来の高周波領域にゼ
ロをうめて拡大を行なう方法に比べ、鮮明な画像を得る
ことができる。また、従来例で説明した画像を直行変換
を用いて正変換と逆変換を繰り返す過程で、高周波成分
の復元をする方法（特開平６−５４１７２）のように、
直交変換を繰り返す必用がないので、高速な高周波予測
が可能となる。As described above, the high frequency region prediction unit 12
Is processed. Since the high-frequency region predicting unit 12 performs the above-described processing, the image after enlargement becomes an image containing high-frequency components, so that it is clearer than the conventional method of performing enlargement by inserting zero in the high-frequency region. Images can be obtained. Further, as in the method (Japanese Patent Laid-Open No. 6-54172) of restoring the high frequency component in the process of repeating the normal transformation and the inverse transformation of the image described in the conventional example using the orthogonal transformation,
Since it is not necessary to repeat orthogonal transformation, high-speed high-frequency prediction is possible.
【００７４】次に、逆直交変換部１３について説明す
る。逆直交変換部１３は高周波領域予測部１２にて処理
された周波数領域を実領域へと逆変換を行う処理をす
る。逆直交変換方法は、直交変換部１１での直交変換方
法と同じ種類の変換方法を用いて行なう。すなわち、直
交変換部１１でＤＣＴ変換を用いた場合は逆ＤＣＴ変
換、直交変換部１１でアダマール変換を用いた場合は逆
アダマール変換とする。一例として、Ｍ×Ｎのブロック
サイズの逆ＤＣＴ変換式を〔３〕式に示す。なお、アダ
マール変換の場合は、周波数領域への変換も実領域への
変換も〔２〕式により実現できる。すなわち、アダマー
ル変換は正変換、逆変換とも同じ方法により実現でき
る。Next, the inverse orthogonal transform section 13 will be described. The inverse orthogonal transform unit 13 performs a process of inverse transforming the frequency domain processed by the high frequency domain prediction unit 12 into a real domain. The inverse orthogonal transform method is performed using the same type of transform method as the orthogonal transform method in the orthogonal transform unit 11. That is, the inverse DCT transform is used when the orthogonal transform unit 11 uses the DCT transform, and the inverse Hadamard transform is used when the orthogonal transform unit 11 uses the Hadamard transform. As an example, an inverse DCT conversion formula with a block size of M × N is shown in formula [3]. In the case of Hadamard transform, both the conversion into the frequency domain and the conversion into the real domain can be realized by the equation [2]. That is, the Hadamard transform can be realized by the same method for both the forward transform and the inverse transform.
【００７５】[0075]
【数３】 (Equation 3)
【００７６】ここで、どの変換方法が最もよいかという
ことが問題となる。高周波成分を埋めることによる画質
への影響という観点からとらえると、高周波領域に対す
る予測処理を行ったのち、実領域へ変換されたあとに、
その実領域の画質に対してより大きく影響を与える（鮮
明な画像に変換できる）方法が望ましいといえる。すな
わち、低周波への電力集中が低い変換方法がよいという
ことになる。なぜならば、低周波への電力集中が低けれ
ば、高周波領域の電力が大きくなり、高周波領域に対し
て予測ルールに基づいた周波数成分を補間することで、
その補間した周波数成分の影響が画質に大きく現れるか
らである。このような観点から変換方法を選択すると、
ＤＣＴ変換、スラント変換等は低周波への電力集中が比
較的大きく、これに対して、アダマール変換、ハール変
換などのように、矩形波を基底ベクトルとした変換方法
はＤＣＴ変換、スラント変換などに比べると低周波への
電力集中が小さい。よって、矩形波を基底ベクトルとし
たアダマール変換、ハール変換等がよいことになる。Here, the problem is which conversion method is the best. From the viewpoint of the effect on the image quality due to the filling of high-frequency components, after performing the prediction process for the high-frequency region, after converting to the real region,
It can be said that a method that has a greater effect on the image quality of the real area (that can be converted into a clear image) is desirable. That is, a conversion method with low power concentration to low frequencies is preferable. This is because if the power concentration in the low frequency is low, the power in the high frequency region will be large, and by interpolating the frequency component based on the prediction rule for the high frequency region,
This is because the influence of the interpolated frequency component significantly appears on the image quality. If you select a conversion method from this perspective,
In DCT conversion, slant conversion, etc., power concentration to low frequencies is relatively large, whereas in contrast to Hadamard conversion, Haar conversion, etc., conversion methods that use rectangular waves as basis vectors are DCT conversion, slant conversion, etc. Compared to this, the concentration of power on low frequencies is small. Therefore, Hadamard transform, Haar transform, or the like using a rectangular wave as a base vector is preferable.
【００７７】次に処理速度という観点からとらえてみ
る。代表例として、ＤＣＴ変換とアダマール変換との比
較を行なう。ブロックサイズがＮ×１、すなわち１次元
の処理を行う場合のＷａｎｇの高速ＤＣＴ変換（Z.Wan
g.,"Fast Algorithms for the Discrete W Transform a
nd for the Discrete Fourier Transform", IEEE Tr. A
SSP-32,pp.803-816,1984 ）における演算量を〔４〕式
に、高速アダマール変換(W.K.Pratt, J.Kane, H.C.Andr
ews, "Hadamard transform image coding", Proc.IEEE,
vol.57, pp.58-68, Jan.1969) における演算量を
〔５〕式に示す。Next, let us consider from the viewpoint of processing speed. As a typical example, the DCT transform and the Hadamard transform are compared. When the block size is N × 1, that is, when one-dimensional processing is performed, Wang's high-speed DCT transform (Z.Wan
g., "Fast Algorithms for the Discrete W Transform a
nd for the Discrete Fourier Transform ", IEEE Tr. A
SSP-32, pp.803-816, 1984) expresses the amount of operation in [4] and uses the fast Hadamard transform (WKPratt, J.Kane, HCAndr
ews, "Hadamard transform image coding", Proc.IEEE,
vol.57, pp.58-68, Jan.1969) shows the calculation amount in [5].
【００７８】[0078]
【数４】 [Equation 4]
【００７９】[0079]
【数５】 (Equation 5)
【００８０】この式から明らかなように、アダマール変
換においては、演算時間のかかる乗算を含まず、回路規
模も小さくすることができる。また、加算の回数のみを
比べても、Ｎ＝４の場合、ＤＣＴの演算量の演算量は
〔４〕式から「１２」であり、アダマール変換の演算量
は〔５〕式から「８」である。また、Ｎ＝８では、ＤＣ
Ｔの演算量の演算量は「３８」、アダマール変換の演算
量は「２４」となる。よって、アダマール変換の方が演
算量は少ない。さらに、アダマール変換は、前記したよ
うに、正変換と逆変換の形が同じため、ＤＣＴ変換のよ
うに正変換用と逆変換用に別の回路を準備する必要がな
い。よって、回路規模、処理速度の点においても、アダ
マール変換等が優位となる。As is clear from this equation, the Hadamard transform does not include multiplication that requires calculation time, and the circuit scale can be reduced. Also, comparing only the number of additions, when N = 4, the amount of calculation of the DCT is “12” from the formula [4], and the amount of calculation of the Hadamard transform is “8” from the formula [5]. Is. When N = 8, DC
The calculation amount of T is “38”, and the calculation amount of Hadamard transform is “24”. Therefore, the amount of calculation is smaller in the Hadamard transform. Further, in the Hadamard transform, as described above, since the forms of the forward transform and the inverse transform are the same, it is not necessary to prepare separate circuits for the forward transform and the inverse transform unlike the DCT transform. Therefore, in terms of circuit scale and processing speed, the Hadamard transform is superior.
【００８１】以上により、矩形波を基底ベクトルとした
アダマール変換、ハール変換等が前記処理において適し
た処理ということができる。From the above, it can be said that Hadamard transform, Haar transform and the like using a rectangular wave as a base vector are suitable processes in the above process.
【００８２】以上の方法によって、画像の拡大処理を行
なうことにより、高周波成分を含む画像が得られるの
で、従来の高周波領域にゼロをうめて拡大を行なう方法
に比べ、鮮明な画像を得ることができる。また、画像を
直交変換を用いて正変換と逆変換を繰り返す過程で、高
周波成分の復元をする方法（特開平６−５４１７２）の
ように、直交変換を繰り返す必用がないので、高速な高
周波予測が可能となる。Since the image including the high frequency component is obtained by performing the image enlargement processing by the above method, a clear image can be obtained as compared with the conventional method for performing the enlargement by inserting zero in the high frequency region. it can. Further, since it is not necessary to repeat the orthogonal transformation as in the method of restoring the high frequency component in the process of repeating the normal transformation and the inverse transformation of the image using the orthogonal transformation, high-speed high frequency prediction is possible. Is possible.
【００８３】さらに、直交変換手段として、矩形波を基
底ベクトルとしたアダマール変換を用いれば、加算のみ
の演算で実現でき、また、直交変換方法と逆直交変換方
法が同一であることから、従来広く用いられていたＤＣ
Ｔ変換に比べ、小さな回路規模で実現でき、かつ高速な
処理が実現できる。さらに、ＤＣＴに比べ、低周波領域
への電力集中が小さいことから高周波の情報の影響がよ
り大きなものとなり、高周波を埋めることにで画像をよ
り鮮明でき、画質改善効果が大きく現れることになる。Further, if the Hadamard transform using a rectangular wave as a base vector is used as the orthogonal transform means, it can be realized by an operation of only addition, and since the orthogonal transform method and the inverse orthogonal transform method are the same, it has been widely used conventionally. DC used
Compared with T conversion, it can be realized with a small circuit scale and high-speed processing can be realized. Further, as compared with DCT, the power concentration in the low frequency region is small, so that the influence of high frequency information becomes greater, and by filling in the high frequency, the image can be made clearer and the image quality improving effect becomes significant.
【００８４】（第２の実施例）次に本発明の第２の実施
例について説明する。第２の実施例を説明するに際し
て、まず始めに、解像度と画像のエッジ部分の関係を図
８を用いて説明する。図８（ａ）は画像の或る走査ライ
ンにおけるアナログ的な輝度変化を示した図であり、画
像のエッジ部分Ｅで輝度がＬ１からＬ２に変化してい
る。図８（ｂ）は図８（ａ）をサンプル間隔の短い（高
解像度の）サンプル信号Ａによりそのサンプル信号に対
応した位置でサンプリングを行い、デジタル化（量子
化）したときの輝度変化を示したものでる。図８（ｂ）
のようにサンプルポイントが多い場合、すなわち、解像
度が高い場合にはエッジ部分が比較的よく再現されたも
のとなる。しかし、図８（ａ）を図８（ｃ）のように、
サンプル間隔の長い（低解像度の）サンプル信号Ｂでサ
ンプリングをした場合、すなわち、解像度の低い場合に
は、デジタル化するとエッジ部分の広がった（なまっ
た）画像となってしまう。また、エッジ部分がなまると
いうことは、高周波データが落ちてしまっているという
ことになる。(Second Embodiment) Next, a second embodiment of the present invention will be described. In describing the second embodiment, first, the relationship between the resolution and the edge portion of the image will be described with reference to FIG. FIG. 8A is a diagram showing an analog luminance change in a certain scanning line of the image, and the luminance changes from L1 to L2 at the edge portion E of the image. FIG. 8B shows a luminance change when the sample signal A having a short sample interval (high resolution) in FIG. 8A is sampled at a position corresponding to the sample signal and digitized (quantized). It is good. FIG. 8B
When there are many sample points, that is, when the resolution is high, the edge part is reproduced relatively well. However, as shown in FIG. 8C, FIG.
When sampling is performed with the sample signal B having a long sample interval (low resolution), that is, when the resolution is low, digitization results in an image with widened (blunted) edge portions. In addition, the fact that the edge portion is rounded means that the high frequency data has been dropped.
【００８５】ところで、前記した第１の実施例におい
て、鮮明な画質を得られるのは、たとえば、図４（ａ）
のエリアａ１〜ａ３にデ−タが含まれている場合であ
る。すなわち、第１の実施例では、予め用意した予測ル
ールに基づいて、エリアａ１〜ａ３のデータを拡大後の
高周波領域の各エリアに埋めて行くという処理を行うも
のである。したがって、図４（ａ）のエリアａ１〜ａ３
の位置のデータがゼロに近い場合には、拡大後の高周波
領域に埋められる値はほぼゼロになり、高周波領域の予
測を行っていない場合と同じになる。よって、前記した
ようなエッジ部分がなまった低解像度の画像では、第１
の実施例を用いて画像の拡大処理を行なっても鮮明な画
像を得ることができない。例えば、テレビ信号であるＮ
ＴＳＣ信号をキャプチャーして得られた画像やデジタル
スチールカメラで得られた画像等においては解像度が低
いため、エッジ部分がぼやけ、結果として高周波成分が
落ちている。そのため、第１の実施例により画像の拡大
処理を行なっても鮮明な画像を得ることができない。By the way, in the above-mentioned first embodiment, it is possible to obtain a clear image quality, for example, as shown in FIG.
This is a case where data is included in the areas a1 to a3. That is, in the first embodiment, the processing of filling the data of the areas a1 to a3 in each area of the high frequency area after expansion is performed based on the prediction rule prepared in advance. Therefore, areas a1 to a3 in FIG.
When the data at the position of is close to zero, the value to be filled in the high frequency region after expansion is almost zero, which is the same as when the high frequency region is not predicted. Therefore, in the low-resolution image in which the edge portion is blunted as described above, the first
Even if the image enlargement processing is performed by using the above embodiment, a clear image cannot be obtained. For example, a television signal N
An image obtained by capturing a TSC signal, an image obtained by a digital still camera, or the like has a low resolution, so that an edge portion is blurred and, as a result, high frequency components are dropped. Therefore, a clear image cannot be obtained even if the image enlargement process is performed according to the first embodiment.
【００８６】そこで、低解像度の画像データに対しても
鮮明な画像データが得られるような画像処理方法および
装置について以下に説明する。Therefore, an image processing method and apparatus that can obtain clear image data even for low-resolution image data will be described below.
【００８７】ここで、最も問題となるのは、高周波に関
するデータが欠落してしまっているという点にある。そ
こで、擬似的に拡大の対象となる原画像に高周波データ
を加えたのちに、第１の実施例による拡大処理を行うこ
とにより、鮮明な画像を得られるようにする。Here, the most problematic point is that the high frequency data is missing. Therefore, after adding high frequency data to the original image to be pseudo-enlarged, a clear image can be obtained by performing the enlarging process according to the first embodiment.
【００８８】具体的には、拡大の対象となる原画像に対
して、一般的に用いられているエッジ強調手段によりエ
ッジ強調を行うことにより、擬似的に拡大の対象となる
原画像に高周波データを加える。エッジ強調を行なう
と、図８（ｃ）は、図８（ｄ）のようになり、エッジ部
分Ｅにおける輝度差が大きくなることより画像のエッジ
部が明瞭になる。また、これを周波数領域でみると、図
４（ａ）におけるａ１〜ａ３の範囲の成分の絶対値が大
きくなることになる。よって、高周波領域予測部１２に
おいて、高周波領域にある程度大きな値を埋められるこ
となり、拡大処理により鮮明な画像を得ることができ
る。Specifically, the original image to be magnified is subjected to edge emphasis by an edge emphasizing means generally used, so that the original image to be artificially magnified has high-frequency data. Add. When edge enhancement is performed, FIG. 8C becomes as shown in FIG. 8D, and the luminance difference in the edge portion E becomes large, so that the edge portion of the image becomes clear. Further, when this is viewed in the frequency domain, the absolute values of the components in the range of a1 to a3 in FIG. 4A become large. Therefore, the high frequency region predicting unit 12 can fill the high frequency region with a relatively large value, and a clear image can be obtained by the enlargement process.
【００８９】これを実現するための手段としては、図９
に示すように、拡大処理部２０は前記実施例１で説明し
た直交変換部１１、高周波領域予測部１２、逆直交変換
部１３の他に、エッジ強調部２１を設ける。図９におい
て、エッジ強調部２１以外の他の部分は図１と同じであ
り、同一部分には同一符号が付されている。なお、この
エッジ強調部２１は従来から一般的に用いられているも
のであるため、ここではその詳細な処理動作等について
は省略する。A means for realizing this is shown in FIG.
As shown in FIG. 5, the enlargement processing unit 20 includes an edge enhancement unit 21 in addition to the orthogonal transform unit 11, the high frequency region prediction unit 12, and the inverse orthogonal transform unit 13 described in the first embodiment. 9, parts other than the edge emphasizing part 21 are the same as those in FIG. 1, and the same parts are designated by the same reference numerals. Since the edge emphasizing unit 21 has been generally used in the past, the detailed processing operation and the like will be omitted here.
【００９０】図１０はエッジ強調フィルタの一例を示す
もので、同図（ａ）は、エッジが水平方向、垂直方向お
よび４５度方向に存在する場合のエッジ強調が可能なフ
ィルタであり、同図（ｂ）はエッジが水平方向、垂直方
向に存在する場合のエッジ強調が可能なフィルタであ
る。たとえば、図１１に示すように、各画素Ｇ０，Ｇ
１，・・・，Ｇ８の画素値（この場合、輝度）がｃ０，
ｃ１，・・・，ｃ８である画像データがあって、この画
像データを図１０（ａ）のようなフィルタを用いて、画
素Ｇ０のエッジ強調処理を行うと、当該画素Ｇ０におけ
るエッジ強調後の画素値Ｃ０は〔６〕式のようになる。FIG. 10 shows an example of an edge enhancement filter. FIG. 10A shows a filter capable of edge enhancement when edges are present in the horizontal direction, vertical direction and 45 degree direction. (B) is a filter capable of edge enhancement when edges are present in the horizontal and vertical directions. For example, as shown in FIG. 11, each pixel G0, G
1, ..., G8 pixel value (luminance in this case) is c0,
If there is image data of c1, ..., C8, and this image data is subjected to edge enhancement processing of the pixel G0 using the filter as shown in FIG. The pixel value C0 is expressed by the equation [6].
【００９１】[0091]
【数６】 (Equation 6)
【００９２】このようにしてエッジ強調が行われる。図
１２は第２の実施例の全体的な処理を説明するフローチ
ャートであり、このフローチャートに沿って処理手順を
説明する。まず、実領域の画像データにおいて前記した
ようにエッジ強調処理を行い（ステップｓ２１）、次
に、前記第１の実施例で説明したと同様、図３（ａ）の
ように原画像をある大きさ、例えばＮ×Ｎ画素の大きさ
に分割したものを１つのブロックとし、そのＮ×Ｎ画素
のブロックを１つの単位として、直交変換部１１により
実領域から周波数領域へ変換を行うために直交変換を行
う（ステップｓ２２）。そして、高周波領域予測部１２
により拡大率に応じた周波数領域を用意するとともに高
周波成分の予測を行う（ステップｓ２３）。ここで拡大
率をαとすると、αＮ×αＮの大きさの周波数領域が用
意されることになる。Edge enhancement is performed in this manner. FIG. 12 is a flowchart for explaining the overall processing of the second embodiment, and the processing procedure will be described along this flowchart. First, the edge enhancement processing is performed on the image data of the real area as described above (step s21), and then, as described in the first embodiment, the original image is displayed in a certain size as shown in FIG. For example, a block obtained by dividing the size into N × N pixels is set as one block, and the block of N × N pixels is set as one unit so that the orthogonal transform unit 11 transforms the real domain to the frequency domain orthogonally. Conversion is performed (step s22). Then, the high frequency region prediction unit 12
Thus, a frequency region corresponding to the enlargement ratio is prepared and a high frequency component is predicted (step s23). Here, assuming that the enlargement ratio is α, a frequency region having a size of αN × αN is prepared.
【００９３】次に、逆直交変換部１３により高周波領域
予測部１２で用意されたαＮ×αＮの大きさの周波数領
域を実領域へ逆直交変換を行い、１つのブロックの処理
が終了する（ステップｓ２４）。この処理によりαＮ×
αＮの画像が得られ、結果としてα倍に拡大された拡大
画像を得ることになる。そして、分割された全ブロック
の処理が終了しているか否かの判断を行い、全ブロック
の処理が終了していなければ、次のブロックの処理を行
ない、全ブロックの処理が終了していれば、処理を終了
する（ステップｓ２５）。Next, the inverse orthogonal transform unit 13 performs an inverse orthogonal transform of the frequency region of size αN × αN prepared by the high frequency region prediction unit 12 into the real region, and the processing of one block is completed (step s24). By this process αN ×
An image of αN is obtained, and as a result, a magnified image magnified α times is obtained. Then, it is determined whether or not the processing of all the divided blocks is completed. If the processing of all the blocks is not completed, the next block is processed, and if the processing of all the blocks is completed. , The process is terminated (step s25).
【００９４】このように、テレビ信号であるＮＴＳＣ信
号をキャプチャして得られた画像やデジタルスチールカ
メラで得られた画像などの解像度の低い画像の拡大処理
に対しては、原画像に対して、エッジ強調を施し、疑似
的に高周波成分を加えることにより、図４（ａ）におけ
るエリアａ１，ａ２，ａ３の成分の絶対値を大きくする
ことができる。これにより、高周波領域予測部１２にお
いて、高周波領域にある程度大きな値を埋められること
になり、低解像度の画像を拡大処理した場合でも鮮明な
画像を得ることができる。As described above, for enlarging a low resolution image such as an image obtained by capturing an NTSC signal that is a television signal or an image obtained by a digital still camera, By performing edge enhancement and artificially adding a high frequency component, the absolute value of the component of the areas a1, a2, and a3 in FIG. 4A can be increased. As a result, the high-frequency region predicting unit 12 can fill the high-frequency region with a relatively large value, and a clear image can be obtained even when a low-resolution image is enlarged.
【００９５】（第３の実施例）次に本発明の第３の実施
例について説明する。この第３の実施例を説明するに際
して、直交変換および逆直交変換の演算量について説明
する。(Third Embodiment) Next, a third embodiment of the present invention will be described. In describing the third embodiment, the operation amount of orthogonal transform and inverse orthogonal transform will be described.
【００９６】Ｎ画素×１の１次元のブロックに対する直
交変換と逆直交変換の演算量は、アダマール変換を用い
た場合には、その演算回数は〔５〕式のようになる。よ
って、Ｎ＝４とすると、拡大率αが２倍の場合の演算量
は、正変換の場合が８（＝４×log 2 ４）となり、逆変
換の場合はＮは２倍に拡大されてＮ＝８となっているの
で、２４（＝８×log 2 ８）となる。また、拡大率αが
４倍の場合の演算量は、正変換が８、逆変換が６４とな
る。すなわち、拡大率があまり大きくない場合には問題
ないが、拡大率αが大きいと正変換の演算量に対し、逆
変換の演算量が（αＮ）にほぼ比例して増えることにな
る。ここでは１次元の処理の場合で説明したが、実際に
は２次元の処理となり、その演算数は（αＮ）の３乗に
ほぼ比例して増えることになる。ＤＣＴ変換の場合にも
同様のことがいえる。よって、拡大率が大きい場合には
第１の実施例あるいは第２の実施例に示す拡大処理は、
処理時間という点において問題が生じることになる。ま
た、大きな拡大率にも対応するとなると、逆直交変換部
１３の回路規模が大きくなるという問題もある。同様な
ことが、従来例で示した周波数領域による拡大方法（特
開平２−７６４７２、特開平５−１６７９２０、特開平
６−５４１７２等）においてもいえる。The calculation amount of the orthogonal transformation and the inverse orthogonal transformation with respect to the one-dimensional block of N pixels × 1 is as shown in the formula [5] when the Hadamard transform is used. Therefore, if N = 4, the amount of calculation when the enlargement ratio α is 2 is 8 (= 4 × log 2 4) in the case of the forward conversion, and N is doubled in the case of the inverse conversion. since a N = 8, the 24 (= 8 × log 2 8 ). Further, when the enlargement ratio α is 4 times, the calculation amount is 8 for the forward conversion and 64 for the reverse conversion. That is, when the enlargement ratio is not so large, there is no problem, but when the enlargement ratio α is large, the amount of calculation of the inverse conversion increases almost in proportion to the amount of calculation of the inverse conversion (αN). Although the case of the one-dimensional processing has been described here, the two-dimensional processing is actually performed, and the number of operations increases substantially in proportion to the cube of (αN). The same applies to the case of DCT conversion. Therefore, when the enlargement ratio is large, the enlargement processing shown in the first embodiment or the second embodiment is
A problem arises in terms of processing time. Further, when it comes to dealing with a large enlargement ratio, there is also a problem that the circuit scale of the inverse orthogonal transform unit 13 becomes large. The same thing can be said for the expansion method by the frequency domain shown in the conventional example (JP-A-2-76472, JP-A-5-167920, JP-A-6-54172, etc.).
【００９７】また、アダマール変換を用いる場合、変換
マトリックスのサイズが基数２に制限されるので、基数
２以外の拡大率に対応できない。ＤＣＴ変換は基数２に
制限されないが、実用で使われる高速のＤＣＴ変換は通
常基数２に制限される。Further, when the Hadamard transform is used, the size of the transform matrix is limited to the radix 2, so that it is not possible to deal with enlargement rates other than the radix 2. The DCT transform is not limited to the radix-2, but the high-speed DCT transform used in practice is usually limited to the radix-2.
【００９８】そこで、第３の実施例では、拡大率が大き
い場合にも適応でき、基数２に規定されず、かつ、鮮明
な拡大処理を得られるようにするために、２つの拡大処
理部を用意する。すなわち、前記第１の実施例にて説明
した拡大処理部１０または第２の実施例にて説明した拡
大処理部２０のいずれかの拡大処理部（これを第１の拡
大処理部という）と、前記従来の技術の項で説明した線
形補間法やニアレストネイバー法などの実領域での拡大
処理である拡大処理部（これを第２の拡大処理部とい
う）を設ける。これにより、各拡大方法の欠点を補完し
あい、比較的高速で良好な拡大画像を得るようにしたも
のである。以下、この第３の実施例について説明する。Therefore, in the third embodiment, two enlargement processing units are provided in order to be applicable even when the enlargement ratio is large, and not to be defined by the radix 2 and to obtain a clear enlargement process. prepare. That is, any one of the enlargement processing units 10 described in the first embodiment and the enlargement processing unit 20 described in the second embodiment (this is referred to as a first enlargement processing unit), An enlargement processing unit (this is referred to as a second enlargement processing unit), which is an enlargement process in the real area such as the linear interpolation method and the nearest neighbor method described in the section of the conventional technique, is provided. As a result, the drawbacks of the respective enlargement methods are complemented with each other, and a good enlarged image can be obtained at a relatively high speed. The third embodiment will be described below.
【００９９】図１３は第３の実施例を実現するための構
成図であり、図１３（ａ）は第１の拡大処理部３０とし
て、第１の実施例の説明で使用した図１の拡大処理部１
０が用いられた例、同図（ｂ）は第１の拡大処理部３０
として、第２の実施例の説明で使用した図９の拡大処理
部２０が用いられた例を示している。なお、図１３にお
いて、図１および図９と同一部分には同一符号が付され
ている。また、図１３において、３１は第２の拡大処理
部であり、この第２の拡大処理部３１は従来の技術の項
で説明した線形補間法やニアレストネイバー法などの実
領域での拡大処理部である。FIG. 13 is a block diagram for realizing the third embodiment, and FIG. 13A shows the enlargement of FIG. 1 used in the description of the first embodiment as the first enlargement processing unit 30. Processing unit 1
In the example in which 0 is used, the first enlargement processing unit 30 in FIG.
As an example, the enlargement processing unit 20 of FIG. 9 used in the description of the second embodiment is used. In FIG. 13, the same parts as those in FIGS. 1 and 9 are designated by the same reference numerals. Further, in FIG. 13, reference numeral 31 denotes a second enlargement processing unit, and this second enlargement processing unit 31 performs enlargement processing in a real area such as the linear interpolation method or the nearest neighbor method described in the section of the related art. It is a department.
【０１００】第１の拡大処理部３０は、高周波領域予測
部１２により、拡大後の画像を高周波成分を含む画像と
することができ、従来の高周波領域にゼロをうめて拡大
を行なう方法に比べ、鮮明な画像を得ることができる拡
大処理部である。また、第１の拡大処理部として、第２
の実施例で説明した拡大処理部２０を用いることによ
り、原画像に対して、エッジ強調が施され、疑似的に高
周波成分が加えられるので、低解像度の画像を拡大処理
した場合でも鮮明な画像をえることができる。In the first enlargement processing unit 30, the high-frequency region predicting unit 12 can make the enlarged image into an image containing high-frequency components, which is different from the conventional method in which zero is filled in the high-frequency region. The enlargement processing unit is capable of obtaining a clear image. In addition, as the first enlargement processing unit, the second
By using the enlargement processing unit 20 described in the embodiment, edge enhancement is applied to the original image and pseudo high-frequency components are added, so that a clear image is obtained even when the low-resolution image is enlarged. Can be obtained.
【０１０１】しかし、この第１の拡大処理部３０は、前
記したように、拡大率（α）が大きいと処理時間の点で
多少問題がある。However, as described above, the first enlargement processing unit 30 has some problems in processing time when the enlargement ratio (α) is large.
【０１０２】そこで、この第１の拡大処理部３０により
原画像をβ倍まで拡大する。なお、βは処理時間を考慮
すると２〜４の範囲が好ましい。すなわち、第１の拡大
処理部３０では処理時間があまり長くならない程度の拡
大を行う。そして、この第１の拡大処理部３０にて拡大
された後の画像（実領域）を第２の拡大処理部３１に
て、実領域での拡大処理である線形補間法あるいはニア
レストネイバ法などを用いて、α／β倍に拡大する。た
とえば、最終的にα倍（ここでは、α＝８とする）の画
像を得るには、第１の拡大処理部３０における拡大率β
をβ＝２とし、この第１の拡大処理部３０にて２倍の拡
大画像を得て、その後、第２の拡大処理部３１によっ
て、α／β倍（８／２＝４倍）する。これにより、最終
的には、α（＝８）倍の拡大画像が得られる。Therefore, the first enlargement processing section 30 enlarges the original image up to β times. Note that β is preferably in the range of 2 to 4 in consideration of the processing time. That is, the first enlargement processing unit 30 performs enlargement to such an extent that the processing time does not become too long. Then, the image (real area) enlarged by the first enlargement processing unit 30 is subjected to enlargement processing in the real region by the second enlargement processing unit 31 such as a linear interpolation method or a nearest neighbor method. To enlarge α / β times. For example, in order to finally obtain an image of α times (here, α = 8), the enlargement ratio β in the first enlargement processing unit 30 is set.
Is set to β = 2, a double enlarged image is obtained by the first enlargement processing unit 30, and thereafter, the second enlargement processing unit 31 multiplies by α / β (8/2 = 4 times). As a result, an enlarged image of α (= 8) times is finally obtained.
【０１０３】図１４は以上の処理を概略的に示すフロー
チャートであり、ステップｓ３１にて第１の拡大処理部
３０によりβ倍の拡大を行い、ステップｓ３２にて第２
の拡大処理部３１によりα／β倍の拡大を行う。そし
て、ステップｓ３３にて全てのブロックについて処理が
終了したか否かを判断して、全てのブロックの処理が終
了していなければステップｓ３１に処理が戻り、全ての
ブロックの処理が終了していれば処理を終了する。FIG. 14 is a flow chart schematically showing the above processing. In step s31, the first enlargement processing section 30 enlarges the image by β times, and in step s32, the second enlargement is performed.
The enlargement processing unit 31 performs the enlargement of α / β times. Then, in step s33, it is determined whether or not the processing has been completed for all blocks, and if the processing for all blocks has not been completed, the processing returns to step s31, and the processing for all blocks is completed. If so, the process ends.
【０１０４】ところで、前記した線形補間は、図１５
（ａ）に示す補間画素（網目を施した円）ｅ０の近傍に
存在するサンプル画素（第１の拡大処理部３０により得
られた画素で白い円ｅ１，ｅ２，ｅ３，ｅ４で表す）と
の距離ｄ１，ｄ２，ｄ３，ｄ４の比を用いて、〔７〕式
のように計算される。By the way, the linear interpolation described above is performed as shown in FIG.
With the sample pixel (pixels obtained by the first enlargement processing unit 30 and represented by white circles e1, e2, e3, e4) existing in the vicinity of the interpolation pixel (meshed circle) e0 shown in (a) Using the ratios of the distances d1, d2, d3 and d4, it is calculated as in the equation [7].
【０１０５】[0105]
【数７】 (Equation 7)
【０１０６】さらに、補間画素とサンプル画素との距離
計算を容易にすべく、図１５（ｂ）に示すように、距離
を縦方向（垂直方向）と横方向（水平方向）の距離ｄ
１，ｄ２，ｄ３で代用し、〔８〕式のように計算する方
法もある。なお、〔８〕式において、たとえば、min(d
4，d1) は、括弧内のｄ４，ｄ１のうち小さいほうの値
を選択する関数である。Further, in order to facilitate the calculation of the distance between the interpolated pixel and the sample pixel, as shown in FIG. 15B, the distance is set to the distance d in the vertical direction (vertical direction) and the horizontal direction (horizontal direction).
There is also a method in which 1, d2, d3 are used as substitutes and calculation is performed as in equation [8]. In the equation [8], for example, min (d
4, d1) is a function that selects the smaller value of d4 and d1 in parentheses.
【０１０７】[0107]
【数８】 (Equation 8)
【０１０８】また、実領域での別の拡大方法としての前
記ニアレストネイバ法は、図１５（ａ）において距離ｄ
１〜ｄ４のうち、もっとも距離の短い位置のサンプル画
素を補間画素とする方法である。さらに、別の方法とし
て、補間関数に３次元関数を用いたキュービックコンボ
ルーション法等があるがいずれの方法を用いてもよい。Further, the nearest neighbor method as another expansion method in the real area is the distance d in FIG. 15 (a).
This is a method in which the sample pixel at the position with the shortest distance among 1 to d4 is used as the interpolation pixel. Further, as another method, there is a cubic convolution method that uses a three-dimensional function as an interpolation function, but any method may be used.
【０１０９】以上説明したように、第３の実施例では、
第１，第２の２段の拡大処理部を設け、第１の拡大処理
部３０を第１の実施例で説明した拡大処理部１０または
第２の実施例で説明した拡大処理部２０とし、この第１
の拡大処理部３０にて拡大率を抑えて（２から４倍程
度）拡大処理し、その拡大処理した画像を第２の拡大処
理部３１（線形補間法あるいはニアレストネイバ法な
ど）により、さらに拡大処理するようにしたので、高速
にかつ大きな拡大率にも適応可能となる。As described above, in the third embodiment,
The first and second enlargement processing units are provided, and the first enlargement processing unit 30 is the enlargement processing unit 10 described in the first embodiment or the enlargement processing unit 20 described in the second embodiment, This first
The enlargement processing unit 30 performs the enlargement processing while suppressing the enlargement ratio (about 2 to 4 times), and the enlarged image is further processed by the second enlargement processing unit 31 (linear interpolation method or nearest neighbor method). Since the enlargement processing is performed, it becomes possible to adapt to a large enlargement rate at high speed.
【０１１０】また、正変換、逆変換が基数２に制限され
る変換方法であっても、第２の拡大処理部３１は拡大率
に制限がないため、どのような拡大率にも対応できる。
さらに、第２の拡大処理部３１は縮小においてもそのま
ま適応できるため、たとえ正変換、逆変換が基数２に制
限される変換方法であっても、拡大率αが２倍以下（１
〜２の範囲）である場合には、始めに第１の拡大処理部
３０で２倍に拡大し、第２の拡大処理部３１で０．５〜
１倍に縮小することにより、１以上のいずれの拡大処理
（たとえば、1.5倍など）にも適応できる。Further, even in the conversion method in which the forward conversion and the reverse conversion are limited to the radix 2, the second enlargement processing unit 31 has no limitation in the enlargement ratio, and therefore can cope with any enlargement ratio.
Further, since the second enlargement processing unit 31 can be applied to the reduction as it is, even if the conversion method is such that the forward conversion and the reverse conversion are limited to the radix 2, the expansion rate α is 2 times or less (1
Range of 2), the first enlargement processing unit 30 first enlarges the image twice, and the second enlargement processing unit 31 forms 0.5 to
By reducing the magnification to 1 time, it is possible to apply to any one or more enlargement processes (for example, 1.5 times).
【０１１１】さらに、第１の拡大処理部３０は、周波数
領域での拡大処理が行われるため高周波情報が付加され
るため、たとえ第２の拡大処理部３１でＬＰＦ（low pa
ss filter ）的な効果を含む実領域での拡大処理を行な
ったとしても、処理対処となる画像全体を実領域での拡
大方法を用いた拡大画像に比べ、より鮮明な拡大画像を
得ることができる。Further, since the first enlargement processing unit 30 is subjected to the enlargement processing in the frequency domain and high-frequency information is added, even if the second enlargement processing unit 31 uses LPF (low pa
Even if enlarging processing is performed in the real area including the ss filter effect, a clearer enlarging image can be obtained compared to the enlarging image using the enlarging method in the real area for the entire image to be processed. it can.
【０１１２】（第４の実施例）次に本発明の第４の実施
例について説明する。(Fourth Embodiment) Next, a fourth embodiment of the present invention will be described.
【０１１３】カラー画像は、Ｒ（レッド）・Ｇ（グリー
ン）・Ｂ（ブルー）あるいはＹ（イエロ）・Ｍ（マゼン
タ）・Ｃ（シアン）・Ｋ（ブラック）等のカラープレー
ンによって構成される。よって、カラー画像を拡大する
場合には、各カラープレーン毎に拡大処理を行なう必用
があるため、モノクロの画像を拡大する場合に比べ３〜
４倍の処理時間がかかる。前記第１、第２あるいは第３
の実施例に示す周波数領域による拡大処理は〔４〕式あ
るいは〔５〕式に示すようにかなりの演算を必要とする
ことから、線形補完法、ニアレストネイバー法等の実領
域での拡大処理に比べ処理時間がかかる。よって、各カ
ラープレーンに対して、第１、第２あるいは第３の実施
例に示す周波数領域での拡大処理を行なうとすると、処
理時間において問題が生じる。The color image is composed of color planes of R (red), G (green), B (blue) or Y (yellow), M (magenta), C (cyan), K (black), and the like. Therefore, when enlarging a color image, it is necessary to perform enlarging processing for each color plane.
It takes four times the processing time. The first, second or third
Since the enlargement processing in the frequency domain shown in the embodiment of FIG. 9 requires a considerable amount of calculation as shown in the equation [4] or [5], the enlargement processing in the real domain such as the linear interpolation method and the nearest neighbor method. Processing time is longer than Therefore, if the enlargement processing in the frequency domain shown in the first, second or third embodiment is performed on each color plane, a problem occurs in processing time.
【０１１４】ところで、高周波情報は、主に輝度変化に
より得られる。ここでカラー画像を処理する場合、各カ
ラープレーンの輝度の情報量は一様ではない。例えば、
ＲＧＢのカラープレーンで構成されるカラー画像の輝度
情報量は、Ｒが0.3 、Ｇが0.6 、Ｂが0.1 となる。よっ
て、輝度情報が多いプレーンにおいて鮮明な画像が得ら
れれば、たとえ、輝度情報が少ないプレーンから鮮明な
画像が得られなくても、全体としては鮮明な画像を得る
ことができる。なお、以下ではＲＧＢカラープレーンを
例にして説明する。By the way, the high frequency information is obtained mainly by the change in luminance. When processing a color image here, the information amount of the luminance of each color plane is not uniform. For example,
The luminance information amount of a color image formed by RGB color planes is 0.3 for R, 0.6 for G, and 0.1 for B. Therefore, if a clear image can be obtained on a plane with a lot of luminance information, a clear image can be obtained as a whole even if a clear image cannot be obtained from a plane with little luminance information. The RGB color plane will be described below as an example.
【０１１５】そこで、この第４の実施例では、前記各カ
ラープレーンのうち、輝度情報の大きいＧ（およびＲ）
のカラープレーンに対しては、第１、第２あるは第３の
実施例に示す鮮明な拡大画像が得られる周波数領域での
拡大処理を行い、輝度情報の小さいＢ（およびＲ）のカ
ラープレーンに対しては、線形補完法、ニアレストネイ
バー法等の処理時間の早い拡大方法により拡大処理を行
なう。ここで、Ｒはその輝度情報から見てどちらの拡大
処理方法でもよい。Therefore, in the fourth embodiment, among the color planes, G (and R) having large luminance information is used.
The color planes of B (and R) having small luminance information are subjected to the enlargement processing in the frequency domain where a clear enlarged image is obtained as shown in the first, second or third embodiment. With respect to, the enlarging process is performed by an enlarging method with a short processing time such as a linear interpolation method or a nearest neighbor method. Here, R may be either enlargement processing method in view of the brightness information.
【０１１６】このような処理を行うことにより、全体と
して処理時間の早い、鮮明な画像を得ることができる。By performing such processing, it is possible to obtain a clear image with a short processing time as a whole.
【０１１７】図１６は第４の実施例を実現するための構
成図である。図１６において、画像処理装置１内には周
波数領域拡大処理部４０、実領域拡大処理部４１、画像
合成部４２が設けられている。また、図１６において、
１４は各処理部を接続するためのバス、１５は画像入力
装置である。図１６（ａ）は前記周波数領域拡大処理部
４０として、第１の実施例にて説明した拡大処理部１０
を使用した場合の構成図、同図（ｂ）は周波数領域拡大
処理部４０として、第２の実施例にて説明した拡大処理
部２０を使用した場合の構成図、同図（ｃ）は周波数領
域拡大処理部４０として、第３の実施例で説明した拡大
処理部（この第３の実施例の場合は、第１の拡大処理部
３０および第２の拡大処理部３１から成る）を使用した
場合の構成図である。また、図１６において、実領域拡
大処理部４１は従来の技術の項で説明した線形補間法や
ニアレストネイバ法などの実領域での拡大処理部であ
る。なお、図１６においては、図面が繁雑とならないよ
うに、周波数領域拡大処理部４０として用いられる第１
〜第３の実施例における各拡大処理部内の直交変換部１
１や高周波予測部１２などの構成要素は図示を省略して
いる。FIG. 16 is a block diagram for realizing the fourth embodiment. In FIG. 16, a frequency domain expansion processing section 40, a real area expansion processing section 41, and an image composition section 42 are provided in the image processing apparatus 1. In addition, in FIG.
Reference numeral 14 is a bus for connecting the respective processing units, and 15 is an image input device. FIG. 16A shows, as the frequency domain expansion processing unit 40, the expansion processing unit 10 described in the first embodiment.
FIG. 6B is a block diagram when the expansion processing unit 20 described in the second embodiment is used as the frequency domain expansion processing unit 40, and FIG. As the area enlargement processing unit 40, the enlargement processing unit described in the third embodiment (in the case of the third embodiment, the first enlargement processing unit 30 and the second enlargement processing unit 31 are used) is used. It is a block diagram of a case. Further, in FIG. 16, a real region expansion processing unit 41 is a real region expansion processing unit such as the linear interpolation method or the nearest neighbor method described in the section of the conventional technique. In addition, in FIG. 16, the first region used as the frequency domain expansion processing unit 40 is illustrated so as not to complicate the drawing.
-Orthogonal transformation unit 1 in each enlargement processing unit in the third embodiment
The components such as 1 and the high-frequency predictor 12 are not shown.
【０１１８】前記周波数領域拡大処理部４０は、輝度情
報の多いカラープレーン（ここでは、Ｇのみとする）に
対して、第１、第２の実施例に示す周波数領域での拡大
処理により拡大処理を行なう。これに対して、実領域拡
大処理部４１は、輝度情報の少ないカラープレーン（こ
こでは、Ｒ，Ｂ）に対して、線形補完法、ニアレストネ
イバ法等の処理時間の早い実領域での拡大方法により拡
大処理を行なう。The frequency domain expansion processing section 40 performs expansion processing on the color plane having a lot of luminance information (here, only G) by the expansion processing in the frequency domain shown in the first and second embodiments. Do. On the other hand, the real area expansion processing unit 41 expands a color plane (here, R and B) with little luminance information in a real area such as a linear interpolation method or a nearest neighbor method, which has a short processing time. Enlargement processing is performed according to the method.
【０１１９】画像合成部４２は、周波数領域拡大処理部
４０および実領域拡大処理部４１より得られる各カラー
プレーンの拡大画像を合成し、本来の拡大画像を得る処
理を行う。The image synthesizing unit 42 synthesizes the enlarged images of the respective color planes obtained by the frequency domain enlarging processing unit 40 and the real region enlarging processing unit 41, and performs the processing for obtaining the original enlarged image.
【０１２０】このような構成において、その概略的な処
理を図１７のフローチャートを参照して説明する。図１
７において、カラープレーンＧに対しては周波数領域拡
大処理部４０により拡大処理を行い（ステップｓ４
１）、カラープレーンＲ，Ｂに対しては実領域拡大処理
部４１により拡大処理を行う（ステップｓ４２）。な
お、これらの処理は、ハードウエア的には並列処理が可
能となる。次に、周波数領域拡大処理部４０および実領
域拡大処理部４１より得られる各カラープレーンの拡大
画像を画像合成部４２により合成し（ステップｓ４
３）、すべてのブロックについて処理が終了したか否か
を判断して（ステップｓ４４）、処理が終了していなけ
れば、ステップｓ４１，４２に処理が戻り、すべてのブ
ロックについて処理が終了していれば、処理を終了す
る。With such a structure, a schematic process thereof will be described with reference to the flowchart of FIG. FIG.
7, the frequency domain enlargement processing unit 40 performs enlargement processing on the color plane G (step s4).
1) For the color planes R and B, the real area enlargement processing unit 41 performs enlargement processing (step s42). Note that these processes can be performed in parallel in terms of hardware. Next, the image synthesizing unit 42 synthesizes the enlarged images of the respective color planes obtained by the frequency domain enlarging processing unit 40 and the real region enlarging processing unit 41 (step s4).
3) It is determined whether or not the processing has been completed for all blocks (step s44). If the processing has not been completed, the processing returns to steps s41 and 42 to finish the processing for all blocks. If so, the process ends.
【０１２１】前記した一連の処理を図式化したものが図
１８である。図１８において、同図（ａ）に示すような
Ｎ×Ｎ画素で構成されるカラープレーンＲ，Ｇ，Ｂのブ
ロック２０１、２０２、２０３をそれぞれ対応した拡大
方法を用いて、同図（ｂ）に示すように、α倍に拡大す
る。このとき、カラープレーンＧのブロック２０２につ
いては、周波数領域拡大処理を用いてα倍に拡大し、カ
ラープレーンＲ，Ｂのブロック２０１，２０３について
は、実領域拡大処理を用いてα倍に拡大する。このよう
にα倍に拡大された画像（実領域）は画像合成手段４２
により、同図（ｃ）に示すように合成され、拡大された
カラー画像が得られる。FIG. 18 is a diagrammatic representation of the series of processes described above. In FIG. 18, a block 201, 202, and 203 of color planes R, G, and B composed of N × N pixels as shown in FIG. As shown in FIG. At this time, the block 202 of the color plane G is enlarged by α times using the frequency domain enlargement processing, and the blocks 201 and 203 of the color planes R and B are enlarged by α times using the real area enlargement processing. . The image (real area) magnified α times in this way is image synthesizing means 42.
As a result, a color image that is synthesized and enlarged as shown in FIG.
【０１２２】以上説明したように、第４の実施例では、
各カラープレーンの輝度に関する情報量の違いを考慮
し、輝度情報の大きいカラープレーンに対しては、第
１、第２の実施例で示した鮮明な拡大画像が得られる周
波数領域での拡大処理を行い、輝度情報の小さいカラー
プレーンに対しては、線形補完法、ニアレストネイバ法
等の処理時間の速い拡大方法により拡大処理を行なうこ
とにより、全体として処理時間の高速化が図れ、しかも
鮮明な画像を得ることができる。As described above, in the fourth embodiment,
Considering the difference in the amount of information regarding the brightness of each color plane, for the color plane with large brightness information, the enlarging process in the frequency domain that can obtain a clear enlarged image shown in the first and second embodiments is performed. For a color plane with small luminance information, the enlargement process is performed by a fast enlargement method such as the linear interpolation method or the nearest neighbor method, so that the processing time can be shortened as a whole and a clear image can be obtained. Images can be obtained.
【０１２３】[0123]
【発明の効果】本発明の画像処理方法は、請求項１によ
れば、原画像を周波数領域に変換するために原画像の直
交変換を行い、拡大率に応じた周波数領域を準備し、こ
の周波数領域における低周波領域には前記直交変換され
た原画像の周波数情報をそのまま復元するとともに、前
記拡大率に応じて準備された周波数領域における高周波
領域には、予め準備された予測ルールに基づいて得られ
る周波数情報を復元して拡大後の周波数領域の画像デー
タを得たのち、この拡大後の周波数領域の画像データを
逆直交変換を行い、原画像に対して所定倍の拡大画像を
得るようにしたので、拡大後の画像は高周波成分を含ん
だ画像となり、従来の高周波領域にゼロをうめて拡大を
行なう方法に比べ、鮮明な画像を得ることができる。ま
た、画像を直行変換を用いて正変換と逆変換を繰り返す
過程で、高周波成分の復元をする方法（たとえば特開平
６−５４１７２）のように、直交変換を繰り返す必用が
ないので、高速な高周波予測が可能となる。According to the first aspect of the present invention, the image processing method performs orthogonal transformation of the original image to transform the original image into the frequency domain, and prepares the frequency domain according to the enlargement ratio. In the low frequency region in the frequency domain, the frequency information of the original image that has been orthogonally transformed is restored as it is, and in the high frequency region in the frequency region prepared according to the enlargement factor, based on the prepared prediction rule. After the obtained frequency information is restored to obtain image data in the frequency domain after enlargement, the image data in the frequency region after enlargement is subjected to inverse orthogonal transformation to obtain an enlarged image at a predetermined size with respect to the original image. Therefore, the enlarged image becomes an image containing a high frequency component, and a clear image can be obtained as compared with the conventional method of enlarging by zeroing in the high frequency region. Further, since it is not necessary to repeat the orthogonal transformation as in the method of restoring high frequency components in the process of repeating the normal transformation and the inverse transformation using the orthogonal transformation of the image (for example, Japanese Patent Laid-Open No. 6-54172), high-speed high frequency Prediction is possible.
【０１２４】また、請求項２によれば、請求項１におい
て、原画像のエッジ部分を強調するエッジ強調工程を有
し、このエッジ強調工程によりエッジ強調された原画像
を用いて拡大処理を行うようにしたので、たとえば、テ
レビ信号であるＮＴＳＣ信号をキャプチャして得られた
画像やデジタルスチールカメラで得られた画像などの解
像度の低い画像の拡大処理を行う際、原画像に対して、
エッジ強調を施すことにより、疑似的に高周波成分が加
えられるので、低解像度の画像を拡大処理した場合でも
鮮明な画像をえることができる。According to a second aspect, in the first aspect, there is an edge emphasizing step of emphasizing the edge portion of the original image, and the enlargement process is performed using the original image edge-enhanced by the edge emphasizing step. Thus, for example, when enlarging a low resolution image such as an image obtained by capturing an NTSC signal which is a television signal or an image obtained by a digital still camera,
Since the high frequency component is artificially added by applying the edge enhancement, a clear image can be obtained even when the low resolution image is enlarged.
【０１２５】また、請求項３によれば、第１の拡大処理
工程と第２の拡大処理工程を有し、前記第１の拡大処理
工程により、前記原画像を周波数領域に変換して、β倍
に拡大された原画像の拡大画像を得て、前記第２の拡大
処理工程により、前記β倍に拡大された原画像を、実領
域での拡大方法を用いてα／β倍し、最終的に、原画像
に対してα倍の拡大画像を得るようにしている。つま
り、第１の拡大処理工程では拡大率を抑えて（２から４
倍程度）拡大処理し、その拡大処理した画像を第２の拡
大処理工程（線形補間法あるいはニアレストネイバ法な
どによる）によりさらに拡大処理するようにしたので、
鮮明な拡大画像が得られ、しかも、高速な処理が可能と
なり、かつ大きな拡大率にも適応可能となる。また、正
変換、逆変換の際、変換後のマトリクスサイズの基数が
２に制限される変換方法であっても、第２の変換処理部
は拡大率に制限がないため、どのような拡大率にも対応
できる。さらに、第２の変換処理工程は縮小においても
そのまま適応できるため、たとえ正変換、逆変換が基数
２に制限される変換方法であっても、拡大率αが２倍以
下（１〜２の範囲）である場合には、始めに第１の拡大
処理工程で２倍に拡大し、第２の拡大処理工程で０．５
〜１倍に縮小することにより、１以上のいずれの拡大処
理にも適応できる。According to the third aspect, there is a first enlargement processing step and a second enlargement processing step, and the first enlargement processing step transforms the original image into the frequency domain, and β A magnified image of the original image magnified twice is obtained, and in the second enlargement processing step, the original image magnified β times is multiplied by α / β using a magnification method in the real region, and finally Therefore, an enlarged image that is α times as large as the original image is obtained. That is, in the first enlargement processing step, the enlargement ratio is suppressed (from 2 to 4).
(Approximately twice the magnification), and the enlarged image is further enlarged by the second enlargement processing step (such as the linear interpolation method or the nearest neighbor method).
A clear magnified image can be obtained, high-speed processing can be performed, and a large magnification can be applied. In addition, in the case of the conversion method in which the radix of the matrix size after conversion is limited to 2 at the time of the forward conversion and the reverse conversion, the second conversion processing unit does not limit the expansion rate. Can also be used. Furthermore, since the second conversion processing step can be directly applied to the reduction, even if the conversion method is such that the normal conversion and the reverse conversion are limited to the radix 2, the enlargement ratio α is 2 times or less (in the range of 1 to 2). ), The first enlargement processing step is performed to double the magnification, and the second enlargement processing step is performed to increase the magnification to 0.5.
It is possible to adapt to any one or more enlargement processes by reducing the size to 1 time.
【０１２６】また、請求項４によれば、請求項３におい
て、前記第１の拡大処理工程は、原画像のエッジ部分を
強調するエッジ強調工程を有し、このエッジ強調工程に
よりエッジ強調された原画像を用いて拡大処理を行うよ
うにしたので、たとえば、テレビ信号であるＮＴＳＣ信
号をキャプチャして得られた画像やデジタルスチールカ
メラで得られた画像などの解像度の低い画像の拡大処理
を行う際、原画像に対して、エッジ強調を施すことによ
り、疑似的に高周波成分が加えられるので、低解像度の
画像を拡大処理した場合でも鮮明な画像を得ることがで
きる。According to a fourth aspect, in the third aspect, the first enlargement processing step includes an edge enhancement step for enhancing an edge portion of the original image, and the edge enhancement step is performed. Since the enlargement process is performed using the original image, for example, the enlargement process is performed on an image having a low resolution such as an image obtained by capturing an NTSC signal which is a television signal or an image obtained by a digital still camera. At this time, since a high frequency component is artificially added by applying edge enhancement to the original image, a clear image can be obtained even when a low resolution image is enlarged.
【０１２７】また、請求項５によれば、入力画像がカラ
ー画像である場合、各カラープレーンの輝度に関する情
報量の違いを考慮し、輝度情報の大きいカラープレーン
に対しては、鮮明な拡大画像が得られる周波数領域での
拡大処理を行い、輝度情報の小さいカラープレーンに対
しては、線形補完法、ニアレストネイバ法等の処理時間
の速い実領域による拡大方法により拡大処理を行なうこ
とにより、全体として処理時間の高速化が図れ、しかも
鮮明な画像を得ることができる。According to the fifth aspect, when the input image is a color image, the difference in the amount of information regarding the brightness of each color plane is taken into consideration, and a clear enlarged image is displayed for a color plane with large brightness information. By performing enlargement processing in the frequency domain where is obtained, and for a color plane with small luminance information, by performing an enlargement processing by a real area enlargement method with a fast processing time, such as the linear interpolation method or the nearest neighbor method, As a whole, the processing time can be shortened and a clear image can be obtained.
【０１２８】また、請求項６によれば、請求項５におい
て、輝度情報の大きいカラープレーン用の拡大処理工程
は、 前記原画像のエッジ部分を強調するエッジ強調工
程を有し、このエッジ強調工程によりエッジ強調された
原画像を用いて拡大処理を行うようにしたので、たとえ
ば、テレビ信号であるＮＴＳＣ信号をキャプチャして得
られた画像やデジタルスチールカメラで得られた画像な
どの解像度の低い画像の拡大処理を行う際、原画像に対
して、エッジ強調を施すことにより、疑似的に高周波成
分が加えられるので、低解像度の画像を拡大処理した場
合でも鮮明な画像を得ることができる。According to a sixth aspect, in the fifth aspect, the enlarging process for the color plane having large luminance information includes an edge enhancing step for enhancing the edge portion of the original image. Since the enlargement processing is performed by using the original image whose edge is emphasized by, the low resolution image such as the image obtained by capturing the NTSC signal which is a television signal or the image obtained by the digital still camera. By performing edge enhancement on the original image when performing the enlarging process, the pseudo high-frequency component is added, so that a clear image can be obtained even when enlarging the low-resolution image.
【０１２９】また、請求項７によれば、請求項５におい
て、前記輝度情報の大きいカラープレーン用の拡大処理
工程は、β倍に拡大された原画像の拡大画像を得て、こ
のβ倍に拡大された原画像を、実領域での拡大方法を用
いてα／β倍し、最終的に、原画像に対してα倍の拡大
画像を得るようにしている。つまり、周波数領域による
拡大処理工程では拡大率を抑えて（２から４倍程度）拡
大処理し、その拡大処理した画像を、線形補間法あるい
はニアレストネイバ法などの実領域による拡大方法を用
いて、さらに拡大処理するようにしたので、鮮明な拡大
画像が得られ、しかも、高速な処理が可能となり、かつ
大きな拡大率にも適応可能となる。また、正変換、逆変
換の際、変換後のマトリクスサイズの基数が２に制限さ
れる変換方法であっても、第２の変換処理部は拡大率に
制限がないため、どのような拡大率にも対応できる。さ
らに、実領域による拡大処理工程は縮小においてもその
まま適応できるため、たとえ正変換、逆変換が基数２に
制限される変換方法であっても、拡大率αが２倍以下
（１〜２の範囲）である場合には、始めに周波数領域に
よる拡大処理工程で２倍に拡大し、実領域による拡大処
理部で０．５〜１倍に縮小することにより、１以上のい
ずれの拡大処理にも適応できる。According to a seventh aspect, in the fifth aspect, in the enlarging processing step for the color plane with large luminance information, an enlarged image of the original image enlarged by β times is obtained, and the enlarging image is multiplied by β times. The enlarged original image is multiplied by α / β using the enlargement method in the real area, and finally an enlarged image of α times the original image is obtained. That is, in the enlargement process in the frequency domain, the enlargement processing is performed while suppressing the enlargement ratio (about 2 to 4 times), and the enlarged image is subjected to the real area enlargement method such as the linear interpolation method or the nearest neighbor method. Since the enlargement processing is further performed, a clear enlarged image can be obtained, high-speed processing can be performed, and a large enlargement ratio can be applied. In addition, in the case of the conversion method in which the radix of the matrix size after conversion is limited to 2 at the time of the forward conversion and the reverse conversion, the second conversion processing unit does not limit the expansion rate. Can also be used. Further, since the enlargement processing step using the real region can be directly applied to the reduction, even if the conversion method in which the forward conversion and the reverse conversion are limited to the radix 2 is used, the expansion rate α is 2 times or less (in the range of 1 to 2). ), It is first enlarged by 2 times in the enlargement processing step by the frequency domain, and reduced by 0.5 to 1 times by the enlargement processing section by the real area, so that any one or more enlargement processing can be performed. Can be adapted.
【０１３０】また、請求項８によれば、請求項１、３、
５における予測ルールは、解像度の高い複数のサンプル
の画像データを用い、これらの画像データから前記拡大
率に応じた領域を分割し、分割した領域を直交変換を用
いて周波数領域に変換し、この周波数領域における低周
波領域の周波数成分と高周波領域の周波数成分との相関
関係をもとに求めるようにしたので、拡大後の高周波成
分の復元を簡単にかつ高精度に行うことができ、これに
より、全体的な処理の高速化が図れ、なおかつ、鮮明な
拡大画像を得ることができる。According to claim 8, claims 1, 3 and
The prediction rule in 5 uses the image data of a plurality of high-resolution samples, divides the region according to the enlargement ratio from these image data, and transforms the divided region into the frequency domain using orthogonal transformation. Since it is determined based on the correlation between the frequency component of the low frequency region and the frequency component of the high frequency region in the frequency domain, the high frequency component after expansion can be restored easily and with high accuracy. The overall processing speed can be increased and a clear enlarged image can be obtained.
【０１３１】また、請求項９によれば、請求項１、３、
５における高周波領域予測工程は、前記直交変換工程に
より得られた周波数領域を幾つかのエリアに分割し、分
割されたエリアのうち、低周波領域のエリアには前記直
交変換工程により直行変換された原画像の周波数情報を
そのまま復元し、高周波領域のエリアにおける周波数デ
ータは前記解像度の高い複数のサンプルの画像データか
ら得られた予測ルールに基づいて予測を行なうようにし
たので、拡大後の高周波成分の復元を簡単にかつ高精度
に行うことができ、これにより、全体的な処理の高速化
が図れ、なおかつ、鮮明な拡大画像を得ることができ
る。According to claim 9, claims 1, 3 and
In the high frequency region prediction process in 5, the frequency region obtained by the orthogonal transformation process is divided into several areas, and the low frequency region of the divided areas is orthogonally transformed by the orthogonal transformation process. Since the frequency information of the original image is restored as it is, the frequency data in the high frequency area is predicted based on the prediction rule obtained from the image data of a plurality of high-resolution samples. Can be restored easily and with high accuracy, which makes it possible to speed up the overall processing and obtain a clear enlarged image.
【０１３２】また、請求項１０によれば、請求項１、
３、５における直交変換工程および逆直交変換工程は、
矩形波を基底ベクトルとした直交変換および逆直交変換
を用いている。これら矩形波を基底ベクトルとした直交
変換および逆直交変換は、低周波領域への電力集中が小
さいことから、高周波の情報の影響がより大きなものと
なり、高周波成分を埋めることによる画像の鮮明度をよ
り大きくすることができ、画質改善効果を極めて大きな
ものとすることができる。According to claim 10, claim 1,
The orthogonal transformation process and the inverse orthogonal transformation process in 3 and 5 are
The orthogonal transform and the inverse orthogonal transform using the rectangular wave as the base vector are used. The orthogonal transformation and the inverse orthogonal transformation using these rectangular waves as a base vector have a smaller influence of high-frequency information because the power concentration in the low-frequency region is small, and the sharpness of the image due to the high-frequency component being filled is improved. It can be further increased, and the image quality improving effect can be made extremely large.
【０１３３】また、本発明の画像処理装置は、請求項１
１によれば、原画像を周波数領域に変換するために原画
像の直交変換を行い、拡大率に応じた周波数領域を準備
し、この周波数領域における低周波領域には前記直交変
換された原画像の周波数情報をそのまま復元するととも
に、前記拡大率に応じて準備された周波数領域における
高周波領域には、予め準備された予測ルールに基づいて
得られる周波数情報を復元して拡大後の周波数領域の画
像データを得たのち、この拡大後の周波数領域の画像デ
ータを逆直交変換を行い、原画像に対して所定倍の拡大
画像を得るようにしたので、拡大後の画像は高周波成分
を含んだ画像となり、従来の高周波領域にゼロをうめて
拡大を行なう方法に比べ、鮮明な画像を得ることができ
る。また、画像を直交変換を用いて正変換と逆変換を繰
り返す過程で、高周波成分の復元をする方法（たとえば
特開平６−５４１７２）のように、直交変換を繰り返す
必用がないので、高速な高周波予測が可能となる。Further, the image processing apparatus of the present invention comprises:
According to 1, the orthogonal transformation of the original image is performed in order to transform the original image into the frequency domain, a frequency domain corresponding to the enlargement ratio is prepared, and the orthogonal transformation of the original image is performed in the low frequency domain in this frequency domain. While restoring the frequency information as it is, in the high frequency region in the frequency region prepared according to the expansion rate, the image of the frequency region after expansion by restoring the frequency information obtained based on the prediction rule prepared in advance After obtaining the data, the image data in the frequency domain after enlargement is subjected to inverse orthogonal transformation to obtain an enlarged image of a predetermined size with respect to the original image, so the enlarged image is an image containing high frequency components. Therefore, a clear image can be obtained as compared with the conventional method of enlarging zero in a high frequency region. In addition, since it is not necessary to repeat the orthogonal transformation as in the method of restoring the high frequency component in the process of repeating the normal transformation and the inverse transformation using the orthogonal transformation (for example, Japanese Patent Laid-Open No. 6-54172), high-speed high frequency Prediction is possible.
【０１３４】また、請求項１２によれば、請求項１１に
おいて、原画像のエッジ部分を強調するエッジ強調手段
を有し、このエッジ強調手段によりエッジ強調された原
画像を用いて拡大処理を行うようにしたので、たとえ
ば、テレビ信号であるＮＴＳＣ信号をキャプチャして得
られた画像やデジタルスチールカメラで得られた画像な
どの解像度の低い画像の拡大処理を行う際、原画像に対
して、エッジ強調を施すことにより、疑似的に高周波成
分が加えられるので、低解像度の画像を拡大処理した場
合でも鮮明な画像をえることができる。According to the twelfth aspect, in the eleventh aspect, there is provided edge enhancing means for enhancing the edge portion of the original image, and the enlargement processing is performed using the original image edge-enhanced by the edge enhancing means. Therefore, for example, when enlarging a low-resolution image such as an image obtained by capturing an NTSC signal which is a television signal or an image obtained by a digital still camera, the edge of the original image is By emphasizing, a pseudo high frequency component is added, so that a clear image can be obtained even when a low-resolution image is enlarged.
【０１３５】また、請求項１３によれば、第１の拡大処
理手段と第２の拡大処理手段を有し、前記第１の拡大処
理手段により、前記原画像を周波数領域に変換して、β
倍に拡大された原画像の拡大画像を得て、前記第２の拡
大処理手段により、前記β倍に拡大された原画像を、実
領域での拡大方法を用いてα／β倍し、最終的に、原画
像に対してα倍の拡大画像を得るようにしている。つま
り、第１の拡大処理手段では拡大率を抑えて（２から４
倍程度）拡大処理し、その拡大処理した画像を第２の拡
大処理手段（線形補間法あるいはニアレストネイバ法な
どによる）によりさらに拡大処理するようにしたので、
鮮明な拡大画像が得られ、しかも、高速な処理が可能と
なり、かつ大きな拡大率にも適応可能となる。また、正
変換、逆変換の際、変換後のマトリクスサイズの基数が
２に制限される変換方法であっても、第２の変換処理部
は拡大率に制限がないため、どのような拡大率にも対応
できる。さらに、第２の変換処理手段は縮小においても
そのまま適応できるため、たとえ正変換、逆変換が基数
２に制限される変換方法であっても、拡大率αが２倍以
下（１〜２の範囲）である場合には、始めに第１の拡大
処理手段で２倍に拡大し、第２の拡大処理手段で０．５
〜１倍に縮小することにより、１以上のいずれの拡大処
理にも適応できる。According to the thirteenth aspect, there is provided a first enlargement processing means and a second enlargement processing means, and the first enlargement processing means transforms the original image into the frequency domain, and β
A magnified image of the original image magnified twice is obtained, and the β-magnified original image is multiplied by α / β using the enlargement method in the real region by the second enlargement processing means, and the final image is obtained. Therefore, an enlarged image that is α times as large as the original image is obtained. That is, the first enlargement processing unit suppresses the enlargement ratio (from 2 to 4).
(Approximately twice the magnification), and the enlarged image is further enlarged by the second enlargement processing means (such as the linear interpolation method or the nearest neighbor method).
A clear magnified image can be obtained, high-speed processing can be performed, and a large magnification can be applied. In addition, in the case of the conversion method in which the radix of the matrix size after conversion is limited to 2 at the time of the forward conversion and the reverse conversion, the second conversion processing unit does not limit the expansion rate. Can also be used. Further, since the second conversion processing means can be applied as it is even in the reduction, even if the conversion method is such that the normal conversion and the reverse conversion are limited to the radix 2, the enlargement ratio α is 2 times or less (in the range of 1 to 2). ), The first enlargement processing means first enlarges the image twice, and the second enlargement processing means produces 0.5.
It is possible to adapt to any one or more enlargement processes by reducing the size to 1 time.
【０１３６】また、請求項１４によれば、請求項１３に
おいて、前記第１の拡大処理手段は、原画像のエッジ部
分を強調するエッジ強調手段を有し、このエッジ強調手
段によりエッジ強調された原画像を用いて拡大処理を行
うようにしたので、たとえば、テレビ信号であるＮＴＳ
Ｃ信号をキャプチャして得られた画像やデジタルスチー
ルカメラで得られた画像などの解像度の低い画像の拡大
処理を行う際、原画像に対して、エッジ強調を施すこと
により、疑似的に高周波成分が加えられるので、低解像
度の画像を拡大処理した場合でも鮮明な画像をえること
ができる。According to a fourteenth aspect, in the thirteenth aspect, the first enlargement processing means has an edge enhancing means for enhancing the edge portion of the original image, and the edge enhancing means enhances the edge. Since the enlargement processing is performed using the original image, for example, the NTS which is a television signal is used.
When enlarging a low-resolution image such as an image obtained by capturing a C signal or an image obtained by a digital still camera, edge enhancement is applied to the original image to artificially generate high-frequency components. Therefore, a clear image can be obtained even when a low-resolution image is enlarged.
【０１３７】また、請求項１５によれば、入力画像がカ
ラー画像である場合、各カラープレーンの輝度に関する
情報量の違いを考慮し、輝度情報の大きいカラープレー
ンに対しては、鮮明な拡大画像が得られる周波数領域で
の拡大処理を行い、輝度情報の小さいカラープレーンに
対しては、線形補完法、ニアレストネイバ法等の処理時
間の速い実領域による拡大方法により拡大処理を行なう
ことにより、全体として処理時間の高速化が図れ、しか
も鮮明な画像を得ることができる。According to the fifteenth aspect, in the case where the input image is a color image, a clear enlarged image for a color plane with large luminance information is taken into consideration in consideration of the difference in the amount of information regarding the luminance of each color plane. By performing enlargement processing in the frequency domain where is obtained, and for a color plane with small luminance information, by performing an enlargement processing by a real area enlargement method with a fast processing time, such as the linear interpolation method or the nearest neighbor method, As a whole, the processing time can be shortened and a clear image can be obtained.
【０１３８】また、請求項１６によれば、請求項１５に
おいて、輝度情報の大きいカラープレーン用の拡大処理
手段は、 前記原画像のエッジ部分を強調するエッジ強
調手段を有し、このエッジ強調手段によりエッジ強調さ
れた原画像を用いて拡大処理を行うようにしたので、た
とえば、テレビ信号であるＮＴＳＣ信号をキャプチャし
て得られた画像やデジタルスチールカメラで得られた画
像などの解像度の低い画像の拡大処理を行う際、原画像
に対して、エッジ強調を施すことにより、疑似的に高周
波成分が加えられるので、低解像度の画像を拡大処理し
た場合でも鮮明な画像を得ることができる。[0138] According to claim 16, in claim 15, the enlargement processing means for the color plane having large luminance information has edge emphasis means for emphasizing the edge portion of the original image. Since the enlargement processing is performed by using the original image whose edge is emphasized by, the low resolution image such as the image obtained by capturing the NTSC signal which is a television signal or the image obtained by the digital still camera. By performing edge enhancement on the original image when performing the enlarging process, the pseudo high-frequency component is added, so that a clear image can be obtained even when enlarging the low-resolution image.
【０１３９】また、請求項１７によれば、請求項１５に
おいて、前記輝度情報の大きいカラープレーン用の拡大
処理手段は、β倍に拡大された原画像の拡大画像を得
て、このβ倍に拡大された原画像を、実領域での拡大方
法を用いてα／β倍し、最終的に、原画像に対してα倍
の拡大画像を得るようにしている。つまり、周波数領域
による拡大処理手段では拡大率を抑えて（２から４倍程
度）拡大処理し、その拡大処理した画像を、線形補間法
あるいはニアレストネイバ法などの実領域による拡大手
段を用いて、さらに拡大処理するようにしたので、鮮明
な拡大画像が得られ、しかも、高速な処理が可能とな
り、かつ大きな拡大率にも適応可能となる。また、正変
換、逆変換の際、変換後のマトリクスサイズの基数が２
に制限される変換方法であっても、第２の変換処理部は
拡大率に制限がないため、どのような拡大率にも対応で
きる。さらに、実領域による拡大処理手段は縮小におい
てもそのまま適応できるため、たとえ正変換、逆変換が
基数２に制限される変換方法であっても、拡大率αが２
倍以下（１〜２の範囲）である場合には、始めに周波数
領域による拡大処理手段で２倍に拡大し、実領域による
拡大処理部で０．５〜１倍に縮小することにより、１以
上のいずれの拡大処理にも適応できる。According to the seventeenth aspect, in the fifteenth aspect, the enlargement processing means for the color plane having the large luminance information obtains the enlarged image of the original image enlarged by β times, and increases the β times. The enlarged original image is multiplied by α / β using the enlargement method in the real area, and finally an enlarged image of α times the original image is obtained. That is, the enlargement processing means in the frequency domain performs enlargement processing while suppressing the enlargement ratio (about 2 to 4 times), and the enlarged image is subjected to the real area enlargement means such as the linear interpolation method or the nearest neighbor method. Since the enlargement processing is further performed, a clear enlarged image can be obtained, high-speed processing can be performed, and a large enlargement ratio can be applied. In the case of forward conversion and reverse conversion, the radix of the converted matrix size is 2
Even if the conversion method is limited to, since the second conversion processing unit has no restriction on the expansion rate, it can support any expansion rate. Further, since the enlargement processing means using the real area can be applied to the reduction as it is, the enlargement ratio α is 2 even if the conversion method is such that the normal conversion and the reverse conversion are limited to the radix 2.
If it is less than or equal to 2 times (range of 1 to 2), first, the enlargement processing unit in the frequency domain doubles it, and the enlargement processing unit in the real region reduces it to 0.5 to 1 times. It can be applied to any of the above enlargement processes.
【０１４０】また、請求項１８によれば、請求項１１、
１３、１５における予測ルールは、解像度の高い複数の
サンプルの画像データを用い、これらの画像データから
前記拡大率に応じた領域を分割し、分割した領域を直交
変換を用いて周波数領域に変換し、この周波数領域にお
ける低周波領域の周波数成分と高周波領域の周波数成分
との相関関係をもとに求めるようにしたので、拡大後の
高周波成分の復元を簡単にかつ高精度に行うことがで
き、これにより、全体的な処理の高速化が図れ、なおか
つ、鮮明な拡大画像を得ることができる。According to claim 18, claim 11,
The prediction rules in 13 and 15 use image data of a plurality of high-resolution samples, divide an area corresponding to the enlargement ratio from these image data, and convert the divided areas into a frequency domain using orthogonal transformation. Since the frequency component of the low frequency region and the frequency component of the high frequency region in this frequency region are determined based on the correlation, it is possible to easily and accurately restore the high frequency component after expansion, As a result, the overall processing speed can be increased and a clear enlarged image can be obtained.
【０１４１】また、請求項１９によれば、請求項１１、
１３、１５における高周波領域予測手段は、前記直交変
換手段により得られた周波数領域を幾つかのエリアに分
割し、分割されたエリアのうち、低周波領域のエリアに
は前記直交変換手段により直交変換された原画像の周波
数情報をそのまま復元し、高周波領域のエリアにおける
周波数データは前記解像度の高い複数のサンプルの画像
データから得られた予測ルールに基づいて予測を行なう
ようにしたので、拡大後の高周波成分の復元を簡単にか
つ高精度に行うことができ、これにより、全体的な処理
の高速化が図れ、なおかつ、鮮明な拡大画像を得ること
ができる。According to claim 19, claim 11,
The high frequency region predicting means in 13 and 15 divides the frequency region obtained by the orthogonal transforming means into several areas, and among the divided areas, the low frequency area is orthogonally transformed by the orthogonal transforming means. Since the frequency information of the original image thus obtained is restored as it is, the frequency data in the high-frequency area is predicted based on the prediction rule obtained from the image data of a plurality of high-resolution samples. High-frequency components can be restored easily and with high accuracy, which makes it possible to speed up the overall processing and obtain a clear enlarged image.
【０１４２】また、請求項２０によれば、請求項１１、
１３、１５における直交変換手段および逆直交変換手段
は、矩形波を基底ベクトルとした直交変換および逆直交
変換を用いている。これら矩形波を基底ベクトルとした
直交変換および逆直交変換は、低周波領域への電力集中
が小さいことから、高周波の情報の影響がより大きなも
のとなり、高周波成分を埋めることによる画像の鮮明度
をより大きくすることができ、画質改善効果を極めて大
きなものとすることができる。Further, according to claim 20, claim 11,
The orthogonal transform means and the inverse orthogonal transform means in 13 and 15 use the orthogonal transform and the inverse orthogonal transform with the rectangular wave as a base vector. The orthogonal transformation and the inverse orthogonal transformation using these rectangular waves as a base vector have a smaller influence of high-frequency information because the power concentration in the low-frequency region is small, and the sharpness of the image due to the high-frequency component being filled is improved. It can be further increased, and the image quality improving effect can be made extremely large.
【図１】本発明の第１の実施例の構成を説明するブロッ
ク図。FIG. 1 is a block diagram illustrating a configuration of a first exemplary embodiment of the present invention.
【図２】第１の実施例の全体的な処理を説明するフロー
チャート。FIG. 2 is a flowchart illustrating the overall processing of the first embodiment.
【図３】原画像をブロックに分割する例を説明する図。FIG. 3 is a diagram illustrating an example of dividing an original image into blocks.
【図４】高周波領域予測処理を説明する図。FIG. 4 is a diagram illustrating a high frequency region prediction process.
【図５】複数のサンプル画像から得られた予測ルールを
説明する図。FIG. 5 is a diagram illustrating a prediction rule obtained from a plurality of sample images.
【図６】予測ルールに基づいた高周波成分の復元処理を
説明する図。FIG. 6 is a diagram illustrating a high-frequency component restoration process based on a prediction rule.
【図７】高周波領域の予測処理を説明するフローチャー
ト。FIG. 7 is a flowchart illustrating a high frequency region prediction process.
【図８】第２の実施例を説明する際に必要な解像度とエ
ッジ部分の関係を説明する図。FIG. 8 is a diagram illustrating a relationship between a resolution and an edge portion required when describing a second embodiment.
【図９】第２の実施例の構成を説明するブロック図。FIG. 9 is a block diagram illustrating the configuration of the second embodiment.
【図１０】エッジ強調処理に用いられるフィルタ例を示
す図。FIG. 10 is a diagram showing an example of a filter used for edge enhancement processing.
【図１１】前記フィルタを用いてエッジ強調処理を行お
うとする画像データ例を示す図。FIG. 11 is a diagram showing an example of image data to be subjected to edge enhancement processing using the filter.
【図１２】第２の実施例の全体的な処理を説明するフロ
ーチャート。FIG. 12 is a flowchart illustrating the overall processing of the second embodiment.
【図１３】第３の実施例の構成を説明するブロック図。FIG. 13 is a block diagram illustrating a configuration of a third embodiment.
【図１４】第３の実施例の全体的な処理を説明するフロ
ーチャート。FIG. 14 is a flowchart illustrating the overall processing of the third embodiment.
【図１５】第３の実施例における第２の拡大処理部とし
て用いられる線形補間法を説明する図。FIG. 15 is a diagram illustrating a linear interpolation method used as a second enlargement processing unit in the third embodiment.
【図１６】第４の実施例の構成を説明するブロック図。FIG. 16 is a block diagram illustrating a configuration of a fourth embodiment.
【図１７】第４の実施例の全体的な処理を説明するフロ
ーチャート。FIG. 17 is a flowchart illustrating the overall processing of the fourth embodiment.
【図１８】第４の実施例の処理を図式化して示す図。FIG. 18 is a diagram schematically showing the processing of the fourth embodiment.
【図１９】従来の周波数領域に変換して拡大する例を説
明する図。FIG. 19 is a diagram for explaining an example of conversion into a conventional frequency domain and enlargement.
１・・・画像処理装置 １０・・・第１の実施例における拡大処理部 １１・・・直交変換部 １２・・・高周波領域予測部 １３・・・逆直交変換部 ２０・・・第２に実施例における拡大処理部 ２１・・・エッジ強調部 ３０・・・第１の拡大処理部 ３１・・・第２の拡大処理部 ４０・・・周波数領域拡大処理部 ４１・・・実領域拡大処理部 ４２・・・画像合成部 DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus 10 ... Enlargement processing unit in the first embodiment 11 ... Orthogonal transformation unit 12 ... High frequency region prediction unit 13 ... Inverse orthogonal transformation unit 20 ... Second Enlargement processing unit 21 ... Edge enhancement unit 30 ... First expansion processing unit 31 ... Second expansion processing unit 40 ... Frequency domain expansion processing unit 41 ... Real area expansion process Section 42 ... Image synthesis section
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/30 Ｈ０４Ｎ 7/133 Ｚ // Ｇ０６Ｆ 17/14 Ｇ０６Ｆ 15/332 Ｓ ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI Technical indication H04N 7/30 H04N 7/133 Z // G06F 17/14 G06F 15/332 S
Claims (20)
含まれる画像情報に基づいて画像を所定倍に拡大する拡
大処理工程を有する画像処理方法において、 前記拡大処理工程は、前記原画像を周波数領域に変換す
るために直交変換工程により原画像の直交変換を行い、
高周波領域予測工程により拡大率に応じた周波数領域を
用意し、この用意された周波数領域における低周波領域
には前記直交変換工程により直交変換された原画像の周
波数データをそのまま復元するとともに、前記拡大率に
応じて準備された周波数領域における高周波領域には、
予め準備された予測ルールに基づいて得られる周波数デ
ータを復元して、拡大後の周波数領域の画像データを出
力したのち、この拡大後の周波数領域の画像データを逆
直交変換工程により逆直行変換を行い、原画像に対して
所定倍の拡大画像を得るようにしたことを特徴とする画
像処理方法。1. An image processing method comprising an enlargement processing step of enlarging an image to a predetermined size based on image information contained in the original image input by an image input means, wherein the enlargement processing step is performed by frequency-converting the original image. Performs orthogonal transformation of the original image by the orthogonal transformation process to transform it into a region,
A frequency region according to the enlargement ratio is prepared by the high frequency region prediction step, and the frequency data of the original image orthogonally transformed by the orthogonal transformation step is restored as it is in the low frequency region in the prepared frequency region, and the enlargement is performed. In the high frequency region in the frequency region prepared according to the rate,
The frequency data obtained based on the prediction rule prepared in advance is restored, and the image data in the frequency domain after expansion is output, and then the inverse orthogonal transform process is performed on the image data in the frequency domain after expansion by the inverse orthogonal transform process. The image processing method is characterized in that an enlarged image of a predetermined size is obtained with respect to the original image.
ジ部分を強調するエッジ強調工程を有し、このエッジ強
調工程によりエッジ強調された原画像を用いて拡大処理
を行うことを特徴とする請求項１記載の画像処理方法。2. The enlarging processing step includes an edge emphasizing step for emphasizing an edge portion of the original image, and the enlarging processing is performed using the original image whose edge is emphasized by the edge emphasizing step. The image processing method according to claim 1.
含まれる画像情報に基づいて画像を所定倍に拡大する拡
大処理工程を有する画像処理方法において、 前記拡大処理工程は、第１の拡大処理工程と第２の拡大
処理工程を有し、 前記第１の拡大処理工程は、前記原画像を周波数領域に
変換するために直交変換工程により原画像の直交変換を
行い、高周波領域予測工程により、原画像のβ倍の周波
数領域を用意し、この原画像のβ倍の周波数領域におけ
る低周波領域には前記直交変換工程により直行変換され
た原画像の周波数データをそのまま復元するとともに、
前記原画像のβ倍の周波数領域における高周波領域に
は、予め準備された予測ルールに基づいて得られる周波
数データを復元して、拡大後の周波数領域の画像データ
を得たのち、この拡大後の周波数領域の画像データを逆
直交変換工程により逆直交変換を行い、β倍に拡大され
た原画像の拡大画像を出力し、 前記第２の拡大処理工程は、前記β倍に拡大された原画
像を、周波数領域に変換しない実領域での拡大方法を用
いてα／β倍し、最終的に、原画像に対してα倍の拡大
画像を得ることを特徴とする画像処理方法。3. An image processing method having an enlargement processing step of enlarging an image to a predetermined size based on image information included in an original image input by an image input means, wherein the enlargement processing step is a first enlargement processing. And a second enlargement processing step, wherein the first enlargement processing step performs orthogonal transformation of the original image by an orthogonal transformation step to transform the original image into a frequency domain, and a high frequency domain prediction step, A β-fold frequency region of the original image is prepared, and in the low-frequency region in the β-fold frequency region of the original image, the frequency data of the original image orthogonally transformed by the orthogonal transformation step is restored as it is,
In the high frequency region in the frequency region of β times the original image, the frequency data obtained based on the prediction rule prepared in advance is restored to obtain the image data of the frequency region after enlargement, and after this enlargement, The image data in the frequency domain is subjected to inverse orthogonal transformation by the inverse orthogonal transformation step, and an enlarged image of the original image enlarged by β times is output, and the second enlargement processing step is performed by the original image enlarged by β times. Is multiplied by α / β using an enlargement method in the real domain that is not converted into the frequency domain, and finally an enlarged image that is α-fold larger than the original image is obtained.
のエッジ部分を強調するエッジ強調工程を有し、このエ
ッジ強調工程によりエッジ強調された原画像を用いて拡
大処理を行うことを特徴とする請求項３記載の画像処理
方法。4. The first enlarging processing step includes an edge emphasizing step of emphasizing an edge portion of the original image, and enlarging processing is performed using the original image edge-enhanced by the edge emphasizing step. The image processing method according to claim 3, characterized in that
含まれる画像情報に基づいて画像を所定倍に拡大する拡
大処理工程を有する画像処理方法において、 前記画像入力手段により入力された原画像がカラー画像
である場合、前記拡大処理工程は、輝度情報の大きいカ
ラープレーン用の拡大処理工程、輝度情報の小さいカラ
ープレーン用の拡大処理工程およびこれら各拡大処理工
程にて拡大されたそれぞれの画像を合成する画像合成工
程を有し、 前記輝度情報の大きいカラープレーン用の拡大処理工程
は、輝度情報の大きいカラープレーンに対し、前記原画
像を周波数領域に変換するために直交変換工程により原
画像の直交変換を行い、高周波領域予測工程により拡大
率に応じた周波数領域を用意し、この用意された周波数
領域における低周波領域には前記直交変換工程により直
交変換された原画像の周波数データをそのまま復元する
とともに、前記拡大率に応じて準備された周波数領域に
おける高周波領域には、予め準備された予測ルールに基
づいて得られる周波数データを復元して、拡大後の周波
数領域の画像データを得たのち、この拡大後の周波数領
域の画像データを逆直交変換工程により逆直行変換を行
い、原画像に対して所定倍の拡大画像を得るようにし、 前記輝度情報の小さいカラープレーン用の拡大処理工程
は、輝度情報の小さいカラープレーンに対し、周波数領
域に変換しない実領域における原画像の所定倍の拡大処
理を行い、 画像合成工程により、前記各拡大処理工程により得られ
た画像を合成することにより原画像に対する所定倍の拡
大画像を得ることを特徴とする画像処理方法。5. An image processing method having an enlargement processing step of enlarging an image to a predetermined size based on image information included in the original image input by the image input means, wherein the original image input by the image input means is In the case of a color image, the enlargement processing step includes an enlargement processing step for a color plane with large luminance information, an enlargement processing step for a color plane with small luminance information, and an image enlarged in each of these enlargement processing steps. An image synthesizing step of synthesizing, the enlargement processing step for the color plane with large luminance information, the color plane with large luminance information, the orthogonal transformation step of the original image in order to transform the original image into the frequency domain Orthogonal transformation is performed, and the frequency domain is prepared according to the enlargement ratio by the high frequency domain prediction process. The frequency data of the original image that has been orthogonally transformed by the orthogonal transformation step is restored to the region as it is, and the high frequency region in the frequency region prepared according to the enlargement ratio is obtained based on the prepared prediction rule. The frequency data to be restored is restored to obtain the image data in the frequency domain after expansion, and then the image data in the frequency domain after expansion is subjected to the inverse orthogonal transform by the inverse orthogonal transform step, and the original image is multiplied by a predetermined number. In order to obtain an enlarged image, the enlargement processing step for the color plane with small luminance information is performed with respect to the color plane with small luminance information by enlarging the original image by a predetermined magnification in the real region that is not converted to the frequency domain. In the synthesizing process, the images obtained by the respective enlarging processing steps are combined to obtain an enlarged image of a predetermined size with respect to the original image. Image processing method.
の拡大処理工程は、前記原画像のエッジ部分を強調する
エッジ強調工程を有し、このエッジ強調工程によりエッ
ジ強調された原画像を用いて拡大処理を行うことを特徴
とする請求項５記載の画像処理方法。6. The enlargement processing step for a color plane having large luminance information includes an edge enhancement step for enhancing an edge portion of the original image, and enlargement is performed using the original image edge enhanced by the edge enhancement step. The image processing method according to claim 5, wherein processing is performed.
の拡大処理工程は、前記原画像のβ倍の周波数領域を用
意し、この用意された周波数領域における低周波領域に
は前記直交変換された原画像の周波数データをそのまま
復元するとともに、前記原画像のβ倍の周波数領域にお
ける高周波領域には、予め準備された予測ルールに基づ
いて得られる周波数データを復元して、拡大後の周波数
領域の画像データを得たのち、この拡大後の周波数領域
の画像データを逆直行変換を行い、β倍に拡大された原
画像の拡大画像を得て、このβ倍に拡大された原画像
を、周波数領域に変換しない実領域での拡大方法を用い
てα／β倍し、最終的に、原画像に対してα倍の拡大画
像を得ることを特徴とする請求項５記載の画像処理方
法。7. The enlargement processing step for a color plane having large luminance information prepares a frequency region β times that of the original image, and the orthogonally transformed original image is included in a low frequency region in the prepared frequency region. While restoring the frequency data of the image as it is, in the high frequency region in the frequency region of β times that of the original image, the frequency data obtained based on the prediction rule prepared in advance is restored, and the image of the enlarged frequency region is obtained. After obtaining the data, the image data in the frequency domain after this expansion is subjected to the inverse transform to obtain an enlarged image of the original image enlarged by β times, and the original image enlarged by β times is converted into the frequency domain. 6. The image processing method according to claim 5, wherein the enlargement method in the real region that is not converted into the image is used to multiply by α / β, and finally an enlarged image of α times the original image is obtained.
サンプルの画像データを用い、これらの画像データから
前記拡大率に応じた領域を取り出し、この取り出した領
域を直交変換を用いて周波数領域に変換し、この周波数
領域における低周波領域の周波数成分と高周波領域の周
波数成分との相関関係をもとに求めることを特徴とする
請求項１、３または５記載の画像処理方法。8. The prediction rule uses image data of a plurality of samples with high resolution, extracts an area corresponding to the enlargement ratio from these image data, and converts the extracted area into a frequency domain using orthogonal transformation. 6. The image processing method according to claim 1, wherein the image is converted and obtained based on a correlation between a frequency component in a low frequency region and a frequency component in a high frequency region in this frequency region.
換工程により得られた周波数領域を幾つかのエリアに分
割し、分割されたエリアのうち、低周波領域のエリアに
は前記直交変換工程により直交変換された原画像の周波
数情報をそのまま復元し、高周波領域のエリアにおける
周波数データは前記解像度の高い複数のサンプルの画像
データから得られた予測ルールに基づいて予測を行なう
ことを特徴とする請求項１、３または５記載の画像処理
方法。9. The high frequency region predicting step divides the frequency region obtained by the orthogonal transforming step into several areas, and the low frequency area is divided into several areas by the orthogonal transforming step. The frequency information of the original image subjected to the orthogonal transformation is restored as it is, and the frequency data in the high frequency area is predicted based on the prediction rule obtained from the image data of the plurality of samples with high resolution. The image processing method according to Item 1, 3 or 5.
程は、矩形波を基底ベクトルとした直交変換および逆直
交変換を用いることを特徴とする請求項１、３または５
記載の画像処理方法。10. The orthogonal transform process and the inverse orthogonal transform process use the orthogonal transform and the inverse orthogonal transform with a rectangular wave as a base vector.
The described image processing method.
に含まれる画像情報に基づいて画像を所定倍に拡大する
拡大処理手段を有する画像処理装置において、 前記拡大処理手段は、 前記原画像を周波数領域に変換するために直交変換を行
う直交変換手段と、 拡大率に応じた周波数領域を用意し、この用意された周
波数領域における低周波領域には前記直行変換手段によ
り直交変換された原画像の周波数データをそのまま復元
するとともに、前記拡大率に応じて準備された周波数領
域における高周波領域には、予め準備された予測ルール
に基づいて得られる周波数データを復元して、拡大後の
周波数領域の画像データを得る高周波領域予測部と、 この高周波領域予測部により得られた拡大後の周波数領
域の画像データを、逆直交変換を行い、原画像に対して
所定倍の拡大画像を得る逆直交変換手段と、 を有することを特徴とする画像処理装置。11. An image processing apparatus having an enlargement processing unit for enlarging an image to a predetermined size based on image information included in the original image input by the image input unit, wherein the enlargement processing unit sets the original image to a frequency. Orthogonal transformation means for performing orthogonal transformation to transform into a region and a frequency domain corresponding to the enlargement ratio are prepared, and the low frequency region in this prepared frequency domain is the original image orthogonally transformed by the orthogonal transformation means. While restoring the frequency data as it is, in the high frequency region in the frequency region prepared according to the enlargement ratio, the frequency data obtained based on the prediction rule prepared in advance is restored, and the image of the enlarged frequency region The high-frequency region prediction unit that obtains the data, and the image data in the frequency region after expansion obtained by this high-frequency region prediction unit is subjected to inverse orthogonal transform, The image processing apparatus characterized by having a inverse orthogonal transform means for obtaining a predetermined multiple of the enlarged image to the image.
ッジ部分を強調するエッジ強調手段を有し、このエッジ
強調手段によりエッジ強調された原画像を用いて拡大処
理を行うことを特徴とする請求項１１記載の画像処理装
置。12. The enlargement processing means has an edge enhancement means for enhancing an edge portion of the original image, and the enlargement processing is performed using the original image edge-enhanced by the edge enhancement means. The image processing apparatus according to claim 11.
に含まれる画像情報に基づいて画像を所定倍に拡大する
拡大処理手段を有する画像処理装置において、 前記拡大処理手段は、第１の拡大処理手段と第２の拡大
処理手段を有し、 前記第１の拡大処理手段は、 前記原画像を周波数領域に変換するために直交変換を行
う直交変換手段と、 原画像のβ倍の周波数領域を準備し、この原画像のβ倍
の周波数領域における低周波領域には前記直交変換手段
により直交変換された原画像の周波数データをそのまま
復元するとともに、前記原画像のβ倍の周波数領域にお
ける高周波領域には、予め準備された予測ルールに基づ
いて得られる周波数データを復元して、拡大後の周波数
領域の画像データを得る高周波領域予測手段と、 この高周波領域予測手段により得られる拡大後の周波数
領域の画像データを逆直交変換し、β倍に拡大された原
画像の拡大画像を得る逆直交変換手段と、 を有し、 前記第２の拡大処理手段は、周波数領域に変換しない実
領域での拡大処理手段で構成され、前記第１の拡大処理
手段によって前記β倍に拡大された原画像を、α／β倍
し、最終的に、原画像に対してα倍の拡大画像を得るこ
とを特徴とする画像処理装置。13. An image processing apparatus having an enlargement processing unit for enlarging an image to a predetermined size based on image information included in an original image input by an image input unit, wherein the enlargement processing unit is a first enlargement processing unit. Means and second enlargement processing means, wherein the first enlargement processing means performs an orthogonal transformation means for performing an orthogonal transformation to transform the original image into a frequency domain, and a frequency domain β times the original image. The frequency data of the original image that has been orthogonally transformed by the orthogonal transformation means is restored as it is to the low frequency region in the β times frequency region of the original image, and the high frequency region in the β times frequency region of the original image is restored. Includes a high-frequency region predicting unit that restores frequency data obtained based on a prediction rule prepared in advance to obtain image data in the frequency region after expansion, and a high-frequency region predicting means. Inverse orthogonal transforming means for inversely orthogonally transforming the image data in the frequency domain after enlargement obtained by to obtain an enlarged image of the original image magnified β times, and the second enlargement processing means is The original image, which is composed of enlargement processing means in the real area that is not converted into the area and is enlarged by the first enlargement processing means by β times, is multiplied by α / β, and finally α is added to the original image. An image processing apparatus which obtains a double enlarged image.
像のエッジ部分を強調するエッジ強調手段を有し、この
エッジ強調手段によりエッジ強調された原画像を用いて
拡大処理を行うことを特徴とする請求項１３記載の画像
処理装置。14. The first enlargement processing means includes edge enhancement means for enhancing an edge portion of the original image, and enlargement processing is performed using the original image edge-enhanced by the edge enhancement means. 14. The image processing apparatus according to claim 13, wherein the image processing apparatus is an image processing apparatus.
に含まれる画像情報に基づいて画像を所定倍に拡大する
拡大処理手段を有する画像処理装置において、 前記画像入力手段により入力された原画像がカラー画像
である場合、前記拡大処理手段は、輝度情報の大きいカ
ラープレーン用の拡大処理手段、輝度情報の小さいカラ
ープレーン用の拡大処理手段およびこれら各拡大処理手
段にて拡大されたそれぞれの画像を合成する画像合成手
段を有し、 前記輝度情報の大きいカラープレーン用の拡大処理手段
は、 輝度情報の大きいカラープレーンに対し、前記原画像を
周波数領域に変換するために直交変換を行う直交変換手
段と、 拡大率に応じた周波数領域を用意し、この用意された周
波数領域における低周波領域には前記直交変換手段によ
り直交変換された原画像の周波数データをそのまま復元
するとともに、前記拡大率に応じて準備された周波数領
域における高周波領域には、予め準備された予測ルール
に基づいて得られる周波数データを復元して、拡大後の
周波数領域の画像データを得る高周波領域予測手段と、 この高周波領域予測手段により得られた拡大後の周波数
領域の画像データを逆直交変換し、原画像に対して所定
倍の拡大画像を得る逆直交変換手段と、 を有し、 前記輝度情報の小さいカラープレーン用の拡大処理手段
は、周波数領域に変換しない実領域における拡大処理手
段で構成され、輝度情報の小さいカラープレーンに対
し、周波数領域に変換しない実領域における原画像の所
定倍の拡大処理を行い、画像合成手段により、前記各拡
大処理手段により得られた画像を合成することにより原
画像に対して所定倍の拡大画像を得ることを特徴とする
画像処理装置。15. An image processing apparatus having an enlargement processing unit for enlarging an image to a predetermined size based on image information included in the original image input by the image input unit, wherein the original image input by the image input unit is In the case of a color image, the enlarging processing means enlarges the enlarging processing means for the color plane with large luminance information, the enlarging processing means for the color plane with small luminance information, and each image enlarged by each of these enlarging processing means. An enlargement processing unit for a color plane with large luminance information has an image synthesizing unit for synthesizing, and an orthogonal transformation unit for performing orthogonal transformation on the color plane with large luminance information to transform the original image into the frequency domain. And, prepare a frequency domain according to the enlargement ratio, and use the orthogonal transformation means for the low frequency domain in this prepared frequency domain. While restoring the frequency data of the original image that has been subjected to the AC conversion as it is, in the high frequency region in the frequency region prepared according to the enlargement ratio, restore the frequency data obtained based on the prediction rule prepared in advance, High frequency region prediction means for obtaining image data in the frequency region after enlargement, and inverse orthogonal transform of the image data in the frequency region after enlargement obtained by the high frequency region prediction means to obtain an enlarged image at a predetermined magnification with respect to the original image. And an inverse orthogonal transformation means for obtaining, wherein the enlargement processing means for the color plane with small luminance information is constituted by the enlargement processing means in the real domain that is not converted into the frequency domain, The image obtained by each of the enlargement processing means is enlarged by the image combining means by performing enlargement processing of the original image in the real area not converted into the area by a predetermined magnification. An image processing apparatus characterized in that an enlarged image of a predetermined size is obtained from an original image by synthesizing images.
用の拡大処理手段は、前記原画像のエッジ部分を強調す
るエッジ強調手段を有し、このエッジ強調手段によりエ
ッジ強調された原画像を用いて拡大処理を行うことを特
徴とする請求項１５記載の画像処理方法。16. The enlargement processing unit for a color plane having large luminance information has an edge enhancement unit that enhances an edge portion of the original image, and enlarges using the original image edge-enhanced by the edge enhancement unit. 16. The image processing method according to claim 15, wherein processing is performed.
用の拡大処理手段は、前記原画像のβ倍の周波数領域を
用意し、この用意された周波数領域における低周波領域
には前記直交変換された原画像の周波数データをそのま
ま復元するとともに、前記原画像のβ倍の周波数領域に
おける高周波領域には、予め準備された予測ルールに基
づいて得られる周波数データを復元して、拡大後の周波
数領域の画像データを得たのち、この拡大後の周波数領
域の画像データを逆直交変換を行い、β倍に拡大された
原画像の拡大画像を得て、このβ倍に拡大された原画像
を、周波数領域に変換しない実領域での拡大方法を用い
てα／β倍し、最終的に、原画像に対してα倍の拡大画
像を得ることを特徴とする請求項１５記載の画像処理装
置。17. The enlargement processing unit for the color plane having large luminance information prepares a frequency region of β times that of the original image, and the orthogonally transformed original image is included in a low frequency region in the prepared frequency region. While restoring the frequency data of the image as it is, in the high frequency region in the frequency region of β times that of the original image, the frequency data obtained based on the prediction rule prepared in advance is restored, and the image of the enlarged frequency region is obtained. After obtaining the data, the image data in the frequency domain after the expansion is subjected to inverse orthogonal transformation to obtain a magnified image of the original image magnified β times, and the original image magnified β times is converted into the frequency domain. 16. The image processing apparatus according to claim 15, wherein the enlarged image is multiplied by .alpha ./. Beta. By using the enlargement method in the real region which is not converted into .alpha.
のサンプルの画像データを用い、これらの画像データか
ら前記拡大率に応じた領域を取り出し、この取り出した
領域を直交変換を用いて周波数領域に変換し、この周波
数領域における低周波領域の周波数成分と高周波領域の
周波数成分との相関関係をもとに求めることを特徴とす
る請求項１１、１３または１５記載の画像処理装置。18. The prediction rule uses image data of a plurality of samples with high resolution, extracts a region corresponding to the enlargement ratio from these image data, and converts the extracted region into a frequency domain using orthogonal transformation. 16. The image processing apparatus according to claim 11, 13 or 15, wherein the image data is converted and obtained based on a correlation between a frequency component of a low frequency region and a frequency component of a high frequency region in this frequency region.
変換手段により得られた周波数領域を幾つかのエリアに
分割し、分割されたエリアのうち、低周波領域のエリア
には前記直交変換手段により直交変換された原画像の周
波数情報をそのまま復元し、高周波領域のエリアにおけ
る周波数データは前記解像度の高い複数のサンプルの画
像データから得られた予測ルールに基づいて予測を行な
うことを特徴とする請求項１１、１３または１５記載の
画像処理装置。19. The high frequency region predicting unit divides the frequency region obtained by the orthogonal transforming unit into several areas, and the low frequency region of the divided areas is divided by the orthogonal transforming unit. The frequency information of the original image subjected to the orthogonal transformation is restored as it is, and the frequency data in the high frequency area is predicted based on the prediction rule obtained from the image data of the plurality of samples with high resolution. The image processing device according to item 11, 13 or 15.
段は、矩形波を基底ベクトルとした直交変換および逆直
交変換を用いることを特徴とする請求項１１、１３また
は１５記載の画像処理装置。20. The image processing apparatus according to claim 11, 13 or 15, wherein said orthogonal transforming means and inverse orthogonal transforming means use orthogonal transform and inverse orthogonal transform using a rectangular wave as a base vector.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9571195A JPH08294001A (en) | 1995-04-20 | 1995-04-20 | Image processing method and image processing unit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9571195A JPH08294001A (en) | 1995-04-20 | 1995-04-20 | Image processing method and image processing unit |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08294001A true JPH08294001A (en) | 1996-11-05 |
Family
ID=14145084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9571195A Pending JPH08294001A (en) | 1995-04-20 | 1995-04-20 | Image processing method and image processing unit |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH08294001A (en) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000050058A (en) * | 1998-07-30 | 2000-02-18 | Ricoh Co Ltd | Resolution conversion method/device and storage medium |
| WO2000056060A1 (en) * | 1999-03-15 | 2000-09-21 | Matsushita Electric Industrial Co., Ltd. | Image processing device, image processing method, and recorded medium |
| US6473207B1 (en) | 1997-08-26 | 2002-10-29 | Nec Corporation | Image size transformation method for orthogonal transformation coded image |
| EP1560438A1 (en) * | 2004-01-27 | 2005-08-03 | Canon Kabushiki Kaisha | Resolution conversion method and device |
| JP2007503784A (en) * | 2003-05-20 | 2007-02-22 | アーエムテー アドバンスド マルチメディア テクノロジー アクティエボラーグ | Hybrid video compression method |
| US7203381B2 (en) | 2004-01-09 | 2007-04-10 | Matsushita Electric Industrial Co., Ltd. | Image processing method, image processing apparatus, and image processing program |
| JP2007174634A (en) * | 2005-11-28 | 2007-07-05 | Victor Co Of Japan Ltd | Layered coding and decoding methods, apparatuses, and programs |
| JP2008059551A (en) * | 2006-07-31 | 2008-03-13 | Fuji Xerox Co Ltd | Image processing system and image processing program |
| JP2008263288A (en) * | 2007-04-10 | 2008-10-30 | Fuji Xerox Co Ltd | Image processing system and program |
| JP2011019233A (en) * | 2010-07-23 | 2011-01-27 | Renesas Electronics Corp | Upsampling device and downsampling device |
| JP2011524714A (en) * | 2008-06-17 | 2011-09-01 | 株式会社エヌ・ティ・ティ・ドコモ | Image / video quality improvement and super-resolution using sparse transform |
| JP2013225308A (en) * | 2012-04-20 | 2013-10-31 | Canon Inc | Image resampling by frequency unwrapping |
| US8731062B2 (en) | 2008-02-05 | 2014-05-20 | Ntt Docomo, Inc. | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
| US8743963B2 (en) | 2007-08-13 | 2014-06-03 | Ntt Docomo, Inc. | Image/video quality enhancement and super-resolution using sparse transformations |
| JP2017078939A (en) * | 2015-10-20 | 2017-04-27 | 日本放送協会 | Band width synthesis device, band width division device, resolution conversion device, super-resolution device, and program |
| JP2021192111A (en) * | 2008-12-19 | 2021-12-16 | 株式会社半導体エネルギー研究所 | Method of driving liquid display device |
-
1995
- 1995-04-20 JP JP9571195A patent/JPH08294001A/en active Pending
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6473207B1 (en) | 1997-08-26 | 2002-10-29 | Nec Corporation | Image size transformation method for orthogonal transformation coded image |
| JP2000050058A (en) * | 1998-07-30 | 2000-02-18 | Ricoh Co Ltd | Resolution conversion method/device and storage medium |
| WO2000056060A1 (en) * | 1999-03-15 | 2000-09-21 | Matsushita Electric Industrial Co., Ltd. | Image processing device, image processing method, and recorded medium |
| JP2007503784A (en) * | 2003-05-20 | 2007-02-22 | アーエムテー アドバンスド マルチメディア テクノロジー アクティエボラーグ | Hybrid video compression method |
| US7203381B2 (en) | 2004-01-09 | 2007-04-10 | Matsushita Electric Industrial Co., Ltd. | Image processing method, image processing apparatus, and image processing program |
| US7536063B2 (en) | 2004-01-27 | 2009-05-19 | Canon Kabushiki Kaisha | Resolution conversion method and device |
| EP1560438A1 (en) * | 2004-01-27 | 2005-08-03 | Canon Kabushiki Kaisha | Resolution conversion method and device |
| US7853088B2 (en) | 2005-11-28 | 2010-12-14 | Victor Company Of Japan, Ltd. | Moving-picture layered coding and decoding methods, apparatuses, and programs |
| JP2007174634A (en) * | 2005-11-28 | 2007-07-05 | Victor Co Of Japan Ltd | Layered coding and decoding methods, apparatuses, and programs |
| JP2008059551A (en) * | 2006-07-31 | 2008-03-13 | Fuji Xerox Co Ltd | Image processing system and image processing program |
| JP2008263288A (en) * | 2007-04-10 | 2008-10-30 | Fuji Xerox Co Ltd | Image processing system and program |
| US8743963B2 (en) | 2007-08-13 | 2014-06-03 | Ntt Docomo, Inc. | Image/video quality enhancement and super-resolution using sparse transformations |
| US8731062B2 (en) | 2008-02-05 | 2014-05-20 | Ntt Docomo, Inc. | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
| JP2011524714A (en) * | 2008-06-17 | 2011-09-01 | 株式会社エヌ・ティ・ティ・ドコモ | Image / video quality improvement and super-resolution using sparse transform |
| JP2021192111A (en) * | 2008-12-19 | 2021-12-16 | 株式会社半導体エネルギー研究所 | Method of driving liquid display device |
| US11543700B2 (en) | 2008-12-19 | 2023-01-03 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving liquid crystal display device |
| US11899311B2 (en) | 2008-12-19 | 2024-02-13 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving liquid crystal display device |
| JP2011019233A (en) * | 2010-07-23 | 2011-01-27 | Renesas Electronics Corp | Upsampling device and downsampling device |
| JP2013225308A (en) * | 2012-04-20 | 2013-10-31 | Canon Inc | Image resampling by frequency unwrapping |
| JP2017078939A (en) * | 2015-10-20 | 2017-04-27 | 日本放送協会 | Band width synthesis device, band width division device, resolution conversion device, super-resolution device, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100349416B1 (en) | Method and apparatus for resizing images using the discrete cosine transform | |
| JP3882651B2 (en) | Image processing apparatus and program | |
| JP4465112B2 (en) | Upsampling algorithm based on DWT suitable for image display on LCD panel | |
| US8275218B2 (en) | Forward and backward image resizing method | |
| US7257271B2 (en) | Noise reduction in color digital images using pyramid decomposition | |
| JPH08294001A (en) | Image processing method and image processing unit | |
| JP2002269556A (en) | Method for removing noise from digital image based on multiresolution | |
| EP0874330A2 (en) | Area based interpolation for image enhancement | |
| US20040160439A1 (en) | Image processing apparatus and method, recording medium, and program thereof | |
| KR100311482B1 (en) | Method of filtering control of image bilinear interpolation | |
| JP2003348328A (en) | Nonlinear image processing method, apparatus and program using wavelet coefficient | |
| JPH07131634A (en) | Image processor | |
| JP2975691B2 (en) | System and method for image sample rate conversion using discrete cosine transform | |
| JP4019201B2 (en) | System and method for tone recovery using discrete cosine transform | |
| JP3302731B2 (en) | Image enlargement method | |
| JPH06309452A (en) | Resolution converting processor | |
| EP1164781A1 (en) | Image processing device, image processing method, and recorded medium | |
| JP3750164B2 (en) | Image processing method and image processing apparatus | |
| Savagave et al. | Study of image interpolation | |
| JP2009070407A (en) | Method and device for image processing, and recording medium | |
| JP2004240732A (en) | Image compositing method, image compositing device, image compositing program and image recording device | |
| JP2916607B2 (en) | Image magnifier | |
| KR101332030B1 (en) | Method of magnifying image and computer readable medium storing the program thereof | |
| JP4129097B2 (en) | Image processing apparatus and image processing method | |
| JP6661434B2 (en) | Image processing device |