JP4693649B2 - Image processing apparatus and image data interpolation method - Google Patents
Image processing apparatus and image data interpolation method Download PDFInfo
- Publication number
- JP4693649B2 JP4693649B2 JP2006041391A JP2006041391A JP4693649B2 JP 4693649 B2 JP4693649 B2 JP 4693649B2 JP 2006041391 A JP2006041391 A JP 2006041391A JP 2006041391 A JP2006041391 A JP 2006041391A JP 4693649 B2 JP4693649 B2 JP 4693649B2
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- calculation
- data
- image
- interpolation calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 139
- 238000004364 calculation method Methods 0.000 claims description 250
- 230000014509 gene expression Effects 0.000 claims description 37
- 230000008569 process Effects 0.000 description 35
- 238000006243 chemical reaction Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 18
- 230000009467 reduction Effects 0.000 description 5
- 230000008707 rearrangement Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
本発明は、画像の拡大、縮小等が行われる際の画像データの補間方法、および画像データの補間処理を行う画像処理装置に関する。 The present invention relates to an image data interpolation method when an image is enlarged or reduced, and an image processing apparatus for performing image data interpolation processing.
画像処理装置においては、外部から入力された画像データに基づく画像を拡大、縮小、回転、変形などして表示する際、当該画像データに幾何変換が施されている。このような場合に、画像データがベクトルデータであれば、各ベクトルデータについて座標の変換を行うだけでよい。一方、画像データがラスタデータであれば、幾何変換として以下の3つの処理が必要となる。第1に「座標変換処理」が必要となる。座標変換処理とは、所定の変換式に基づき、入力画像の(画像データの)座標を出力画像の座標に変換する処理のこと、あるいは、出力画像の座標を入力画像の座標に変換する処理のことである。第2に「画像再配列処理」が必要となる。画像再配列処理とは、座標変換処理後の出力画像の座標が格子状配列となるように入力画像の画像データの並び替えを行うことである。第3に「画像データ内挿処理」が必要である。画像データ内挿処理とは、座標変換処理によって得られる出力画像の画像データの座標は一般的に格子状には配列されないので、画像再配列処理に必要な座標の画像データを挿入する処理のことである。 In an image processing apparatus, when an image based on image data input from the outside is displayed after being enlarged, reduced, rotated, deformed, or the like, geometric conversion is performed on the image data. In such a case, if the image data is vector data, it is only necessary to perform coordinate conversion for each vector data. On the other hand, if the image data is raster data, the following three processes are required for geometric conversion. First, “coordinate conversion processing” is required. The coordinate conversion process is a process of converting the coordinates (of the image data) of the input image into the coordinates of the output image based on a predetermined conversion formula, or a process of converting the coordinates of the output image into the coordinates of the input image. That is. Second, “image rearrangement processing” is required. The image rearrangement process is to rearrange the image data of the input image so that the coordinates of the output image after the coordinate conversion process are in a grid arrangement. Third, “image data interpolation processing” is required. Image data interpolation processing is processing that inserts image data of coordinates necessary for image rearrangement processing because the coordinates of the image data of the output image obtained by coordinate conversion processing are generally not arranged in a grid pattern. It is.
近年、画像処理装置の多様化に伴い、画像の拡大表示あるいは縮小表示が多くの装置で行われている。例えば、デジタルスチルカメラにおいては、デジタルズーム機能により、デジタル信号処理によるカラー画像の拡大縮小が行われている。画像の拡大縮小に関しては、内挿する点(以下、「補間点」という。)の画素値(以下、「補間値」という。)をいかなる方法で算出するかが、画質や処理速度に大きな影響を与える。 In recent years, with the diversification of image processing apparatuses, image enlargement display or reduction display is performed in many apparatuses. For example, in a digital still camera, a color image is enlarged or reduced by digital signal processing by a digital zoom function. Regarding the enlargement / reduction of the image, the method of calculating the pixel value (hereinafter referred to as “interpolation value”) of the point to be interpolated (hereinafter referred to as “interpolation point”) has a great influence on the image quality and processing speed. give.
補間値を求める計算方法(以下、「補間値計算方法」という。)としては、従来より、ニアレストネイバー法(最近隣内挿法)、バイリニア法(共1次内挿法)、バイキュービック法(3次たたみ込み内挿法)などが知られている。ニアレストネイバー法およびバイリニア法については、演算処理が簡易であるため処理速度は速いが、画質の点ではバイキュービック法と比べると劣っている。一方、バイキュービック法については、補間の精度が高いので画質の点では優れているが、演算処理が複雑であるため処理に時間を要する。このため、装置に要求される仕様等に応じて、いずれかの補間値計算方法が採用されている。 Conventionally, the nearest neighbor method (nearest neighbor interpolation method), the bilinear method (bilinear interpolation method), and the bicubic method are used as calculation methods for obtaining the interpolation value (hereinafter referred to as “interpolation value calculation method”). (Cubic convolution interpolation method) is known. The nearest neighbor method and the bilinear method have a high processing speed because the arithmetic processing is simple, but they are inferior to the bicubic method in terms of image quality. On the other hand, the bicubic method is excellent in terms of image quality because of the high accuracy of interpolation, but requires a long time for processing because the calculation processing is complicated. For this reason, one of the interpolation value calculation methods is employed according to the specifications required for the apparatus.
ところで、近年、画像データの信号成分等の種類に応じて異なる補間値計算方法で画像データの補間値を算出する画像処理装置が提案されている。図14は、複数の補間値計算方法を用いた補間方法を実現する従来の画像処理装置の要部の構成を示すブロック図である。この画像処理装置においては、補間値の算出は補間演算部910で行われる。補間演算部910には、採用する補間値計算方法の数と等しい数の補間処理部が設けられている。図14に示す例では、第1の補間処理部911と第2の補間処理部912とが設けられており、それらの補間処理部で異なる補間値計算方法による補間値の算出が行われている。入力画像メモリ900には、信号成分等の種類毎に入力画像データが格納されている。入力画像データは、その信号成分等の種類に応じて、第1の補間処理部911もしくは第2の補間処理部912のいずれかに与えられる。第1の補間処理部911または第2の補間処理部912で補間値が算出されると、当該補間値は出力画像データとして種類毎に出力画像メモリ920に格納される。
Incidentally, in recent years, there has been proposed an image processing apparatus that calculates an interpolation value of image data by a different interpolation value calculation method depending on the type of signal component of the image data. FIG. 14 is a block diagram illustrating a configuration of a main part of a conventional image processing apparatus that realizes an interpolation method using a plurality of interpolation value calculation methods. In this image processing apparatus, the interpolation value is calculated by the
特開平9−298600号公報には、色信号の成分毎に補間処理部(画素密度変換部)を備え、色信号の成分に応じて異なる補間値計算方法で補間値の算出を行う画像処理装置が開示されている。図15は、この画像処理装置の構成を示すブロック図である。図15に示すように、信号処理部931は画像メモリ930から入力画像データを取り出し、それを輝度信号Yと色差信号U、Vとに分ける。輝度信号Yについては、第1画素密度変換部932でバイキュービック法による補間値の算出が行われる。一方、色差信号U、Vについては、第2画素密度変換部940でバイリニア法による補間値の算出が行われる。なお、輝度信号Yの補間値の算出がバイキュービック法で行われている理由は、一般的に人の目が色差信号よりも輝度信号に敏感であり、高い精度の補間が要求されるからである。
Japanese Patent Application Laid-Open No. 9-298600 discloses an image processing apparatus that includes an interpolation processing unit (pixel density conversion unit) for each color signal component and calculates an interpolation value by a different interpolation value calculation method depending on the color signal component. Is disclosed. FIG. 15 is a block diagram showing a configuration of the image processing apparatus. As shown in FIG. 15, the
特開2001−14454号公報には、複数の補間値計算方法による補間値の算出をソフトウェアで実現している画像処理装置が開示されている。図16は、この画像処理装置の構成を示すブロック図である。この画像処理装置は、輝度信号を処理するための輝度信号処理部970と色差信号を処理するための色差信号処理部980とを備えている。そして、補間値を算出する画像データの種類に応じて、プロセッサ954の使用するプログラムの切り替えが行われる。
ところが、従来の画像処理装置では、画像データを幾何変換するために複数の補間値計算方法を採用しようとすると、補間値計算方法毎に補間処理部が必要となる。その結果、回路規模が大きくなり消費電力も増大する。しかるに、近年においては、画像処理装置の小型化や消費電力の低減が要求されている。また、ソフトウェアによる処理では、処理速度の点で十分ではない。 However, in the conventional image processing apparatus, if a plurality of interpolation value calculation methods are to be employed for geometric conversion of image data, an interpolation processing unit is required for each interpolation value calculation method. As a result, the circuit scale increases and the power consumption increases. However, in recent years, downsizing of image processing apparatuses and reduction of power consumption are required. Also, the processing by software is not sufficient in terms of processing speed.
そこで、本発明は、回路規模を増大させることなく、良好な画質が得られる補間方法を実現する画像処理装置を提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an image processing apparatus that realizes an interpolation method capable of obtaining good image quality without increasing the circuit scale.
第1の発明は、所定の補間演算式に基づいて画像データの補間演算を行う画像処理装置であって、
前記補間演算の対象となっている画像データの種類に応じて、前記補間演算式に代入すべき補間演算用入力データを生成する補間演算用入力データ生成部と、
前記画像データの種類に応じて所定の補間係数演算式に基づいて算出される補間係数と前記補間演算用入力データとを前記補間演算式に代入することにより前記補間演算を行う補間演算部と
を備え、
前記画像データには第1の画像成分と第2の画像成分とが含まれ、
前記補間演算用入力データ生成部は、
前記補間演算の対象となっている画像データが前記第1の画像成分である場合には、前記補間演算によって値が求められるべき補間点の周囲16点のデータであって3次たたみ込み内挿法による補間演算に必要な16点のデータを前記補間演算用入力データとして生成し、
前記補間演算の対象となっている画像データが前記第2の画像成分である場合には、前記補間点の周囲4点のデータであって共1次内挿法による補間演算に必要な4点のデータと、前記補間点の周囲16点のデータのうち前記補間点の周囲4点以外のデータを零値としたデータとを前記補間演算用入力データとして生成し、
前記補間演算部は、前記補間演算の対象となっている画像データが前記第1の画像成分もしくは前記第2の画像成分のいずれの場合にも、前記所定の補間演算式として前記3次たたみ込み内挿法による補間演算式に基づいて前記補間演算を行うことを特徴とする。
A first invention is an image processing apparatus that performs an interpolation calculation of image data based on a predetermined interpolation calculation expression,
According to the type of image data that is the subject of the interpolation calculation, an interpolation calculation input data generation unit that generates interpolation calculation input data to be substituted into the interpolation calculation formula;
An interpolation calculation unit that performs the interpolation calculation by substituting the interpolation coefficient calculated based on a predetermined interpolation coefficient calculation expression according to the type of the image data and the input data for interpolation calculation into the interpolation calculation expression; Prepared ,
The image data includes a first image component and a second image component,
The interpolation calculation input data generation unit includes:
When the image data to be subjected to the interpolation calculation is the first image component, the data is 16 points around the interpolation point whose value is to be obtained by the interpolation calculation, and is a third-order convolution interpolation. 16 points of data necessary for the interpolation calculation by the method are generated as the input data for the interpolation calculation,
When the image data to be subjected to the interpolation calculation is the second image component, four points around the interpolation point and four points necessary for the interpolation calculation by the bilinear interpolation method And data having data other than the four points surrounding the interpolation point out of the 16 points surrounding the interpolation point as zero value are generated as the input data for the interpolation calculation,
The interpolation calculation unit is configured to perform the cubic convolution as the predetermined interpolation calculation formula when the image data to be subjected to the interpolation calculation is either the first image component or the second image component. The interpolation calculation is performed based on an interpolation calculation expression based on an interpolation method .
第2の発明は、第1の発明において、
前記画像データの種類に応じた補間係数を予め保持し、前記補間演算の対象となっている画像データの種類に応じて前記予め保持された補間係数を前記補間演算部に与える補間係数保持部を更に備えていることを特徴とする。
According to a second invention, in the first invention,
An interpolation coefficient holding unit that holds an interpolation coefficient corresponding to the type of the image data in advance, and applies the interpolation coefficient held in advance to the interpolation calculation unit according to the type of the image data that is an object of the interpolation calculation; Furthermore, it is characterized by providing.
第3の発明は、第1の発明において、
前記画像データは前記第1の画像成分としての輝度成分と前記第2の画像成分としての色差成分とからなるYUVフォーマットのデータであることを特徴とする。
According to a third invention, in the first invention,
The image data is YUV format data including a luminance component as the first image component and a color difference component as the second image component.
第4の発明は、第1の発明において、According to a fourth invention, in the first invention,
前記補間演算部は、同じ構成の4つの演算ユニットを含み、The interpolation calculation unit includes four calculation units having the same configuration,
各演算ユニットは、前記補間係数としての5つのデータと前記補間演算用入力データとしての4つのデータとに基づいて、補間値を算出するための中間値を下記の式によって求めることを特徴とする。Each arithmetic unit obtains an intermediate value for calculating an interpolation value based on five data as the interpolation coefficient and four data as the input data for interpolation calculation by the following formula: .
P=(P1・f(x1)+P2・f(x2)+P3・f(x3)+P4・f(x4))・f(y)P = (P1 · f (x1) + P2 · f (x2) + P3 · f (x3) + P4 · f (x4)) · f (y)
ここで、Pは前記中間値、f(x1),f(x2),f(x3),f(x4),およびf(y)は前記補間係数としての5つのデータ、P1,P2,P3,およびP4は前記補間演算用入力データとしての4つのデータである。Here, P is the intermediate value, f (x1), f (x2), f (x3), f (x4), and f (y) are five data as the interpolation coefficients, P1, P2, P3, And P4 are four data as the input data for the interpolation calculation.
第5の発明は、第4の発明において、A fifth invention is the fourth invention,
各演算ユニットは、前記中間値を求めるための乗算処理を行う5つの乗算器と前記中間値を求めるための加算処理を行う3つの加算器とからなることを特徴とする。Each arithmetic unit includes five multipliers that perform a multiplication process for obtaining the intermediate value and three adders that perform an addition process for obtaining the intermediate value.
第6の発明は、所定の補間演算式に基づいて補間演算を行う画像データの補間方法であって、
前記補間演算の対象となっている画像データの種類に応じて、前記補間演算式に代入すべき補間演算用入力データを生成する補間演算用入力データ生成ステップと、
前記補間演算の対象となっている画像データの種類に応じて、前記補間演算式に代入すべき補間係数を算出する補間係数算出ステップと、
前記補間演算用入力データと前記補間係数とを前記補間演算式に代入することにより前記補間演算を行う補間演算ステップと
を備え、
前記画像データには第1の画像成分と第2の画像成分とが含まれ、
前記補間演算用入力データ生成ステップでは、
前記補間演算の対象となっている画像データが前記第1の画像成分である場合には、前記補間演算によって値が求められるべき補間点の周囲16点のデータであって3次たたみ込み内挿法による補間演算に必要な16点のデータが前記補間演算用入力データとして生成され、
前記補間演算の対象となっている入力画像データが前記第2の画像成分である場合には、前記補間点の周囲4点のデータであって共1次内挿法による補間演算に必要な4点のデータと、前記補間点の周囲16点のデータのうち前記補間点の周囲4点以外のデータを零値としたデータとが前記補間演算用入力データとして生成され、
前記補間演算ステップでは、前記補間演算の対象となっている画像データが前記第1の画像成分もしくは前記第2の画像成分のいずれの場合にも、前記所定の補間演算式として前記3次たたみ込み内挿法による補間演算式に基づいて前記補間演算が行われることを特徴とする。
A sixth invention is an image data interpolation method for performing an interpolation calculation based on a predetermined interpolation calculation expression,
Interpolation calculation input data generation step for generating interpolation calculation input data to be substituted into the interpolation calculation formula according to the type of image data to be subjected to the interpolation calculation;
An interpolation coefficient calculation step for calculating an interpolation coefficient to be substituted into the interpolation calculation formula according to the type of image data to be subjected to the interpolation calculation;
An interpolation calculation step for performing the interpolation calculation by substituting the interpolation calculation input data and the interpolation coefficient into the interpolation calculation formula ,
The image data includes a first image component and a second image component,
In the interpolation calculation input data generation step,
When the image data to be subjected to the interpolation calculation is the first image component, the data is 16 points around the interpolation point whose value is to be obtained by the interpolation calculation, and is a third-order convolution interpolation. 16 points of data necessary for the interpolation calculation by the method are generated as the input data for the interpolation calculation,
When the input image data to be subjected to the interpolation calculation is the second image component, it is data of four points around the interpolation point and is necessary for the interpolation calculation by the bilinear interpolation method. Point data and data in which data other than the four points around the interpolation point out of the 16 points around the interpolation point are generated as the input data for the interpolation calculation,
In the interpolation calculation step, the cubic convolution is used as the predetermined interpolation calculation formula regardless of whether the image data to be subjected to the interpolation calculation is the first image component or the second image component. The interpolation calculation is performed based on an interpolation calculation expression based on an interpolation method .
第7の発明は、第6の発明において、
前記補間係数算出ステップに代えて、予め保持された補間係数を前記補間演算の対象となっている画像データの種類に応じて取得する補間係数取得ステップを備えていることを特徴とする。
A seventh invention is the sixth invention, wherein
Instead of the interpolation coefficient calculation step, an interpolation coefficient acquisition step of acquiring a previously held interpolation coefficient according to the type of image data to be subjected to the interpolation calculation is provided.
第8の発明は、第6の発明において、
前記画像データは前記第1の画像成分としての輝度成分と前記第2の画像成分としての色差成分とからなるYUVフォーマットのデータであることを特徴とする。
In an eighth aspect based on the sixth aspect,
The image data is YUV format data including a luminance component as the first image component and a color difference component as the second image component.
第9の発明は、第6の発明において、According to a ninth invention, in the sixth invention,
前記補間演算ステップは、同様の演算を行う4つの演算ステップを含み、The interpolation calculation step includes four calculation steps for performing the same calculation,
各演算ステップでは、前記補間係数としての5つのデータと前記補間演算用入力データとしての4つのデータとに基づいて、補間値を算出するための中間値が下記の式によって求められることを特徴とする。In each calculation step, an intermediate value for calculating an interpolation value is obtained by the following equation based on the five data as the interpolation coefficient and the four data as the input data for interpolation calculation. To do.
P=(P1・f(x1)+P2・f(x2)+P3・f(x3)+P4・f(x4))・f(y)P = (P1 · f (x1) + P2 · f (x2) + P3 · f (x3) + P4 · f (x4)) · f (y)
ここで、Pは前記中間値、f(x1),f(x2),f(x3),f(x4),およびf(y)は前記補間係数としての5つのデータ、P1,P2,P3,およびP4は前記補間演算用入力データとしての4つのデータである。Here, P is the intermediate value, f (x1), f (x2), f (x3), f (x4), and f (y) are five data as the interpolation coefficients, P1, P2, P3, And P4 are four data as the input data for the interpolation calculation.
第10の発明は、第9の発明において、A tenth invention is the ninth invention,
各演算ステップは、前記中間値を求めるための乗算処理を行う5つの乗算ステップと前記中間値を求めるための加算処理を行う3つの加算ステップとからなることを特徴とする。Each calculation step includes five multiplication steps for performing multiplication processing for obtaining the intermediate value and three addition steps for performing addition processing for obtaining the intermediate value.
上記第1の発明によれば、補間演算部では、補間演算の対象となっている画像データの種類に応じた補間演算用入力データと補間係数とが所定の補間演算式に代入されることによって補間計算が行われる。このため、1つの補間演算部によって、画像データの種類に応じた補間値の算出が行われる。これにより、回路規模の増大や消費電力の増大を伴うことなく、画像データの種類毎に好適な補間処理が行われる。
また、補間演算の対象が第1の画像成分である場合には、3次たたみ込み内挿法による補間演算に必要な16点のデータが補間演算用入力データとして生成され、補間演算の対象が第2の画像成分である場合には、共1次内挿法による補間演算に必要な4点のデータとその周囲12点を零値としたデータとが補間演算用入力データとして生成される。一方、補間演算部では、補間演算の対象が前記第1の画像成分もしくは前記第2の画像成分のいずれの場合にも、3次たたみ込み内挿法による補間演算式に基づいて補間演算が行われる。これにより、1つの補間演算部によって、画質を優先した補間演算と処理速度を優先した補間演算とを画像データの種類に応じて切り替えて実行することができる。
According to the first aspect, the interpolation calculation unit substitutes the interpolation calculation input data and the interpolation coefficient corresponding to the type of image data to be subjected to the interpolation calculation into the predetermined interpolation calculation formula. Interpolation calculation is performed. For this reason, the interpolation value corresponding to the type of the image data is calculated by one interpolation calculation unit. Thus, suitable interpolation processing is performed for each type of image data without increasing the circuit scale and power consumption.
When the object of the interpolation calculation is the first image component, 16 points of data necessary for the interpolation calculation by the third-order convolution interpolation method are generated as the input data for the interpolation calculation, and the object of the interpolation calculation is In the case of the second image component, four points of data necessary for the interpolation calculation by bilinear interpolation and data having 12 points around it as zero values are generated as input data for interpolation calculation. On the other hand, the interpolation calculation unit performs the interpolation calculation based on the interpolation calculation formula based on the third-order convolution interpolation method when the interpolation calculation target is either the first image component or the second image component. Is called. As a result, it is possible to switch between the interpolation calculation giving priority to the image quality and the interpolation calculation giving priority to the processing speed according to the type of image data by one interpolation calculation unit.
上記第2の発明によれば、画像データの種類に応じた補間係数が予め補間係数保持部に保持され、補間演算の対象となる画像データの種類に応じて補間演算部に補間係数が与えられる。このため、補間演算の実行の際には補間係数の算出は不要となり、処理時間が短縮する。 According to the second aspect, the interpolation coefficient corresponding to the type of image data is held in the interpolation coefficient holding unit in advance, and the interpolation coefficient is given to the interpolation calculation unit according to the type of image data to be subjected to the interpolation calculation. . For this reason, it is not necessary to calculate the interpolation coefficient when executing the interpolation calculation, and the processing time is shortened.
上記第3の発明によれば、輝度成分についての補間演算が行われる際には3次たたみ込み内挿法による補間処理に必要なデータが入力データとなり、色差成分についての補間演算が行われる際には共1次内挿法による補間処理に必要なデータが補間演算の入力データとなる。このため、輝度成分については画質を低下させることなく補間処理が行われ、色差成分については処理速度を低下させることなく補間処理が行われる。 According to the third aspect , when the interpolation calculation for the luminance component is performed, the data necessary for the interpolation processing by the third-order convolution interpolation method becomes the input data, and the interpolation calculation for the color difference component is performed. The data necessary for the interpolation processing by the bilinear interpolation is input data for the interpolation calculation. For this reason, the interpolation processing is performed for the luminance component without reducing the image quality, and the interpolation processing is performed for the color difference component without reducing the processing speed.
<1.検討>
本発明の実施形態について説明する前に、画像データの補間値計算方法について説明する。ここでは、従来から一般的に知られているバイキュービック法、バイリニア法、およびニアレストネイバー法について説明する。なお、以下の説明においては、図1に示すように、入力画像の補間点の座標を(u,v)とする。また、図1において、入力画像の画像データとして画素値を持つ点(観測点)を参照符号2で示している。また、補間点の周囲4個の観測点を頂点とする方形状の領域を「第1の画素ブロック101」といい、補間点の周囲16個の観測点を頂点とする方形状の領域を「第2の画素ブロック102」という。
<1. Review>
Before describing the embodiment of the present invention, a method for calculating an interpolation value of image data will be described. Here, the bicubic method, the bilinear method, and the nearest neighbor method that are generally known in the past will be described. In the following description, as shown in FIG. 1, the coordinates of the interpolation point of the input image are (u, v). In FIG. 1, a point (observation point) having a pixel value as image data of the input image is indicated by reference numeral 2. Further, a square area having four observation points around the interpolation point as vertices is referred to as a “
<1.1 バイキュービック法>
まず、バイキュービック法による補間値計算方法について、図2を参照しつつ説明する。図2は、第2の画素ブロック102内の観測点を示す図である。バイキュービック法においては、第2の画素ブロック102内の16個の観測点の画素値をP11〜P44とする。
<1.1 Bicubic method>
First, an interpolation value calculation method by the bicubic method will be described with reference to FIG. FIG. 2 is a diagram illustrating observation points in the
補間値Pは、16個の画素値P11〜P44と、式(1)、式(2−1)〜(2−8)、および式(3−1)〜(3−3)とによって算出される。
<1.2 バイリニア法>
次に、バイリニア法による補間値計算方法について、図3を参照しつつ説明する。図3は、第1の画素ブロック101内の観測点を示す図である。バイリニア法においては、第1の画素ブロック101内の4個の観測点の画素値をPi j〜Pi+1 j+1とする。
<1.2 Bilinear method>
Next, an interpolation value calculation method using the bilinear method will be described with reference to FIG. FIG. 3 is a diagram illustrating observation points in the
補間値Pは、4個の画素値Pi j〜Pi+1 j+1と、式(5−1)、式(5−2)、式(6−1)〜(6−4)、および式(7)とによって算出される。
<1.3 ニアレストネイバー法>
次に、ニアレストネイバー法による補間値計算方法について、図4を参照しつつ説明する。図4に示すように、ニアレストネイバー法による補間値計算方法では、補間点に最も近い観測点の画素値が補間値Pとされる。すなわち、補間値Pは、式(9)、式(10−1)、および式(10−2)により算出される。
Next, an interpolation value calculation method by the nearest neighbor method will be described with reference to FIG. As shown in FIG. 4, in the interpolation value calculation method using the nearest neighbor method, the pixel value at the observation point closest to the interpolation point is set as the interpolation value P. That is, the interpolation value P is calculated by Expression (9), Expression (10-1), and Expression (10-2).
<1.4 演算量の比較>
ここで、バイキュービック法による補間値計算の演算量とバイリニア法による補間値計算の演算量との違いについて説明する。式(1)で表されるバイキュービック法の補間値計算式については、式(11−1)〜(11−4)、および式(12)に変形することができる。式(11−1)〜(11−4)の重み係数f(t)については式(3−1)〜(3−3)によって算出されている。P1〜P4は、それぞれ4個の観測点における値(画素値に重み係数をかけた値)の和であり、補間値Pの計算過程において算出される値である。補間値Pは、これらP1〜P4を用いて、式(12)によって算出される。
Here, the difference between the calculation amount of the interpolation value calculation by the bicubic method and the calculation amount of the interpolation value calculation by the bilinear method will be described. The bicubic method interpolation value calculation expression represented by Expression (1) can be modified into Expressions (11-1) to (11-4) and Expression (12). The weighting factors f (t) in the equations (11-1) to (11-4) are calculated by the equations (3-1) to (3-3). P1 to P4 are sums of values at four observation points (values obtained by multiplying pixel values by weighting factors), and are values calculated in the process of calculating the interpolation value P. The interpolation value P is calculated by the equation (12) using these P1 to P4.
以上のように、バイキュービック法による補間値計算における重み係数については、第2の画素ブロック102内の16個の観測点について、式(3−1)〜(3−3)によって算出される。一方、バイリニア法による補間値計算における重み係数については、第1の画素ブロック101内の4個の観測点のみについて、式(6−1)〜(6−4)により算出される。これにより、重み係数の算出のための演算量については、バイキュービック法の方がバイリニア法よりも多いことが認識される。また、重み係数がデータテーブル化されている場合であっても、補間値Pを算出するための演算量については、バイキュービック法の演算量はバイリニア法の演算量の4倍であることが認識される。
As described above, the weighting coefficient in the interpolation value calculation by the bicubic method is calculated for the 16 observation points in the
このように、バイキュービック法の演算量はバイリニア法の演算量よりも多い。従って、補間値の算出に要する処理時間については、バイリニア法の方がバイキュービック法よりも短くなる。 Thus, the amount of calculation of the bicubic method is larger than the amount of calculation of the bilinear method. Therefore, the processing time required to calculate the interpolation value is shorter in the bilinear method than in the bicubic method.
<1.5 本発明における補間方法>
本発明においては、式(7)で表されるバイリニア法の補間値計算式と式(11−1)〜(11−4)で表されるバイキュービック法の(変形後の)補間値計算式との相似性に着目し、以下のようにして、従来バイリニア法による補間値の算出が行われていた画像データについても、処理を複雑化することなくバイキュービック法の補間値計算式により補間値の算出が行われる。なお、以下の説明においては、図5に示すように、第2の画素ブロック102内の16個の観測点の画素値をP11〜P44とし、そのうち第1の画素ブロック101内の4個の観測点の画素値をP22、P32、P23、およびP33とする。
<1.5 Interpolation Method in the Present Invention>
In the present invention, the interpolation value calculation formula of the bilinear method represented by Expression (7) and the interpolation value calculation expression (after deformation) of the bicubic method represented by Expressions (11-1) to (11-4) As for the image data that had previously been calculated by the bilinear method as described below, the interpolation value can be calculated by the bicubic interpolation value calculation formula without complicating the processing. Is calculated. In the following description, as shown in FIG. 5, the pixel values at 16 observation points in the
従来バイリニア法による補間値の算出が行われていた画像データについての本発明における補間値の算出について説明する。補間値の算出に際して、第1の画素ブロック101内の4個の観測点の画像データについては、画素値を式(1)に代入する。一方、第2の画素ブロック内の観測点のうち第1の画素ブロック101内の観測点を除く12個の画像データについては、零値を式(1)に代入する。すなわち、式(1)に代入する各観測点の画素値を模式的に表すと図6に示すような値となる。ここで、重み係数については、バイリニア法の式である式(6−1)〜(6−4)によって算出する。
The calculation of the interpolation value in the present invention for the image data for which the interpolation value is conventionally calculated by the bilinear method will be described. When calculating the interpolation value, for the image data of the four observation points in the
以上のようにして、補間値Pの計算を行うと、式(13)、式(14−1)〜(14−4)、および式(15)が導き出される。ここで、式(14−3)と式(14−4)とを合わせたものは、第1の画素ブロック101内の4個の観測点の画素値にそれぞれ重み係数をかけた値の和を示している。従って、式(14−3)と式(14−4)とを合わせたものは、式(7)と同じ内容を示している。これにより、式(7)で算出される画素値Pと式(15)で算出される画素値Pとは同じ値となる。このようにして、従来バイリニア法による補間値の算出が行われていた画像データについても、処理を複雑化することなく、バイキュービック法による補間値計算式によって補間値の算出を行うことができる。
上述した補間方法は、例えば画像処理装置に適用することができる。図7は、上述の補間方法が適用された画像処理装置の要部の構成を示すブロック図である。図14に示した従来の画像処理装置の構成においては、それぞれ異なる補間値計算方法による補間値の算出を行う第1の補間処理部911と第2の補間処理部912とが設けられていた。一方、本発明の構成においては、補間処理部812は1個だけ設けられている。この補間処理部812においては、バイキュービック法の補間値計算式によって補間値の算出が行われる。すなわち、従来バイリニア法による補間値の算出が行われていた画像データについても従来バイキュービック法による補間値の算出が行われていた画像データについても、バイキュービック法による補間値計算式によって補間値が算出される。
The interpolation method described above can be applied to, for example, an image processing apparatus. FIG. 7 is a block diagram illustrating a configuration of a main part of an image processing apparatus to which the above-described interpolation method is applied. In the configuration of the conventional image processing apparatus shown in FIG. 14, a first
以下、本発明の一実施形態について添付図面を参照しつつ説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings.
<2.画像処理装置の全体構成および動作>
図8は、本発明の一実施形態に係る画像処理装置の全体構成を示すブロック図である。この画像処理装置は、サイズ変換処理部100と入力装置200と画像メモリ300と出力装置400と制御プロセッサ500とを備えている。サイズ変換処理部100は、制御部10と画像入力部20と入力データ制御部30と補間処理部40と係数部50と出力データ制御部60と画像出力部70とを有している。制御部10には、制御レジスタ11が含まれている。画像入力部20には、入力バッファ21が含まれている。画像出力部70には、出力バッファ71が含まれている。なお、本実施形態においては、画像入力部20と入力データ制御部30とによって補間演算用入力データ生成部が実現され、補間処理部40によって補間演算部が実現され、係数部50によって補間係数保持部が実現されている。
<2. Overall Configuration and Operation of Image Processing Apparatus>
FIG. 8 is a block diagram showing the overall configuration of the image processing apparatus according to an embodiment of the present invention. The image processing apparatus includes a size conversion processing unit 100, an
この画像処理装置においては、画像データのフォーマットにはYUV方式が採用されている。画像データのうち輝度成分Yについては、補間点の周囲16点分の画像データより補間値が算出される。一方、画像データのうち色差成分Cb、Crについては、補間点の周囲4点分の画像データより補間値が算出される。 In this image processing apparatus, the YUV method is adopted as the format of image data. For the luminance component Y in the image data, an interpolation value is calculated from image data for 16 points around the interpolation point. On the other hand, for the color difference components Cb and Cr in the image data, an interpolation value is calculated from the image data for four points around the interpolation point.
制御プロセッサ500は、この画像処理装置の全体を制御する。制御部10は、制御プロセッサ500から与えられる指示信号に基づいて、画像入力部20と入力データ制御部30と補間処理部40と係数部50と出力データ制御部60と画像出力部70とを制御するために、画像入力部制御信号S1と入力データ制御部制御信号S2と補間処理部制御信号S3と係数部制御信号S4と出力データ制御部制御信号S5と画像出力部制御信号S6とを出力する。制御レジスタ11には、後述する補間処理のための各種パラメータが格納される。
A
入力装置200は、YUVフォーマットの画像データ(入力画像データ)Diを出力する。すなわち、入力装置200は、入力画像データDiとして、輝度信号Yおよび色差信号Cb、Crを出力する。画像メモリ300は、入力装置200から出力される入力画像データDiと画像出力部70から出力される出力画像データDoとを保持する。画像入力部20は、制御部10から与えられる画像入力部制御信号S1に基づいて、補間値Pを算出するための入力画像データDi(Y、Cb、Cr)を画像メモリ300から取得し、それらを入力バッファ21に格納する。そして、画像入力部20は、入力画像データDi(Y、Cb、Cr)を入力データ制御部30に供給する。
The
入力データ制御部30は、制御部10から与えられる入力データ制御部制御信号S2に基づいて、画像入力部20から供給される入力画像データDi(Y、Cb、Cr)を受け取り、補間処理部40に供給するためのデータ(以下、「補間演算用入力データ」という。)Dhを生成する。補間演算用入力データDhは、入力データ制御部30から補間処理部40に供給される。係数部50は、バイキュービック法の補間値計算式に基づく計算に必要な補間係数(以下、「バイキュービック法補間係数」という。)とバイリニア法の補間値計算式に基づく計算に必要な補間係数(以下、「バイリニア法補間係数」という。)とを予めデータテーブルとして保持し、制御部10から与えられる係数部制御信号S4に基づいて、補間処理部40に補間係数Hkを供給する。なお、バイキュービック法補間係数は式(3−1)〜(3−3)によって算出され、バイリニア法補間係数は式(6−1)〜(6−4)によって算出されている。
The input
補間処理部40は、制御部10から与えられる補間処理部制御信号S3に基づいて、入力データ制御部30から供給される補間演算用入力データDhと係数部50から供給される補間係数Hkとを受け取り、補間値Pの算出を行う。補間処理部40は、その算出された補間値Pを出力データP1〜P4として出力データ制御部40に供給する。
The
出力データ制御部60は、制御部10から与えられる出力データ制御部制御信号S5に基づいて、補間処理部40から供給される出力データP1〜P4を受け取り、補間値Pとしての出力画像データDoを生成する。出力データ制御部60は、その出力画像データDoを画像出力部70に供給する。画像出力部70は、出力データ制御部60から供給される出力画像データDoを受け取り、制御部10から与えられる出力データ制御部制御信号S6に基づいて当該出力画像データDoを出力バッファ71に格納する。そして、画像出力部70は、出力バッファ71に格納した出力画像データDoをブロック単位で画像メモリ300に転送する。
The output
出力装置400は、画像メモリ300から出力画像データDoを取り出し、それを外部に出力(表示等)する。
The
<3.補間処理部の構成>
図9は、補間処理部40の構成を示すブロック図である。図9に示すように、補間処理部40には、第1〜第4の演算ユニット41〜44が含まれている。第1の演算ユニット41では、式(11−1)の「P1」の値が算出される。第2の演算ユニット42では、式(11−2)の「P2」の値が算出される。第3の演算ユニット43では、式(11−3)の「P3」の値が算出される。第4の演算ユニット44では、式(11−4)の「P4」の値が算出される。このように、第1〜第4の演算ユニット41〜44では、バイキュービック法の補間値計算式を用いて、補間値Pを算出するための値(中間結果)P1〜P4が算出される。
<3. Configuration of Interpolation Processing Unit>
FIG. 9 is a block diagram illustrating a configuration of the
図10は、第1〜第4の演算ユニット41〜44に入力されるデータと第1〜第4の演算ユニット41〜44から出力されるデータについて説明するための図である。式(11−1)〜(11−4)は、それぞれ式(16−1)〜(16−4)に変形することができる。これら式(16−1)〜(16−4)の右辺に相当するデータが第1〜第4の演算ユニット41〜44に入力される。そして、式(16−1)〜(16−4)の左辺に相当するデータが第1〜第4の演算ユニット41〜44から出力される。例えば、図10に示すように、第1の演算ユニット41には、式(16−1)の右辺に相当するデータが入力されている。また、第1の演算ユニット41からは、式(16−1)の左辺に相当するデータが出力されている。
図11は、第1の演算ユニット41の構成を示す回路図である。図11に示すように、第1の演算ユニット41には、5個の乗算器411〜414、418と3個の加算器415〜417とが含まれている。それらの乗算器および加算器が図11に示すように構成されることにより、式(16−1)の演算処理が施される。なお、第2〜第4の演算ユニット42〜44の構成については、第1の演算ユニット41の構成と同様である。
FIG. 11 is a circuit diagram showing a configuration of the first
<4.サイズ変換処理>
次に、本実施形態における画像サイズの変換処理(以下、「サイズ変換処理」という。)の手順について説明する。図12は、サイズ変換処理の手順を示すフローチャートである。サイズ変換処理が開始すると、制御プロセッサ500は、制御部10内の制御レジスタ11に、輝度成分Yもしくは色差成分Cb、Crのいずれの処理を行うのかを示す処理成分指定情報と、入力画像サイズと、拡大縮小倍率とをパラメータとして設定する(ステップS100)。ここで、入力画像サイズおよび拡大縮小倍率については、例えば外部から入力インタフェース(不図示)を介して制御プロセッサ500に与えられる。サイズ変換処理に必要な全てのパラメータが制御レジスタ11に設定されると、ステップS110に進む。
<4. Size conversion processing>
Next, the procedure of image size conversion processing (hereinafter referred to as “size conversion processing”) in the present embodiment will be described. FIG. 12 is a flowchart showing the procedure of the size conversion process. When the size conversion processing starts, the
ステップS110では、制御部10が、制御レジスタ11に設定されたパラメータに基づいて、出力画像のサイズや出力画像データの座標の計算を行う。これらの計算結果については制御レジスタ11に格納される。計算結果が制御レジスタ11に格納されると、制御部10は、画像入力部制御信号S1を画像入力部20に与え、入力データ制御部制御信号S2を入力データ制御部30に与え、補間処理部制御信号S3を補間処理部40に与え、係数部制御信号S4を係数部50に与え、出力データ制御部制御信号S5を出力データ制御部60に与え、画像出力部制御信号S6を画像出力部70に与える。その後、ステップS120に進む。
In step S110, the
ステップS120では、画像入力部20が、制御部10から与えられた画像入力部制御信号S1に基づいて、補間値の算出に必要な入力画像データDiを画像メモリ200から取得する。その際、画像入力部20は制御レジスタ11に設定されているパラメータを参照する。具体的には、処理成分指定情報が参照され、輝度成分Yもしくは色差成分Cb、Crのいずれが処理対象であるのかが判定される。その結果、処理対象の画像データが輝度成分Yである場合には、第2の画素ブロック102内の観測点における画素値が入力画像データDiとして画像メモリ200から取得される。一方、処理対象の画像データが色差成分Cb、Crである場合には、第1の画素ブロック101内の観測点における画素値が入力画像データDiとして画像メモリ200から取得される。すなわち、処理対象が輝度成分Yである場合には、補間点の周囲16点分の入力画像データDiが画像メモリ200から取得され、処理対象が色差成分Cb、Crである場合には、補間点の周囲4点分の入力画像データDiが画像メモリ200から取得される。画像メモリ200から取得された入力画像データDiは、画像入力部20の入力バッファ21に格納される。
In step S <b> 120, the
画像入力部20は、処理対象が輝度成分Yである場合には、16点分の入力画像データDiを入力データ制御部30に供給する。一方、処理対象が色差成分Cb、Crである場合には、画像入力部20は、4点分の入力画像データと第2の画素ブロック内の観測点のうち第1の画素ブロック101内の観測点を除く12点についての画素値を零値とした入力画像データとを入力データ制御部30に供給する。このように、画像入力部20から入力データ制御部30に供給される入力画像データDiの内容は、画像データの処理対象に応じて異なっている。画像入力部20によって入力データ制御部30に入力画像データDiが供給されると、ステップS130に進む。
When the processing target is the luminance component Y, the
ステップS130では、補間値Pの算出(補間計算処理)が行われる。具体的には、入力データ制御部30は、制御部10から与えられる入力データ制御部制御信号S2に基づいて、画像入力部20から供給される入力画像データDiを受け取り、補間演算用入力データDhを生成する。入力データ制御部30は、その補間演算用入力データDhを補間処理部40に供給する。係数部50は、制御部10から与えられる係数部制御信号S4に基づいて、補間値Pの算出のための補間係数Hkを補間処理部40に供給する。ここで、処理対象が輝度成分Yである場合にはバイキュービック法補間係数が補間処理部40に供給され、処理対象が輝度成分Cb、Crである場合にはバイリニア法補間係数が補間処理部40に供給される。補間処理部40は、入力データ制御部30から供給される補間演算用入力データと係数部50から供給される補間係数Hkとに基づいて、補間値Pを算出するための演算処理を行う。演算処理によって得られた結果は、出力データP1〜P4として補間処理部40から出力データ制御部60に供給される。出力データ制御部60は、補間処理部40から供給される出力データP1〜P4に基づいて、出力画像データDo(補間値P)を生成する。出力データ制御部60は、その出力画像データDoを画像出力部70に供給する。以下、このステップS130の詳細な処理手順について説明する。
In step S130, the interpolation value P is calculated (interpolation calculation process). Specifically, the input
図13は、補間計算処理の詳細な手順を示すフローチャートである。補間計算処理が開始すると、まず、処理対象の画像データが輝度成分Yであるか否かの判定が行われる(ステップS200)。その結果、処理対象が輝度成分Yである旨の判定がなされると、ステップS210に進む。一方、処理対象が輝度成分Yではない旨の判定すなわち処理対象が色差成分Cb、Crである旨の判定がなされると、ステップS220に進む。なお、この判定は、制御レジスタ11にパラメータとして保持されている処理成分指定情報に基づいて行われる。
FIG. 13 is a flowchart showing a detailed procedure of the interpolation calculation process. When the interpolation calculation process is started, it is first determined whether or not the image data to be processed is the luminance component Y (step S200). As a result, when it is determined that the processing target is the luminance component Y, the process proceeds to step S210. On the other hand, when it is determined that the processing target is not the luminance component Y, that is, the processing target is the color difference components Cb and Cr, the process proceeds to step S220. This determination is made based on the processing component designation information held as a parameter in the
ステップS210では、輝度成分Yについての補間値Pの算出が行われる。入力データ制御部30は、画像入力部20から供給される入力画像データDiを補間演算用入力データDhとして補間処理部40に供給する。ここで、入力データ制御部30には、画像入力部20から第2の画素ブロック102内の16点分の画像データが供給される。このステップS210では、それら16点分の画像データがそのままの値で補間演算用入力データとして補間処理部40に供給される。係数部50は、制御部10から与えられる係数部制御信号S4に基づき、バイキュービック法補間係数を補間処理部40に供給する。補間処理部40は、補間演算用入力データDhとバイキュービック法補間係数とを受け取り、式(16−1)〜(16−4)に基づく演算処理を行う。補間処理部40は、その演算処理の結果を出力データP1〜P4として出力データ制御部60に供給する。出力データ制御部60は、補間処理部40から供給される出力データP1〜P4に基づいて、式(12)に基づく演算処理を行う。これにより、補間値Pが算出される。出力データ制御部60は、その補間値Pを出力画像データDoとして画像出力部70に供給する。ステップS210が終了すると、図12に示すステップS140に進む。
In step S210, the interpolation value P for the luminance component Y is calculated. The input
以上のようにして、入力画像データの輝度成分Yについては、バイキュービック法による補間値計算方法に基づいて補間値Pの算出が行われる。 As described above, for the luminance component Y of the input image data, the interpolation value P is calculated based on the interpolation value calculation method by the bicubic method.
ステップS220では、補間演算用入力データDhの生成が行われる。入力データ制御部30は、画像入力部20から供給される入力画像データDiを受け取る。ここで、入力データ制御部30には、画像入力部20から第1の画素ブロック101内の4点分の画像データが供給される。入力データ制御部30は、それら4点分の画像データと第2の画素ブロック102内の観測点のうち第1の画素ブロック101内の観測点を除く12点分についての画素値を零値とした画像データとによって、補間演算用入力データDhを生成する。すなわち、補間演算用入力データDhとして、図6に示したような画像データが生成される。補間演算用入力データDhが生成されると、ステップS230に進む。
In step S220, the interpolation calculation input data Dh is generated. The input
ステップS230では、色差成分Cb、Crについての補間計算が行われる。入力データ制御部30は、補間演算用入力データDhを補間処理部40に供給する。係数部50は、制御部10から与えられる係数部制御信号S4に基づき、バイリニア法補間係数を補間処理部40に供給する。補間処理部40は、補間演算用入力データDhとバイリニア法補間係数とを受け取り、式(16−1)〜(16−4)に基づく演算処理を行う。補間処理部40は、その演算処理の結果を出力データP1〜P4として出力データ制御部60に供給する。その後、ステップS240に進む。
In step S230, interpolation calculation is performed for the color difference components Cb and Cr. The input
ステップS240では、出力データ制御部60は、補間処理部40から供給される出力データP1〜P4に基づいて式(12)に基づく演算処理を行う。これにより、補間値Pが算出される。出力データ制御部60は、その補間値Pを出力画像データDoとして画像出力部70に供給する。ステップS240が終了すると、図12に示すステップS140に進む。
In step S240, the output
以上のように、色差成分Cb、Crについての補間値Pの算出の際には、有効な画素値として補間点の周囲4点分の画像データとバイリニア法による補間係数に使用される補間係数とが補間処理部40に供給される。すなわち、入力画像データの色差成分Cb、Crについては、バイキュービック法の補間値計算式が使用されるが、実質的にバイリニア法による補間値計算方法に基づいて補間値Pの算出が行われている。
As described above, when calculating the interpolation value P for the color difference components Cb and Cr, as the effective pixel value, the image data for four points around the interpolation point and the interpolation coefficient used for the interpolation coefficient by the bilinear method Is supplied to the
図12に示すステップS140では、画像出力部70から画像メモリ300への出力画像データDoの送信が行われる。画像出力部70は、出力データ制御部60から供給される出力画像データDoを制御部10から与えられる画像出力部制御信号S6に基づいて出力バッファ71に格納する。その後、画像出力部70は、出力バッファ71に格納された出力画像データDoを所定のブロック単位で画像メモリ300に送信する。画像出力部70から画像メモリ300への出力画像データDoの送信が終了すると、ステップS150に進む。
In step S <b> 140 shown in FIG. 12, output image data Do is transmitted from the
ステップS150では、出力画像サイズに相当する出力画像データ(補間値)の処理(補間値の算出)が終了したか否かの判定が行われる。その結果、終了していれば、ステップS160に進む。一方、終了していなければ、ステップS110に戻る。 In step S150, it is determined whether or not output image data (interpolation value) processing (interpolation value calculation) corresponding to the output image size has been completed. As a result, if completed, the process proceeds to step S160. On the other hand, if not completed, the process returns to step S110.
ステップS160では、全ての色成分についての処理が終了したか否かの判定が行われる。その結果、終了していれば、サイズ変換処理が終了する。一方、終了していなければ、ステップS100に戻る。 In step S160, it is determined whether or not processing for all color components has been completed. As a result, if it has been completed, the size conversion process is completed. On the other hand, if not completed, the process returns to step S100.
<5.効果>
本実施形態によれば、画像データの補間計算を行うための構成要素としては、バイキュービック法の補間値計算式に基づく演算処理を行う補間処理部40だけが設けられている。入力データ制御部30では入力画像データの種類に応じて異なる内容の補間演算用入力データDhが生成され、当該補間演算用入力データDhは補間処理部40に供給される。また、補間処理部40には、入力画像データの種類に応じて異なる値の補間係数が供給される。これにより、1つの補間処理部40によって、入力画像データの種類に応じた補間値Pの算出が行われる。また、実質的にバイリニア法による補間計算が行われる際には、零値の演算が行われる部分で電力が消費されない。このため、回路規模の増大や消費電力の増大を伴うことなく、入力画像データの種類毎に好適な補間処理が行われる。
<5. Effect>
According to the present embodiment, only the
また、本実施形態においては、補間値の計算に必要な補間係数が係数部50に予め保持されている。バイキュービック法における補間係数を算出するための計算式は比較的複雑であるところ、補間演算の際に係数部50に保持された補間係数を使用することにより処理時間が短縮する。
In the present embodiment, the interpolation coefficient necessary for calculating the interpolation value is held in the
さらに、本実施形態においては、画像データのうち輝度成分Yについてはバイキュービック法による補間値計算方法に基づき補間値Pの算出が行われ、画像データのうち色差成分Cb、Crについては実質的にバイリニア法による補間値計算方法に基づき補間値Pの算出が行われる。このため、画質を低下させることなく、また、処理速度を低下させることなく画像データの補間処理が行われる。 Further, in the present embodiment, for the luminance component Y of the image data, the interpolation value P is calculated based on the interpolation value calculation method based on the bicubic method, and for the color difference components Cb and Cr of the image data, substantially. The interpolation value P is calculated based on the interpolation value calculation method by the bilinear method. For this reason, the interpolation processing of the image data is performed without reducing the image quality and without reducing the processing speed.
<6.その他>
上記実施形態においては、画像データのフォーマットにYUV方式が採用されていることを前提に説明しているが、本発明はこれに限定されない。例えば、画像データのフォーマットにRGB方式やYIQ方式が採用されていても本発明を適用することができる。また、上記実施形態においては、画像データのうち輝度成分Yについては補間点の周囲16点分の画像データとバイキュービック法補間係数とによって補間値Pの算出が行われ、画像データのうち色差成分Cb、Crについては補間点の周囲4点分の画像データとバイリニア法補間係数とによって補間値Pの算出が行われているが、本発明はこれに限定されるものではない。
<6. Other>
In the above embodiment, the description has been made on the assumption that the YUV method is adopted as the format of the image data, but the present invention is not limited to this. For example, the present invention can be applied even if the RGB format or YIQ format is adopted as the format of the image data. In the above embodiment, for the luminance component Y of the image data, the interpolation value P is calculated from the image data for 16 points around the interpolation point and the bicubic interpolation coefficient, and the color difference component of the image data. For Cb and Cr, the interpolation value P is calculated from the image data for the four points around the interpolation point and the bilinear interpolation coefficient, but the present invention is not limited to this.
10…制御部
11…制御レジスタ
20…画像入力部
30…入力データ制御部
40…補間処理部
41〜44…第1〜第4の演算ユニット
50…係数部
60…出力データ制御部
70…画像出力部
100…サイズ変換処理部
200…入力装置
300…画像メモリ
400…出力装置
500…制御プロセッサ
Cb、Cr…色差信号(色差成分)
Dh…補間演算用入力データ
Di…入力画像データ
Do…出力画像データ
Hk…補間係数
P…補間値
Y…輝度信号(輝度成分)
DESCRIPTION OF
Dh: Interpolation calculation input data Di: Input image data Do: Output image data Hk: Interpolation coefficient P: Interpolation value Y: Luminance signal (luminance component)
Claims (10)
前記補間演算の対象となっている画像データの種類に応じて、前記補間演算式に代入すべき補間演算用入力データを生成する補間演算用入力データ生成部と、
前記画像データの種類に応じて所定の補間係数演算式に基づいて算出される補間係数と前記補間演算用入力データとを前記補間演算式に代入することにより前記補間演算を行う補間演算部と
を備え、
前記画像データには第1の画像成分と第2の画像成分とが含まれ、
前記補間演算用入力データ生成部は、
前記補間演算の対象となっている画像データが前記第1の画像成分である場合には、前記補間演算によって値が求められるべき補間点の周囲16点のデータであって3次たたみ込み内挿法による補間演算に必要な16点のデータを前記補間演算用入力データとして生成し、
前記補間演算の対象となっている画像データが前記第2の画像成分である場合には、前記補間点の周囲4点のデータであって共1次内挿法による補間演算に必要な4点のデータと、前記補間点の周囲16点のデータのうち前記補間点の周囲4点以外のデータを零値としたデータとを前記補間演算用入力データとして生成し、
前記補間演算部は、前記補間演算の対象となっている画像データが前記第1の画像成分もしくは前記第2の画像成分のいずれの場合にも、前記所定の補間演算式として前記3次たたみ込み内挿法による補間演算式に基づいて前記補間演算を行うことを特徴とする、画像処理装置。 An image processing apparatus that performs an interpolation calculation of image data based on a predetermined interpolation calculation expression,
According to the type of image data that is the subject of the interpolation calculation, an interpolation calculation input data generation unit that generates interpolation calculation input data to be substituted into the interpolation calculation formula;
An interpolation calculation unit that performs the interpolation calculation by substituting the interpolation coefficient calculated based on a predetermined interpolation coefficient calculation expression according to the type of the image data and the input data for interpolation calculation into the interpolation calculation expression; Prepared ,
The image data includes a first image component and a second image component,
The interpolation calculation input data generation unit includes:
When the image data to be subjected to the interpolation calculation is the first image component, the data is 16 points around the interpolation point whose value is to be obtained by the interpolation calculation, and is a third-order convolution interpolation. 16 points of data necessary for the interpolation calculation by the method are generated as the input data for the interpolation calculation,
When the image data to be subjected to the interpolation calculation is the second image component, four points around the interpolation point and four points necessary for the interpolation calculation by the bilinear interpolation method And data having data other than the four points surrounding the interpolation point out of the 16 points surrounding the interpolation point as zero value are generated as the input data for the interpolation calculation,
The interpolation calculation unit is configured to perform the cubic convolution as the predetermined interpolation calculation formula when the image data to be subjected to the interpolation calculation is either the first image component or the second image component. An image processing apparatus that performs the interpolation calculation based on an interpolation calculation expression based on an interpolation method .
各演算ユニットは、前記補間係数としての5つのデータと前記補間演算用入力データとしての4つのデータとに基づいて、補間値を算出するための中間値を下記の式によって求めることを特徴とする、請求項1に記載の画像処理装置。Each arithmetic unit obtains an intermediate value for calculating an interpolation value based on five data as the interpolation coefficient and four data as the input data for interpolation calculation by the following formula: The image processing apparatus according to claim 1.
P=(P1・f(x1)+P2・f(x2)+P3・f(x3)+P4・f(x4))・f(y)P = (P1 · f (x1) + P2 · f (x2) + P3 · f (x3) + P4 · f (x4)) · f (y)
ここで、Pは前記中間値、f(x1),f(x2),f(x3),f(x4),およびf(y)は前記補間係数としての5つのデータ、P1,P2,P3,およびP4は前記補間演算用入力データとしての4つのデータである。Here, P is the intermediate value, f (x1), f (x2), f (x3), f (x4), and f (y) are five data as the interpolation coefficients, P1, P2, P3, And P4 are four data as the input data for the interpolation calculation.
前記補間演算の対象となっている画像データの種類に応じて、前記補間演算式に代入すべき補間演算用入力データを生成する補間演算用入力データ生成ステップと、
前記補間演算の対象となっている画像データの種類に応じて、前記補間演算式に代入すべき補間係数を算出する補間係数算出ステップと、
前記補間演算用入力データと前記補間係数とを前記補間演算式に代入することにより前記補間演算を行う補間演算ステップと
を備え、
前記画像データには第1の画像成分と第2の画像成分とが含まれ、
前記補間演算用入力データ生成ステップでは、
前記補間演算の対象となっている画像データが前記第1の画像成分である場合には、前記補間演算によって値が求められるべき補間点の周囲16点のデータであって3次たたみ込み内挿法による補間演算に必要な16点のデータが前記補間演算用入力データとして生成され、
前記補間演算の対象となっている入力画像データが前記第2の画像成分である場合には、前記補間点の周囲4点のデータであって共1次内挿法による補間演算に必要な4点のデータと、前記補間点の周囲16点のデータのうち前記補間点の周囲4点以外のデータを零値としたデータとが前記補間演算用入力データとして生成され、
前記補間演算ステップでは、前記補間演算の対象となっている画像データが前記第1の画像成分もしくは前記第2の画像成分のいずれの場合にも、前記所定の補間演算式として前記3次たたみ込み内挿法による補間演算式に基づいて前記補間演算が行われることを特徴とする、補間方法。 An image data interpolation method for performing an interpolation calculation based on a predetermined interpolation calculation formula,
Interpolation calculation input data generation step for generating interpolation calculation input data to be substituted into the interpolation calculation formula according to the type of image data to be subjected to the interpolation calculation;
An interpolation coefficient calculation step for calculating an interpolation coefficient to be substituted into the interpolation calculation formula according to the type of image data to be subjected to the interpolation calculation;
An interpolation calculation step for performing the interpolation calculation by substituting the interpolation calculation input data and the interpolation coefficient into the interpolation calculation formula ,
The image data includes a first image component and a second image component,
In the interpolation calculation input data generation step,
When the image data to be subjected to the interpolation calculation is the first image component, the data is 16 points around the interpolation point whose value is to be obtained by the interpolation calculation, and is a third-order convolution interpolation. 16 points of data necessary for the interpolation calculation by the method are generated as the input data for the interpolation calculation,
When the input image data to be subjected to the interpolation calculation is the second image component, it is data of four points around the interpolation point and is necessary for the interpolation calculation by the bilinear interpolation method. Point data and data in which data other than the four points around the interpolation point out of the 16 points around the interpolation point are generated as the input data for the interpolation calculation,
In the interpolation calculation step, the cubic convolution is used as the predetermined interpolation calculation formula regardless of whether the image data to be subjected to the interpolation calculation is the first image component or the second image component. An interpolation method, wherein the interpolation calculation is performed based on an interpolation calculation formula by an interpolation method.
各演算ステップでは、前記補間係数としての5つのデータと前記補間演算用入力データとしての4つのデータとに基づいて、補間値を算出するための中間値が下記の式によって求められることを特徴とする、請求項6に記載の補間方法。In each calculation step, an intermediate value for calculating an interpolation value is obtained by the following equation based on the five data as the interpolation coefficient and the four data as the input data for interpolation calculation. The interpolation method according to claim 6.
P=(P1・f(x1)+P2・f(x2)+P3・f(x3)+P4・f(x4))・f(y)P = (P1 · f (x1) + P2 · f (x2) + P3 · f (x3) + P4 · f (x4)) · f (y)
ここで、Pは前記中間値、f(x1),f(x2),f(x3),f(x4),およびf(y)は前記補間係数としての5つのデータ、P1,P2,P3,およびP4は前記補間演算用入力データとしての4つのデータである。Here, P is the intermediate value, f (x1), f (x2), f (x3), f (x4), and f (y) are five data as the interpolation coefficients, P1, P2, P3, And P4 are four data as the input data for the interpolation calculation.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006041391A JP4693649B2 (en) | 2006-02-17 | 2006-02-17 | Image processing apparatus and image data interpolation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006041391A JP4693649B2 (en) | 2006-02-17 | 2006-02-17 | Image processing apparatus and image data interpolation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007219950A JP2007219950A (en) | 2007-08-30 |
JP4693649B2 true JP4693649B2 (en) | 2011-06-01 |
Family
ID=38497168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006041391A Expired - Fee Related JP4693649B2 (en) | 2006-02-17 | 2006-02-17 | Image processing apparatus and image data interpolation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4693649B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10424055B2 (en) | 2016-05-27 | 2019-09-24 | Canon Kabushiki Kaisha | Image processing apparatus and method for controlling the same |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02308378A (en) * | 1989-05-24 | 1990-12-21 | Toshiba Corp | Discreted density conversion method for discreted multilevel signal |
JPH04500419A (en) * | 1989-06-16 | 1992-01-23 | イーストマン・コダック・カンパニー | digital image interpolator |
JPH0993426A (en) * | 1995-07-13 | 1997-04-04 | Fuji Photo Film Co Ltd | Interpolation arithmetic operation method for image data and device using the method |
JP2000090258A (en) * | 1998-09-16 | 2000-03-31 | Fuji Photo Film Co Ltd | Method and device for processing image |
JP2000151989A (en) * | 1998-11-06 | 2000-05-30 | Seiko Epson Corp | Picture data interpolation method, device therefor and medium recorded with picture data interpolation program |
-
2006
- 2006-02-17 JP JP2006041391A patent/JP4693649B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02308378A (en) * | 1989-05-24 | 1990-12-21 | Toshiba Corp | Discreted density conversion method for discreted multilevel signal |
JPH04500419A (en) * | 1989-06-16 | 1992-01-23 | イーストマン・コダック・カンパニー | digital image interpolator |
JPH0993426A (en) * | 1995-07-13 | 1997-04-04 | Fuji Photo Film Co Ltd | Interpolation arithmetic operation method for image data and device using the method |
JP2000090258A (en) * | 1998-09-16 | 2000-03-31 | Fuji Photo Film Co Ltd | Method and device for processing image |
JP2000151989A (en) * | 1998-11-06 | 2000-05-30 | Seiko Epson Corp | Picture data interpolation method, device therefor and medium recorded with picture data interpolation program |
Also Published As
Publication number | Publication date |
---|---|
JP2007219950A (en) | 2007-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106919360B (en) | Head posture compensation method and device | |
US9020296B2 (en) | Image conversion apparatus, method, and storage medium | |
JP3652194B2 (en) | Image display device | |
JP2008530863A (en) | Adaptive color interpolation | |
JP5080678B2 (en) | Perspective transformation of 2D images | |
JP4361991B2 (en) | Image processing device | |
JP4693649B2 (en) | Image processing apparatus and image data interpolation method | |
CN106296614B (en) | Image processing apparatus and image processing method | |
US8938133B2 (en) | Image resizing apparatus and method that interpolates image blocks with abuttal regions | |
JP5643576B2 (en) | Image processing apparatus and control method thereof | |
JP3746211B2 (en) | Drawing apparatus, drawing method, drawing program, computer-readable recording medium recording the drawing program, and graphics processor | |
JP2006238188A (en) | Interpolation filter and video signal processing device | |
JP5387289B2 (en) | Image processing apparatus, image processing method and program thereof | |
KR100313846B1 (en) | Method and device for calculating lod in bilinear mips mapping | |
JP2012247673A (en) | Two-dimensional color gradation display device | |
JP3618338B2 (en) | Color conversion apparatus and color conversion method | |
JP5849555B2 (en) | Resolution conversion apparatus and resolution conversion method | |
JP5387288B2 (en) | Image processing apparatus, image processing method and program thereof | |
JPH11224332A (en) | Additive interpolation system and method for affine transformation | |
JP2010045558A (en) | Image processor | |
JP4203480B2 (en) | Image processor | |
JP3271825B2 (en) | Stereoscopic image processing device | |
JP3655814B2 (en) | Enlarged image generation apparatus and method | |
JP3659254B2 (en) | Image display device | |
JP4224887B2 (en) | Signal processing apparatus and image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110222 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110222 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |