JP2010045666A - Information processing apparatus, information processing method, and program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information processing apparatus and an information processing method, which are capable of more precise interpolation of images. <P>SOLUTION: Provided is an information processing apparatus equipped with a derivative value calculating section, an integrated value calculating section, and an interpolation processing section. The derivative value calculating section obtains a pixel value of a first pixel with a known pixel value within a predetermined image and a pixel value of a second pixel with a known pixel value, which is located at a position separated from the first pixel by a predetermined distance within the predetermined image, and calculates a derivative value of the pixel value of the first pixel based on these data. The integrated value calculating section obtains the pixel values of the first and second pixels, and calculates an integrated value of the pixel value of the first pixel based on these data. The interpolation processing section obtains the pixel values of the first and second pixels, the derivative and integrated values of the first pixel, a derivative value of the second pixel which is calculated in advance, and the predetermined distance or a predetermined time, and then calculates a pixel value of a third pixel with an unknown pixel value which is located between the first and second pixels, by CIP-CSL4 method using the obtained data. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は情報処理装置、情報処理方法及びプログラムに関し、より詳細には、画像処理に適用して好適な情報処理装置、情報処理方法及びプログラムに関する。   The present invention relates to an information processing device, an information processing method, and a program, and more particularly, to an information processing device, an information processing method, and a program suitable for application to image processing.

従来、情報（データ）の補間技術として、ラグランジュ補間（多項式近似）法やキュービックスプライン補間法等の様々な技術が知られている。また、これらの補間技術は、例えば、静止画像を拡大する際や静止画像から動画像を生成する際の画像処理に適用されている（例えば、特許文献１〜３参照）。   Conventionally, various techniques such as Lagrangian interpolation (polynomial approximation) and cubic spline interpolation are known as information (data) interpolation techniques. In addition, these interpolation techniques are applied to, for example, image processing when a still image is enlarged or a moving image is generated from a still image (see, for example, Patent Documents 1 to 3).

特許文献１〜３には、主に入力された１枚の静止画像から動画像を生成する技術が記載されている。特許文献１〜３では、画素（画素値）の移動を移流方程式により推定することにより、１枚の静止画像から動画像を生成する技術が提案されている。   Patent Documents 1 to 3 describe a technique for generating a moving image from one still image that is mainly input. Patent Documents 1 to 3 propose a technique for generating a moving image from one still image by estimating the movement of a pixel (pixel value) using an advection equation.

特許文献２では、数値計算時の数値誤差拡散による画質劣化を改善するために、１次元のＣＩＰ（Constrained Interpolation Profile）法を用いて移流方程式を解く技術が提案されている。また、特許文献３には、２次元に拡張したＣＩＰ法により移流方程式を解く技術が提案されている。なお、特許文献３には、動画像生成だけでなく、画像の一部の拡大する処理も記載されている。   Patent Document 2 proposes a technique for solving an advection equation using a one-dimensional CIP (Constrained Interpolation Profile) method in order to improve image quality degradation due to numerical error diffusion during numerical calculation. Patent Document 3 proposes a technique for solving an advection equation by a CIP method expanded in two dimensions. Note that Patent Document 3 describes not only moving image generation but also processing for enlarging a part of an image.

なお、特許文献２及び３で用いられているＣＩＰ法は、セミ・ラグランジュ法と呼ばれる解法の一種である。ＣＩＰ法では、位置変数等の３次多項式を補間関数（補間対象となるパラメータの関数）として用い、移流方程式を解く。   The CIP method used in Patent Documents 2 and 3 is a kind of solution called a semi-Lagrange method. In the CIP method, a third order polynomial such as a position variable is used as an interpolation function (a function of a parameter to be interpolated) to solve an advection equation.

特開２００４−３３４６９４号公報JP 2004-334694 A 特開２００６−３３８３６５号公報JP 2006-338365 A 特開２００７−２９３５２６号公報JP 2007-293526 A

上述したラグランジュ補間法では、所定画素の補間値（画素値）を求める際に、近傍の画素情報のみを使用する。そのため、多項式近似による誤差伝搬により、偽信号が発生する。この問題を解消するためには、サンプリング点を増やす必要がある。しかしながら、この場合、記憶量の増大や演算時間の増大といった問題が生じる。また、ラグランジュ補間法では、補間関数をより高次にすると、補間曲線（補間特性）が振動する現象、いわゆるルンゲの現象と呼ばれる現象が発生し、計算が不安定になる。   In the Lagrangian interpolation method described above, only neighboring pixel information is used when obtaining an interpolation value (pixel value) of a predetermined pixel. Therefore, a false signal is generated by error propagation by polynomial approximation. In order to solve this problem, it is necessary to increase the sampling points. However, in this case, problems such as an increase in storage amount and an increase in calculation time occur. In the Lagrangian interpolation method, if the interpolation function is made higher, a phenomenon in which an interpolation curve (interpolation characteristic) vibrates, a so-called Runge phenomenon occurs, and the calculation becomes unstable.

また、上述した特許文献２及び３で用いられているＣＩＰ法は、移流方程式の移流項（速度成分と補間関数の微分値との積で表される項）と非移流項とを分離して解くので、補間関数のエネルギー保存は数学的には保証されない。そのため、高精度の補間が行えないという問題が生じる。また、従来のＣＩＰ法では、補間精度を向上させるために、補間関数だけでなく補間関数の微分係数（微分値）についても解く。しかしながら、この微分係数が０となる場合には補間ができないという問題もある。   The CIP method used in Patent Documents 2 and 3 described above separates the advection term of the advection equation (a term expressed by the product of the velocity component and the differential value of the interpolation function) and the non-advection term. Since it solves, the energy conservation of the interpolation function is not mathematically guaranteed. Therefore, there arises a problem that high-precision interpolation cannot be performed. In the conventional CIP method, in order to improve the interpolation accuracy, not only the interpolation function but also the differential coefficient (differential value) of the interpolation function is solved. However, when this differential coefficient is 0, there is a problem that interpolation cannot be performed.

本発明は上記問題を解決するためになされたものであり、本発明の目的は、より高精度の画像補間が可能な情報処理装置、情報処理方法及びそれを実行するプログラムを提供することである。   The present invention has been made to solve the above-described problems, and an object of the present invention is to provide an information processing apparatus, an information processing method, and a program for executing the information processing apparatus that can perform image interpolation with higher accuracy. .

上記問題を解決するために、本発明の情報処理装置は、微分値算出部と、積分値算出部と、補間処理部とを備える構成とし、各部が次のように機能するようにした。微分値算出部は、所定画像内の画素値が既知である第１画素の画素値と、所定画像内の第１画素から所定距離離れた位置の画素値が既知である第２画素の画素値とを取得する。または、微分値算出部は、所定画像内の画素値が既知である第１画素の画素値と、所定画像から所定時間離れた画像内の第１画素と同じ位置の画素値が既知である第２画素の画素値とを取得する。そして、微分値算出部は、取得した第１及び第２画素の画素値に基づいて第１画素における画素値の微分値を算出する。積分値算出部は、第１及び第２画素の画素値を取得し、該取得した第１及び第２画素の画素値に基づいて第１画素における画素値の積分値を算出する。また、補間処理部は、第１及び第２画素の画素値、第１画素における微分値及び積分値、微分値算出部で予め算出された第２画素における微分値、及び、所定距離若しくは所定時間を取得する。そして、補間処理部は、取得したこれらのデータを用いてＣＩＰ−ＣＳＬ４法により第１画素及び第２画素の間に位置する画素値が未知の第３画素の画素値を算出する。   In order to solve the above problem, the information processing apparatus of the present invention is configured to include a differential value calculation unit, an integral value calculation unit, and an interpolation processing unit, and each unit functions as follows. The differential value calculation unit includes a pixel value of a first pixel whose pixel value in the predetermined image is known, and a pixel value of a second pixel whose pixel value at a predetermined distance from the first pixel in the predetermined image is known And get. Alternatively, the differential value calculation unit is configured such that the pixel value of the first pixel whose pixel value in the predetermined image is known and the pixel value at the same position as the first pixel in the image separated from the predetermined image by a predetermined time are known. A pixel value of 2 pixels is acquired. And a differential value calculation part calculates the differential value of the pixel value in a 1st pixel based on the acquired pixel value of the 1st and 2nd pixel. The integration value calculation unit acquires the pixel values of the first and second pixels, and calculates the integration value of the pixel values in the first pixel based on the acquired pixel values of the first and second pixels. Further, the interpolation processing unit includes the pixel values of the first and second pixels, the differential value and the integral value of the first pixel, the differential value of the second pixel calculated in advance by the differential value calculation unit, and a predetermined distance or a predetermined time. To get. And an interpolation process part calculates the pixel value of the 3rd pixel in which the pixel value located between a 1st pixel and a 2nd pixel is unknown by CIP-CSL4 method using these acquired data.

また、上記問題を解決するために、本発明の情報処理方法及びプログラムでは、次のようにして処理を行うようにした。まず、所定画像内の画素値が既知である第１画素の画素値と、所定画像内の第１画素から所定距離離れた位置の画素値が既知である第２画素の画素値とを取得する。または、所定画像内の画素値が既知である第１画素の画素値と、所定画像から所定時間離れた画像内の第１画素と同じ位置の画素値が既知である第２画素の画素値とを取得する。次いで、取得した第１及び第２画素の画素値に基づいて第１画素における画素値の微分値及び積分値を算出する。そして、第１及び第２画素の画素値、第１画素の微分値及び積分値、予め算出された第２画素の微分値及び所定距離若しくは所定時間を用いて、ＣＩＰ−ＣＳＬ４法により第１画素及び第２画素の間に位置する画素値が未知の第３画素の画素値を算出する。   In order to solve the above problem, the information processing method and program of the present invention perform processing as follows. First, a pixel value of a first pixel whose pixel value in a predetermined image is known and a pixel value of a second pixel whose pixel value at a predetermined distance from the first pixel in the predetermined image is known are acquired. . Alternatively, the pixel value of the first pixel whose pixel value in the predetermined image is known, and the pixel value of the second pixel whose pixel value at the same position as the first pixel in the image separated from the predetermined image for a predetermined time are known To get. Next, a differential value and an integral value of the pixel value in the first pixel are calculated based on the acquired pixel values of the first and second pixels. Then, using the pixel value of the first and second pixels, the differential value and integral value of the first pixel, the differential value of the second pixel calculated in advance and a predetermined distance or a predetermined time, the first pixel is obtained by the CIP-CSL4 method. And a pixel value of a third pixel having an unknown pixel value located between the second pixels.

すなわち、本発明では、補間対象となる画素値のエネルギー保存が数学的に保証されているＣＩＰ−ＣＳＬ４法（Conservative Semi-Lagrangian 4）法を用いて画像の補間処理を行う。   That is, in the present invention, image interpolation processing is performed using a CIP-CSL4 method (Conservative Semi-Lagrangian 4) method in which energy conservation of pixel values to be interpolated is mathematically guaranteed.

上述のように、本発明によれば、画素の画素値（輝度値等）を補間する際に、ＣＩＰ−ＣＳＬ４法を用いるので、より精度の高い画像の補間処理が可能になる。   As described above, according to the present invention, since the CIP-CSL4 method is used when interpolating pixel values (luminance values and the like) of pixels, it is possible to perform image interpolation processing with higher accuracy.

以下、本発明の実施形態を、添付図面を参照しながら説明する。本発明の実施形態は以下の順で説明する。また、下記実施形態では、情報処理装置として、撮像して得た画像の補間処理を行う画像処理装置を例にとって説明する。なお、本発明は以下の例に限定されるものではない。
１．第１の実施形態：画像拡大時の画像処理装置の構成例
２．第２の実施形態：フレームレート変換時の画像処理装置の構成例 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. Embodiments of the present invention will be described in the following order. In the following embodiment, an image processing apparatus that performs interpolation processing of an image obtained by imaging will be described as an example of the information processing apparatus. In addition, this invention is not limited to the following examples.
1. 1. First embodiment: Configuration example of image processing apparatus at the time of image enlargement Second Embodiment: Configuration Example of Image Processing Device at Frame Rate Conversion

＜第１の実施形態＞
［補間処理の原理］
まず、第１の実施形態の画像処理装置及び補間処理を具体的に説明する前に、本実施形態で用いるＣＩＰ−ＣＳＬ４法を図１を参照しながら説明する。 <First Embodiment>
[Principle of interpolation processing]
First, before specifically describing the image processing apparatus and the interpolation processing of the first embodiment, the CIP-CSL4 method used in the present embodiment will be described with reference to FIG.

ＣＩＰ−ＣＳＬ４法は、ＣＩＰ法を改良した補間法であり、補間対象となるパラメータのエネルギー保存が数学的に保証されるようにしたものである。ＣＩＰ−ＣＳＬ４法では、補間対象となるパラメータのエネルギー保存を保証するために、そのパラメータの微分値だけでなく積分値も用いる。   The CIP-CSL4 method is an interpolation method improved from the CIP method, and is designed to mathematically guarantee the energy conservation of parameters to be interpolated. In the CIP-CSL4 method, not only the differential value of the parameter but also the integral value is used in order to guarantee the energy conservation of the parameter to be interpolated.

図１は、原画像を拡大した際の拡大画像の１次元の画素配置図である。図１には、拡大画像における画素値が既知の画素、すなわち、原画像の画素に対応する画素（以下、原画素ともいう）と、その原画素間に生成される画素値が未知の画素（以下、補間画素ともいう）との位置関係を示している。なお、図１の例は、原画素間に一つの補間画素が生成されるように原画像を拡大した例である。   FIG. 1 is a one-dimensional pixel arrangement diagram of an enlarged image when the original image is enlarged. FIG. 1 shows a pixel with a known pixel value in an enlarged image, that is, a pixel corresponding to a pixel of the original image (hereinafter also referred to as an original pixel) and a pixel with an unknown pixel value generated between the original pixels ( Hereinafter, the positional relationship is also referred to as an interpolation pixel). Note that the example in FIG. 1 is an example in which the original image is enlarged so that one interpolation pixel is generated between the original pixels.

また、図１中の原画素１及び原画素２に記載のパラメータｆは画素値であり、画素値ｆの添え字ｉは画素の位置を示している。また、図１中のＦ（ｘ）は、位置ｘの補間画素３の画素値である。なお、画素値としては、輝度値が用い得る。また、画像がカラーで有る場合には、画像のＲ（赤）、Ｇ（緑）、Ｂ（青）の各成分の強度を画素値として用いてもよい。   Further, the parameter f described in the original pixel 1 and the original pixel 2 in FIG. 1 is a pixel value, and the subscript i of the pixel value f indicates the position of the pixel. Further, F (x) in FIG. 1 is a pixel value of the interpolation pixel 3 at the position x. Note that a luminance value can be used as the pixel value. When the image is in color, the intensity of each component of R (red), G (green), and B (blue) of the image may be used as the pixel value.

以下の原理説明では、ｘ方向における位置ｘ_ｉ＋１の原画素１（第１画素）と、位置ｘ_ｉの原画素２（第２画素）との間の補間画素３（第３画素）の画素値の補間を考える。 In the following description of the principle, the original pixel position 1 x _{i + 1} in the x direction (first pixel), the pixel value of the interpolation pixel 3 (third pixel) between the original pixel position x _i 2 (second pixel) Consider interpolation.

ＣＩＰ−ＣＳＬ４法では、補間画素３の画素値Ｆ（ｘ）（補間値）は、下記数式１で示すように、原画素２からの位置変数ｘの４次多項式で表される。なお、下記数式１中のΔｘは、原画素１と原画素２との距離（サンプル間隔）である。   In the CIP-CSL4 method, the pixel value F (x) (interpolation value) of the interpolation pixel 3 is expressed by a quartic polynomial of the position variable x from the original pixel 2 as shown in the following Equation 1. Note that Δx in Equation 1 below is the distance (sample interval) between the original pixel 1 and the original pixel 2.

そして、上記数式１の画素値Ｆ（ｘ）、並びに画素値Ｆ（ｘ）の微分値Ｆ′（ｘ）及び積分値Ｒ（ｘ）は、原画素１の位置ｘ_ｉ＋１及び原画素２の位置ｘ_ｉにおいて、下記数式２に示すような拘束条件（境界条件）を満たさなければならない。 The pixel value F (x) of Equation 1 above, the differential value F ′ (x) and the integral value R (x) of the pixel value F (x) are the position x _{i + 1} of the original pixel ₁ and the position of the original pixel 2. In x _i , a constraint condition (boundary condition) as shown in the following formula 2 must be satisfied.

ここで、上記数式１の４次多項式の各項の係数Ａ〜Ｅを求めるために、原画素２の位置ｘ_ｉを原点とし（ｘ_ｉ＝０）、原画素１の位置ｘ_ｉ＋１をΔｘとして、位置変数ｘ（ｘ_ｉ≦ｘ≦ｘ_ｉ＋１）をＸ（０≦Ｘ≦Δｘ）に変換する（図１参照）。この結果、上記数式１は下記数式３のように変形される。 Here, in order to obtain the coefficients A to E of the respective terms of the fourth-order polynomial of the above equation 1, the position x _i of the original pixel 2 is set as the origin (x _i = 0), and the position x _{i + 1} of the original pixel 1 is set as Δx. , The position variable x (x _i ≦ x ≦ x _{i + 1} ) is converted to X (0 ≦ X ≦ Δx) (see FIG. 1). As a result, Equation 1 is transformed as Equation 3 below.

また、上記数式３の微分値Ｆ′（Ｘ）及び積分値Ｒ（Ｘ）は下記式４のように表される。   Further, the differential value F ′ (X) and the integral value R (X) of the above formula 3 are expressed as the following formula 4.

上記数式３及び４に対しても上記数式２と同様の拘束条件が成立するので、上記数式３及び４の拘束条件は下記数式５のようになる。   Since the same constraint conditions as in Equation 2 are satisfied for Equations 3 and 4, the constraint conditions in Equations 3 and 4 are as shown in Equation 5 below.

上記数式５から明らかなように、上記数式１及び３中の係数Ｅ及びＤは、それぞれ原画素２の画素値ｆ_ｉ及び微分値ｇ_ｉとなる。また、上記数式１及び３中の係数Ａ〜Ｃは、上記数式５中のＦ（Δｘ）、Ｆ′（Δｘ）及びＲ（Δｘ）の式を連立方程式として解くことにより、下記数式６のように与えられる。 As is clear from Equation 5, the coefficients E and D in Equations 1 and 3 are the pixel value f _i and the differential value g _{i of the} original pixel 2, respectively. Further, the coefficients A to C in the above formulas 1 and 3 are expressed by the following formula 6 by solving the formulas of F (Δx), F ′ (Δx) and R (Δx) in the formula 5 as simultaneous equations. Given to.

ＣＩＰ−ＣＳＬ４法では、上記数式５及び６で求めた係数Ａ〜Ｅ及び補間画素３（第３画素）の位置情報Ｘ（＝Δｘ_ｐ）を上記数式３に代入して、補間画素３の画素値Ｆ（Ｘ）を求める。 In the CIP-CSL4 method, the coefficients A to E and the position information X (= Δx _p ) of the interpolation pixel 3 (third pixel) obtained in the above equations 5 and 6 are substituted into the above equation 3, and the pixel of the interpolation pixel 3 The value F (X) is obtained.

なお、本実施形態では、ＣＩＰ−ＣＳＬ４法を用いているので（画素値のエネルギー保存が数学上保証されているので）、各原画素における微分値ｇ及び積分値ｒは、コンパクトスキームと呼ばれる簡易な手法により求める。コンパクトスキームでは、微分値ｇは、所定距離離れた２つの原画素間の画素値の差分を所定距離で除算して求める。また、積分値ｒは、所定距離離れた２つの原画素の画素値に対して台形公式（２つの画素値の和を２で割った値（平均値）に所定間隔を積算する）を適用して求める。例えば、図１中の原画素１における微分値ｇ_ｉ＋１及び積分値ｒ_ｉ＋１は、それぞれ下記数式７及び８により求める。 In the present embodiment, since the CIP-CSL4 method is used (because energy conservation of pixel values is mathematically guaranteed), the differential value g and the integral value r in each original pixel are simply called a compact scheme. It is calculated by a simple method. In the compact scheme, the differential value g is obtained by dividing a difference in pixel values between two original pixels separated by a predetermined distance by a predetermined distance. For the integral value r, a trapezoidal formula (a sum of two pixel values divided by 2 (average value) is added to a predetermined interval) is applied to the pixel values of two original pixels separated by a predetermined distance. Ask. For example, the differential value g _{i + 1} and the integral value r _{i + 1} in the original pixel 1 in FIG.

ここで、参考として、図２に、ＣＩＰ−ＣＳＬ４法と、その他の補間手法との補間特性を比較した図を示す。図２は、所定間隔で値の異なる離散サンプルデータがある場合の補間特性（補間形状）を比較した図である。なお、図２の横軸は位置変数ｘであり、縦軸は補間対象となる関数ｙの値（本実施形態では画素値）である。   Here, for reference, FIG. 2 shows a diagram comparing the interpolation characteristics of the CIP-CSL4 method and other interpolation methods. FIG. 2 is a diagram comparing interpolation characteristics (interpolation shapes) when there are discrete sample data having different values at predetermined intervals. Note that the horizontal axis in FIG. 2 is the position variable x, and the vertical axis is the value of the function y to be interpolated (pixel value in this embodiment).

図２中の白抜き四角印４０は離散サンプルデータである。また、太破線の特性４１は、ラグランジュ補間法の０次補間（０次ホールド補間）の特性であり、実線の特性４２は１次補間（直線補間）の特性であり、そして、破線の特性４３は２次補間の特性である。点線の特性４４はバイキュービック法の補間特性である。二点鎖線の特性４５はＣＩＰ法の補間特性であり、一点鎖線の特性４６はＣＩＰ−ＣＳＬ４法の補間特性である。また、太実線の特性４７はＩＤＯ（Interpolated Differential Operator）法の補間特性である。   A white square mark 40 in FIG. 2 is discrete sample data. A thick broken line characteristic 41 is a characteristic of 0th order interpolation (0th order hold interpolation) of the Lagrange interpolation method, a solid line characteristic 42 is a characteristic of primary interpolation (linear interpolation), and a broken line characteristic 43. Is a characteristic of quadratic interpolation. A dotted line characteristic 44 is an interpolation characteristic of the bicubic method. A two-dot chain line characteristic 45 is an interpolation characteristic of the CIP method, and a one-dot chain line characteristic 46 is an interpolation characteristic of the CIP-CSL4 method. A thick solid line characteristic 47 is an interpolation characteristic of an IDO (Interpolated Differential Operator) method.

なお、バイキュービック法はキュービック（３次）ラグランジュ補間の一種であり、変数を変えることにより補間形状を変化させる。また、ＩＤＯ法は、ＣＩＰ法よりさらに高次（５次）の補間関数を用いた補間手法である。   The bicubic method is a kind of cubic (third order) Lagrangian interpolation, and the interpolation shape is changed by changing a variable. The IDO method is an interpolation method using a higher-order (fifth-order) interpolation function than the CIP method.

［装置構成］
図３は、本実施形態の画像処理装置を適用した画像処理システムのブロック構成図である。本実施形態の画像処理システム４は、撮像装置５で撮像した画像データ（原画像）を画像処理装置１０で拡大及び補間処理し、補間済みの画像を表示装置６に表示するシステムである。 [Device configuration]
FIG. 3 is a block diagram of an image processing system to which the image processing apparatus of this embodiment is applied. The image processing system 4 of this embodiment is a system that enlarges and interpolates image data (original image) captured by the imaging device 5 by the image processing device 10 and displays the interpolated image on the display device 6.

撮像装置５としては、所定のフレーム周期で連続して得られる画像信号をそのまま記録することにより、動画像信号を記録する撮像装置（いわゆるビデオカメラ）を用いることができる。また、撮像装置５として、１フレームの画像信号だけを記録することにより、静止画像信号を記録する撮像装置（いわゆるスチルカメラ）を用いてもよい。なお、本実施形態では、画像処理装置１０と撮像装置５とが別装置である例を説明するが、本発明はこれに限定されず、画像処理装置１０が撮像装置５（撮像部）を含んでいてもよい。   As the imaging device 5, an imaging device (so-called video camera) that records a moving image signal by directly recording an image signal obtained continuously at a predetermined frame period can be used. Further, as the imaging device 5, an imaging device (so-called still camera) that records a still image signal by recording only an image signal of one frame may be used. In the present embodiment, an example in which the image processing device 10 and the imaging device 5 are separate devices will be described. However, the present invention is not limited to this, and the image processing device 10 includes the imaging device 5 (imaging unit). You may go out.

表示装置６は、補間前の画像データと補間後の画像データとを別個に表示することはもちろん、それらの画像データを一緒（同一画面上）に表示することができる。なお、本実施形態では、画像処理装置１０と表示装置６とが別装置である例を説明するが、本発明はこれに限定されず、画像処理装置１０が表示装置６を含んでいてもよい。   The display device 6 can display the image data before the interpolation and the image data after the interpolation separately, and can also display the image data together (on the same screen). In the present embodiment, an example in which the image processing device 10 and the display device 6 are separate devices will be described. However, the present invention is not limited to this, and the image processing device 10 may include the display device 6. .

画像処理装置１０は取得した原画像を空間的に拡大し、その拡大画像において、原画素の画素値（既知）から、画素値が未知の補間画素の画素値を求める。   The image processing apparatus 10 spatially enlarges the acquired original image, and obtains a pixel value of an interpolation pixel whose pixel value is unknown from the pixel value (known) of the original pixel in the enlarged image.

図４は、本実施形態の画像処理装置１０のブロック構成図である。画像処理装置１０は、画像拡大部１１と、微分値算出部１２と、積分値算出部１３と、第１記憶部１４と、第２記憶部１５と、補間処理部１６と、拡大画像生成部１９とを備える。また、補間処理部１６は、係数算出部１７と、多項式演算部１８とで構成される。そして、各部の入出力端子は、上記数式３及び６〜８を計算できるように各部間で適宜接続されている。   FIG. 4 is a block diagram of the image processing apparatus 10 according to the present embodiment. The image processing apparatus 10 includes an image enlargement unit 11, a differential value calculation unit 12, an integral value calculation unit 13, a first storage unit 14, a second storage unit 15, an interpolation processing unit 16, and an enlarged image generation unit. 19. The interpolation processing unit 16 includes a coefficient calculation unit 17 and a polynomial calculation unit 18. And the input / output terminal of each part is suitably connected between each part so that the said Numerical formula 3 and 6-8 can be calculated.

画像拡大部１１は、撮像装置５で撮像した画像データ（原画像）を取得し、その原画像を所定のサイズに拡大する。そして、画像拡大部１１は、拡大画像内の原画素の画素値ｆ、原画素間の距離Δｘ（サンプル間隔）及び補間画素の位置情報Ｘをそれぞれ所定の部に出力する。例えば、図４の例では、画像拡大部１１は、原画素１の画素値ｆ_ｉ＋１、原画素間の距離Δｘ及び補間画素５または６の位置情報ｘ＝Δｘ_ｐをそれぞれ所定の部に出力する。また、画像拡大部１１は、後述するように、各部における処理の繰り返し回数を制御する機能を有する。なお、画像拡大部１１は、画像処理装置１０の外部に設けられていてもよい。 The image enlarging unit 11 acquires image data (original image) captured by the imaging device 5 and enlarges the original image to a predetermined size. Then, the image enlarging unit 11 outputs the pixel value f of the original pixel in the enlarged image, the distance Δx (sample interval) between the original pixels, and the position information X of the interpolated pixel to predetermined units. For example, in the example of FIG. 4, the image enlargement unit 11, the pixel value f _{i + 1} of the original pixel _1, and outputs the respective predetermined parts distance [Delta] x and the interpolated pixel 5 or position information x = [Delta] x _p 6 between original pixel . The image enlargement unit 11 has a function of controlling the number of repetitions of processing in each unit, as will be described later. The image enlarging unit 11 may be provided outside the image processing apparatus 10.

微分値算出部１２は、拡大画像中の原画素における画素値の微分値ｇ（空間変化量）を算出する。より具体的には、微分値算出部１２では、隣り合う２つの原画素の画素値を取得し、それらの画素値に基づいて上記数式７に示したコンパクトスキームにより微分値ｇを算出する。   The differential value calculation unit 12 calculates a differential value g (spatial change amount) of the pixel value of the original pixel in the enlarged image. More specifically, the differential value calculation unit 12 acquires the pixel values of two adjacent original pixels, and calculates the differential value g by the compact scheme shown in Equation 7 based on these pixel values.

図５に、微分値算出部１２の内部構成を示す。微分値算出部１２は、減算回路２１と、除算回路２２とから構成される。減算回路２１は画像拡大部１１から入力された位置ｘ_ｉ＋１の原画素１（第１画素）の画素値ｆ_ｉ＋１から、第１記憶部２４から入力された位置ｘ_ｉの原画素２（第２画素）の画素値ｆ_ｉを差し引く。そして、除算回路２２は、減算回路２１の出力を画像拡大部１１から入力された原画素間のサンプル間隔Δｘで割り算する。このような構成により、微分値算出部１２では、位置ｘ_ｉ＋１の原画素１における画素値の微分値ｇ_ｉ＋１を算出する。 FIG. 5 shows an internal configuration of the differential value calculation unit 12. The differential value calculation unit 12 includes a subtraction circuit 21 and a division circuit 22. The subtraction circuit 21 uses the pixel value f _{i + 1} of the original pixel 1 (first pixel) at the position x _{i + 1} input from the image enlargement unit 11, and the original pixel 2 (second pixel) of the position x _i input from the first storage unit 24. subtracting the pixel value _{f i} of the pixel). Then, the division circuit 22 divides the output of the subtraction circuit 21 by the sample interval Δx between original pixels input from the image enlargement unit 11. With such a configuration, the differential value calculation unit 12 calculates the differential value g _{i + 1} of the pixel value in the original pixel 1 at the position x _{i + 1} .

積分値算出部１３は、拡大画像中の原画素における画素値の積分値ｒを算出する。より具体的には、積分値算出部１３では、隣り合う２つの原画素の画素値を取得し、それらの画素値に基づいて上記数式８に示したコンパクトスキームにより積分値ｒを算出する。   The integral value calculation unit 13 calculates the integral value r of the pixel value in the original pixel in the enlarged image. More specifically, the integral value calculation unit 13 acquires the pixel values of two adjacent original pixels, and calculates the integral value r by the compact scheme shown in Formula 8 based on these pixel values.

図６に、積分値算出部１３の内部構成を示す。積分値算出部１３は、減算回路２３と、除算回路２４と、積算回路２５とから構成される。減算回路２３は画像拡大部１１から入力された位置ｘ_ｉ＋１の原画素１の画素値ｆ_ｉ＋１から、第１記憶部２４から入力された位置ｘ_ｉの原画素２の画素値ｆ_ｉを差し引く。そして、除算回路２２は、減算回路２１の出力を２で割る。すなわち、減算回路２３及び除算回路２４により、原画素１の画素値ｆ_ｉ＋１と原画素２の画素値ｆ_ｉとの平均値を計算する。そして、積算回路２５は、除算回路２４の出力にサンプル間隔Δｘを掛算する。このような構成により、積分値算出部１３では、位置ｘ_ｉ＋１の原画素１における画素値の積分値ｒ_ｉ＋１を計算する。 FIG. 6 shows an internal configuration of the integral value calculation unit 13. The integral value calculation unit 13 includes a subtraction circuit 23, a division circuit 24, and an integration circuit 25. Subtraction circuit 23 is subtracted from the pixel value f _{i + 1} of the original pixel 1 of the image enlargement unit 11 positions x _{i + 1} which is input from the pixel value f _i of the original pixel 2 positions x _i input from the first storage unit 24. Then, the division circuit 22 divides the output of the subtraction circuit 21 by 2. That is, the subtracting circuit 23 and the dividing circuit 24 calculate an average value of the pixel value f _{i + 1} of the original pixel ₁ and the pixel value f _i of the original pixel 2. Then, the integration circuit 25 multiplies the output of the division circuit 24 by the sample interval Δx. With such a configuration, the integral value calculation unit 13 calculates the integral value r _{i + 1} of the pixel value in the original pixel 1 at the position x _{i + 1} .

第１記憶部１４は、画像拡大部１１から入力された原画素の画素値ｆを記憶する。また、第１記憶部１４は、画像拡大部１１から入力された画素値ｆのインデックスより１小さいインデックスの画素値ｆを出力する。例えば、位置ｘ_ｉ＋１の原画素１の画素値ｆ_ｉ＋１が画像拡大部１１から入力された際には、第１記憶部１４は、その隣の位置ｘ_ｉの原画素２の画素値ｆ_ｉを出力する。すなわち、第１記憶部１４は遅延機能を有する。それゆえ、本実施形態では、第１記憶部１４を遅延器で置き換えてもよい。 The first storage unit 14 stores the pixel value f of the original pixel input from the image enlargement unit 11. Further, the first storage unit 14 outputs the pixel value f having an index that is one smaller than the index of the pixel value f input from the image enlargement unit 11. For example, when the pixel value f _{i + 1} of the original pixel position 1 x _{i + 1} is input from the image enlargement unit 11, first storage unit 14, a pixel value f _i of the original pixel 2 positions x _i of the next Output. That is, the first storage unit 14 has a delay function. Therefore, in the present embodiment, the first storage unit 14 may be replaced with a delay device.

第２記憶部１５は、微分値算出部１２で計算された原画素における画素値の微分値ｇを記憶する。また、第２記憶部１５は、微分値算出部１２から入力された微分値ｇのインデックスより１小さいインデックスの微分値ｇを出力する。例えば、位置ｘ_ｉ＋１の原画素１における微分値ｇ_ｉ＋１が微分値算出部１２から入力された際には、第２記憶部１５は、その隣の位置ｘ_ｉの原画素２における微分値ｇ_ｉを出力する。すなわち、第２記憶部１５は遅延機能を有する。それゆえ、本実施形態では、第２記憶部１５を遅延器で置き換えてもよい。 The second storage unit 15 stores the differential value g of the pixel value in the original pixel calculated by the differential value calculation unit 12. Further, the second storage unit 15 outputs the differential value g having an index smaller by 1 than the index of the differential value g input from the differential value calculation unit 12. For example, when the differential value g _{i + 1} in the original pixel 1 positions x _{i + 1} is input from the differential value calculation unit 12, the second storage unit 15, the differential value g _i in the original pixel 2 positions x _i of the next Is output. That is, the second storage unit 15 has a delay function. Therefore, in the present embodiment, the second storage unit 15 may be replaced with a delay device.

係数算出部１７は、上記各部から出力された種々のデータに基づいて、上記数式３で表される４次多項式中の各項の係数Ａ〜Ｃを算出する。具体的には、図４の例では、位置ｘ_ｉ＋１の原画素１の画素値ｆ_ｉ＋１及びサンプル間隔Δｘが、画像拡大部１１から係数算出部１７に入力される。また、位置ｘ_ｉの原画素２における画素値ｆ_ｉ及び微分値ｇ_ｉが、それぞれ第１記憶部１４及び第２記憶部１５から係数算出部１７に入力される。さらに、位置ｘ_ｉ＋１の原画素１おける微分値ｇ_ｉ＋１及び積分値ｒ_ｉ＋１が、それぞれ微分値算出部１２及び積分値算出部１３から係数算出部１７に入力される。係数算出部１７は、これらの入力データを用いて、上記数式６により、４次多項式の各項の係数Ａ〜Ｃを算出する。 The coefficient calculation unit 17 calculates the coefficients A to C of each term in the fourth-order polynomial expressed by the above Equation 3 based on the various data output from the respective units. Specifically, in the example of FIG. 4, the pixel value f _{i + 1} and the sample interval Δx of the original pixel 1 at the position x _{i + 1} are input from the image enlargement unit 11 to the coefficient calculation unit 17. Further, the pixel value f _i and the differential value g _i in the original pixel 2 at the position x _i are input from the first storage unit 14 and the second storage unit 15 to the coefficient calculation unit 17, respectively. Furthermore, the position _{x i + 1} of the original pixel 1 definitive differential value _{g i + 1} and the integral value _{r i + 1} is input from the respective differential value calculation unit 12 and the integral value calculating unit 13 to the coefficient calculation unit 17. The coefficient calculation unit 17 uses these input data to calculate the coefficients A to C of each term of the fourth-order polynomial using the above equation 6.

なお、上記数式３の４次多項式中の係数Ｄ及びＥは、上記数式５に示すように、位置ｘ_ｉの原画素２における微分値ｇ_ｉ及び画素値ｆ_ｉにそれぞれ対応する。すなわち、第１記憶部１４及び第２記憶部１５の出力データが、それぞれ係数Ｅ及びＤとなる。それゆえ、本実施形態では、係数算出部１７で係数Ｅ及びＤを算出せず、第１記憶部１４及び第２記憶部１５の出力端子を図４に示すように、直接、多項式演算部１８に接続している。なお、係数Ｄ及びＥを係数算出部１７を介して多項式演算部１８に入力してもよい。この場合には、第１記憶部１４及び第２記憶部１５の出力端子を多項式演算部１８に接続しなくてよい。 The coefficient D and E in the fourth order polynomial of the above expression 3, as shown in Equation 5, respectively corresponding to the differential value g _i and pixel values f _i in the original pixel 2 positions x _i. That is, the output data of the first storage unit 14 and the second storage unit 15 are coefficients E and D, respectively. Therefore, in this embodiment, the coefficient calculation unit 17 does not calculate the coefficients E and D, and the output terminals of the first storage unit 14 and the second storage unit 15 are directly connected to the polynomial calculation unit 18 as shown in FIG. Connected to. The coefficients D and E may be input to the polynomial calculation unit 18 via the coefficient calculation unit 17. In this case, the output terminals of the first storage unit 14 and the second storage unit 15 need not be connected to the polynomial calculation unit 18.

多項式演算部１８は、係数算出部１７、第１記憶部１４及び第２記憶部１５から入力される係数Ａ〜Ｅ、並びに、画像拡大部１１から入力される補間画素３の位置Ｘ＝Δｘ_ｐを用いて上記数式３を計算し、位置Δｘ_ｐの補間画素３の画素値Ｆ（Δｘ_ｐ）を求める。 Polynomial arithmetic unit 18, coefficient calculating unit 17, the coefficient A~E inputted from the first storage unit 14 and the second storage unit 15, and the position X = [Delta] x _p of the interpolation pixel 3 inputted from the image enlargement unit 11 The above Equation 3 is calculated using, and the pixel value F (Δx _p ) of the interpolation pixel 3 at the position Δx _p is obtained.

拡大画像生成部１９は、拡大画像中の全ての補間画素に対して行われた補間処理の結果を統合し、補間済みの拡大画像を生成する。   The enlarged image generation unit 19 integrates the results of the interpolation processing performed on all the interpolation pixels in the enlarged image, and generates an interpolated enlarged image.

［補間処理］
次に、本実施形態の補間処理を図７〜１２を参照しながら説明する。なお、図７は、補間処理全体の手順を示すフローチャートであり、図８は、図７中のステップＳ３内の処理手順を示すフローチャートである。また、図９〜１２は図７中の各ステップの処理後の画像内の画素配置図である。 [Interpolation processing]
Next, the interpolation processing of this embodiment will be described with reference to FIGS. FIG. 7 is a flowchart showing the procedure of the entire interpolation process, and FIG. 8 is a flowchart showing the process procedure in step S3 in FIG. 9 to 12 are pixel arrangement diagrams in the image after the processing of each step in FIG.

まず、画像処理装置１０の画像拡大部１１は、撮像装置５で撮像した原画像データを取得する（ステップＳ１）。図９に、ステップＳ１で取得される原画像の一例を示す。図９中の各マス目が画素を表している。この例では、原画像のサイズを１０画素×１０画素とし、原画像には文字「正」が写っている画像の例を考える。なお、図９の原画像では、文字部に対応する画素は黒色で表し、それ以外の画素は白色で表している。   First, the image enlargement unit 11 of the image processing device 10 acquires original image data captured by the imaging device 5 (step S1). FIG. 9 shows an example of the original image acquired in step S1. Each square in FIG. 9 represents a pixel. In this example, consider an example of an image in which the size of the original image is 10 pixels × 10 pixels and the character “correct” is reflected in the original image. In the original image of FIG. 9, pixels corresponding to the character portion are represented in black, and the other pixels are represented in white.

次いで、画像拡大部１１は、入力された原画像を所定のサイズに拡大する（ステップＳ２）。図１０に、ステップＳ２で得られる拡大画像の画素配置図を示す。図１０の例では、原画像の縦横のサイズをそれぞれ２倍した拡大画像の画素配置図である。すなわち、図１０の例では、図９に示した１０画素×１０画素のサイズの原画像を、２０画素×２０画素のサイズの拡大画像に拡大している。   Next, the image enlargement unit 11 enlarges the input original image to a predetermined size (step S2). FIG. 10 shows a pixel arrangement diagram of the enlarged image obtained in step S2. The example of FIG. 10 is a pixel arrangement diagram of an enlarged image obtained by doubling the vertical and horizontal sizes of the original image. That is, in the example of FIG. 10, the original image having a size of 10 pixels × 10 pixels shown in FIG. 9 is enlarged to an enlarged image having a size of 20 pixels × 20 pixels.

この際、拡大画像では、Ｘ座標が偶数の列の画素及びＹ座標が偶数の行の画素が補間画素となり、Ｘ座標が奇数の列（またはＹ座標が奇数の行）では、原画素と補間画素が交互に配置される。それゆえ、例えば、図１０中の原画素２０の周囲に隣接する８個の画素が補間画素となる。なお、図１０の例では、補間画素を、文字部以外の原画素と同様に白色で表している。   In this case, in the enlarged image, the pixels in the even column of the X coordinate and the pixels in the even row of the Y coordinate are interpolated pixels. In the column of the odd X coordinate (or the row of the Y coordinate is odd), the original pixel is interpolated. Pixels are arranged alternately. Therefore, for example, eight pixels adjacent to the periphery of the original pixel 20 in FIG. 10 are interpolation pixels. In the example of FIG. 10, the interpolation pixel is expressed in white like the original pixels other than the character portion.

次いで、画像処理装置１０は、拡大画像内の補間画素に対してＸ方向（行方向）の補間処理を行う（ステップＳ３）。この際、上述した１次元のＣＩＰ−ＣＳＬ４法を拡大画像の各行に適用する。ただし、上述のように、図１０の例では、Ｙ座標が偶数の行に配置される画素は全て補間画素（画素値が未知）であるので、ステップＳ３で補間処理を行えるのは、Ｙ座標が奇数の行の補間画素に対してのみとなる。なお、ステップＳ３内の処理については、図８を参照しながら後で詳述する。   Next, the image processing apparatus 10 performs interpolation processing in the X direction (row direction) on the interpolation pixels in the enlarged image (step S3). At this time, the one-dimensional CIP-CSL4 method described above is applied to each row of the enlarged image. However, as described above, in the example of FIG. 10, since all the pixels arranged in the even-numbered rows are interpolation pixels (pixel values are unknown), the interpolation processing can be performed in step S3. Is only for interpolated pixels in odd rows. The processing in step S3 will be described in detail later with reference to FIG.

図１１に、ステップＳ３でＸ方向の補間処理を行った後の拡大画像の画素配置図を示す。図１１中のグレー部の画素が、ステップＳ３の補間処理により画素値（色）の変わった補間画素である。ステップＳ３の補間処理により、原画素の文字部（黒色部）のＸ方向に隣接する両側の補間画素の色が変わる。   FIG. 11 shows a pixel arrangement diagram of the enlarged image after performing the X-direction interpolation processing in step S3. The gray portion of the pixel in FIG. 11 is an interpolation pixel whose pixel value (color) has been changed by the interpolation processing in step S3. By the interpolation processing in step S3, the colors of the interpolation pixels on both sides adjacent to each other in the X direction of the character portion (black portion) of the original pixel are changed.

次いで、画像処理装置１０は、拡大画像内の補間画素に対してＹ方向（列方向）の補間処理を行う（ステップＳ４）。この際、原画素の画素値ｆ及びステップＳ３で補間処理された奇数行の補間画素の画素値Ｆを用いて、それらの間の補間画素（偶数行の画素）の画素値を求める。これにより、ステップＳ３で補間処理されなかった偶数行の補間画素が処理される。なお、Ｙ方向の補間処理は、Ｘ方向の補間処理（図８の補間処理）と同様にして行う。   Next, the image processing apparatus 10 performs interpolation processing in the Y direction (column direction) on the interpolation pixels in the enlarged image (step S4). At this time, using the pixel value f of the original pixel and the pixel value F of the odd-numbered interpolated pixels interpolated in step S3, the pixel value of the interpolated pixel (even-numbered pixel) between them is obtained. As a result, even-numbered interpolated pixels that have not been interpolated in step S3 are processed. Note that the Y-direction interpolation processing is performed in the same manner as the X-direction interpolation processing (interpolation processing in FIG. 8).

図１２に、ステップＳ４でＹ方向の補間処理を行った後の拡大画像の画素配置図を示す。図１２中の斜線部の画素が、ステップＳ４の補間処理により画素値（色）の変わった補間画素である。ステップＳ４の補間処理により、原画素の文字部（黒色部）及び補間画素のグレー部のＹ方向に隣接する両側の補間画素の色が変わる。この結果、図１２に示すように、拡大画像中に拡大された文字「正」が生成される。そして、画像処理装置１０は、生成された補間済みの拡大画像を表示装置６に出力する。   FIG. 12 shows a pixel arrangement diagram of the enlarged image after performing the Y-direction interpolation processing in step S4. The hatched pixels in FIG. 12 are interpolation pixels whose pixel values (colors) have been changed by the interpolation processing in step S4. By the interpolation processing in step S4, the colors of the interpolation pixels on both sides adjacent to each other in the Y direction of the character portion (black portion) of the original pixel and the gray portion of the interpolation pixel are changed. As a result, as shown in FIG. 12, the enlarged character “correct” is generated in the enlarged image. Then, the image processing device 10 outputs the generated interpolated enlarged image to the display device 6.

次いで、表示装置６は、画像処理装置１０から入力された補間済みの拡大画像を表示する（ステップＳ５）。   Next, the display device 6 displays the interpolated enlarged image input from the image processing device 10 (step S5).

次に、ステップＳ３におけるＸ方向の補間処理を図８を参照しながら詳細に説明する。   Next, the interpolation processing in the X direction in step S3 will be described in detail with reference to FIG.

まず、画像拡大部１１は、以下に説明するステップＳ２２〜Ｓ３４の処理の繰り返し回数を制御する第１の制御カウンタｍを初期化（ｍ＝１）する（ステップＳ２１）。第１の制御カウンタｍは、拡大画像において補間処理する行数を示すパラメータである。   First, the image enlarging unit 11 initializes (m = 1) a first control counter m that controls the number of repetitions of steps S22 to S34 described below (step S21). The first control counter m is a parameter indicating the number of rows to be interpolated in the enlarged image.

次いで、画像拡大部１１は、以下に説明するステップＳ２３〜Ｓ３２の処理の繰り返し回数を制御する第２の制御カウンタｉを初期化（ｉ＝１）する（ステップＳ２２）。なお、第２の制御カウンタｉは、各行における原画素の位置を示すパラメータである（図１参照）。   Next, the image enlargement unit 11 initializes (i = 1) a second control counter i that controls the number of repetitions of the processes in steps S23 to S32 described below (step S22). The second control counter i is a parameter indicating the position of the original pixel in each row (see FIG. 1).

次いで、第１記憶部１４及び第２記憶部１５は、それぞれ位置ｘ_ｉの原画素２（第２画素）における画素値ｆ_ｉ及び微分値ｇ_ｉを記憶する（ステップＳ２３）。なお、ｉ＝１の場合の微分値ｇ_ｉは、予め設定された所定の値を第２記憶部１５に記憶する。 Then, the first storage unit 14 and the second storage unit 15 stores the pixel values _{f i} and the differential value _{g i} in the original pixel 2 (second pixel) of each position _{x i} (step S23). The differential value g _{i in} the case of i = 1 stores a predetermined value set in advance in the second storage unit 15.

次いで、微分値算出部１２及び積分値算出部１３は、画像拡大部１１から位置ｘ_ｉ＋１における原画素１（第１画素）の画素値ｆ_ｉ＋１を取得する（ステップＳ２４）。 Next, the differential value calculation unit 12 and the integral value calculation unit 13 obtain the pixel value f _{i + 1} of the original pixel 1 (first pixel) at the position x _{i + 1} from the image enlargement unit 11 (step S24).

次いで、微分値算出部１２及び積分値算出部１３は、第１記憶部１４及び第２記憶部１５から、それぞれ位置ｘ_ｉの原画素２における画素値ｆ_ｉ及び微分値ｇ_ｉを読み出す（ステップＳ２５）。 Next, the differential value calculation unit 12 and the integral value calculation unit 13 read the pixel value f _i and the differential value g _i in the original pixel 2 at the position x _i from the first storage unit 14 and the second storage unit 15, respectively (step S1). S25).

次いで、微分値算出部１２及び積分値算出部１３は、画像拡大部１１から原画素１と原画素２とのサンプル間隔Δｘ（＝ｘ_ｉ＋１−ｘ_ｉ）を取得する（ステップＳ２６）。なお、ステップＳ２４〜Ｓ２６の処理は同時に行ってもよいし、その順序を適宜変更してもよい。 Next, the differential value calculation unit 12 and the integral value calculation unit 13 obtain the sample interval Δx (= x _{i + 1} −x _i ) between the original pixel 1 and the original pixel 2 from the image enlargement unit 11 (step S26). Note that the processing in steps S24 to S26 may be performed simultaneously, or the order thereof may be changed as appropriate.

次いで、微分値算出部１２及び積分値算出部１３は、取得した原画素１の画素値ｆ_ｉ＋１、原画素２の画素値ｆ_ｉ及びサンプル間隔Δｘを用いて、原画素１における微分値ｇ_ｉ＋１及び積分値ｒ_ｉ＋１をそれぞれ求める（ステップＳ２７）。具体的には、原画素１における微分値ｇ_ｉ＋１及び積分値ｒ_ｉ＋１をそれぞれ上記数式７及び８で表されるコンパクトスキームを用いて算出する。 Then, the differential value calculation unit 12 and the integral value calculating unit 13, the pixel value f _{i + 1} of the acquired original pixels _1, using the pixel values f _i and the sample interval Δx of the original pixel 2, the differential value in the original pixel 1 g _{i + 1} And integral value r _{i + 1} are obtained respectively (step S27). Specifically, the differential value g _{i + 1} and the integral value r _{i +} 1 in the original pixel 1 are calculated using the compact schemes expressed by the above formulas 7 and 8, respectively.

次いで、係数算出部１７は、上記ステップＳ２３〜Ｓ２７で取得及び算出した画素値（ｆ_ｉ＋１、ｆ_ｉ）、微分値（ｇ_ｉ＋１、ｇ_ｉ）、積分値（ｒ_ｉ＋１）及びサンプル間隔（Δｘ）を用いて、上記数式３の多項式中の係数Ａ、Ｂ及びＣを求める（ステップＳ２８）。具体的には、係数算出部１７は、上記数式６を用いて係数Ａ、Ｂ及びＣを求める。そして、係数算出部１７は、求めた係数Ａ〜Ｃを多項式演算部１８に出力する。 Then, the coefficient calculation unit 17, obtained in step S23~S27 and calculated pixel values _{(f i + 1, f i} ), the differential value _{(g i + 1, g i} ), the integral value _{(r i + 1)} and the sample interval ([Delta] x) Are used to find the coefficients A, B, and C in the polynomial of Equation 3 (step S28). Specifically, the coefficient calculation unit 17 obtains the coefficients A, B, and C using the above formula 6. Then, the coefficient calculation unit 17 outputs the obtained coefficients A to C to the polynomial calculation unit 18.

また、この際、第１記憶部１４は、上記数式３の多項式中の係数Ｅとして、原画素２の画素値ｆ_ｉを多項式演算部１８に出力する。また、第２記憶部１５は、上記数式３の多項式中の係数Ｄとして、原画素２における微分値ｇ_ｉを多項式演算部１８に出力する。 At this time, the first storage unit 14 outputs the pixel value f _i of the original pixel 2 to the polynomial calculation unit 18 as the coefficient E in the polynomial of the above formula 3. Further, the second storage unit 15 outputs the differential value g _i in the original pixel 2 to the polynomial calculation unit 18 as the coefficient D in the polynomial of the above formula 3.

次いで、多項式演算部１８は、画像拡大部１１から、補間画素３（第３画素）の位置情報（Ｘ＝Δｘ_ｐ）を取得する（ステップＳ２９）。 Next, the polynomial calculation unit 18 acquires position information (X = Δx _p ) of the interpolation pixel 3 (third pixel) from the image enlargement unit 11 (step S29).

次いで、多項式演算部１８は、入力された係数Ａ〜Ｅ及び補間画素３の位置Δｘ_ｐを用いて、補間画素３の画素値Ｆ（Δｘ_ｐ）を算出する（ステップＳ３０）。そして、多項式演算部１８は、算出した補間画素３の画素値Ｆ（Δｘ_ｐ）を拡大画像生成部１９に出力する。 Next, the polynomial calculation unit 18 calculates the pixel value F (Δx _p ) of the interpolation pixel 3 using the input coefficients A to E and the position Δx _p of the interpolation pixel 3 (step S30). Then, the polynomial calculation unit 18 outputs the calculated pixel value F (Δx _p ) of the interpolation pixel 3 to the enlarged image generation unit 19.

なお、隣り合う原画素間に複数の補間画素が存在する場合には、補間画素毎にステップＳ２９及びＳ３０を繰り返してもよいし、ステップＳ２９でその複数の補間画素の補間位置を同時に取得して、ステップＳ３０で各補間画素の画素値を同時に求めてもよい。   If there are a plurality of interpolation pixels between adjacent original pixels, steps S29 and S30 may be repeated for each interpolation pixel, or the interpolation positions of the plurality of interpolation pixels are acquired simultaneously in step S29. In step S30, the pixel value of each interpolation pixel may be obtained simultaneously.

次いで、画像拡大部１１は、第２の制御カウンタｉをその最大値ｉ_ｍａｘ（行中の原画素数−１）と比較する（ステップＳ３１）。 Next, the image enlargement unit 11 compares the second control counter i with the maximum value i _max (the number of original pixels in the row−1) (step S31).

第２の制御カウンタｉが最大値ｉ_ｍａｘより小さい場合、すなわち、拡大画像内の所定の行中の全ての補間画素の処理が終了していない場合には、ステップＳ３１はＹＥＳ判定となる。この場合には、第２の制御カウンタｉを更新（ｉ＝ｉ＋１）してステップＳ２３に戻る（ステップＳ３２）。その後は、ステップＳ２３〜Ｓ３２の処理を繰り返す。 If the second control counter i is smaller than the maximum value i _max , that is, if the processing of all the interpolated pixels in a predetermined row in the enlarged image has not been completed, step S31 is YES. In this case, the second control counter i is updated (i = i + 1), and the process returns to step S23 (step S32). Thereafter, the processes in steps S23 to S32 are repeated.

そして、所定の行中の全ての補間画素の処理が終了した場合には、ステップＳ３１はＮＯ判定となる。この場合には、ステップＳ３３に進む。   Then, when the processing of all the interpolation pixels in the predetermined row is completed, step S31 is NO. In this case, the process proceeds to step S33.

次いで、画像拡大部１１は、第１の制御カウンタｍをその最大値ｍ_ｍａｘ（補間処理を行う行数）と比較する（ステップＳ３３）。 Next, the image enlargement unit 11 compares the first control counter m with the maximum value m _max (the number of rows to be subjected to interpolation processing) (step S33).

第１の制御カウンタｍが最大値ｍ_ｍａｘより小さい場合、すなわち、補間処理可能な全ての行（奇数行）についての処理が終了していない場合には、ステップＳ３３はＹＥＳ判定となる。この場合には、第１の制御カウンタｍを更新（ｍ＝ｍ＋１）してステップＳ２２に戻る（ステップＳ３４）。その後は、ステップＳ２２〜Ｓ３４の処理を繰り返す。 If the first control counter m is smaller than the maximum value m _max , that is, if the processing has not been completed for all rows that can be interpolated (odd rows), step S33 is YES. In this case, the first control counter m is updated (m = m + 1), and the process returns to step S22 (step S34). Thereafter, the processes in steps S22 to S34 are repeated.

そして、ステップＳ３３でＮＯ判定となった場合、すなわち、補間処理可能な全ての行（奇数行）についての処理が終了した場合には、図７中のステップＳ４に進み、Ｙ方向の補間処理を開始する。   If NO is determined in step S33, that is, if processing for all the rows that can be interpolated (odd rows) is completed, the process proceeds to step S4 in FIG. 7, and interpolation processing in the Y direction is performed. Start.

本実施形態では、以上のようにして拡大画像に対して補間処理を行う。本実施形態では、上述のように、ＣＩＰ−ＣＳＬ４法を用いて拡大画像中の画素値が未知である補間画素に対して補間処理を行う。それゆえ、本実施形態によれば、補間処理時に補間対象となる画素値のエネルギー保存は数学的に保証されるので、より高精度な空間補間が可能になる。   In the present embodiment, interpolation processing is performed on the enlarged image as described above. In the present embodiment, as described above, interpolation processing is performed on an interpolation pixel whose pixel value in the enlarged image is unknown using the CIP-CSL4 method. Therefore, according to the present embodiment, energy conservation of pixel values to be interpolated at the time of interpolation processing is mathematically guaranteed, so that more accurate spatial interpolation can be performed.

また、本実施形態によれば、補間対象となる画素値の積分値も用いるので、微分値（微分係数）が０となった場合でも補間が可能となる。   Further, according to the present embodiment, since the integral value of the pixel value to be interpolated is also used, interpolation is possible even when the differential value (differential coefficient) becomes zero.

さらに、本実施形態では、補間対象となる画素値のエネルギー保存が数学上保証されるので、画素値の微分値ｇ及び積分値ｒをコンパクトスキームで計算することができる。この場合、より簡易な構成及び計算手法で補間処理が可能になる。   Further, in the present embodiment, since the energy conservation of the pixel value to be interpolated is mathematically guaranteed, the differential value g and the integral value r of the pixel value can be calculated by a compact scheme. In this case, interpolation processing can be performed with a simpler configuration and calculation method.

［補間結果］
次に、本実施形態の補間処理を実際に適用した例（具体例）を説明する。ここでは、１０画素×１０画素のサイズの原画像を、２０画素×２０画素のサイズの拡大画像に拡大した例を説明する。また、具体例では、原画像に文字「正」が写っている画像を用いた。図１３に、具体例の補間結果を示す。なお、図１３には、比較のため、ラグランジュ補間法の０次補間及び１次補間の補間結果も併せて示した。 [Interpolation result]
Next, an example (specific example) in which the interpolation processing of this embodiment is actually applied will be described. Here, an example will be described in which an original image having a size of 10 pixels × 10 pixels is enlarged to an enlarged image having a size of 20 pixels × 20 pixels. In the specific example, an image in which the character “correct” is reflected in the original image is used. FIG. 13 shows an interpolation result of a specific example. For comparison, FIG. 13 also shows the interpolation results of the zero-order interpolation and the first-order interpolation of the Lagrange interpolation method.

図１３の結果から明らかなように、０次補間では文字幅が細くなる。なお、図１３中では原画像及び拡大画像を見やすくするために両画像とも拡大しているので明確ではないが、原画像の文字幅と０次補間の画像の文字幅は同程度となっている。また、１次補間では文字が滲んだようになり、文字部とそれ以外の部分との境界が不明瞭になる。これらの結果に対して、本実施形態の具体例の補間結果（図１３中の右下画像）では、文字幅が０次補間に比べて太くになり、文字部とそれ以外の部分との境界も明瞭になる。この結果から、本実施形態によれば、より精度の高い画像補間が可能になることが分かる。   As is clear from the results of FIG. 13, the character width is reduced in the zero-order interpolation. In FIG. 13, both the images are enlarged to make it easy to see the original image and the enlarged image, so it is not clear. However, the character width of the original image and the character width of the 0th-order interpolation image are approximately the same. . In addition, in the primary interpolation, characters appear blurred and the boundary between the character portion and the other portions becomes unclear. In contrast to these results, in the interpolation result (lower right image in FIG. 13) of the specific example of the present embodiment, the character width becomes thicker than that of the zeroth-order interpolation, and the boundary between the character part and the other part Becomes clearer. From this result, it can be seen that according to the present embodiment, more accurate image interpolation is possible.

上述した本実施形態では、原画像全体のサイズを拡大する場合の例について説明したが、本発明は、これに限定されない。例えば、原画像の一部を拡大する場合にも同様に適用可能であり、同様の効果が得られる。   In the above-described embodiment, an example in which the size of the entire original image is enlarged has been described, but the present invention is not limited to this. For example, the present invention can be similarly applied to a case where a part of an original image is enlarged, and the same effect can be obtained.

また、本実施形態は、例えばテレビの映像を携帯電話や携帯ゲーム機のディスプレイサイズに合わせる際に行う画像の縮小処理に用いることもできる。さらに、カメラやテレビに搭載されている画像サイズ変換装置（いわゆるスケーラーと呼ばれる装置）により、撮像映像の画素数を所定の表示規格に応じて変換（縮小）する際にも本実施形態を適用することができる。   In addition, the present embodiment can be used for image reduction processing that is performed when, for example, a television image is adjusted to the display size of a mobile phone or a portable game machine. Further, the present embodiment is applied to the case where the number of pixels of a captured image is converted (reduced) according to a predetermined display standard by an image size conversion device (a so-called scaler) mounted on a camera or a television. be able to.

ここで、上記画像の縮小処理における本実施形態の適用例を簡単に説明する。原画像と縮小画像との縦横比が異なる場合、原画像の画素を間引いただけでは、縮小画像の映像が歪んでしまう。それゆえ、この問題を避けるために、まず、原画像と縮小画像との最小公倍数の画素数の画像に原画像を拡大（オーバーサンプリング）し、次いで、その拡大画像を所定の画素数に縮小する。本実施形態は、オーバーサンプリング後の拡大画像の補間処理に適用することができる。拡大処理後（オーバーサンプリング後）の補間処理に線形補間を用いると画像が歪んだりするが、より高精度な補間が可能な本実施形態を用いることにより、この拡大画像の歪みを最小限に抑制することができる。   Here, an application example of the present embodiment in the image reduction processing will be briefly described. When the aspect ratios of the original image and the reduced image are different, the video of the reduced image is distorted if only the pixels of the original image are thinned out. Therefore, in order to avoid this problem, first, the original image is enlarged (oversampling) to an image having the least common multiple of the original image and the reduced image, and then the enlarged image is reduced to a predetermined number of pixels. . The present embodiment can be applied to interpolation processing of an enlarged image after oversampling. When linear interpolation is used for interpolation processing after enlargement processing (after oversampling), the image is distorted. By using this embodiment, which enables more accurate interpolation, distortion of this enlarged image is minimized. can do.

さらに、本実施形態は、ＭＰＥＧ（Moving Picture Experts Group）方式におけるＧＯＰ（Group of Pictures）内の画像フレームのフレーム変換処理に適用することができる。この場合、例えば、Ｉ（Intra picture）フレームをＰ（Predictive picture）フレームに変換する際や、ＰフレームをＢ（Bidirectionallypredictive picture）フレームに変換する際に本実施形態を適用する。   Furthermore, the present embodiment can be applied to frame conversion processing of image frames in GOP (Group of Pictures) in MPEG (Moving Picture Experts Group). In this case, for example, the present embodiment is applied when converting an I (Intra picture) frame into a P (Predictive picture) frame or when converting a P frame into a B (Bidirectionally predictive picture) frame.

［変形例］
上述の第１の実施形態では、原画像のサイズを拡大する場合の例について説明したが、本発明は、これに限定されない。本発明は、拡大処理時だけでなく、例えば、撮像素子の画素欠陥の補正及びノイズ除去にも適用できる。 [Modification]
In the first embodiment described above, an example in which the size of the original image is enlarged has been described, but the present invention is not limited to this. The present invention can be applied not only to enlargement processing, but also to correction of pixel defects and noise removal of an image sensor, for example.

図１４は、画像フレーム内に画素欠陥が有る場合の欠陥画素近傍の拡大図である。図１４中の中央位置の画素３３が欠陥画素である。このような場合には、上述した１次元のＣＩＰ−ＣＳＬ４法を方向分離して２次元に拡張し、欠陥画素３３のＸ方向及びＹ方向に隣接する原画素３４〜３７の画素値を用いて欠陥画素９６の画素値Ｆ_２２を求める。 FIG. 14 is an enlarged view of the vicinity of a defective pixel when there is a pixel defect in the image frame. The pixel 33 at the center position in FIG. 14 is a defective pixel. In such a case, the above-described one-dimensional CIP-CSL4 method is direction-separated and expanded to two dimensions, and pixel values of the original pixels 34 to 37 adjacent to the defective pixel 33 in the X direction and the Y direction are used. A pixel value F ₂₂ of the defective pixel 96 is obtained.

図１５は、撮像素子の画素欠陥の補正を行う場合（変形例）の画像処理装置のブロック構成図である。なお、図１５の画像処理装置３０において、第１の実施形態の画像処理装置１０（図４）と同じ構成部分には同一符号を付した。   FIG. 15 is a block configuration diagram of an image processing apparatus when a pixel defect of an image sensor is corrected (modified example). In the image processing apparatus 30 of FIG. 15, the same components as those of the image processing apparatus 10 (FIG. 4) of the first embodiment are denoted by the same reference numerals.

変形例の画像処理装置３０は、図４に示した第１の実施形態のそれとの比較から明らかなように、第１の実施形態の画像拡大部１１及び拡大画像生成部１９をそれぞれ欠陥画素抽出部３１及び画像生成部３２で置き換えた構成となる。これ以外の構成は、第１の実施形態と同様である。それゆえ、ここでは、欠陥画素抽出部３１及び画像生成部３２以外の構成についての説明は省略する。   As is apparent from a comparison with that of the first embodiment shown in FIG. 4, the image processing apparatus 30 according to the modified example extracts the defective pixel extraction unit 11 and the enlarged image generation unit 19 of the first embodiment. The configuration is replaced with the unit 31 and the image generation unit 32. Other configurations are the same as those in the first embodiment. Therefore, the description of the configuration other than the defective pixel extraction unit 31 and the image generation unit 32 is omitted here.

欠陥画素抽出部３１は、撮像装置５で撮像した画像データ（原画像）を取得し、その原画像中の欠陥画素の位置を抽出する。そして、欠陥画素抽出部３１は、その欠陥画素の位置Δｘ_ｐ、その欠陥画素に隣接する所定の原画素の画素値ｆ_ｉ＋１、及び、原画素間のサンプル間隔Δｘを出力する。また、欠陥画素抽出部３１は、第１の実施形態の画像拡大部１１と同様に、画像処理装置３０内の各部における処理の繰り返し回数を制御する機能も有する。なお、欠陥画素抽出部３１は、画像処理装置３０の外部に設けられていてもよい。 The defective pixel extraction unit 31 acquires image data (original image) captured by the imaging device 5 and extracts the position of the defective pixel in the original image. Then, the defective pixel extraction unit 31 outputs the position Δx _p of the defective pixel, the pixel value f _{i + 1} of the predetermined original pixel adjacent to the defective pixel, and the sample interval Δx between the original pixels. In addition, the defective pixel extraction unit 31 also has a function of controlling the number of repetitions of processing in each unit in the image processing apparatus 30 as in the image enlargement unit 11 of the first embodiment. Note that the defective pixel extraction unit 31 may be provided outside the image processing apparatus 30.

また、画像生成部３２は、欠陥画素の画素値が補間された補正画像を表示装置６に出力する。   Further, the image generation unit 32 outputs a corrected image obtained by interpolating the pixel value of the defective pixel to the display device 6.

＜第２の実施形態＞
［補間処理の原理］
第２の実施形態では、所定のフレームレートで連続撮影された複数の画像フレームからなる原画像群のフレームレートを変換（拡大）した際に必要となる時間軸上の補間処理について説明する。 <Second Embodiment>
[Principle of interpolation processing]
In the second embodiment, an interpolation process on the time axis that is necessary when the frame rate of an original image group composed of a plurality of image frames continuously captured at a predetermined frame rate is converted (enlarged) will be described.

図１６は、所定の時間間隔Δｔで連続撮像された原画像群のフレームレートを拡大した際の画素値が既知の原画素５１及び５２（第１及び第２画素）と、画素値が未知の補間画素５３（第３画素）との位置関係を示す図である。また、原画素５１、原画素５２及び補間画素５３はそれぞれ異なる画像フレーム中の画素であるが、画素フレーム内の位置は同じである。なお、図１６の例は、時間間隔Δｔで離れた２枚の原画素を含む画像フレーム間に補間画素を含む画像フレームが１枚生成されるようにフレームレートを変換した例である。   FIG. 16 shows original pixels 51 and 52 (first and second pixels) with known pixel values when the frame rate of an original image group continuously captured at a predetermined time interval Δt is enlarged, and unknown pixel values. It is a figure which shows the positional relationship with the interpolation pixel 53 (3rd pixel). The original pixel 51, the original pixel 52, and the interpolation pixel 53 are pixels in different image frames, but the positions in the pixel frame are the same. The example in FIG. 16 is an example in which the frame rate is converted so that one image frame including an interpolation pixel is generated between image frames including two original pixels separated by a time interval Δt.

ここでは、時刻ｔ_ｋ＋１の原画素５１（第１画素）と、時刻ｔ_ｋの原画素５２（第２画素）との間に生成された時刻ｔ（ｔ_ｋ＜ｔ＜ｔ_ｋ＋１）の補間画素５３（第３画素）の画素値の補間を考える。 Here, the time _{t k + 1} of the original pixel 51 (first pixel), the interpolation pixel of the original pixel 52 (second pixel) time generated during the _t (t k <t _{<t k + 1)} at time _{t k} Consider interpolation of the pixel value of 53 (third pixel).

ＣＩＰ−ＣＳＬ４法では、補間画素５３の画素値Ｆ（ｔ）（補間値）は、下記数式９で示すように、原画素５２からの時間変数ｔの４次多項式で表される。なお、下記数式９中のΔｔは、原画素５１と原画素５２との時間間隔である。   In the CIP-CSL4 method, the pixel value F (t) (interpolated value) of the interpolated pixel 53 is represented by a quartic polynomial of the time variable t from the original pixel 52, as shown in Equation 9 below. Note that Δt in Equation 9 below is a time interval between the original pixel 51 and the original pixel 52.

また、上記数式９は、原画素５１及び原画素５２の時刻において、下記数式１０に示すような拘束条件（境界条件）を満たさなければならない。   In addition, Equation 9 must satisfy a constraint condition (boundary condition) as shown in Equation 10 below at the time of the original pixel 51 and the original pixel 52.

また、上記数式９を、原画素５２の時刻ｔ_ｉを原点とし（ｔ_ｋ＝０）、原画素５１の時刻ｔ_ｋ＋１をΔｔとして、時間変数ｔ（ｔ_ｋ≦ｔ≦ｔ_ｋ＋１）をＴ（０≦Ｔ≦Δｔ）に変換すると（図１６参照）、上記数式９は下記数式１１のように変形される。 Further, the above equation 9, the time _{t i} of the original pixel 52 as the origin _(t k = 0), the time _{t k + 1} of the original pixel 51 as Delta] t, the time variable t to _{(t k ≦ t ≦ t k} + 1) T ( When converted to 0 ≦ T ≦ Δt (see FIG. 16), the above formula 9 is transformed into the following formula 11.

また、上記数式１１の画素値Ｆ（Ｔ）の微分値Ｆ′（Ｘ）及び積分値Ｒ（Ｘ）は下記数式１２のように表される。   Further, the differential value F ′ (X) and the integral value R (X) of the pixel value F (T) in the above formula 11 are expressed as the following formula 12.

上記数式１１及び１２に対しても上記数式１０と同様の拘束条件が成立する。   The same constraint conditions as in Equation 10 are satisfied for Equations 11 and 12 above.

上記数式９〜１２は、第１の実施形態で説明した上記数式１〜４との比較から明らかなように、数式１〜４中の位置変数ｘ（またはＸ）を時間変数ｔ（またはＴ）に置き換え、位置のインデックスｉを時間のインデックスｋに置き換えた式となる。それゆえ、上記数式９または１１中の各項の係数Ａ〜Ｅは、第１の実施形態の上記数式５及び６において、サンプル間隔Δｘを時間間隔Δｔに、インデックスｉをｋに置き換えた式となり、下記数式１３のようになる。   As apparent from the comparison with the above-described mathematical formulas 1 to 4 described in the first embodiment, the above-described mathematical formulas 9 to 12 represent the position variable x (or X) in the mathematical formulas 1 to 4 as the time variable t (or T). And the position index i is replaced with the time index k. Therefore, the coefficients A to E of the terms in Equation 9 or 11 are equations in which the sample interval Δx is replaced with the time interval Δt and the index i is replaced with k in the Equations 5 and 6 of the first embodiment. The following equation 13 is obtained.

本実施形態では、上記数式１３で求めた係数Ａ〜Ｅ及び補間画素５３の時間情報Ｔ（＝Δｔ_ｐ）を上記数式１１に代入して、補間画素５３の画素値Ｆ（Ｔ）を求める。 In the present embodiment, the coefficients A to E obtained by Equation 13 and the time information T (= Δt _p ) of the interpolation pixel 53 are substituted into Equation 11 to obtain the pixel value F (T) of the interpolation pixel 53.

なお、本実施形態では、第１の実施形態と同様に、各原画素における画素値の微分値ｇ及び積分値ｒは、コンパクトスキームで求める。すなわち、例えば、図１６中の原画素５１における微分値ｇ_ｋ＋１及び積分値ｒ_ｋ＋１は、それぞれ下記数式１４及び１５により求める。 In the present embodiment, as in the first embodiment, the differential value g and the integral value r of the pixel value in each original pixel are obtained by a compact scheme. That is, for example, the differential value g _{k + 1} and the integral value r _{k + 1} in the original pixel 51 in FIG.

ここで、図１７（ａ）及び（ｂ）に、ＣＩＰ−ＣＳＬ４法及びＣＩＰ法を１次元の移流方程式に適用し、その際の時間進展の補間特性を比較した図を示す。図１７（ａ）及び（ｂ）の特性は、所定の信号波形を所定時間一方向に移流させた際の信号波形の再現性を示しており、その横軸は位置であり、縦軸は補間対象となるパラメータの値である。   Here, FIGS. 17A and 17B are diagrams in which the CIP-CSL4 method and the CIP method are applied to a one-dimensional advection equation, and interpolation characteristics of time evolution at that time are compared. The characteristics shown in FIGS. 17A and 17B show the reproducibility of the signal waveform when the predetermined signal waveform is advected in one direction for a predetermined time, the horizontal axis is the position, and the vertical axis is the interpolation. The value of the target parameter.

図１７（ａ）及び（ｂ）中の特性７０は、初期波形（原波形）である。また、特性７１及び７２は、それぞれＣＩＰ−ＣＳＬ４法及びＣＩＰ法の補間処理により得られた移流後の信号波形である。なお、図１７（ａ）及び（ｂ）の計算条件は、移流量の値を０．１とし、計算繰り返し回数は１０００回とした。   A characteristic 70 in FIGS. 17A and 17B is an initial waveform (original waveform). Characteristics 71 and 72 are signal waveforms after advection obtained by interpolation processing of the CIP-CSL4 method and the CIP method, respectively. The calculation conditions in FIGS. 17A and 17B were such that the value of the transfer flow rate was 0.1 and the number of calculation repetitions was 1000.

図１７（ａ）及び（ｂ）の結果から明らかなように、例えば、ＣＩＰ−ＣＳＬ４法で求められた信号波形７１の立ち上がり及び立ち上がり部分がＣＩＰ法のそれより急峻になっており、ＣＩＰ−ＣＳＬ４法の方がＣＩＰ法より原波形７０の崩れが少なくなっている。このことから、ＣＩＰ法に比べて、ＣＩＰ−ＣＳＬ４法の方が高精度に時間補間できることが分かる。これは、ＣＩＰ−ＣＳＬ４法では、補間対象となるパラメータのエネルギー保存が数学的に保証されているのに対して、ＣＩＰ法ではエネルギー保存が数学的に保証されていないためである。   As is clear from the results of FIGS. 17A and 17B, for example, the rising and rising portions of the signal waveform 71 obtained by the CIP-CSL4 method are steeper than that of the CIP method, and the CIP-CSL4 In the method, the collapse of the original waveform 70 is less than in the CIP method. From this, it can be seen that the CIP-CSL4 method can perform time interpolation with higher accuracy than the CIP method. This is because the CIP-CSL4 method mathematically guarantees the energy conservation of the parameter to be interpolated, whereas the CIP method does not mathematically guarantee the energy conservation.

［装置構成］
図１８は、本実施形態に係る画像処理装置を適用した画像処理システムのブロック構成図である。本実施形態の画像処理システム６５は、撮像装置５で撮像した複数の画像フレームからなる画像群を画像処理装置６０でフレームレート変換及び補間処理し、補間済みの画像群を表示装置６に表示するシステムである。なお、本実施形態では、画像処理装置６０以外のシステム構成は第１の実施形態と同様とした。 [Device configuration]
FIG. 18 is a block diagram of an image processing system to which the image processing apparatus according to this embodiment is applied. The image processing system 65 of this embodiment performs frame rate conversion and interpolation processing on an image group composed of a plurality of image frames captured by the imaging device 5 by the image processing device 60, and displays the interpolated image group on the display device 6. System. In the present embodiment, the system configuration other than the image processing apparatus 60 is the same as that of the first embodiment.

画像処理装置６０は、撮像装置５で撮像した複数の画像フレームからなる原画像群のフレームレートを拡大し、その際に新たに生成される画像フレームの画素の画素値（未知）を画素値が既知の画像フレームから求める。   The image processing device 60 enlarges the frame rate of the original image group composed of a plurality of image frames imaged by the imaging device 5, and the pixel value (unknown) of the pixel of the image frame newly generated at that time is the pixel value. Obtained from a known image frame.

図１９は、画像処理装置６０の内部構成を示すブロック図である。画像処理装置６０は、フレームレート変換部６１と、微分値算出部１２と、積分値算出部１３と、第１記憶部１４と、第２記憶部１５と、補間処理部１６と、変換画像生成部６２とを備える。また、補間処理部１６は、係数算出部１７と、多項式演算部１８とで構成される。そして、各部の入出力端子は、上記数式１１及び１３〜１５式を計算できるように各部間で適宜接続されている。   FIG. 19 is a block diagram showing an internal configuration of the image processing apparatus 60. The image processing device 60 includes a frame rate conversion unit 61, a differential value calculation unit 12, an integral value calculation unit 13, a first storage unit 14, a second storage unit 15, an interpolation processing unit 16, and a converted image generation. Part 62. The interpolation processing unit 16 includes a coefficient calculation unit 17 and a polynomial calculation unit 18. And the input / output terminal of each part is suitably connected between each part so that the said Numerical formula 11 and 13-15 formula can be calculated.

本実施形態の画像処理装置６０は、図４に示した第１の実施形態のそれとの比較から明らかなように、第１の実施形態の画像拡大部１１及び拡大画像生成部１９をそれぞれフレームレート変換部６１及び変換画像生成部６２で置き換えた構成となる。これ以外の構成は、第１の実施形態と同様である。それゆえ、ここでは、フレームレート変換部６１及び変換画像生成部６２以外の構成についての説明は省略する。   As is apparent from the comparison with that of the first embodiment shown in FIG. 4, the image processing apparatus 60 of the present embodiment uses the image enlargement unit 11 and the enlarged image generation unit 19 of the first embodiment as frame rates. The conversion unit 61 and the converted image generation unit 62 are replaced. Other configurations are the same as those in the first embodiment. Therefore, the description of the configuration other than the frame rate conversion unit 61 and the converted image generation unit 62 is omitted here.

フレームレート変換部６１は、撮像装置５で撮像して得た複数の画像フレームからなる原画像群を取得する。そして、フレームレート変換部６１は、取得した原画像群のフレームレートを所定のフレームレートに拡大して、フレームレート変換された画像群（以下では、変換画像群ともいう）を生成する。また、フレームレート変換部６１は、変換画像群内の所定時刻ｔ_ｋ＋１の原画素５１の画素値ｆ_ｋ＋１、原画素間の時間間隔Δｔ及び補間画素５３の時間情報Ｔ（＝Δｔ_ｐ）をそれぞれ所定の部に出力する。また、フレームレート変換部６１は、後述するように、各部における処理の繰り返し回数を制御する機能を有する。なお、フレームレート変換部６１は、画像処理装置６０の外部に設けられていてもよい。 The frame rate conversion unit 61 acquires an original image group composed of a plurality of image frames obtained by imaging with the imaging device 5. Then, the frame rate conversion unit 61 expands the frame rate of the acquired original image group to a predetermined frame rate, and generates a frame rate-converted image group (hereinafter also referred to as a converted image group). The frame rate conversion unit 61 also includes the pixel value f _{k + 1} of the original pixel 51 at the predetermined time t _{k + 1} in the converted image group, the time interval Δt between the original pixels, and the time information T (= Δt _p ) of the interpolation pixel 53, respectively. Output to a predetermined part. The frame rate conversion unit 61 has a function of controlling the number of repetitions of processing in each unit, as will be described later. Note that the frame rate conversion unit 61 may be provided outside the image processing apparatus 60.

変換画像生成部６２は、画素値が未知の画像フレーム内の全ての画素に対して行った補間処理の結果を統合して、補間済みの変換画像群を生成する。   The converted image generation unit 62 integrates the results of interpolation processing performed on all the pixels in the image frame whose pixel value is unknown, and generates a converted image group after interpolation.

［補間処理］
次に、本実施形態の補間処理を図２０及び２１を参照しながら説明する。図２０は、補間処理全体の手順を示すフローチャートである。図２１は、図２０中のステップＳ４４内の処理の手順を示すフローチャートである。 [Interpolation processing]
Next, the interpolation processing of this embodiment will be described with reference to FIGS. FIG. 20 is a flowchart showing a procedure of the entire interpolation process. FIG. 21 is a flowchart showing a processing procedure in step S44 in FIG.

まず、フレームレート変換部６１は、撮像装置５で所定の時間間隔Δｔで連続撮像された複数の画像フレームからなる原画像群を取得する（ステップＳ４１）。   First, the frame rate conversion unit 61 acquires an original image group made up of a plurality of image frames continuously captured at a predetermined time interval Δt by the imaging device 5 (step S41).

次いで、フレームレート変換部６１は、入力された原画像群のフレームレートを所定のフレームレートに拡大して変換画像群を生成する（ステップＳ４２）。   Next, the frame rate conversion unit 61 generates a converted image group by expanding the frame rate of the input original image group to a predetermined frame rate (step S42).

次いで、フレームレート変換部６１は、以下に説明するステップＳ４４〜Ｓ４６の処理の繰り返し回数を制御する第１の制御カウンタＬを初期化（Ｌ＝１）する（ステップＳ４３）。なお、第１の制御カウンタＬは、画像フレーム内の画素の位置を示すパラメータである。   Next, the frame rate conversion unit 61 initializes (L = 1) a first control counter L that controls the number of repetitions of the processes in steps S44 to S46 described below (step S43). Note that the first control counter L is a parameter indicating the position of the pixel in the image frame.

次いで、画像処理装置６０は、第１の制御カウンタＬに対応する画像フレーム内の所定位置において、変換画像群内で時系列に配列された複数の補間画素の補間処理を行う（ステップＳ４４）。なお、ステップＳ４４については、図２１を参照しながら後で詳述する。   Next, the image processing device 60 performs interpolation processing of a plurality of interpolation pixels arranged in time series in the converted image group at a predetermined position in the image frame corresponding to the first control counter L (step S44). Step S44 will be described later in detail with reference to FIG.

次いで、フレームレート変換部６１は、第１の制御カウンタＬをその最大値Ｌ_ｍａｘ（画像フレーム内の画素数）と比較する（ステップＳ４５）。 Next, the frame rate conversion unit 61 compares the first control counter L with the maximum value L _max (the number of pixels in the image frame) (step S45).

第１の制御カウンタＬが最大値Ｌ_ｍａｘより小さい場合、すなわち、画像フレーム内の全ての画素位置について補間処理が終了していない場合、ステップＳ４５はＹＥＳ判定となる。この場合、フレームレート変換部６１は、第１の制御カウンタＬを更新する（ステップＳ４６：Ｌ＝Ｌ＋１）。その後は、ステップＳ４４〜Ｓ４６の処理を繰り返す。 If the first control counter L is smaller than the maximum value _Lmax , that is, if the interpolation process has not been completed for all pixel positions in the image frame, step S45 is YES. In this case, the frame rate conversion unit 61 updates the first control counter L (step S46: L = L + 1). Thereafter, the processes of steps S44 to S46 are repeated.

そして、画像フレーム内の全ての画素位置について補間処理が終了すると、ステップＳ４５はＮＯ判定となり、変換画像生成部６２は、全ての補間画素に対する処理結果を統合して、補間済みの変換画像群を生成する（ステップＳ４７）。   When the interpolation process is completed for all the pixel positions in the image frame, the determination in step S45 is NO, and the converted image generation unit 62 integrates the processing results for all the interpolated pixels, and selects the converted image group after interpolation. Generate (step S47).

次いで、表示装置６は、補間済みの変換画像群を表示する（ステップＳ４８）。なお、本実施形態では、各画素位置の補間処理を画像フレームの画素数だけ繰り返す例を説明したが、本発明はこれに限定されず、各画素位置の補間処理を平行して同時に処理してもよい。   Next, the display device 6 displays the interpolated converted image group (step S48). In the present embodiment, the example in which the interpolation processing at each pixel position is repeated by the number of pixels of the image frame has been described. However, the present invention is not limited to this, and the interpolation processing at each pixel position is performed simultaneously in parallel. Also good.

次に、ステップＳ４４の補間処理を図２１を参照しながら詳細に説明する。   Next, the interpolation processing in step S44 will be described in detail with reference to FIG.

まず、フレームレート変換部６１は、以下に説明するステップＳ５２〜Ｓ６１の処理の繰り返し回数を制御する第２の制御カウンタｋを初期化（ｋ＝１）する（ステップＳ５１）。なお、第２の制御カウンタｋは、変換画像群内における画素値が既知の画像フレームの時刻を示すパラメータである（図１６参照）。   First, the frame rate conversion unit 61 initializes (k = 1) a second control counter k that controls the number of repetitions of the processing of steps S52 to S61 described below (step S51). Note that the second control counter k is a parameter indicating the time of an image frame whose pixel value is already known in the converted image group (see FIG. 16).

次いで、第１記憶部１４及び第２記憶部１５は、時刻ｔ_ｋの原画素５２（第２画素）における画素値ｆ_ｋ及び微分値ｇ_ｋをそれぞれ記憶する（ステップＳ５２）。なお、ｋ＝１の場合の微分値ｇ_ｋは、予め設定された所定の値を第２記憶部１５に記憶する。 Next, the first storage unit 14 and the second storage unit 15 store the pixel value f _k and the differential value g _k in the original pixel 52 (second pixel) at time t _k (step S52). The differential value g _{k in} the case of k = 1 stores a predetermined value set in advance in the second storage unit 15.

次いで、微分値算出部１２及び積分値算出部１３は、フレームレート変換部６１から時刻ｔ_ｋ＋１における原画素５１（第１画素）の画素値ｆ_ｋ＋１を取得する（ステップＳ５３）。 Next, the differential value calculation unit 12 and the integral value calculation unit 13 obtain the pixel value f _{k + 1} of the original pixel 51 (first pixel) at time t _{k + 1} from the frame rate conversion unit 61 (step S53).

次いで、微分値算出部１２及び積分値算出部１３は、第１記憶部１４及び第２記憶部１５から、時刻ｔ_ｋの原画素５２における画素値ｆ_ｋ及び微分値ｇ_ｋをそれぞれ読み出す（ステップＳ５４）。 Next, the differential value calculation unit 12 and the integral value calculation unit 13 respectively read out the pixel value f _k and the differential value g _k in the original pixel 52 at time t _k from the first storage unit 14 and the second storage unit 15 (step) S54).

次いで、微分値算出部１２及び積分値算出部１３は、フレームレート変換部６１から原画素間の時間間隔Δｔを取得する（ステップＳ５５）。なお、ステップＳ５３〜Ｓ５５の処理は同時に行ってもよいし、その順序を適宜変更してもよい。   Next, the differential value calculation unit 12 and the integral value calculation unit 13 obtain the time interval Δt between the original pixels from the frame rate conversion unit 61 (step S55). In addition, the process of step S53-S55 may be performed simultaneously, and the order may be changed suitably.

次いで、微分値算出部１２及び積分値算出部１３は、取得した原画素５１（時刻ｔ_ｋ＋１）の画素値ｆ_ｋ＋１、原画素５２（時刻ｔ_ｋ）のｆ_ｋ、及び、時間間隔Δｔを用いて、原画素５１における微分値ｇ_ｋ＋１及び積分値ｒ_ｋ＋１をそれぞれ求める（ステップＳ５６）。具体的には、原画素５１における微分値ｇ_ｋ＋１及び積分値ｒ_ｋ＋１をそれぞれ上記数式１４及び１５で表されるコンパクトスキームを用いて算出する。 Then, the differential value calculation unit 12 and the integral value calculating unit 13, using _{f k} of the pixel value _{f k + 1} of the acquired original pixel 51 (time _{t k + 1),} the original pixel 52 (time _{t k),} and the time interval Δt Thus, the differential value g _{k + 1} and the integral value r _{k + 1} at the original pixel 51 are respectively obtained (step S56). Specifically, the differential value g _{k + 1} and the integral value r _{k + 1} in the original pixel 51 are calculated using the compact schemes expressed by the above formulas 14 and 15, respectively.

次いで、係数算出部１７は、上記ステップＳ５２〜Ｓ５６で取得及び算出した画素値（ｆ_ｋ＋１、ｆ_ｋ）、微分値（ｇ_ｋ＋１、ｇ_ｋ）、積分値（ｒ_ｋ＋１）及び時間間隔（Δｔ）を用いて、上記数式１１の多項式中の係数Ａ、Ｂ及びＣを求める（ステップＳ５７）。具体的には、係数算出部１７は、上記数式１３を用いて係数Ａ、Ｂ及びＣを求める。そして、係数算出部１７は、求めた係数Ａ〜Ｃを多項式演算部１８に出力する。 Next, the coefficient calculation unit 17 obtains and calculates the pixel values (f _{k + 1} , f _k ), the differential values (g _{k + 1} , g _k ), the integral value (r _{k + 1} ), and the time interval (Δt) acquired and calculated in steps S52 to S56. Are used to find the coefficients A, B, and C in the polynomial expression 11 (step S57). Specifically, the coefficient calculation unit 17 obtains the coefficients A, B, and C using the above formula 13. Then, the coefficient calculation unit 17 outputs the obtained coefficients A to C to the polynomial calculation unit 18.

また、この際、第１記憶部１４は、上記数式１１の多項式中の係数Ｅとして、原画素５２の画素値ｆ_ｋを多項式演算部１８に出力する。また、第２記憶部１５は、上記数式１１の多項式中の係数Ｄとして、原画素５２における微分値ｇ_ｋを多項式演算部１８に出力する。 At this time, the first storage unit 14 outputs the pixel value f _k of the original pixel 52 to the polynomial calculation unit 18 as the coefficient E in the polynomial of the above formula 11. Further, the second storage unit 15 outputs the differential value g _k in the original pixel 52 to the polynomial calculation unit 18 as the coefficient D in the polynomial of the above formula 11.

次いで、多項式演算部１８は、上記数式１１の多項式中の係数Ａ〜Ｅを取得すると共に、フレームレート変換部６１から、補間画素５３（第３画素）の時刻情報Ｔ＝Δｔ_ｐ（時刻ｔ_ｋ＝０からの時間、図１６参照）を取得する（ステップＳ５８）。 Then, the polynomial calculation unit 18 obtains the coefficients A~E in polynomial of the equation 11, from the frame rate conversion unit 61, the time information T = Delta] t _p (time _{t k} of the interpolated pixel 53 (third pixel) = 0 (time from 0, see FIG. 16) is acquired (step S58).

次いで、多項式演算部１８は、取得した係数Ａ〜Ｅ及び補間画素５３の時刻Ｔ＝Δｔ_ｐを用いて、補間画素５３の画素値Ｆ（Ｔ）を算出する（ステップＳ５９）。そして、多項式演算部１８は、算出した補間画素５３の画素値Ｆ（Ｔ）を変換画像生成部６２に出力する。 Then, the polynomial calculation unit 18 uses the time T = Delta] t _p of the coefficients A~E and the interpolation pixel 53 acquired, and calculates the pixel value F of the interpolation pixel 53 (T) (step S59). Then, the polynomial calculation unit 18 outputs the calculated pixel value F (T) of the interpolation pixel 53 to the converted image generation unit 62.

なお、隣り合う原画素間に複数の補間画素が存在する場合には、補間画素毎にステップＳ５８及びＳ５９を繰り返してもよいし、ステップＳ５８でその複数の補間画素の時刻を同時に取得して、ステップＳ５９で各補間画素の画素値を同時に求めてもよい。   If there are a plurality of interpolation pixels between adjacent original pixels, steps S58 and S59 may be repeated for each interpolation pixel, or the times of the plurality of interpolation pixels are acquired simultaneously in step S58, In step S59, the pixel value of each interpolation pixel may be obtained simultaneously.

次いで、フレームレート変換部６１は、第２の制御カウンタｋをその最大値ｋ_ｍａｘ（変換画像群中の原画像フレーム数−１）と比較する（ステップＳ６０）。 Next, the frame rate conversion unit 61 compares the second control counter k with the maximum value k _max (the number of original image frames in the converted image group−1) (step S60).

第２の制御カウンタｋが最大値ｋ_ｍａｘより小さい場合、すなわち、画像フレーム内の所定位置において時系列に配列された複数の画素からなる画素群中の全ての補間画素に対して補間処理が終了していない場合、ステップＳ６０はＹＥＳ判定となる。この場合には、第２の制御カウンタｋを更新（ｋ＝ｋ＋１）してステップＳ５２に戻る（ステップＳ６１）。その後は、ステップＳ５２〜Ｓ６１の処理を繰り返す。 When the second control counter k is smaller than the maximum value k _max , that is, the interpolation processing is completed for all the interpolation pixels in the pixel group composed of a plurality of pixels arranged in time series at a predetermined position in the image frame. If not, step S60 is YES. In this case, the second control counter k is updated (k = k + 1), and the process returns to step S52 (step S61). Thereafter, the processes in steps S52 to S61 are repeated.

そして、時系列に配列された複数の画素からなる画素群中の全ての補間画素に対して補間処理が終了した場合には、ステップＳ６０はＮＯ判定となり、図２０中のステップＳ４５に進む。   When the interpolation processing is completed for all the interpolation pixels in the pixel group composed of a plurality of pixels arranged in time series, step S60 is NO, and the process proceeds to step S45 in FIG.

本実施形態では、以上のようにしてフレームレート変換された画像群に対して補間処理を行う。本実施形態では、上述のように、ＣＩＰ−ＣＳＬ４法を用いてフレームレート変換された画像群内の画素値が未知である補間画素に対して補間を行う。それゆえ、本実施形態によれば、第１の実施形態と同様の効果が得られる。   In the present embodiment, interpolation processing is performed on the image group that has been frame rate converted as described above. In the present embodiment, as described above, interpolation is performed on an interpolation pixel whose pixel value in an image group subjected to frame rate conversion using the CIP-CSL4 method is unknown. Therefore, according to this embodiment, the same effect as that of the first embodiment can be obtained.

上述した第２の実施形態の応用例としては、例えば、インターレース走査（interlace scanning）方式の画像とプログレッシブ走査（progressive scanning）方式の画像との間の画像変換（ｉ／ｐ変換）を行う際の処理に用いることができる。この場合、例えば、２４ｐの画像を６０ｉの画像に変換する際や、１８０ｉの画像を３０ｐの画像に変換する際などに第２の実施形態を用いる。   As an application example of the second embodiment described above, for example, when performing image conversion (i / p conversion) between an image of an interlace scanning method and an image of a progressive scanning method (i / p conversion). Can be used for processing. In this case, for example, the second embodiment is used when a 24p image is converted into a 60i image, or when a 180i image is converted into a 30p image.

また、上記実施形態では、本発明を画像処理に適用する例を説明したが、画像処理以外では、次のような用途に本発明を適用することができる。
（１）デジタルシグナルプロセッサ（ＤＳＰ）における処理クロックのアップ／ダウンコンバージョン
（２）音声サンプリング周波数の変換（例えば、４４．１ｋＨｚのサンプリング周波数を１９２ｋＨｚのサンプリング周波数に変換するなど）
（３）株価、為替、債権価格の予想（一目均衡表の変種） Moreover, although the example which applies this invention to image processing was demonstrated in the said embodiment, this invention can be applied to the following uses other than image processing.
(1) Up / down conversion of processing clock in digital signal processor (DSP) (2) Conversion of audio sampling frequency (for example, conversion of 44.1 kHz sampling frequency to 192 kHz sampling frequency)
(3) Stock price, exchange rate, and bond price forecast (variation of the Ichimoku equilibrium table)

上記（１）の応用例では、ＤＳＰの処理クロックでサンプリングする任意のパラメータが補間値（補間関数）となる。上記（２）の応用例では、サンプリング周波数を変えたことにより補間が必要となった周波数成分の信号強度が補間値となる。また、上記（４）の適用例では、株価、為替、債権価が補間値となる。   In the application example (1) above, an arbitrary parameter sampled by the DSP processing clock is an interpolation value (interpolation function). In the application example of (2) above, the signal intensity of the frequency component that needs to be interpolated by changing the sampling frequency becomes the interpolation value. In the application example (4) above, the stock price, the exchange rate, and the bond value are interpolated values.

上記実施形態において、画像処理装置は、専用の装置として構成した例を説明したが、本発明はこれに限定されない。例えば、カメラなどの必要な周辺機器が接続され且つ各種データ処理を行うパーソナルコンピュータ装置に、本発明による画像処理を行うソフトウェア（プログラム）を実装して、本発明の処理を行う構成としてもよい。この場合、本発明の処理を実行するプログラムは、光ディスクや半導体メモリなどの媒体で配布する他に、インターネットなどの伝送手段を介してダウンロードさせる構成としてもよい。   In the above embodiment, the example in which the image processing apparatus is configured as a dedicated apparatus has been described, but the present invention is not limited to this. For example, a software (program) for performing image processing according to the present invention may be installed in a personal computer device connected with necessary peripheral devices such as a camera and performing various data processing to perform the processing of the present invention. In this case, the program for executing the processing of the present invention may be downloaded via a transmission means such as the Internet, in addition to being distributed on a medium such as an optical disk or a semiconductor memory.

原画像を拡大した際の拡大画像内の１次元画素配置図である。It is the one-dimensional pixel arrangement | positioning figure in the enlarged image at the time of enlarging an original image. ＣＩＰ−ＣＳＬ４法と、その他の補間手法との補間特性を比較した図を示す。The figure which compared the interpolation characteristic of CIP-CSL4 method and the other interpolation method is shown. 本発明の第１の実施形態に係る画像処理システムのブロック構成図である。1 is a block configuration diagram of an image processing system according to a first embodiment of the present invention. 第１の実施形態の画像処理装置のブロック構成図である。1 is a block configuration diagram of an image processing apparatus according to a first embodiment. 第１の実施形態の微分値算出部のブロック構成図である。It is a block block diagram of the differential value calculation part of 1st Embodiment. 第１の実施形態の積分値算出部のブロック構成図である。It is a block block diagram of the integral value calculation part of 1st Embodiment. 第１の実施形態の補間処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the interpolation process of 1st Embodiment. 図７中のステップＳ３の処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the process of step S3 in FIG. 原画像の２次元画素配置図である。It is a two-dimensional pixel arrangement | positioning figure of an original image. 原画像を拡大した直後の２次元画素配置図である。It is a two-dimensional pixel arrangement diagram immediately after enlarging an original image. Ｘ方向の補間処理が終了した際の２次元画素配置図である。It is a two-dimensional pixel arrangement | positioning figure when the X direction interpolation process is complete | finished. Ｙ方向の補間処理が終了した際の２次元画素配置図である。It is a two-dimensional pixel arrangement | positioning figure when the interpolation process of a Y direction is complete | finished. 第１の実施形態の補間処理の結果を示す図である。It is a figure which shows the result of the interpolation process of 1st Embodiment. 欠陥画素周辺の画素の２次元配置図である。It is a two-dimensional layout of pixels around a defective pixel. 変形例の画像処理装置のブロック構成図である。It is a block block diagram of the image processing apparatus of a modification. フレームレート変換した際の変換画像群内の画素配置図である。It is a pixel arrangement | positioning figure in the conversion image group at the time of carrying out frame rate conversion. 図１７（ａ）はＣＩＰ−ＣＳＬ４法の時間進展の補間特性であり、図１７（ｂ）はＣＩＰ法の時間進展の補間特性である。FIG. 17A shows the interpolation characteristics of the time evolution of the CIP-CSL4 method, and FIG. 17B shows the interpolation characteristics of the time evolution of the CIP method. 本発明の第２の実施形態に係る画像処理システムのブロック構成図である。It is a block block diagram of the image processing system which concerns on the 2nd Embodiment of this invention. 第２の実施形態の画像処理装置のブロック構成図である。It is a block block diagram of the image processing apparatus of 2nd Embodiment. 第２の実施形態の補間処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the interpolation process of 2nd Embodiment. 図１８中のステップＳ４４の処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the process of step S44 in FIG.

符号の説明Explanation of symbols

１，５１…原画素（第１画素）、２，５２…原画素（第２画素）、３，５３…補間画素（第３画素）、４，６５…画像処理システム、５…撮像装置、６…表示装置、１０，３０，６０…画像処理装置、１１…画像拡大部、１２…微分値算出部、１３…積分値算出部、１４…第１記憶部、１５…第２記憶部、１６…補間処理部、１７…係数算出部、１８…多項式演算部、１９…拡大画像生成部、２１，２３…減算回路、２２，２４…除算回路、２５…積算回路、３１…欠陥画像抽出部、３２…画像生成部、３３…欠陥画素、６１…フレームレート変換部、６２…変換画像生成部   DESCRIPTION OF SYMBOLS 1,51 ... Original pixel (1st pixel), 2,52 ... Original pixel (2nd pixel), 3,53 ... Interpolation pixel (3rd pixel), 4,65 ... Image processing system, 5 ... Imaging device, 6 Display device 10, 30, 60 Image processing device 11 Image enlargement unit 12 Differential value calculation unit 13 Integration value calculation unit 14 First storage unit 15 Second storage unit 16 Interpolation processing unit, 17 ... coefficient calculation unit, 18 ... polynomial calculation unit, 19 ... enlarged image generation unit, 21,23 ... subtraction circuit, 22,24 ... division circuit, 25 ... integration circuit, 31 ... defect image extraction unit, 32 ... image generation unit, 33 ... defective pixel, 61 ... frame rate conversion unit, 62 ... converted image generation unit

Claims (10)

所定画像内の画素値が既知である第１画素の画素値と、前記所定画像内の第１画素から所定距離離れた位置の画素値が既知である第２画素の画素値または前記所定画像から所定時間離れた画像内の第１画素と同じ位置の画素値が既知である第２画素の画素値とを取得して、第１及び第２画素の前記画素値に基づいて第１画素における画素値の微分値を算出する微分値算出部と、
第１及び第２画素の前記画素値を取得して、第１及び第２画素の前記画素値に基づいて第１画素における画素値の積分値を算出する積分値算出部と、
第１及び第２画素の前記画素値、第１画素における前記微分値及び前記積分値、前記微分値算出部で予め算出された第２画素における微分値、及び、前記所定距離若しくは前記所定時間を取得して、ＣＩＰ−ＣＳＬ４法により第１画素及び第２画素の間に位置する画素値が未知の第３画素の画素値を算出する補間処理部と、
を備える情報処理装置。 From the pixel value of the first pixel whose pixel value in the predetermined image is known and the pixel value of the second pixel whose pixel value at a predetermined distance from the first pixel in the predetermined image is known or from the predetermined image A pixel value of the second pixel having a known pixel value at the same position as the first pixel in the image separated by a predetermined time, and a pixel in the first pixel based on the pixel values of the first and second pixels A differential value calculation unit for calculating a differential value of the value;
An integration value calculation unit that acquires the pixel values of the first and second pixels and calculates an integration value of the pixel values in the first pixel based on the pixel values of the first and second pixels;
The pixel value of the first and second pixels, the differential value and the integral value of the first pixel, the differential value of the second pixel calculated in advance by the differential value calculation unit, and the predetermined distance or the predetermined time. An interpolation processing unit that acquires and calculates a pixel value of a third pixel whose pixel value located between the first pixel and the second pixel is unknown by the CIP-CSL4 method;
An information processing apparatus comprising: 前記微分値算出部が、第１画素の前記画素値と第２画素の前記画素値との差を前記所定距離または前記所定時間で除算して前記微分値を求め、
前記積分値算出部が、第１及び第２画素の前記画素値の平均値に前記所定距離または前記所定時間を乗算して前記積分値を求める
請求項１に記載の情報処理装置。 The differential value calculation unit obtains the differential value by dividing the difference between the pixel value of the first pixel and the pixel value of the second pixel by the predetermined distance or the predetermined time;
The information processing apparatus according to claim 1, wherein the integral value calculation unit obtains the integral value by multiplying an average value of the pixel values of the first and second pixels by the predetermined distance or the predetermined time. さらに、前記画像を撮像して得る撮像部を備える
請求項１に記載の情報処理装置。 The information processing apparatus according to claim 1, further comprising an imaging unit that captures the image. 第３画素の前記画素値が第３画素の第２画素からの距離または時間を変数とする４次の多項式で表され、
前記補間処理部が、
前記多項式中の各項の係数を算出する係数算出部と、
前記係数算出部により算出された前記係数に基づいて、第３画素の前記画素値を求める多項式演算部とを有する
請求項１に記載の情報処理装置。 The pixel value of the third pixel is represented by a fourth-order polynomial with the distance or time of the third pixel from the second pixel as a variable,
The interpolation processing unit
A coefficient calculation unit for calculating the coefficient of each term in the polynomial;
The information processing apparatus according to claim 1, further comprising: a polynomial calculation unit that obtains the pixel value of a third pixel based on the coefficient calculated by the coefficient calculation unit. さらに、前記所定画像の原画像を拡大して、前記所定画像内に第３画素を生成する画像拡大部を備える
請求項１に記載の情報処理装置。 The information processing apparatus according to claim 1, further comprising an image enlargement unit that enlarges an original image of the predetermined image and generates a third pixel in the predetermined image. さらに、前記所定画像と前記所定画像から所定時間離れた前記画像とを含む原画像群のフレームレートを拡大して、前記所定画像と、前記所定画像から所定時間離れた前記画像との間に、第３画素を含む画像を生成するフレームレート変換部を備える
請求項１に記載の情報処理装置。 Further, by enlarging the frame rate of the original image group including the predetermined image and the image separated from the predetermined image for a predetermined time, between the predetermined image and the image separated from the predetermined image for a predetermined time, The information processing apparatus according to claim 1, further comprising a frame rate conversion unit that generates an image including the third pixel. さらに、第３画素が欠陥画素であり、前記所定画像内の前記欠陥画素の位置を抽出する欠陥画像抽出部を備える
請求項１に記載の情報処理装置。 The information processing apparatus according to claim 1, further comprising a defect image extraction unit configured to extract a position of the defective pixel in the predetermined image, wherein the third pixel is a defective pixel. さらに、前記画素値を記憶する第１記憶部と、
前記微分値を記憶する第２記憶部とを備える
請求項１に記載の情報処理装置。 A first storage unit that stores the pixel values;
The information processing apparatus according to claim 1, further comprising: a second storage unit that stores the differential value. 所定画像内の画素値が既知である第１画素の画素値と、前記所定画像内の第１画素から所定距離離れた位置の画素値が既知である第２画素の画素値または前記所定画像から所定時間離れた画像内の第１画素と同じ位置の画素値が既知である第２画素の画素値とを取得するステップと、
第１及び第２画素の前記画素値に基づいて第１画素における画素値の微分値及び積分値を算出するステップと、
第１及び第２画素の前記画素値、第１画素における前記微分値及び前記積分値、予め算出された第２画素における微分値、及び、前記所定距離若しくは前記所定時間を用いて、ＣＩＰ−ＣＳＬ４法により第１画素及び第２画素の間に位置する画素値が未知の第３画素の画素値を算出するステップと、
を含む情報処理方法。 From the pixel value of the first pixel whose pixel value in the predetermined image is known and the pixel value of the second pixel whose pixel value at a predetermined distance from the first pixel in the predetermined image is known or from the predetermined image Obtaining a pixel value of a second pixel whose pixel value at the same position as the first pixel in the image separated by a predetermined time is known;
Calculating a differential value and an integral value of a pixel value in the first pixel based on the pixel values of the first and second pixels;
Using the pixel value of the first and second pixels, the differential value and the integral value of the first pixel, the differential value of the second pixel calculated in advance, and the predetermined distance or the predetermined time, CIP-CSL4 Calculating a pixel value of a third pixel whose pixel value located between the first pixel and the second pixel is unknown by a method;
An information processing method including: 所定画像内の画素値が既知である第１画素の画素値と、前記所定画像内の第１画素から所定距離離れた位置の画素値が既知である第２画素の画素値または前記所定画像から所定時間離れた画像内の第１画素と同じ位置の画素値が既知である第２画素の画素値とを取得する処理と、
第１及び第２画素の前記画素値に基づいて第１画素における画素値の微分値及び積分値を算出する処理と、
第１及び第２画素の前記画素値、第１画素における前記微分値及び前記積分値、予め算出された第２画素における微分値、及び、前記所定距離若しくは前記所定時間を用いて、ＣＩＰ−ＣＳＬ４法により第１画素及び第２画素の間に位置する画素値が未知の第３画素の画素値を算出する処理と、
をコンピュータ装置に実装して実行させるプログラム。 From the pixel value of the first pixel whose pixel value in the predetermined image is known and the pixel value of the second pixel whose pixel value at a predetermined distance from the first pixel in the predetermined image is known or from the predetermined image A process of acquiring a pixel value of a second pixel whose pixel value at the same position as the first pixel in the image separated by a predetermined time is known;
Processing for calculating a differential value and an integral value of the pixel value in the first pixel based on the pixel values of the first and second pixels;
Using the pixel value of the first and second pixels, the differential value and the integral value of the first pixel, the differential value of the second pixel calculated in advance, and the predetermined distance or the predetermined time, CIP-CSL4 A process of calculating a pixel value of a third pixel having an unknown pixel value located between the first pixel and the second pixel by a method;
A program that implements and runs on a computer device.