JP2012088954A - Image processing device - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide an image processing device that carries out dynamic correction with a small circuit scale, simultaneously if plural corrections are included, without the need of direct processing by a CPU.SOLUTION: An image processing device 10 that carries out correction of an input image using a correction curve comprises: a setting register part 20 that outputs an initial value of a parameter for determining a coefficient of the correction curve; a statistical analysis part 40 that statistically analyzes image data of the input image; a parameter generation part 30 that changes the initial value of the parameter based on statistical information obtained from the statistical analysis part; and a correction output part 50 that sets a coefficient of the correction curve based on the parameter changed by the parameter generation part, and corrects and outputs pixel values for respective pixels of the input image based on the correction curve. The correction curve is a function of the third order or more, and the parameter has less order than that of the correction curve.

Description

本発明は、画像処理装置等に関する。   The present invention relates to an image processing apparatus and the like.

通常、ディスプレイやプロジェクターなどの画像表示機器に含まれる画像処理装置は、所望の再現特性を得るために入力画像データの階調値を補正する。階調値の補正は、例えば明るさ補正、コントラスト補正、カラーバランス補正等である。これらの補正は入力画像データに応じてダイナミックに行われるところ、補正曲線は３次以上の式で表されるので、積和演算の負担軽減、演算時間短縮のためにルックアップテーブルが用いられることが多い。このとき、ルックアップテーブルはテーブルメモリーやＲＯＭ等のリソースを必要とする。   Usually, an image processing apparatus included in an image display device such as a display or a projector corrects a gradation value of input image data in order to obtain desired reproduction characteristics. The correction of the gradation value is, for example, brightness correction, contrast correction, color balance correction, and the like. Since these corrections are dynamically performed according to the input image data, the correction curve is expressed by a third-order or higher expression, so that a look-up table is used to reduce the load of product-sum operation and the calculation time. There are many. At this time, the lookup table requires resources such as a table memory and a ROM.

これらのリソースを増やさずに複数種類の変換を行うために、引用文献１の発明は雛形のテーブル値をＲＯＭに格納し、ＣＰＵがテーブル値をテーブルメモリーに書き込む際に変換モジュールがテーブル値を適切な値に書き換える。   In order to perform multiple types of conversion without increasing these resources, the invention of cited document 1 stores the table value of the template in the ROM, and the conversion module appropriately sets the table value when the CPU writes the table value in the table memory. Rewrite to a correct value.

特開２００７−２９３８２７号公報JP 2007-293828 A

しかし、ＣＰＵがＲＯＭにアクセスしてテーブル値を一度読み込む必要があることは、ＣＰＵに負荷をかけることになる。その結果、システム全体の処理速度が低下する恐れがある。また、画像の特徴に応じてテーブル値を変更するような場合には、ＣＰＵは時間のかかる画像の解析を行う必要があり、補正処理に遅延が生じる恐れがある。   However, the fact that the CPU needs to access the ROM and read the table value once places a load on the CPU. As a result, the processing speed of the entire system may be reduced. Further, when the table value is changed according to the feature of the image, the CPU needs to analyze the time-consuming image, which may cause a delay in the correction process.

本発明はこのような問題点に鑑みてなされたものである。本発明のいくつかの態様によれば、直接的なＣＰＵによる処理を要することなく、ダイナミック補正を小さな回路規模で、複数の補正を含む場合には同時に、実行できる画像処理装置を提供する。   The present invention has been made in view of such problems. According to some aspects of the present invention, there is provided an image processing apparatus capable of executing dynamic correction with a small circuit scale and simultaneously including a plurality of corrections without requiring direct CPU processing.

（１）本発明は、補正曲線を用いて入力画像の補正を行う画像処理装置であって、前記補正曲線の係数を定めるパラメーターの初期値を出力する設定レジスター部と、前記入力画像の画像データを統計的に解析する統計解析部と、前記パラメーターの初期値を、前記統計解析部からの統計情報に基づいて変更するパラメーター生成部と、前記パラメーター生成部で変更されたパラメーターに基づいて前記補正曲線の係数を定め、前記入力画像の各画素の画素値を前記補正曲線に基づいて補正して出力する補正出力部と、を含み、前記補正曲線は３次以上の関数であって、前記パラメーターは前記補正曲線の次数よりも少ない。 (1) The present invention is an image processing apparatus that corrects an input image using a correction curve, a setting register unit that outputs an initial value of a parameter that determines a coefficient of the correction curve, and image data of the input image A statistical analysis unit that statistically analyzes the parameter, a parameter generation unit that changes an initial value of the parameter based on statistical information from the statistical analysis unit, and the correction based on the parameter changed by the parameter generation unit A correction output unit that determines a coefficient of a curve and corrects and outputs a pixel value of each pixel of the input image based on the correction curve, wherein the correction curve is a function of third order or higher, and the parameter Is less than the order of the correction curve.

本発明によれば、入力画像の補正に用いる補正曲線のテンプレートを用意し、その次数よりも少ないパラメーターにより補正曲線の係数を定めることで、ダイナミック補正を小さな回路規模で、複数の補正を含む場合には同時に、実行できる。このとき、直接的なＣＰＵによる処理を要することなく、システム全体の処理速度が向上する。   According to the present invention, when a correction curve template used for correcting an input image is prepared and a coefficient of the correction curve is determined by a parameter smaller than the order, dynamic correction is performed with a small circuit scale and including a plurality of corrections. Can be run simultaneously. At this time, the processing speed of the entire system is improved without requiring direct CPU processing.

ここで、ダイナミック補正とは例えば明るさ補正、コントラスト補正、カラーバランス補正等である。ダイナミック補正は入力画像の統計的なデータに基づき前記の補正曲線の係数やテーブル値を動的に変更する補正を指す。これに対し、製造ばらつき等に起因する表示パネルの個体差の補正は、静的な（固定的な）係数やテーブル値を用いるのでスタティック補正と呼ぶ。   Here, the dynamic correction is, for example, brightness correction, contrast correction, color balance correction, and the like. Dynamic correction refers to correction that dynamically changes the coefficient and table value of the correction curve based on statistical data of an input image. On the other hand, correction of individual differences between display panels due to manufacturing variations and the like is called static correction because static (fixed) coefficients and table values are used.

（２）この画像処理装置において、前記パラメーターは、前記補正曲線の所定の値における接線の傾きであってもよい。 (2) In this image processing apparatus, the parameter may be a slope of a tangent line at a predetermined value of the correction curve.

本発明によれば、補正曲線の係数を定めるパラメーターを接線の傾きで求めることができるので、パラメーターの修正および決定が容易になる。   According to the present invention, the parameter that determines the coefficient of the correction curve can be obtained by the slope of the tangent, so that the parameter can be easily corrected and determined.

（３）この画像処理装置において、前記補正曲線は３次関数であってもよい。 (3) In this image processing apparatus, the correction curve may be a cubic function.

本発明によれば、補正曲線を表す関数の次数を３とすることで、２つのパラメーターで補正曲線を定義することができる。そのため、回路規模を小さくすることが可能である。   According to the present invention, by setting the order of the function representing the correction curve to 3, the correction curve can be defined with two parameters. Therefore, the circuit scale can be reduced.

（４）この画像処理装置において、前記パラメーターは、前記補正曲線の最小の入力値と最大の入力値における接線の傾きで与えられてもよい。 (4) In this image processing apparatus, the parameter may be given by a minimum input value of the correction curve and a slope of a tangent line at the maximum input value.

本発明によれば、３次補正曲線の係数を定める２つのパラメーターは、最小の入力値と最大の入力値における接線の傾きとして容易に求められる。ここで、入力値とは正規化した入力画像の各画素の画素値を指す。このとき、補正曲線がｆ（ｘ）であるとすると、入力値はｘである。ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘであれば、最小の入力値はｘ_ｍｉｎであり、最大の入力値はｘ_ｍａｘである。そして、２つのパラメーターはそれぞれ、ｆ′（ｘ_ｍｉｎ）とｆ′（ｘ_ｍａｘ）になる。 According to the present invention, the two parameters that determine the coefficient of the cubic correction curve can be easily obtained as the tangent slope at the minimum input value and the maximum input value. Here, the input value refers to the pixel value of each pixel of the normalized input image. At this time, if the correction curve is f (x), the input value is x. If x _min ≦ x ≦ x _max , the minimum input value is x _min and the maximum input value is x _max . The two parameters are f ′ (x _min ) and f ′ (x _max ), respectively.

（５）この画像処理装置において、前記補正出力部は、前記入力画像の補正に用いるルックアップテーブルを有し、前記ルックアップテーブルの各テーブル値を前記補正曲線に基づいて更新し、更新された前記ルックアップテーブルを用いて前記入力画像の各画素の画素値を補正してもよい。 (5) In this image processing apparatus, the correction output unit includes a lookup table used for correcting the input image, and updates each table value of the lookup table based on the correction curve. The pixel value of each pixel of the input image may be corrected using the lookup table.

本発明によれば、積和演算器で入力画像の各画素の画素値を直接補正する事に代えて、ルックアップテーブルのテーブル値を補正することで更に演算の負荷、時間を軽減することができる。   According to the present invention, instead of directly correcting the pixel value of each pixel of the input image by the product-sum calculator, the calculation load and time can be further reduced by correcting the table value of the lookup table. it can.

（６）この画像処理装置において、前記入力画像は動画の１フレーム分の画像であって、前記補正出力部は、垂直ブランキング期間に前記ルックアップテーブルの各テーブル値を前記補正曲線に基づいて更新してもよい。 (6) In this image processing apparatus, the input image is an image of one frame of a moving image, and the correction output unit calculates each table value of the lookup table based on the correction curve during a vertical blanking period. It may be updated.

本発明によれば、入力画像が動画である場合には、ルックアップテーブルのテーブル値の補正を垂直ブランキング期間に行うことで、続く画像データの各画素値の補正処理をリアルタイムに行うことができるので処理の効率が向上する。   According to the present invention, when the input image is a moving image, correction of the table values of the lookup table is performed in the vertical blanking period, whereby correction processing of each pixel value of the subsequent image data can be performed in real time. This improves the processing efficiency.

（７）この画像処理装置において、前記補正出力部は、１つの積和演算器を含み、前記積和演算器を用いて前記入力画像の各画素の画素値を前記補正曲線に基づいて補正してもよい。 (7) In this image processing apparatus, the correction output unit includes one product-sum calculator, and corrects the pixel value of each pixel of the input image based on the correction curve using the product-sum calculator. May be.

本発明によれば、積和演算器で入力画像の各画素の画素値を直接補正するのでテーブルメモリーやＲＯＭ等のリソースを必要としない。そのため、回路規模を小さくできる。   According to the present invention, since the pixel value of each pixel of the input image is directly corrected by the product-sum calculator, resources such as a table memory and a ROM are not required. Therefore, the circuit scale can be reduced.

（８）この画像処理装置において、前記設定レジスター部は、前記補正の種類に応じて出力される複数のパラメーターの初期値を含んでもよい。 (8) In this image processing apparatus, the setting register unit may include initial values of a plurality of parameters output according to the type of correction.

本発明によれば、ＣＰＵ等の制御信号だけで、簡単に複数のダイナミック補正を切り替えることが可能になる。   According to the present invention, a plurality of dynamic corrections can be easily switched only by a control signal from a CPU or the like.

第１実施形態の画像処理装置のブロック図。1 is a block diagram of an image processing apparatus according to a first embodiment. 図２（Ａ）〜図２（Ｂ）はダイナミック補正の補正曲線の例を示す図。FIG. 2A to FIG. 2B are diagrams illustrating examples of correction curves for dynamic correction. 図３（Ａ）〜図３（Ｂ）は合成したダイナミック補正の補正曲線の例を示す図。FIGS. 3A to 3B are diagrams showing examples of synthesized correction curves for dynamic correction. 図４（Ａ）は補正の種類と初期値の例を示すテーブル。図４（Ｂ）〜図４（Ｃ）は入出力データの例を示す図。FIG. 4A is a table showing examples of correction types and initial values. 4B to 4C are diagrams showing examples of input / output data. 図５（Ａ）〜図５（Ｃ）はパラメーターを決定する方法の例を示す図。FIGS. 5A to 5C are diagrams illustrating an example of a method for determining a parameter. 図６（Ａ）は第１実施形態の補正出力部の構成を示す図。図６（Ｂ）はその波形図を示す図。FIG. 6A is a diagram illustrating a configuration of a correction output unit according to the first embodiment. FIG. 6B shows a waveform diagram thereof. 図７は第２実施形態の補正出力部の構成を示す図。FIG. 7 is a diagram illustrating a configuration of a correction output unit according to the second embodiment. 図８は第２実施形態の処理例のフローチャート。FIG. 8 is a flowchart of a processing example of the second embodiment.

以下、本発明の実施形態について図面を参照して説明する。
１．第１実施形態
本発明の第１実施形態について図１〜図６を参照して説明する。
１．１．第１実施形態の画像処理装置の構成
図１は本実施形態の画像処理装置１０のブロック図である。画像処理装置１０は、設定レジスター部２０、パラメーター生成部３０、統計解析部４０、補正出力部５０を含む。 Embodiments of the present invention will be described below with reference to the drawings.
1. First Embodiment A first embodiment of the present invention will be described with reference to FIGS.
1.1. Configuration of Image Processing Apparatus According to First Embodiment FIG. 1 is a block diagram of an image processing apparatus 10 according to this embodiment. The image processing apparatus 10 includes a setting register unit 20, a parameter generation unit 30, a statistical analysis unit 40, and a correction output unit 50.

設定レジスター部２０は、例えばＣＰＵから制御信号２０２を受け取り、その内容に応じたパラメーター初期値２０４を出力する。例えば、制御信号２０２が補正の種類として明るさ補正を指定する場合には、明るさ補正の補正曲線の係数を決定するためのパラメーター初期値２０４を出力する。初期値を与えることで最初のフレームの入力画像も補正が施されるようにする。なお、２番目のフレームの入力画像からは、直前のフレームの画像データの統計情報２０６に基づいて初期値が修正され得るので、より適したダイナミック補正が行われる。   The setting register unit 20 receives a control signal 202 from, for example, a CPU, and outputs a parameter initial value 204 corresponding to the content. For example, when the control signal 202 specifies brightness correction as the type of correction, the parameter initial value 204 for determining the coefficient of the correction curve for brightness correction is output. By giving an initial value, the input image of the first frame is also corrected. Since the initial value can be corrected from the input information of the second frame based on the statistical information 206 of the image data of the immediately preceding frame, more suitable dynamic correction is performed.

統計解析部４０は、入力画像の画素の画素値２００を受け取り、１フレーム分の画像データ（画素値）から画像を特徴付ける統計的な解析データ（統計情報）２０６を出力する。統計解析部４０は、入力画像の画素の画素値２００を一時的に保持するラインバッファーやフレームバッファーを含んでいてもよい。統計情報２０６は、例えば１フレーム分の画像データから得られる輝度分布、コントラスト、彩度、カラーバランス等の情報であってもよい。   The statistical analysis unit 40 receives the pixel value 200 of the pixel of the input image, and outputs statistical analysis data (statistical information) 206 that characterizes the image from image data (pixel value) for one frame. The statistical analysis unit 40 may include a line buffer or a frame buffer that temporarily holds the pixel value 200 of the pixel of the input image. The statistical information 206 may be information such as luminance distribution, contrast, saturation, and color balance obtained from image data for one frame, for example.

パラメーター生成部３０は、設定レジスター部２０からパラメーター初期値２０４を受け取り、統計情報２０６に基づいてパラメーター初期値２０４を修正してパラメーター２０８を出力する。   The parameter generation unit 30 receives the parameter initial value 204 from the setting register unit 20, modifies the parameter initial value 204 based on the statistical information 206, and outputs the parameter 208.

そして、補正出力部５０は、パラメーター２０８を受け取って補正曲線の係数を決定して、入力画像の画素の画素値２００を補正して、各画素の補正後の画素値である出力画素値２１０を出力する。ここで、入力画像のデータは走査方式で入力され、補正の対象となる注目画素は例えばシステムクロックに同期して順次変化する。そして、所定時間の経過後には１フレームの全ての画素について所定の処理が行われ、最終的に１フレームの画像について補正が行われる。   Then, the correction output unit 50 receives the parameter 208, determines the coefficient of the correction curve, corrects the pixel value 200 of the pixel of the input image, and outputs the output pixel value 210 that is the corrected pixel value of each pixel. Output. Here, input image data is input by a scanning method, and a target pixel to be corrected sequentially changes in synchronization with, for example, a system clock. After a predetermined time elapses, predetermined processing is performed for all pixels in one frame, and finally, correction is performed for an image in one frame.

本実施形態の画像処理装置１０では、例えばＣＰＵ（図外）は制御信号２０２によって補正の種類を指定するだけでよい。本実施形態では、特許文献１のテーブル値に対応する補正曲線を変更する場合にＣＰＵが直接関与することはない。よって、本実施形態の画像処理装置１０は、ＣＰＵに負荷をかけてシステム全体の処理速度を低下させるようなことがない。   In the image processing apparatus 10 of this embodiment, for example, the CPU (not shown) only needs to specify the type of correction by the control signal 202. In the present embodiment, the CPU is not directly involved in changing the correction curve corresponding to the table value of Patent Document 1. Therefore, the image processing apparatus 10 of this embodiment does not reduce the processing speed of the entire system by applying a load on the CPU.

１．２．パラメーターと補正曲線の関係について
１．２．１．パラメーターの数について
本発明は、制御点に対応するパラメーターの数を、ダイナミック補正を行うための補正曲線の次数より少なくすることで、演算処理の負荷を減らして小さな回路規模で補正を行う。例えば、３次の補正曲線が２つのパラメーターで定まれば、パラメーターを変更する際の演算や、その後の補正曲線に基づいた積和演算での負荷が軽くなる。 1.2. Relationship between parameters and correction curve 1.2.1. Regarding the number of parameters In the present invention, the number of parameters corresponding to control points is made smaller than the order of the correction curve for performing dynamic correction, thereby reducing the processing load and performing correction with a small circuit scale. For example, if a third-order correction curve is determined by two parameters, the load in the calculation when changing the parameters and the product-sum calculation based on the subsequent correction curve is reduced.

ここで、本実施形態では３次の補正曲線のテンプレートを数１のように定める。   Here, in the present embodiment, a template of a third-order correction curve is defined as shown in Equation 1.

このとき、３次の補正曲線ｆ（ｘ）は２つのパラメーターＡおよびＢにより定まる。式（１）のｆ（ｘ）はｆ（０）＝０、ｆ（１）＝１を満たす。そして、Ａ＝Ｂ＝１の場合にはｆ（ｘ）＝ｘを満たす。補正曲線ｆ（ｘ）の１階微分は数２で与えられる。   At this time, the cubic correction curve f (x) is determined by the two parameters A and B. F (x) in Expression (1) satisfies f (0) = 0 and f (1) = 1. When A = B = 1, f (x) = x is satisfied. The first derivative of the correction curve f (x) is given by Equation 2.

ここで、式（２）で所定の値について計算をするとＡとＢが求められる。   Here, when a predetermined value is calculated by the equation (2), A and B are obtained.

つまり、パラメーターＡとＢはそれぞれ、ｆ（ｘ）のｘ＝０、１における接線の傾きで与えられる。ここで、補正曲線ｆ（ｘ）のｘは正規化した入力画像の画素の画素値に対応する。例えば、画素値が１０ビットの輝度Ｙである場合には、０≦Ｙ≦１０２３である。この場合には、輝度Ｙを最大値１０２３で割った値が補正曲線ｆ（ｘ）のｘである。つまり、０≦ｘ≦１となる。式（１）のパラメーターＡ、Ｂは、それぞれ最小の入力値、最大の入力値におけるｆ（ｘ）の接線の傾きで与えられる。   That is, the parameters A and B are given by the tangential slopes of f (x) at x = 0 and 1, respectively. Here, x of the correction curve f (x) corresponds to the pixel value of the normalized pixel of the input image. For example, when the pixel value is 10-bit luminance Y, 0 ≦ Y ≦ 1023. In this case, the value obtained by dividing the luminance Y by the maximum value 1023 is x of the correction curve f (x). That is, 0 ≦ x ≦ 1. Parameters A and B in equation (1) are given by the slope of the tangent line of f (x) at the minimum input value and the maximum input value, respectively.

式（１）で表されるｆ（ｘ）は３次の補正曲線であるが２つのパラメーターＡ、Ｂで定められる。そして、パラメーターＡ、Ｂは最小の入力値、最大の入力値におけるｆ（ｘ）の接線の傾きで与えられる。そのため、本実施形態の画像処理装置１０は、演算処理の負荷を減らして小さな回路規模で補正を行うことが可能になる。   F (x) represented by the equation (1) is a cubic correction curve, but is determined by two parameters A and B. Parameters A and B are given by the minimum input value and the slope of the tangent line of f (x) at the maximum input value. Therefore, the image processing apparatus 10 according to the present embodiment can perform correction with a small circuit scale by reducing the load of arithmetic processing.

より高次の補正曲線を定める場合は３次の式（１）にもとづいて拡張できる。例えば、数４のｇ（ｘ）は５次の補正曲線の例である。ｆ_１（ｘ）とｆ_２（ｘ）は式（１）に基づいて得られる。 When a higher-order correction curve is defined, it can be expanded based on the cubic equation (1). For example, g (x) in Equation 4 is an example of a fifth-order correction curve. f ₁ (x) and f ₂ (x) are obtained based on Equation (1).

ここで、式（５）のｇ（ｘ）においてもｇ（０）＝０、ｇ（１）＝１を満たす。また、Ａ_１＝Ｂ_１＝Ａ_２＝Ｂ_２＝１の場合にｇ（ｘ）＝ｘとなり、ｇ（ｘ）は式（１）のｆ（ｘ）と同じ性質を有する。また、補正曲線ｇ（ｘ）の１階微分は数５で与えられる。 Here, g (0) = 0 and g (1) = 1 are satisfied also in g (x) of the formula (5). Further, when A ₁ = B ₁ = A ₂ = B ₂ = 1, g (x) = x, and g (x) has the same property as f (x) in the formula (1). The first derivative of the correction curve g (x) is given by Equation 5.

式（３）、（４）より求まるＡ_１~Ｂ_２より、式（８）で所定の値について計算をすると数６の関係が得られる。逆に、数６と、例えばｇ（１／２）、ｇ’（１／２）の値を新たな制御パラメーターとしてＡ_１~Ｂ_２を定めることもできる。 From A ₁ to B ₂ obtained from Expressions (3) and (4), when a predetermined value is calculated in Expression (8), the relationship of Equation 6 is obtained. On the other hand, A ₁ to B ₂ can also be determined using Equation 6 and, for example, the values of g (1/2) and g ′ (1/2) as new control parameters.

なお、さらに高次の曲線を定める場合は一般に以下の式を用いることも出来る。   In addition, when a higher order curve is defined, the following formula can also be generally used.

１．２．２．ダイナミック補正における補正曲線の次数について
図２（Ａ）、図２（Ｂ）はそれぞれ、前記の補正曲線による明るさ補正、コントラスト補正の補正曲線の例である。なお、これらの入力および出力は１０ビットの画素値（ここでは輝度）であるとする。 1.2.2. Order of Correction Curve in Dynamic Correction FIGS. 2A and 2B are examples of correction curves for brightness correction and contrast correction using the correction curve, respectively. These inputs and outputs are 10-bit pixel values (in this case, luminance).

図２（Ａ）の明るさ補正の補正曲線２２０Ａ、２２０Ｂ、２２０Ｃはそれぞれパラメーター（Ａ、Ｂ）を（Ａ_０、Ｂ_０）、（Ａ_１、Ｂ_１）、（Ａ_２、Ｂ_２）と変更した場合に対応する。パラメーターＡの増大につれて（Ｃ_０）、パラメーターＢは減少する（Ｃ_１）。この変化は３次の補正曲線で実現可能である。 The correction curves 220A, 220B, and 220C for brightness correction in FIG. 2A are parameters (A, B), (A ₀ , B ₀ ), (A ₁ , B ₁ ), (A ₂ , B ₂ ), respectively. Corresponds to changes. As parameter A increases (C ₀ ), parameter B decreases (C ₁ ). This change can be realized by a cubic correction curve.

図２（Ｂ）のコントラスト補正の補正曲線２２０Ｄ、２２０Ｅ、２２０Ｆはそれぞれパラメーター（Ａ、Ｂ）を（Ａ_３、Ｂ_３）、（Ａ_４、Ｂ_４）、（Ａ_５、Ｂ_５）と変更した場合に対応する。パラメーターＡの減少につれて（Ｃ_２）、パラメーターＢも減少する（Ｃ_３）。この変化は３次の補正曲線で実現可能である。 The correction curves 220D, 220E, and 220F for contrast correction in FIG. 2B change the parameters (A, B) to (A ₃ , B ₃ ), (A ₄ , B ₄ ), (A ₅ , B ₅ ), respectively. Corresponds to the case. As parameter A decreases (C ₂ ), parameter B also decreases (C ₃ ). This change can be realized by a cubic correction curve.

ここで、前記の補正曲線によって複数のダイナミック補正を行う場合について検討する。３次の補正曲線を用いる明るさ補正と、３次の補正曲線を用いるコントラスト補正とを行う場合、連続して（シーケンシャルに）行うことが考えられる。しかし、補正に伴う演算処理の負荷が大きくなり、最終的に得られる特性を把握しにくい。   Here, a case where a plurality of dynamic corrections are performed using the correction curve will be considered. When performing brightness correction using a third-order correction curve and contrast correction using a third-order correction curve, it can be considered that the correction is performed continuously (sequentially). However, the processing load associated with the correction increases, making it difficult to grasp the finally obtained characteristics.

しかし、シーケンシャルに補正を行わずとも、明るさ補正もコントラスト補正も３次の補正曲線で表すことが可能であり、このときパラメーターＡ、Ｂのみで補正曲線が決定される。したがって、両補正を合成した補正曲線も３次の補正曲線でパラメーターＡ、Ｂを適当に調整することで近似が可能である。   However, brightness correction and contrast correction can be expressed by a cubic correction curve without performing sequential correction, and at this time, the correction curve is determined only by parameters A and B. Therefore, a correction curve obtained by combining both corrections can be approximated by appropriately adjusting the parameters A and B with a cubic correction curve.

図３（Ａ）は、明るさ補正とコントラスト補正を合成した補正曲線２２２の例である。なお、図２（Ａ）、図２（Ｂ）と入力、出力は同じであり、説明は省略する。補正曲線２２２は、明るさ補正とコントラスト補正の一方（例えば明るさ補正）の補正曲線に対して、他方の変化率を乗じて得られる。具体的手法については後述するが、補正曲線２２２もパラメーターＡ_ｍ、Ｂ_ｍによって定まる。 FIG. 3A shows an example of a correction curve 222 obtained by combining brightness correction and contrast correction. Note that the input and output are the same as those in FIGS. 2A and 2B, and a description thereof will be omitted. The correction curve 222 is obtained by multiplying one of the correction curves of brightness correction and contrast correction (for example, brightness correction) by the other change rate. Although a specific method will be described later, the correction curve 222 is also determined by the parameters A _m and B _m .

他のダイナミック補正を考慮した場合でも（例えばカラーバランス補正）、３次の補正曲線を考慮すれば十分であり、この例のように、２つ以上の複数のダイナミック補正を合成した補正がパラメーターＡ、Ｂの調整だけで実現可能である。本実施形態のダイナミック補正の合成は、回路規模を最小にするために３次の補正曲線を用いている。そして、シーケンシャルに個々の補正を行う場合と比べて、合成後に最終的に得られる特性を把握しやすいとの利点がある。   Even when other dynamic corrections are taken into account (for example, color balance correction), it is sufficient to consider a cubic correction curve. As shown in this example, a correction obtained by combining two or more dynamic corrections is parameter A. , B can be realized only by adjusting B. The dynamic correction composition of this embodiment uses a third-order correction curve in order to minimize the circuit scale. And compared with the case where each correction is performed sequentially, there is an advantage that it is easy to grasp the characteristic finally obtained after the synthesis.

ここで、図２（Ａ）、図２（Ｂ）、図３（Ａ）の入力、出力の画素値は輝度であるとして説明してきた。しかし、輝度Ｙは数８のようにｒｇｂから求められるため、輝度を補正することはｒｇｂ各色に対して補正をすることに等しい。   Here, the input and output pixel values in FIGS. 2A, 2B, and 3A have been described as luminance. However, since the luminance Y is obtained from rgb as shown in Equation 8, correcting the luminance is equivalent to correcting each color of rgb.

例えば図３（Ａ）の輝度Ｙに関する補正曲線は図３（Ｂ）のようにｒｇｂ各色の画素値の補正曲線２２２Ｒ、２２２Ｇ、２２２Ｂと対応する。よって、ｒｇｂ各色の補正曲線を持ち、それぞれの補正曲線を定めるパラメーター（Ａ_ｒ、Ｂ_ｒ）、（Ａ_ｇ、Ｂ_ｇ）、（Ａ_ｂ、Ｂ_ｂ）を求めることにより様々なダイナミック補正に対応することが可能である。このとき、式（１）は数９のようにｒｇｂ各色に展開される。 For example, the correction curve for the luminance Y in FIG. 3A corresponds to the correction curves 222R, 222G, and 222B for the pixel values of each color of rgb as shown in FIG. 3B. Therefore, it has a correction curve for each color of rgb, and supports various dynamic corrections by obtaining parameters (A _r , B _r ), (A _g , B _g ), (A _b , B _b ) that define each correction curve. Is possible. At this time, Expression (1) is developed for each color of rgb as shown in Equation 9.

本実施形態では、補正曲線はｒｇｂ各色について独立して存在するものとするが、以下において説明が重複する場合には１つの色についてのみ説明する。   In the present embodiment, it is assumed that the correction curve exists independently for each color of rgb. However, in the following description, only one color will be described when the description overlaps.

１．３．設定レジスター部
以下、本実施形態の画像処理装置１０の各構成部分について具体例を示して説明する。設定レジスター部２０は、例えば図４（Ａ）のテーブルに従ってパラメーター初期値２０４を出力してもよい。この例では、設定レジスター部２０はＣＰＵ（図外）から３ビットの制御信号２０２を受け取り、各ビットを補正処理と関連づけている。例えば、ビット２が“１”であれば明るさ補正が行われることを意味し、“０”であれば明るさ補正が行われないことを意味する。図４（Ａ）のように、各補正に対応してパラメーター初期値２０４が用意されている。パラメーター初期値２０４は、パラメーターＡ、ＢがＲＧＢ各色にあるため、原則として１つの補正で６つの初期値を持つことになる。 1.3. Setting Register Unit Each component of the image processing apparatus 10 according to this embodiment will be described below with a specific example. For example, the setting register unit 20 may output the parameter initial value 204 in accordance with the table of FIG. In this example, the setting register unit 20 receives a 3-bit control signal 202 from a CPU (not shown) and associates each bit with a correction process. For example, if bit 2 is “1”, it means that brightness correction is performed, and if it is “0”, it means that brightness correction is not performed. As shown in FIG. 4A, a parameter initial value 204 is prepared for each correction. The parameter initial value 204 has six initial values by one correction in principle because the parameters A and B are in RGB colors.

図４（Ｂ）は、設定レジスター部２０の入出力の１つの具体例を示している。制御信号２０２が１１０ｂ、すなわちビット２とビット１が“１”である場合には、明るさ補正とコントラスト補正が選択され、それぞれの補正に対応してパラメーター初期値２０４が出力される。   FIG. 4B shows one specific example of input / output of the setting register unit 20. When the control signal 202 is 110b, that is, when the bit 2 and the bit 1 are “1”, the brightness correction and the contrast correction are selected, and the parameter initial value 204 is output corresponding to each correction.

なお、図４（Ａ）のカラーバランス補正とは環境光に対する画像の色補正であってもよい。例えば、赤みがかった白熱電球の下で画像の赤を強調するような補正である。このカラーバランス補正では、制御信号２０２の他に環境光の情報（ホワイトポイント情報）が設定レジスター部２０に入力されてもよい（図外）。例えば、Ｄ６５光源に対する色順応予測として、ｒｇｂ各色の変換テーブルは数１０のようになる。   Note that the color balance correction in FIG. 4A may be color correction of an image with respect to ambient light. For example, a correction that emphasizes red in an image under a reddish incandescent bulb. In this color balance correction, ambient light information (white point information) other than the control signal 202 may be input to the setting register unit 20 (not shown). For example, as a chromatic adaptation prediction for the D65 light source, the conversion table for each color of rgb is as shown in Equation 10.

ここで、ｒ_０、ｇ_０、ｂ_０はホワイトポイント（白色点）のｘｙ色度座標の座標をｘ_ｗ、ｙ_ｗとして数１１で表される。 Here, r ₀ , g ₀ , and b ₀ are expressed by Equation 11 with x _w and y _w being the coordinates of the xy chromaticity coordinates of the white point (white point).

環境光に対するカラーバランス補正では、補正によって平均輝度が低下しないこと、グレースケールでの比率が変化しないことが必要である。まず、式（１６）の変換テーブルを反映させるため補正曲線ｆ（ｘ）を数１２のように変形する。   In color balance correction with respect to ambient light, it is necessary that the average luminance does not decrease due to the correction, and that the ratio in gray scale does not change. First, the correction curve f (x) is transformed as shown in Equation 12 in order to reflect the conversion table of Expression (16).

なお、式（１８）のＤは補正曲線ｆ（ｘ）の曲線制御パラメーターである。式（１８）のｆ（ｘ）を用いると、カラーバランス補正は数１３のように表すことができる。   Note that D in the equation (18) is a curve control parameter of the correction curve f (x). Using f (x) in Expression (18), the color balance correction can be expressed as in Expression 13.

式（２０）〜式（２２）では、平均輝度を低下させないために補正曲線ｆ（ｘ）にＧ_０を用いた係数を乗じている。また、グレースケールでの比率を変化させないために、ＲＧＢで共通のｆ（ｘ）を用いている。このとき、図４（Ａ）のパラメーター初期値２０４についてもＲＧＢで共通である。すなわち、（Ｇ_０，Ｄ）＝（Ａ_ｒ０，Ｂ_ｒ０）＝（Ａ_ｇ０，Ｂ_ｇ０）＝（Ａ_ｂ０，Ｂ_ｂ０）となる。 In equation (20) to (22), the correction curve f (x) in order not to decrease the average brightness is multiplied by a coefficient using a G _0. In order not to change the gray scale ratio, f (x) common to RGB is used. At this time, the initial parameter values 204 in FIG. 4A are also common to RGB. That is, (G ₀ , D) = (A _r0 , B _r0 ) = (A _g0 , B _g0 ) = (A _b0 , B _b0 ).

１．４．統計解析部
統計解析部４０は、入力画像の画素の画素値２００をバッファーに一時的に保持し、保持した画素値について演算処理を行い入力画像の統計情報２０６を生成する。図４（Ｂ）の例では明るさ補正とコントラスト補正が選択されているので、少なくともこれらについての統計情報２０６がパラメーター生成部３０に出力される。 1.4. Statistical Analysis Unit The statistical analysis unit 40 temporarily holds a pixel value 200 of a pixel of the input image in a buffer, performs arithmetic processing on the held pixel value, and generates statistical information 206 of the input image. In the example of FIG. 4B, since brightness correction and contrast correction are selected, at least statistical information 206 regarding these is output to the parameter generation unit 30.

図４（Ｂ）の例において、統計解析部４０は、例えば明るさ補正に関して、１フレームの入力画像の輝度についてヒストグラムを作成し、最大値および最小値の情報を統計情報２０６として出力してもよい。また、統計解析部４０は、例えばコントラスト補正に関して、１フレームの入力画像の輝度についてヒストグラムを作成し、中間レベルの値に偏っているかなどの分布に関する情報を統計情報２０６として出力してもよい。   In the example of FIG. 4B, the statistical analysis unit 40 creates a histogram for the luminance of the input image of one frame, for example, regarding brightness correction, and outputs information on the maximum value and the minimum value as the statistical information 206. Good. In addition, for example, regarding the contrast correction, the statistical analysis unit 40 may create a histogram for the luminance of the input image of one frame, and output information on the distribution such as whether it is biased to an intermediate level value as the statistical information 206.

ここで、入力画像の画素の画素値２００は、ｒｇｂ形式でもｙｕｖ形式であってもよいが本実施形態ではｒｇｂ形式であるとする。ｒｇｂ形式の場合には８８８フォーマット（各色８ビット）でも、５６５フォーマット（Ｇは６ビット、他は５ビット）でもよいが、本実施形態では、画素値２００として各色１０ビットで入力されるものとする。なお、別の例として、画素値２００はｒｇｂ８８８フォーマットであり、統計解析部４０（および補正出力部５０）で２ビットの左シフトが行われて１０ビットのデータとして扱われてもよい。   Here, the pixel value 200 of the pixel of the input image may be in the rgb format or the yuv format, but is assumed to be in the rgb format in the present embodiment. In the case of the rgb format, the format may be 888 format (8 bits for each color) or 565 format (G is 6 bits, and others are 5 bits). In this embodiment, the pixel value 200 is input with 10 bits for each color. To do. As another example, the pixel value 200 may be in the rgb888 format, and may be treated as 10-bit data by performing a 2-bit left shift in the statistical analysis unit 40 (and the correction output unit 50).

なお、統計解析部４０は、１フレームの画像について統計解析を行って統計情報２０６を出力する。そのため、統計情報２０６は、次フレーム以降の画像に用いる補正曲線の係数を定めるパラメーターに反映される。しかし、動画像では時間領域での相関が高いために、適切な補正が行われることになる。   The statistical analysis unit 40 performs statistical analysis on the image of one frame and outputs statistical information 206. Therefore, the statistical information 206 is reflected in a parameter that determines the coefficient of the correction curve used for the image after the next frame. However, since the correlation in the time domain is high in the moving image, appropriate correction is performed.

１．５．パラメーター生成部
パラメーター生成部３０は、設定レジスター部２０からパラメーター初期値２０４を受け取り、統計情報２０６に基づいてパラメーター初期値２０４を修正したパラメーター２０８を出力する。なお、統計情報２０６がない最初のフレームについてはパラメーター初期値２０４をパラメーター２０８として出力してもよい。 1.5. Parameter Generation Unit The parameter generation unit 30 receives the parameter initial value 204 from the setting register unit 20 and outputs a parameter 208 obtained by correcting the parameter initial value 204 based on the statistical information 206. Note that the parameter initial value 204 may be output as the parameter 208 for the first frame without the statistical information 206.

図４（Ｃ）は、図４（Ｂ）の例におけるパラメーター生成部３０の入出力を示す図である。このとき、パラメーター生成部３０は、明るさ補正、コントラスト補正についての統計情報２０６に基づいて、パラメーター初期値２０４について修正および合成をおこなって、３次補正曲線を定めるパラメーター（Ａ_ｒ、Ｂ_ｒ）、（Ａ_ｇ、Ｂ_ｇ）、（Ａ_ｂ、Ｂ_ｂ）を出力する。Ｒ成分を例にとり説明をする。パラメーター生成部３０は、明るさ補正のパラメーター初期値（Ａ_ｒ２、Ｂ_ｒ２）を統計情報２０６に基づいて（Ａ_ｒＢ、Ｂ_ｒＢ）に修正する。例えば、統計情報２０６で得られた入力画像の最大値が出力可能な最大値１０２３よりも極端に小さい場合などには初期値Ｂ_ｒ２から傾きの大きいＢ_ｒＢに修正する。そして、パラメーター生成部３０は、コントラスト補正のパラメーター初期値（Ａ_ｒ１、Ｂ_ｒ１）を統計情報２０６に基づいて（Ａ_ｒＣ、Ｂ_ｒＣ）に修正する。そして、コントラスト補正の補正曲線に明るさ補正の変化率を乗じて、コントラスト補正と明るさ補正を合成した補正曲線のパラメーター（Ａ_ｒ、Ｂ_ｒ）を求め、パラメーター２０８として出力する。なお、Ｇ成分、Ｂ成分についても同様である。 FIG. 4C is a diagram illustrating input / output of the parameter generation unit 30 in the example of FIG. At this time, the parameter generation unit 30 corrects and synthesizes the parameter initial value 204 based on the statistical information 206 on brightness correction and contrast correction, and determines the cubic correction curve (A _r , B _r ). , (A _g , B _g ), (A _b , B _b ) are output. An explanation will be given taking the R component as an example. The parameter generation unit 30 corrects the parameter initial value (A _r2 , B _r2 ) for brightness correction to (A _rB , B _rB ) based on the statistical information 206. For example, when the maximum value of the input image obtained by the statistical information 206 is extremely smaller than the maximum value 1023 that can be output, the initial value B _r2 is corrected to B _rB having a large inclination. Then, the parameter generation unit 30 corrects the initial parameter values (A _r1 , B _r1 ) for contrast correction to (A _rC , B _rC ) based on the statistical information 206. Then, a correction curve parameter (A _r , B _r ) obtained by combining contrast correction and brightness correction is obtained by multiplying the contrast correction correction curve by the change rate of brightness correction, and is output as parameter 208. The same applies to the G component and the B component.

図５（Ａ）〜図５（Ｃ）は、パラメーター２０８を決定する方法の例を示す図である。ここでもＲ成分を例にとり説明するが、Ｇ、Ｂ成分についても同様である。図５（Ａ）は、統計情報２０６に基づいて修正された明るさ補正の補正曲線ｆ_Ｂ（ｘ）を示す。入力と出力は正規化していない１０ビットの数値である。補正曲線ｆ_Ｂ（ｘ）を定めるパラメーターＡ_ｒＢとＢ_ｒＢは、それぞれ入力の最小値と最大値におけるｆ_Ｂ（ｘ）の傾きに等しい。ここで、補正曲線ｆ_Ｂ（ｘ）の変化率は、ｆ_Ｂ（ｘ）／ｘであり、この変化率をコントラスト補正の補正曲線に乗じることで、コントラスト補正と明るさ補正を合成することができる。 FIG. 5A to FIG. 5C are diagrams illustrating an example of a method for determining the parameter 208. Here, the R component will be described as an example, but the same applies to the G and B components. FIG. 5A shows a correction curve f _B (x) for brightness correction corrected based on the statistical information 206. Input and output are 10-bit numerical values that are not normalized. Parameters A _rB and B _rB that define the correction curve f _B (x) are equal to the slope of f _B (x) at the minimum and maximum values, respectively. Here, the rate of change of the correction curve f _B (x) is f _B (x) / x. By multiplying the rate of change by the correction curve for contrast correction, contrast correction and brightness correction can be combined. it can.

図５（Ｂ）は、統計情報２０６に基づいて修正されたコントラスト補正の補正曲線ｆ_Ｃ（ｘ）を示す。入力と出力は正規化していない１０ビットの数値である。補正曲線ｆ_Ｃ（ｘ）を定めるパラメーターＡ_ｒＣとＢ_ｒＣは、それぞれ入力の最小値と最大値におけるｆ_Ｃ（ｘ）の傾きに等しい。ここで、補正曲線ｆ_Ｃ（ｘ）と点線で示される直線（出力＝入力）との交点を求める。この交点における入力の値ｘをｘ_ｓとする。この例では、ｘ_ｓ＝５１２であり、ｆ_Ｃ（ｘ_ｓ）＝ｘ_ｓが成り立つ。 FIG. 5B shows a correction curve f _C (x) for contrast correction corrected based on the statistical information 206. Input and output are 10-bit numerical values that are not normalized. Parameters A _rC and B _rC defining the correction curve f _C (x) are equal to the slope of f _C (x) at the minimum and maximum values, respectively. Here, the intersection of the correction curve f _C (x) and the straight line (output = input) indicated by the dotted line is obtained. Let x _s be the input value x at this intersection. In this example, x _s = 512, and f _C (x _s ) = x _s holds.

図５（Ｃ）は、補正曲線ｆ_Ｃ（ｘ）に補正曲線ｆ_Ｂ（ｘ）の変化率を乗じて求められた、コントラスト補正と明るさ補正を合成した補正曲線ｆ（ｘ）を表す。最初、補正曲線ｆ（ｘ）は補正曲線ｆ_Ｃ（ｘ）と同じ曲線でありｆ（ｘ_ｓ）＝ｘ_ｓが成り立っている。次に、ｆ（ｘ_ｓ）＝ｆ_Ｂ（ｘ_ｓ）となるようにパラメーターＡ_ｒ、Ｂ_ｒを調整する。その結果、得られる補正曲線ｆ（ｘ）は補正曲線ｆ_Ｃ（ｘ）に補正曲線ｆ_Ｂ（ｘ）の変化率を乗じた曲線であり、パラメーター生成部３０は、このときのパラメーターＡ_ｒ、Ｂ_ｒをパラメーター２０８として出力する。 FIG. 5C shows a correction curve f (x) obtained by multiplying the correction curve f _C (x) by the rate of change of the correction curve f _B (x) and combining contrast correction and brightness correction. First, the correction curve f (x) is the same curve as the correction curve f _C (x), and f (x _s ) = x _s is established. Next, the parameters A _r and B _r are adjusted so that f (x _s ) = f _B (x _s ). As a result, the obtained correction curve f (x) is a curve obtained by multiplying the correction curve f _C (x) by the rate of change of the correction curve f _B (x), and the parameter generation unit 30 uses the parameter A _r , and it outputs the B _r as a parameter 208.

１．６．補正出力部
補正出力部５０は、パラメーター２０８を受け取って補正曲線を決定する。先の例ではコントラスト補正と明るさ補正を合成した補正曲線が定められる。そして、補正曲線で表される積和演算を行い、入力画像の画素の画素値２００を補正して出力画素値２１０を出力する。 1.6. Correction Output Unit The correction output unit 50 receives the parameter 208 and determines a correction curve. In the previous example, a correction curve obtained by combining contrast correction and brightness correction is determined. Then, the product-sum operation represented by the correction curve is performed, the pixel value 200 of the pixel of the input image is corrected, and the output pixel value 210 is output.

この例では補正曲線は３次式であるため、３つの積和演算器で演算が可能である。このとき、１つの積和演算器から出力された結果は直ちに他の積和演算器に入力されるため、補正曲線に従う積和演算を高速に行うことが可能になる。しかし、本実施形態では回路規模を小さくするために、１つの積和演算器で補正曲線に従う積和演算を行う。   In this example, since the correction curve is a cubic equation, it can be calculated by three product-sum calculators. At this time, the result output from one product-sum operation unit is immediately input to the other product-sum operation unit, so that product-sum operation according to the correction curve can be performed at high speed. However, in this embodiment, in order to reduce the circuit scale, the product-sum operation according to the correction curve is performed by one product-sum operation unit.

図６（Ａ）は本実施形態の補正出力部５０の構成例を表す。補正出力部５０は、１つの積和演算器３２、パラメーター（Ａ、Ｂ）から補正曲線の係数を求める係数演算部３８、マルチプレクサー３７、３４の選択信号２３８、２３９を生成するのに用いられるカウンター３９、レジスター３５、３６等を含む。ここで、パラメーター（Ａ、Ｂ）はｒｇｂの各色のパラメーター（Ａ_ｒ、Ｂ_ｒ）、（Ａ_ｇ、Ｂ_ｇ）、（Ａ_ｂ、Ｂ_ｂ）を含むものとする。この例ではｒｇｂの各色が同時に補正されるとして説明するが、別の例では色毎に補正出力部５０が用意されていてもよいし、時分割で色毎に処理が行われてもよい。 FIG. 6A shows a configuration example of the correction output unit 50 of the present embodiment. The correction output unit 50 is used to generate one product-sum calculator 32, a coefficient calculation unit 38 for obtaining a coefficient of the correction curve from the parameters (A, B), and selection signals 238, 239 of the multiplexers 37, 34. It includes a counter 39, registers 35, 36 and the like. Here, the parameters (A, B) include parameters (A _r , B _r ), (A _g , B _g ), and (A _b , B _b ) for each color of rgb. In this example, it is described that each color of rgb is corrected at the same time. However, in another example, a correction output unit 50 may be prepared for each color, or processing may be performed for each color by time division.

本実施形態では画像データは走査方式で入力され、入力画像の画素の画素値２００はシステムクロックに同期して順次変化する。補正出力部５０には、１つの積和演算器３２で補正曲線に従う積和演算を行うために、システムクロックの３倍のクロック（以下、積和演算クロック）が供給されているものとする。なお、Ｎ次式の補正曲線に従う場合にはＮ倍のクロックが供給される必要がある。   In this embodiment, image data is input by a scanning method, and the pixel value 200 of the pixel of the input image changes sequentially in synchronization with the system clock. It is assumed that a clock that is three times the system clock (hereinafter referred to as a product-sum operation clock) is supplied to the correction output unit 50 so that one product-sum operation unit 32 performs product-sum operation according to the correction curve. It should be noted that N times the clock needs to be supplied when following an Nth order correction curve.

ここで、補正曲線を表す式（１）を補正出力部５０での処理に従い変形すると数１４のようになる。   Here, when the equation (1) representing the correction curve is transformed according to the processing in the correction output unit 50, the following equation 14 is obtained.

ここで、式（２３）のｘは正規化された画素値２００に対応し、積和演算器３２はＫｘ＋Ｌ（＝Ｎ）、Ｎｘ＋Ｍを中間値として求めてから式（２３）全体を計算する。なお、Ｋ、Ｌ、Ｍは式（２４）〜式（２６）の通りである。また、図６（Ｂ）の演算値２３０の値に含まれるＮ_ｉ（ｉ＝０、１、…）は数１５で表される。 Here, x in the equation (23) corresponds to the normalized pixel value 200, and the product-sum calculator 32 calculates Kx + L (= N) and Nx + M as intermediate values, and then calculates the entire equation (23). K, L, and M are as in Expression (24) to Expression (26). Further, N _i (i = 0, 1,...) Included in the value of the calculated value 230 in FIG.

図６（Ｂ）は図６（Ａ）の補正出力部５０の波形図の例である。画素値２００がｘ_０の場合、補正された画素値ｆ（ｘ_０）は積和演算クロックで３サイクル後に出力画素値２１０として出力される（ｔ３）。係数演算部３８は、第１の係数２３２として式（２４）のＫを出力し（ｔ０〜ｔ３）、第２の係数２３６としてＬ、Ｍを出力する（ｔ０〜ｔ１、ｔ１〜ｔ２）。なお、加算が行われない場合には第２の係数２３６はゼロになる（ｔ２〜ｔ３）。 FIG. 6B is an example of a waveform diagram of the correction output unit 50 of FIG. If the pixel value 200 is _{x 0,} corrected pixel values f _{(x 0)} is output as the output pixel value 210 after three cycles multiply-accumulate clock (t3). The coefficient calculation unit 38 outputs K in Expression (24) as the first coefficient 232 (t0 to t3), and outputs L and M as the second coefficient 236 (t0 to t1, t1 to t2). If the addition is not performed, the second coefficient 236 becomes zero (t2 to t3).

カウンター３９は積和演算クロックの３サイクルをカウントする（ｔ０〜ｔ３）。積和演算器３２の被乗数２３４は、カウント値２３７が０のときは第１の係数２３２であり、その他の場合にはレジスター３６に保持された積和演算器３２の出力である。つまり、選択信号２３８はカウント値２３７が０の場合にのみ第１の係数２３２を選択する。例えば、被乗数２３４は、ｔ１〜ｔ２において積和演算器３２から出力された中間値Ｋｘ_０＋Ｌ（＝Ｎ_０）を与える。 The counter 39 counts three cycles of the product-sum operation clock (t0 to t3). The multiplicand 234 of the product-sum calculator 32 is the first coefficient 232 when the count value 237 is 0, and is the output of the product-sum calculator 32 held in the register 36 in other cases. That is, the selection signal 238 selects the first coefficient 232 only when the count value 237 is zero. For example, the multiplicand 234 gives the intermediate value Kx ₀ + L (= N ₀ ) output from the product-sum calculator 32 from t1 to t2.

積和演算器３２は、画素値２００がｘ_０の場合、中間値を出力（ｔ０〜ｔ２）した後に補正された画素値ｆ（ｘ_０）を出力する（ｔ２〜ｔ３）。選択信号２３９はカウント値２３７が２の場合にのみ、演算値２３０をレジスター３５の入力として選択する。その他の場合にはレジスター３５はそれまでの値を保持する。これにより、出力画素値２１０は積和演算クロックで３サイクルの間、補正された画素値を保持する（ｔ３）。 MAC unit 32, the pixel value 200 is the case of _{x 0,} and outputs the output of the intermediate value (t0 to t2) was later corrected pixel value _{f (x 0) (t2~t3)} . The selection signal 239 selects the operation value 230 as the input of the register 35 only when the count value 237 is 2. In other cases, the register 35 holds the previous value. As a result, the output pixel value 210 holds the corrected pixel value for 3 cycles by the product-sum operation clock (t3).

このように、本実施形態の画像処理装置１０は、直接的なＣＰＵによる処理を要することなく、複数のダイナミック補正を同時に小さな回路規模で実行することができる。   As described above, the image processing apparatus 10 according to the present embodiment can execute a plurality of dynamic corrections simultaneously with a small circuit scale without requiring direct CPU processing.

２．第２実施形態
本発明の第２実施形態について図７〜図８を参照して説明する。なお、図７〜図８では、図１〜図６と同じ要素には同じ番号を付しており説明を省略する。
２．１．第２実施形態の補正出力部
図７は、第２実施形態の補正出力部５０Ａの構成を示す図である。第１実施形態と異なり、補正出力部５０Ａは２つのルックアップテーブル（ＬＵＴ−Ａ８０、ＬＵＴ−Ｂ８２）を含む。ルックアップテーブルは例えばテーブルメモリーにテーブル値を保持し、入力されたデータ（ここでは画素値）をテーブル値に従って変換して出力する。積和演算を行わなくても変換後の値を瞬時に得られるために演算時間短縮等の目的で用いられる。本実施形態では、例えば表示パネルの個体差の補正を目的とするスタティック補正用のルックアップテーブルが存在する場合に、ダイナミック補正も同時に実行することができる。なお、設定レジスター部２０、パラメーター生成部３０、統計解析部４０は第１実施形態と同じである。 2. Second Embodiment A second embodiment of the present invention will be described with reference to FIGS. 7 to 8, the same elements as those in FIGS. 1 to 6 are denoted by the same reference numerals, and the description thereof is omitted.
2.1. Correction Output Unit of Second Embodiment FIG. 7 is a diagram illustrating a configuration of a correction output unit 50A of the second embodiment. Unlike the first embodiment, the correction output unit 50A includes two lookup tables (LUT-A80, LUT-B82). The look-up table holds table values in, for example, a table memory, converts input data (here pixel values) according to the table values, and outputs the converted data. Since the converted value can be obtained instantaneously without performing the product-sum operation, it is used for the purpose of shortening the operation time. In the present embodiment, for example, when there is a static correction look-up table for the purpose of correcting individual differences of display panels, dynamic correction can be performed simultaneously. The setting register unit 20, the parameter generation unit 30, and the statistical analysis unit 40 are the same as those in the first embodiment.

図７のＬＵＴ−Ａ８０は保存用のルックアップテーブルであり、スタティック補正用のテーブルを保持する。一方、ＬＵＴ−Ｂ８２はそのテーブル値を書き換えるために用意されており、パラメーター生成部３０で生成されるパラメーターによって決定する補正曲線に従うダイナミック補正が反映される。つまり、補正出力部５０Ａは、ＬＵＴ−Ｂ８２のテーブル値を補正前テーブル値２４２として読み込み、ダイナミック補正を行って、補正後テーブル値２４０としてＬＵＴ−Ｂ８２に書き込む処理を行う。入力画像の画素の画素値２００はＬＵＴ−Ｂ８２のテーブル値によって変換されて出力画素値２１０として出力される。なお、テーブル値の更新処理は垂直ブランキング期間に行われるので、入力画像の変換処理と衝突することはない。図７の例では、垂直ブランキング期間に対応する選択信号２４１を用いたマルチプレクサー５４で両処理の衝突を防止している。   The LUT-A 80 in FIG. 7 is a storage lookup table, and holds a table for static correction. On the other hand, the LUT-B 82 is prepared for rewriting the table value, and the dynamic correction according to the correction curve determined by the parameter generated by the parameter generation unit 30 is reflected. That is, the correction output unit 50A reads the table value of the LUT-B 82 as the pre-correction table value 242, performs dynamic correction, and writes the post-correction table value 240 into the LUT-B 82. The pixel value 200 of the pixel of the input image is converted by the table value of LUT-B82 and output as the output pixel value 210. Since the table value update process is performed during the vertical blanking period, there is no conflict with the input image conversion process. In the example of FIG. 7, the multiplexer 54 using the selection signal 241 corresponding to the vertical blanking period prevents a collision between both processes.

ＬＵＴ−Ｂ８２のテーブル値は図７の点線が示すようにＬＵＴ−Ａ８０のテーブル値をロードできる。補正出力部５０Ａは、ＬＵＴ−Ｂ８２がスタティック補正用のテーブルをＬＵＴ−Ａ８０からロードした後に、ＬＵＴ−Ｂ８２のテーブル値にダイナミック補正を反映させる。このとき、スタティック補正を行うテーブル値に更にダイナミック補正が施されているので、画素値２００にはスタティック補正とダイナミック補正が同時に行われることになる。   The table value of LUT-A 82 can be loaded with the table value of LUT-A 80 as indicated by the dotted line in FIG. After the LUT-B 82 loads the static correction table from the LUT-A 80, the correction output unit 50A reflects the dynamic correction in the table value of the LUT-B 82. At this time, since the dynamic correction is further applied to the table value for performing the static correction, the static correction and the dynamic correction are simultaneously performed on the pixel value 200.

なお、初期のテーブル値を与える目的で、又はテーブル値の修正のためにＣＰＵが直接ＬＵＴ−Ａ８０、ＬＵＴ−Ｂ８２にアクセスしてもよい。しかし、本実施形態では画像処理装置１０は初期のテーブル値を保持するＲＯＭ（図外）を含み、画像処理装置１０の起動時等にＲＯＭからＬＵＴ−Ａ８０、ＬＵＴ−Ｂ８２に初期のテーブル値がロードされるものとする。   Note that the CPU may directly access the LUT-A 80 and the LUT-B 82 for the purpose of giving an initial table value or for correcting the table value. However, in this embodiment, the image processing apparatus 10 includes a ROM (not shown) that stores initial table values, and the initial table values are stored in the LUT-A 80 and LUT-B 82 from the ROM when the image processing apparatus 10 is started up. Shall be loaded.

また、ダイナミック補正におけるパラメーターＡ、Ｂの決定の仕方は図５（Ａ）〜図５（Ｃ）での手順と同じである。例えば、図５（Ａ）の補正曲線ｆ_Ｂ（ｘ）がダイナミック補正の１つではなく、スタティック補正のテーブル値を反映した曲線であると考えて、図５（Ｂ）〜図５（Ｃ）と同じ手法によりパラメーターＡ、Ｂを求めればよい。 The method for determining the parameters A and B in the dynamic correction is the same as the procedure in FIGS. 5 (A) to 5 (C). For example, assuming that the correction curve f _B (x) in FIG. 5A is not one of the dynamic corrections but a curve reflecting the table value of static correction, FIGS. 5B to 5C. The parameters A and B may be obtained by the same method as in FIG.

２．２．第２実施形態の処理のフローチャート
図８は、第２実施形態の画像処理装置の処理例を示すフローチャートである。まず、ＲＯＭに格納されているスタティック補正のテーブル値をＬＵＴ−Ａ８０とＬＵＴ−Ｂ８２の両方にロードする（Ｓ２）。ＬＵＴ−Ｂ８２のテーブル値によって、画素値２００が変換されて出力画素値２１０として出力され、画像が表示され始める（Ｓ４）。そして、ＣＰＵは制御信号２０２によりダイナミック補正の種類を指定する（Ｓ６）。そして、統計解析部４０による１フレームの画像の統計解析が行われる（Ｓ８）。パラメーター生成部３０は、統計情報２０６に基づいてダイナミック補正のパラメーターＡ、Ｂを更新する（Ｓ１０）。動画像の垂直ブランキング期間にＬＵＴ−Ａ８０のテーブル値がＬＵＴ−Ｂ８２にロードされる（Ｓ１２）。補正出力部５０はＬＵＴ−Ｂ８２のテーブル値をダイナミック補正の補正曲線に従って更新してＬＵＴ−Ｂ８２に書き戻す（Ｓ１４）。そして、次のフレームの画像からは更新されたテーブル値による変換が行われることになる。動画の表示の終了する場合（Ｓ１８Ｙ）には処理を終了し、そうでなければＳ４に戻って一連の処理が繰り返される。なお、テーブル値のロード（Ｓ１２）だけでなく、テーブル値の更新（Ｓ１４）も垂直ブランキング期間に行う必要がある。統計情報２０６を取得したフレームの直後のフレームから更新したテーブル値で補正を行うことを可能にするためである。 2.2. Process Flowchart of Second Embodiment FIG. 8 is a flowchart illustrating a process example of the image processing apparatus of the second embodiment. First, the static correction table values stored in the ROM are loaded into both the LUT-A 80 and the LUT-B 82 (S2). The pixel value 200 is converted by the table value of the LUT-B 82 and output as the output pixel value 210, and the image starts to be displayed (S4). Then, the CPU designates the type of dynamic correction by the control signal 202 (S6). Then, statistical analysis of the image of one frame is performed by the statistical analysis unit 40 (S8). The parameter generation unit 30 updates the dynamic correction parameters A and B based on the statistical information 206 (S10). During the vertical blanking period of the moving image, the table value of LUT-A80 is loaded into LUT-B82 (S12). The correction output unit 50 updates the table value of the LUT-B 82 according to the dynamic correction correction curve and writes it back to the LUT-B 82 (S14). Then, conversion with the updated table value is performed from the image of the next frame. When the display of the moving image ends (S18Y), the process ends. Otherwise, the process returns to S4 and the series of processes is repeated. In addition to loading the table value (S12), it is necessary to update the table value (S14) during the vertical blanking period. This is because correction can be performed with the table value updated from the frame immediately after the frame from which the statistical information 206 is acquired.

これらの例示に限らず、本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法および結果が同一の構成、あるいは目的および効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。   The present invention is not limited to these exemplifications, and includes configurations that are substantially the same as the configurations described in the embodiments (for example, configurations that have the same functions, methods, and results, or configurations that have the same objects and effects). In addition, the invention includes a configuration in which a non-essential part of the configuration described in the embodiment is replaced. In addition, the present invention includes a configuration that exhibits the same operational effects as the configuration described in the embodiment or a configuration that can achieve the same object. Further, the invention includes a configuration in which a known technique is added to the configuration described in the embodiment.

１０…画像処理装置、２０…設定レジスター部、３０…パラメーター生成部、３２…積和演算器、３４、５４…マルチプレクサー、３５…レジスター、３６…レジスター、３７…マルチプレクサー、３８…係数演算部、３９…カウンター、４０…統計解析部、５０…補正出力部、５０Ａ…補正出力部、８０…ルックアップテーブル（ＬＵＴ−Ａ）、８２…ルックアップテーブル（ＬＵＴ−Ｂ）、２００…画素値、２０２…制御信号、２０４…パラメーター初期値、２０６…統計情報、２０８…パラメーター、２１０…出力画素値、２２０Ａ、２２０Ｂ、２２０Ｃ、２２０Ｄ、２２０Ｅ、２２０Ｆ、２２２、２２２Ｒ、２２２Ｇ、２２２Ｂ…補正曲線、２３０…演算値、２３２…第１の係数、２３４…被乗数、２３６…第２の係数、２３７…カウント値、２３８、２３９、２４１…選択信号、２４０…補正後テーブル値、２４２…補正前テーブル値 DESCRIPTION OF SYMBOLS 10 ... Image processing apparatus, 20 ... Setting register part, 30 ... Parameter production | generation part, 32 ... Product-sum operation unit, 34, 54 ... Multiplexer, 35 ... Register, 36 ... Register, 37 ... Multiplexer, 38 ... Coefficient calculation part 39 ... Counter, 40 ... Statistical analysis unit, 50 ... Correction output unit, 50A ... Correction output unit, 80 ... Look-up table (LUT-A), 82 ... Look-up table (LUT-B), 200 ... Pixel value, 202 ... control signal, 204 ... parameter initial value, 206 ... statistical information, 208 ... parameter, 210 ... output pixel value, 220A, 220B, 220C, 220D, 220E, 220F, 222, 222R, 222G, 222B ... correction curve, 230 ... calculated value, 232 ... first coefficient, 234 ... multiplicand, 236 ... second coefficient, 237 ... Cement value, 238,239,241 ... selection signal, 240 ... corrected table value, 242 ... the pre-correction table value

Claims (8)

補正曲線を用いて入力画像の補正を行う画像処理装置であって、
前記補正曲線の係数を定めるパラメーターの初期値を出力する設定レジスター部と、
前記入力画像の画像データを統計的に解析する統計解析部と、
前記パラメーターの初期値を、前記統計解析部からの統計情報に基づいて変更するパラメーター生成部と、
前記パラメーター生成部で変更されたパラメーターに基づいて前記補正曲線の係数を定め、前記入力画像の各画素の画素値を前記補正曲線に基づいて補正して出力する補正出力部と、を含み、
前記補正曲線は３次以上の関数であって、前記パラメーターは前記補正曲線の次数よりも少ない画像処理装置。 An image processing apparatus that corrects an input image using a correction curve,
A setting register unit for outputting an initial value of a parameter for determining a coefficient of the correction curve;
A statistical analysis unit that statistically analyzes the image data of the input image;
A parameter generation unit that changes an initial value of the parameter based on statistical information from the statistical analysis unit;
A correction output unit that determines a coefficient of the correction curve based on the parameter changed by the parameter generation unit, corrects and outputs a pixel value of each pixel of the input image based on the correction curve, and
The image processing apparatus, wherein the correction curve is a function of third order or higher and the parameter is less than the order of the correction curve. 請求項１に記載の画像処理装置において、
前記パラメーターは、前記補正曲線の所定の値における接線の傾きである画像処理装置。 The image processing apparatus according to claim 1.
The image processing apparatus, wherein the parameter is an inclination of a tangent line at a predetermined value of the correction curve. 請求項１乃至２のいずれかに記載の画像処理装置において、
前記補正曲線は３次関数である画像処理装置。 The image processing apparatus according to claim 1,
The image processing apparatus, wherein the correction curve is a cubic function. 請求項３に記載の画像処理装置において、
前記パラメーターは、前記補正曲線の最小の入力値と最大の入力値における接線の傾きで与えられる画像処理装置。 The image processing apparatus according to claim 3.
The image processing apparatus, wherein the parameter is given by the minimum input value and the slope of the tangent line at the maximum input value of the correction curve. 請求項１乃至４のいずれかに記載の画像処理装置において、
前記補正出力部は、
前記入力画像の補正に用いるルックアップテーブルを有し、
前記ルックアップテーブルの各テーブル値を前記補正曲線に基づいて更新し、更新された前記ルックアップテーブルを用いて前記入力画像の各画素の画素値を補正する画像処理装置。 The image processing apparatus according to claim 1,
The correction output unit
A lookup table used for correcting the input image;
An image processing apparatus that updates each table value of the lookup table based on the correction curve, and corrects the pixel value of each pixel of the input image using the updated lookup table. 請求項５に記載の画像処理装置において、
前記入力画像は動画の１フレーム分の画像であって、
前記補正出力部は、
垂直ブランキング期間に前記ルックアップテーブルの各テーブル値を前記補正曲線に基づいて更新する画像処理装置。 The image processing apparatus according to claim 5.
The input image is an image for one frame of a moving image,
The correction output unit
An image processing apparatus for updating each table value of the lookup table based on the correction curve during a vertical blanking period. 請求項１乃至６のいずれかに記載の画像処理装置において、
前記補正出力部は、
１つの積和演算器を含み、
前記積和演算器を用いて前記入力画像の各画素の画素値を前記補正曲線に基づいて補正する画像処理装置。 The image processing apparatus according to any one of claims 1 to 6,
The correction output unit
Including one product-sum calculator,
An image processing apparatus that corrects a pixel value of each pixel of the input image based on the correction curve using the product-sum calculator. 請求項１乃至７のいずれかに記載の画像処理装置において、
前記設定レジスター部は、
前記補正の種類に応じて出力される複数のパラメーターの初期値を含む画像処理装置。 The image processing apparatus according to claim 1,
The setting register section is
An image processing apparatus including initial values of a plurality of parameters output according to the type of correction.

Images