JP2010183416A

JP2010183416A - Image processing apparatus and method, program, and recording medium

Info

Publication number: JP2010183416A
Application number: JP2009026068A
Authority: JP
Inventors: Noriko Miyagi; 徳子宮城
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2009-02-06
Filing date: 2009-02-06
Publication date: 2010-08-19

Abstract

<P>PROBLEM TO BE SOLVED: To accelerate processing by suppressing the number of clusters from being increased too much in the middle of processing, by adding a new cluster and also by merging existent clusters as necessary during preprocessing of clustering. <P>SOLUTION: Pixels in a region are divided into clusters 1, 2 in accordance with color differences (b). Continuity evaluation values of pixels belonging to the clusters 1, 2 are computed (c), (d). The continuity evaluation value of a pixel (e) of interest is determined as the number of pixels (values from 0 to 4) belonging to the same cluster as the pixel (e) of interest among nearby four pixels (a, b, c, d). The cluster 2 with the smaller evaluation value (lower regional continuity) is merged with the cluster 1 with the greater continuity evaluation value (higher regional continuity). <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、カラー画像の各画素を複数のクラスタに分割し、クラスタ分割結果に応じて画像処理を行う画像処理装置、画像処理方法、プログラムおよび記録媒体に関し、カラーＭＦＰ、カラープリンタ、デジタルカメラの付属ソフト等に好適な技術である。 The present invention relates to an image processing apparatus, an image processing method, a program, and a recording medium that divide each pixel of a color image into a plurality of clusters and perform image processing according to the cluster division result, and relates to a color MFP, a color printer, and a digital camera. This is a technique suitable for attached software.

画像を複数のクラスタに分割する従来のクラスタリング技術として、１画素に対して１クラスタを割り当てた初期状態からスタートし、それらを１ステップ毎に統合していく階層的クラスタリングや、あるいは、予めクラスタ数と各クラスタのクラスタ代表値を設定し、各画素をクラスタ代表値との距離を評価していずれかのクラスタに割り当てた後、クラスタ間で所属画素を移動させてクラスタ内距離を最小にしていくＫ平均法がある。 As a conventional clustering technique for dividing an image into a plurality of clusters, the clustering is started from an initial state in which one cluster is assigned to one pixel and is integrated for each step, or the number of clusters in advance. And set the cluster representative value of each cluster, evaluate the distance of each pixel to the cluster representative value and assign it to one of the clusters, then move the belonging pixel between the clusters to minimize the intra-cluster distance There is a K-average method.

従来のクラスタリング技術はいずれも、各画素を複数クラスタに一旦領域分割する前段処理と、統合（あるいは分割）を行う後段処理で実現される。特許文献１に記載の方法もまた、カラー画像を色情報に基づいて領域分割した後、分割領域を統合する方法である。 All of the conventional clustering techniques are realized by a pre-stage process in which each pixel is once divided into a plurality of clusters and a post-stage process in which integration (or division) is performed. The method described in Patent Document 1 is also a method of integrating divided areas after dividing a color image based on color information.

階層的クラスタリングは圧倒的に多くの処理時間を要する問題があり、Ｋ平均法はクラスタ数とクラスタ代表値の初期値の設定次第で結果が意外に大きく変わってしまう問題がある。特許文献１は前段の領域分割について方法が特定されていない。それに対して、特許文献２は、画素毎に所属するクラスタを判定して領域分割する前段処理の中で、クラスタ数０からスタートし、最初の画素が入力されたらその画素の値をクラスタ代表値（クラスタ代表点）とする新規クラスタを追加し（この時点でクラスタ数は１）、その後は次の画素が入力される度にクラスタ代表値との距離に基づき必要に応じて新規クラスタを追加する。この方法によれば、クラスタ数が固定でなく、画像に対応したクラスタのみ追加されるため、不要なクラスタとの距離を計算する処理時間を省略できるし、クラスタ数とクラスタ代表値の初期値によって結果が大きく変わることがない。 Hierarchical clustering has an overwhelming problem that much processing time is required, and the K-means method has a problem that the result changes greatly depending on the setting of the number of clusters and the initial values of cluster representative values. Patent Document 1 does not specify a method for area division in the previous stage. On the other hand, Patent Document 2 starts from the number of clusters 0 in the pre-process for determining the cluster belonging to each pixel and dividing the region, and when the first pixel is input, the value of that pixel is set as the cluster representative value. A new cluster (cluster representative point) is added (the number of clusters is 1 at this point), and a new cluster is added as necessary based on the distance from the cluster representative value each time the next pixel is input. . According to this method, the number of clusters is not fixed, and only the cluster corresponding to the image is added. Therefore, the processing time for calculating the distance from the unnecessary cluster can be omitted, and the initial value of the number of clusters and the cluster representative value can be omitted. The result does not change significantly.

しかし、特許文献２はクラスタ数が固定でないことから、画像によってはクラスタ数が不要に増加してクラスタリングの前段処理部分で計算時間が嵩んでしまうケースがある。前段処理後のクラスタ分割結果を観察したところ、特にノイズが大きい画像でクラスタ数が増加する問題が起こる。注目画素とその時点で存在する各クラスタのクラスタ代表値との距離を算出し、予め設定した距離閾値以内のクラスタが既存クラスタの中になければ新規クラスタを追加することになるが、ノイズの起伏部分（山または谷）で新規クラスタが発生しやすいためである。ノイズの影響からクラスタ数が増加したとしても、後段処理部分で上手く他のクラスタと統合できれば最終的に得られるクラスタ分割結果としては問題ない（特許文献２のように、所属数が少ないクラスタを他のクラスタに統合する簡易的な後段処理でも良好な結果が得られる）が、処理途中でクラスタ数が増えれば増えるだけ処理順が遅い画素に要する処理時間が増えてしまう。 However, in Patent Document 2, since the number of clusters is not fixed, depending on the image, the number of clusters may increase unnecessarily, and calculation time may increase in the pre-processing portion of clustering. When the cluster division result after the pre-processing is observed, there is a problem that the number of clusters increases particularly in an image having a large noise. The distance between the target pixel and the cluster representative value of each cluster existing at that time is calculated, and if there is no cluster within the preset distance threshold within the existing cluster, a new cluster will be added. This is because a new cluster is likely to occur at a portion (mountain or valley). Even if the number of clusters increases due to the influence of noise, there is no problem as a cluster division result that is finally obtained as long as it can be successfully integrated with other clusters in the post-processing part (as in Patent Document 2, other clusters with a small number of affiliations are not necessary. (Simple post-processing that is integrated into a cluster can also obtain a good result), but if the number of clusters increases in the middle of processing, the processing time required for pixels with a slower processing order increases.

本発明は上記した課題に鑑みてなされたもので、
本発明の目的は、カラー画像内の各画素を色情報に基づき複数のクラスタに分割するクラスタ分割において、クラスタリングの前段処理の中で、新規クラスタの追加だけでなく、既存クラスタの統合を随時行うことにより、処理途中でクラスタ数が増えすぎるのを抑え、処理を高速化すると共に、ノイズの起伏部分で追加される新規クラスタは、領域的な連続性が低いという特徴があるので、クラスタの領域的な連続性を評価し、連続性が低いクラスタから順に随時統合することにより、処理を高速化した上で最終的なクラスタ分割の精度を維持する画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。 The present invention has been made in view of the above problems,
An object of the present invention is not only to add a new cluster but also to integrate existing clusters as needed during clustering in which each pixel in a color image is divided into a plurality of clusters based on color information. In this way, the number of clusters is not increased too much during processing, speeding up the processing, and new clusters added in the undulating part of noise are characterized by low regional continuity. Image processing apparatus, image processing method, program, and recording medium for maintaining the accuracy of final cluster division after speeding up processing by evaluating continuous continuity and integrating from time to time in order of clusters with low continuity Is to provide.

本発明は、カラー画像内の各画素を色情報に基づき複数のクラスタに分割するクラスタ分割手段を有し、前記クラスタ分割手段の出力に応じて画像処理を行う画像処理装置であって、前記クラスタ分割手段は、新規クラスタの追加、および、既存クラスタの統合を随時行いながら前記各画素を複数のクラスタに分割することを最も主要な特徴とする。 The present invention is an image processing apparatus having cluster dividing means for dividing each pixel in a color image into a plurality of clusters based on color information, and performing image processing in accordance with an output of the cluster dividing means, The dividing means has the main feature of dividing each pixel into a plurality of clusters while adding new clusters and integrating existing clusters as needed.

本発明によれば、画像内の各画素をクラスタ分割する途中段階で、新規クラスタの追加と既存クラスタの統合を随時行うので、処理途中でのクラスタ数の増加が抑制され、処理が高速化される。 According to the present invention, the addition of a new cluster and the integration of existing clusters are performed at any time during the process of dividing each pixel in the image into clusters, so that the increase in the number of clusters during the process is suppressed and the processing is speeded up. The

従来のクラスタリングと本発明のクラスタリングの相違を説明する図である。It is a figure explaining the difference of the conventional clustering and the clustering of this invention. 本発明の実施例の構成を示す。The structure of the Example of this invention is shown. ヒストグラムの例と、画像を領域判定した結果の一例を示す。An example of a histogram and an example of the result of area determination of an image are shown. 閾値決定部の構成を示す。The structure of a threshold value determination part is shown. ヒストグラムの分析範囲１、分析範囲２と決定される閾値を示す。The threshold values determined as histogram analysis range 1 and analysis range 2 are shown. 作成される補正テーブルの形状を示す。The shape of the correction table to be created is shown. 暗部補正量生成部の構成を示す。The structure of a dark part correction amount production | generation part is shown. 領域面積率計算部の構成を示す。The structure of an area area ratio calculation part is shown. クラスタリング部の構成を示す。The structure of a clustering part is shown. 予備クラスタリング部の処理フローチャートを示す。The processing flowchart of a preliminary | backup clustering part is shown. 図１０のステップ１５６６、１５６７、１５６８の処理フローチャートを示す。The process flowchart of steps 1566, 1567, and 1568 of FIG. 10 is shown. クラスタの連続性評価値を説明する図である。It is a figure explaining the continuity evaluation value of a cluster. クラスタ統合部の処理フローチャートを示す。The processing flowchart of a cluster integration part is shown. 暗部補正量決定部の構成を示す。The structure of a dark part correction amount determination part is shown. 補正量算出部の構成を示す。The structure of a correction amount calculation unit is shown. 最暗クラスタの補正量制限を説明する図である。It is a figure explaining the correction amount restriction | limiting of the darkest cluster. 仮補正テーブル生成部により作成される補正テーブルを示す。The correction table created by a temporary correction table production | generation part is shown. 補正量決定部の構成を示す。The structure of the correction amount determination part is shown. 本発明により作成される補正テーブルを示す。3 shows a correction table created according to the present invention.

以下、発明の実施の形態について図面により詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図１は、従来のクラスタリングと本発明のクラスタリングの相違を説明する図である。説明を簡単にするために、クラスタリング対象領域に、１つのオブジェクトが存在するものとし、背景をクラスタ０、オブジェクトをクラスタ１としてクラスタ分割したいケースについて図示した。 FIG. 1 is a diagram for explaining the difference between the conventional clustering and the clustering of the present invention. In order to simplify the description, it is assumed that one object exists in the clustering target area, the background is cluster 0, and the object is cluster 1 and clustering is desired.

オブジェクト領域内部にノイズがあり、ノイズに反応して本来発生して欲しくないクラスタ２が発生している（これも説明を簡単にするために、ノイズに反応して発生するクラスタが１つとしているが、実際はもっと多くのクラスタが発生する）。 There is noise inside the object area, and there is a cluster 2 that does not want to be generated in response to the noise (this also has one cluster generated in response to the noise to simplify the explanation) However, more clusters will actually occur).

従来のクラスタリング（ａ）では、前段処理途中でクラスタ０とクラスタ１とクラスタ２が発生し、その後の前段処理では常に各画素と３つのクラスタ代表値との距離を計算することになる。
本発明のクラスタリング（ｂ）では、前段処理途中でクラスタ２をクラスタ１に統合するので、統合後の前段処理では各画素と２つのクラスタ代表値との距離の計算を行えば良い。 In the conventional clustering (a), cluster 0, cluster 1 and cluster 2 are generated in the middle of the previous stage processing, and the distance between each pixel and the three cluster representative values is always calculated in the subsequent previous stage processing.
In the clustering (b) of the present invention, the cluster 2 is integrated into the cluster 1 in the middle of the previous process, and therefore the distance between each pixel and two cluster representative values may be calculated in the previous process after the integration.

図２は、本発明の実施例の構成を示す。輝度変換部１０は、ビットマップ形式の入力画像データの各画素のＲＧＢ値を、次式で輝度Ｙに変換する。
Ｙ＝０．３０×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ
ヒストグラム作成部１１は、輝度Ｙのヒストグラムを作成する。ＲＧＢが０〜２５５の各８ｂｉｔの値を持つ場合で説明すると、Ｙも０〜２５５の値を持つことになる。 FIG. 2 shows the configuration of an embodiment of the present invention. The luminance conversion unit 10 converts the RGB value of each pixel of the input image data in the bitmap format into luminance Y by the following equation.
Y = 0.30 × R + 0.59 × G + 0.11 × B
The histogram creation unit 11 creates a brightness Y histogram. In the case where RGB has a value of 8 bits each of 0 to 255, Y also has a value of 0 to 255.

閾値決定部１２は、作成したヒストグラムに基づき、画像内における被写体領域、暗部領域、ハイライト領域を判定するための閾値ｔｈ１，ｔｈ２を求める。図３（ａ）は、ヒストグラムの例を示す。閾値ｔｈ１はハイライト領域と被写体領域の境界に該当する閾値、閾値ｔｈ２は被写体領域内における暗部領域とその他の領域の境界に該当する閾値である。図３（ｂ）は、画像を領域判定した結果の一例を示す。上空部分がハイライト領域、被写体である建築物の影領域であって、何が写っているか視認困難な部分が暗部領域、それ以外の被写体部分が暗部領域以外の被写体領域として領域判定されている。閾値決定部１２では、このような領域判定を行うための閾値ｔｈ１，ｔｈ２を決定する。 The threshold value determination unit 12 obtains threshold values th1 and th2 for determining a subject area, a dark area, and a highlight area in the image based on the created histogram. FIG. 3A shows an example of a histogram. The threshold th1 is a threshold corresponding to the boundary between the highlight area and the subject area, and the threshold th2 is a threshold corresponding to the boundary between the dark area and the other area in the subject area. FIG. 3B shows an example of the result of determining the area of the image. The sky is the highlight area, the shadow area of the building that is the subject, the part that is difficult to see what is reflected is the dark area, and the other subject areas are determined as the subject areas other than the dark area . The threshold value determination unit 12 determines threshold values th1 and th2 for performing such area determination.

図４（ａ）は、閾値決定部１２の構成を示す。ヒストグラム形状から適応的に背景と対象物を分離する二値化閾値を求める判別分析法を２回使用して閾値を決定する。 FIG. 4A shows the configuration of the threshold value determination unit 12. The threshold value is determined using twice a discriminant analysis method for obtaining a binarization threshold value that adaptively separates the background and the object from the histogram shape.

図４（ｂ）は、判別分析法を説明する図である。簡単に説明すると、ヒストグラムの入力の最小値ｓｔ〜閾値Ｔまでを一つのクラス、閾値Ｔ〜入力の最大値ｅｎまでを一つのクラスとして、判別分析法の評価値である（クラス間分散／クラス内分散）が最大になる閾値Ｔを求めることで、背景と対象物がよく分離され（即ちクラス間分散が大きい）、かつ、背景内および対象物内がよくまとまっている（即ちクラス内分散が小さい）二値化閾値を求める方法である。 FIG. 4B illustrates the discriminant analysis method. Briefly, it is an evaluation value of the discriminant analysis method with one class from the minimum value st to the threshold value T of the histogram and one class from the threshold value T to the maximum value en of the input (inter-class variance / class By obtaining a threshold value T that maximizes (internal variance), the background and the object are well separated (ie, the variance between classes is large), and the inside of the background and the object are well organized (ie, the variance within the class is This is a method of obtaining a (small) binarization threshold.

判別分析法を用いることにより、分析範囲内における（局所的ではなく大局的な）谷位置を探すことができる。なお、判別分析法は、谷位置に該当する閾値を探すための手段として適切であるため、本実施例では判別分析法を使用した例を提示するが、判別分析法に近い精度で画像に対して適応的に谷位置を探すことができる方法であれば他の方法でも構わない。 By using the discriminant analysis method, it is possible to find a valley position (not local but global) within the analysis range. Note that the discriminant analysis method is suitable as a means for searching for the threshold value corresponding to the valley position, so in this embodiment, an example using the discriminant analysis method is presented. Any other method may be used as long as it can adaptively search for the valley position.

判別分析法１２０では、ヒストグラムの入力値の最小値から最大値までを分析範囲として（図５の分析範囲１）判別分析法を適用し、閾値ｔｈ１を求める。判別分析法１２１では、ヒストグラムの入力値のうち最小値から閾値ｔｈ１までの暗い側を分析範囲として（図５の分析範囲２）判別分析法を適用し、閾値ｔｈ２を求める。 In the discriminant analysis method 120, the threshold th1 is obtained by applying the discriminant analysis method with the analysis range from the minimum value to the maximum value of the input value of the histogram (analysis range 1 in FIG. 5). In the discriminant analysis method 121, the dark side from the minimum value to the threshold th1 among the input values of the histogram is used as the analysis range (analysis range 2 in FIG. 5), and the discriminant analysis method is applied to obtain the threshold th2.

画像サンプリング部３０は、使用する画像データの画素数が大きすぎると処理に時間がかかり、また性能面でも解像度が高すぎるとノイズの影響から階調補正のための補正量が正確に求められないことがあるので、画像が所定サイズよりも大きい場合には、画像を平均値でサンプリングする。例えば、長辺が６４０画素よりも大きい場合に、サンプリングを実施し、長辺の画素数が６４０の３倍の画像が入力された場合には、３×３画素毎に平均値を求めてサンプリング画像の画素値とする。 The image sampling unit 30 takes time to process if the number of pixels of image data to be used is too large, and if the resolution is too high in terms of performance, the correction amount for gradation correction cannot be obtained accurately due to the influence of noise. Therefore, if the image is larger than a predetermined size, the image is sampled with an average value. For example, when the long side is larger than 640 pixels, sampling is performed, and when an image whose number of long side pixels is three times 640 is input, an average value is obtained every 3 × 3 pixels and sampling is performed. The pixel value of the image.

階調補正テーブル作成部１９は、補正量決定部１８が決定した最終的な補正量Δに応じて階調補正テーブルを生成する。入力画像データや抽出した色情報等に基づき、暗部補正量生成部１５は、暗部領域の視認性向上に着目した補正量を生成し、ハイライト補正量生成部１６は、ハイライト領域の階調つぶれ抑制に着目した補正量を生成し、補正量決定部１８は、最終的な補正量Δを決定する。 The gradation correction table creation unit 19 generates a gradation correction table according to the final correction amount Δ determined by the correction amount determination unit 18. Based on the input image data, the extracted color information, and the like, the dark portion correction amount generation unit 15 generates a correction amount that focuses on improving the visibility of the dark region, and the highlight correction amount generation unit 16 performs the gradation of the highlight region. A correction amount focusing on the collapse suppression is generated, and the correction amount determination unit 18 determines a final correction amount Δ.

図６は、最終的に作成する補正テーブルの形状を示したものである。補正テーブルは輝度Ｙの変換テーブルとする。制御点は、始点０と終点２５５以外では、入力Ｙ＝ｔｈ１，ｔｈ２，Ｙａの３点であり、各区間内では直線形状とする。制御点ｔｈ１とｔｈ２は前述の閾値決定部１２から出力される閾値であり、制御点Ｙａは後述の暗部補正量生成部１５から出力される暗部領域内の制御点である。補正量Δは、制御点Ｙａにおける入力Ｙに対する出力Ｙの増加分を表したものである。暗部領域における０≦入力Ｙ＜Ｙａの傾きα１は、ＹａとΔにより決まる。制約条件として、暗部領域以外の被写体領域に該当するｔｈ２≦入力Ｙ＜ｔｈ１で、傾きα３を１にして階調性を保存し、Ｙａ≦入力Ｙ＜ｔｈ２は区間境界で傾きが急激に変化することを防止するため傾きα２を傾きα１とα３の中間とする。これにより、３つの制御点と補正量Δが決まれば、補正テーブル全体が決まる。また、３つの制御点が決まっていれば、もう一つの情報は補正量Δでなくα４であっても、あるいは補正テーブルが通るどこか一点の入力と出力のデータセットであっても、上記制約条件から補正テーブル全体を決定することが可能である。 FIG. 6 shows the shape of the correction table to be finally created. The correction table is a luminance Y conversion table. The control points are input Y = th1, th2, and Ya except for the start point 0 and the end point 255, and have a linear shape in each section. The control points th1 and th2 are threshold values output from the above-described threshold value determination unit 12, and the control point Ya is a control point in a dark part region output from a dark part correction amount generation unit 15 described later. The correction amount Δ represents an increase in the output Y with respect to the input Y at the control point Ya. The slope α1 of 0 ≦ input Y <Ya in the dark region is determined by Ya and Δ. As a constraint, th2 ≦ input Y <th1 corresponding to the subject area other than the dark area, and the gradient α3 is saved by setting the gradient α3 to 1. The gradient of Ya ≦ input Y <th2 changes abruptly at the section boundary. In order to prevent this, the inclination α2 is set between the inclinations α1 and α3. As a result, when the three control points and the correction amount Δ are determined, the entire correction table is determined. Further, if three control points are determined, the other information may be α4 instead of the correction amount Δ, or the input and output data set at some point that passes through the correction table. It is possible to determine the entire correction table from the conditions.

階調補正部２０は、生成した補正テーブルを基に、入力画像データの各画素に対して階調補正を施す。ＲＧＢから輝度変換により輝度Ｙを算出し、算出した輝度Ｙを入力として補正テーブルを参照して出力Ｙを求め、ＲＧＢの各信号に対して（出力Ｙ／入力Ｙ）を乗算したものを階調補正後のＲＧＢとする。 The gradation correction unit 20 performs gradation correction on each pixel of the input image data based on the generated correction table. The luminance Y is calculated from the RGB by luminance conversion, the output Y is obtained by referring to the correction table using the calculated luminance Y as an input, and each RGB signal multiplied by (output Y / input Y) is a gradation. Let it be RGB after correction.

図７は、暗部補正量生成部１５の構成を示す。クラスタリング部１５３は、領域判定結果から暗部領域の画素であるか否かの情報を取得し、色変換部１５２でＬａｂに変換したサンプリング画像データを入力として、クラスタリングを行う。 FIG. 7 shows the configuration of the dark part correction amount generation unit 15. The clustering unit 153 acquires information on whether or not the pixel is in the dark region from the region determination result, and performs the clustering using the sampled image data converted into Lab by the color conversion unit 152 as an input.

暗部領域判定部１５０は、サンプリング画像の各画素が暗部領域に属するか否かを、閾値ｔｈ２に基づき判定する。サンプリング画像のＲＧＢ値から輝度Ｙを求め、輝度Ｙを閾値ｔｈ２と比較する。
・Ｙ＜ｔｈ２、かつ、Ｍａｘ（Ｒ，Ｇ，Ｂ）−Ｍｉｎ（Ｒ，Ｇ，Ｂ）＜５０ならば、暗部領域の画素であると判定する。 The dark area determination unit 150 determines whether each pixel of the sampling image belongs to the dark area based on the threshold th2. The luminance Y is obtained from the RGB values of the sampled image, and the luminance Y is compared with the threshold th2.
If Y <th2 and Max (R, G, B) −Min (R, G, B) <50, it is determined that the pixel is in the dark area.

暗部領域の画素の判定条件にＭａｘ（Ｒ，Ｇ，Ｂ）−Ｍｉｎ（Ｒ，Ｇ，Ｂ）＜５０を加えているのは、彩度が比較的高く、視認可能な領域を暗部から除外して判定するためである。 The reason for adding Max (R, G, B) −Min (R, G, B) <50 to the determination condition of the pixel in the dark area is to exclude the visible area from the dark area because the saturation is relatively high. It is for judging.

領域面積率計算部１５１では、被写体領域内に占める暗部領域の比率を暗部面積率Ｐｄとして求める。図８は、領域面積率計算部１５１の構成を示す。被写体画素数計数部１５１０は、ヒストグラムと閾値ｔｈ１から、被写体領域の画素数Ｎａを計数する。被写体領域の画素数はヒストグラムにおける０≦Ｙ＜ｔｈ１の画素数を全て足し合わせることで求められる。同様に、暗部画素数計数部１５１１は、ヒストグラムと閾値ｔｈ２から、暗部領域の画素数Ｎｃを計数する。暗部領域の画素数はヒストグラムにおける０≦Ｙ＜ｔｈ２の画素数を全て足し合わせることにより求められる。
暗部面積率計算部１５１２では、被写体領域における暗部領域の面積率Ｐｄを次式で求める。
Ｐｄ＝Ｎｃ／Ｎａ In the area area ratio calculation unit 151, the ratio of the dark area occupied in the subject area is obtained as the dark area ratio Pd. FIG. 8 shows the configuration of the area area ratio calculation unit 151. The subject pixel number counting unit 1510 counts the pixel number Na of the subject region from the histogram and the threshold th1. The number of pixels in the subject area can be obtained by adding all the numbers of pixels of 0 ≦ Y <th1 in the histogram. Similarly, the dark area pixel number counting unit 1511 counts the number Nc of pixels in the dark area from the histogram and the threshold th2. The number of pixels in the dark area is obtained by adding all the numbers of pixels of 0 ≦ Y <th2 in the histogram.
The dark area ratio calculation unit 1512 obtains the area ratio Pd of the dark area in the subject area by the following equation.
Pd = Nc / Na

図７に戻り、色変換部１５２は、クラスタリングで色差計算を行うため、ＲＧＢで表されている画素値をＬ＊ａ＊ｂ＊に変換しておく。 Returning to FIG. 7, the color conversion unit 152 converts pixel values expressed in RGB into L * a * b * in order to perform color difference calculation by clustering.

図９は、クラスタリング部１５３の構成を示す。予備クラスタリング部１５６は、色差に応じて１つ以上のクラスタに分割し（前段処理）、その後、クラスタ統合部１５７では、画素数の少ないクラスタを他のクラスタに統合する（後段処理）。 FIG. 9 shows the configuration of the clustering unit 153. The preliminary clustering unit 156 divides the cluster into one or more clusters according to the color difference (pre-stage processing), and then the cluster integration unit 157 integrates the cluster with a small number of pixels into another cluster (post-stage processing).

なお、本実施例では、クラスタ代表値はクラスタの平均Ｌ＊ａ＊ｂ＊であり、各クラスタのクラスタ代表値との距離は平均Ｌ＊ａ＊ｂ＊間の色差に該当する。 In this embodiment, the cluster representative value is the average L * a * b * of the clusters, and the distance from each cluster representative value corresponds to the color difference between the average L * a * b *.

図１０は、予備クラスタリング部１５６の処理フローチャートである。注目画素のＬａｂを順次入力し（ステップ１５６１）、クラスタリングを行う。画像先端からスタートして初めて暗部領域の画素が入力された時点では、クラスタ数Ｎが初期化されてＮ＝０にセットされた状態であるため（ステップ１５６０）、色差による条件分岐（ステップ１５６５）で“Ｎｏ”の方に進み、新規クラスタの追加（ステップ１５６７）において、注目画素を唯一の所属画素とする新規クラスタを追加する（Ｎ＝１になる）。 FIG. 10 is a processing flowchart of the preliminary clustering unit 156. The Lab of the pixel of interest is sequentially input (step 1561), and clustering is performed. When the pixels in the dark area are input for the first time from the beginning of the image, since the number of clusters N is initialized and N = 0 is set (step 1560), conditional branching due to color difference (step 1565). The process proceeds to “No”, and in the addition of a new cluster (step 1567), a new cluster having the pixel of interest as the only belonging pixel is added (N = 1).

その後は、順次入力される注目画素のＬ＊ａ＊ｂ＊値に対して、暗部領域の画素であれば（ステップ１５７０でＹｅｓ）、各クラスタの平均Ｌ＊ａ＊ｂ＊との色差を求め（ステップ１５６３）、その中で色差最小のクラスタ番号ｊと色差ｄＥ＿ｍｉｎの組を抽出する（ステップ１５６４）。色差による条件分岐（ステップ１５６５）で、色差ｄＥ＿ｍｉｎが予め設定された閾値ｄＥ＿ｔｈ以下であれば“Ｙｅｓ”の方に進み、クラスタｊに注目画素を追加する（ステップ１５６６）。色差による条件分岐（１５６５）で色差ｄＥ＿ｍｉｎが予め設定された閾値ｄＥ＿ｔｈより大きければ“Ｎｏ”の方に進み、その時点でのクラスタ数Ｎが予め設定されたクラスタ数上限値Ｎ＿ｍａｘ未満であれば新規クラスタを追加し（ステップ１５６７）、クラスタ数Ｎが上限値Ｎ＿ｍａｘに達していれば、既存クラスタの統合と新規クラスタの追加を行う（ステップ１５６８）。 Thereafter, if the L * a * b * value of the pixel of interest sequentially input is a pixel in the dark area (Yes in step 1570), the color difference from the average L * a * b * of each cluster is obtained. (Step 1563), a set of the cluster number j with the smallest color difference and the color difference dE_min is extracted (Step 1564). If the color difference dE_min is equal to or smaller than a preset threshold value dE_th in the conditional branching by color difference (step 1565), the process proceeds to “Yes”, and the target pixel is added to the cluster j (step 1566). If the color difference dE_min is larger than the preset threshold value dE_th in the conditional branch (1565) due to the color difference, the process proceeds to “No”, and if the cluster number N at that time is less than the preset cluster number upper limit value N_max, it is new. Clusters are added (step 1567). If the number N of clusters has reached the upper limit value N_max, the existing clusters are integrated and new clusters are added (step 1568).

新規クラスタを追加するか否かの境界色差を表しているのがｄＥ＿ｔｈであり、暗部の何が写っているかはっきり視認できない領域を対象としていることを考慮してｄＥ＿ｔｈ＝３くらいの小さい値に設定しておくのが適当である。画像後端まで到達して入力するＬａｂデータが無くなった時点で、クラスタリング終了となる。 DE_th represents the boundary color difference whether or not to add a new cluster, and is set to a small value such as dE_th = 3 in consideration of the fact that the area where the dark part is not clearly visible is targeted. It is appropriate to keep it. Clustering ends when the Lab data reaches the rear end of the image and there is no more Lab data to input.

既存クラスタであるクラスタｊに注目画素を追加する処理（ステップ１５６６）について説明する。図１１（ａ）は、ステップ１５６６の処理フローチャートである。クラスタｊの所属画素数ｎ（ｊ）を１つカウントアップし（ステップ１５６９）、平均Ｌ＊ａ＊ｂ＊を再計算する（ステップ１５７０）。
（再計算後の平均Ｌ＊）＝（（再計算前の平均Ｌ＊）×（ｎ（ｊ）−１）＋（注目画素のＬ＊））／ｎ（ｊ）
（再計算後の平均ａ＊）＝（（再計算前の平均ａ＊）×（ｎ（ｊ）−１）＋（注目画素のａ＊））／ｎ（ｊ）
（再計算後の平均ｂ＊）＝（（再計算前の平均ｂ＊）×（ｎ（ｊ）−１）＋（注目画素のｂ＊））／ｎ（ｊ） A process (step 1566) of adding a target pixel to the cluster j that is an existing cluster will be described. FIG. 11A is a process flowchart of step 1566. The number n (j) of pixels belonging to cluster j is incremented by 1 (step 1569), and the average L * a * b * is recalculated (step 1570).
(Average L * after recalculation) = ((Average L * before recalculation) × (n (j) −1) + (L * of target pixel)) / n (j)
(Average a * after recalculation) = ((Average a * before recalculation) × (n (j) −1) + (a * of target pixel)) / n (j)
(Average b * after recalculation) = ((Average b * before recalculation) × (n (j) −1) + (b * of target pixel)) / n (j)

次に、クラスタｊの連続性評価値ｌｅｎ（ｊ）を再計算する（ステップ１５７１）。連続性評価値の定義について説明する。クラスタの連続性評価値は、そのクラスタに属する各画素の連続性評価値の平均で定義する。各画素の連続性評価値は次のように定義する。図１２（ａ）の注目画素ｅの連続性評価値は、近傍４画素（ａ，ｂ，ｃ，ｄ）の所属クラスタを参照して求める。
「注目画素ｅの連続性評価値＝近傍４画素（ａ，ｂ，ｃ，ｄ）のうち注目画素ｅと同じクラスタに属する画素数」
つまり、各画素の持つ連続性評価値は０〜４の値になる。クラスタの連続性評価値も、その平均値であるので０〜４の値になり、領域的に塊で存在するクラスタは評価値が３前後の大きい値になり、点在するクラスタは０〜１前後の小さい値になる。
クラスタｊの連続性評価値ｌｅｎ（ｊ）の再計算は、以下の式で行える。
（再計算後のｌｅｎ［ｊ］）＝（（再計算前のｌｅｎ［ｊ］）×（ｎ（ｊ）−１）＋（注目画素の連続性評価値））／ｎ（ｊ） Next, the continuity evaluation value len (j) of the cluster j is recalculated (step 1571). The definition of the continuity evaluation value will be described. The continuity evaluation value of a cluster is defined by the average of the continuity evaluation values of pixels belonging to the cluster. The continuity evaluation value of each pixel is defined as follows. The continuity evaluation value of the target pixel e in FIG. 12A is obtained by referring to the cluster to which the four neighboring pixels (a, b, c, d) belong.
“Continuity evaluation value of the target pixel e = the number of pixels belonging to the same cluster as the target pixel e among the four neighboring pixels (a, b, c, d)”
That is, the continuity evaluation value of each pixel is a value from 0 to 4. Since the continuity evaluation value of the cluster is also an average value thereof, the value is 0 to 4, and the cluster which is present as a cluster in the region has a large evaluation value of around 3, and the scattered clusters are 0 to 1. Small value before and after.
Recalculation of the continuity evaluation value len (j) of the cluster j can be performed by the following formula.
(Len [j] after recalculation) = ((len [j] before recalculation) × (n (j) −1) + (continuity evaluation value of target pixel)) / n (j)

図１２（ｂ）〜（ｄ）は、クラスタ分割結果の一例に対する連続性評価値を示す。図１２（ｂ）のクラスタ分割結果の例では、クラスタ１に分割される領域内に、ノイズ部分と思われるクラスタ２が点在している。その時、クラスタ１の連続性評価値は２．８１で比較的大きく、領域的な連続性が高い（ｃ）。クラスタ２の連続性評価値は０．２５で比較的小さく、領域的な連続性が低い（ｄ）。この連続性評価値に基づきクラスタ統合を行うので、クラスタ２はクラスタ統合の対象になりやすい。 12B to 12D show continuity evaluation values for an example of the cluster division result. In the example of the cluster division result in FIG. 12B, clusters 2 that are considered to be noise portions are scattered in the area divided into the clusters 1. At that time, the continuity evaluation value of cluster 1 is 2.81, which is relatively large, and the regional continuity is high (c). The continuity evaluation value of cluster 2 is 0.25, which is relatively small, and the regional continuity is low (d). Since cluster integration is performed based on this continuity evaluation value, cluster 2 is likely to be a cluster integration target.

新規クラスタの追加（ステップ１５６７）について説明する。図１１（ｂ）は、ステップ１５６７の処理フローチャートである。クラスタ数をカウントアップし（ステップ１５７２）、クラスタＮの所属画素数を初期化してｎ（Ｎ）＝１に設定し（ステップ１５７３）、平均Ｌ＊ａ＊ｂに注目画素のＬ＊ａ＊ｂを設定する（ステップ１５７４）。連続性評価値も初期化してｌｅｎ（Ｎ）＝０に設定する（ステップ１５７５）。 The addition of a new cluster (step 1567) will be described. FIG. 11B is a process flowchart of step 1567. The number of clusters is counted up (step 1572), the number of pixels belonging to cluster N is initialized and set to n (N) = 1 (step 1573), and the average L * a * b is calculated as L * a * b of the target pixel. Is set (step 1574). The continuity evaluation value is also initialized and len (N) = 0 is set (step 1575).

既存クラスタの統合＆新規クラスタの追加（ステップ１５６８）について説明する。図１１（ｃ）は、ステップ１５６８の処理フローチャートである。その時点での各クラスタの連続性評価値を比較し、連続性評価値が最も小さいクラスタを選択する（以降、該当クラスタをクラスタＸと表記する）（ステップ１６００）。クラスタＸが統合対象のクラスタになる。クラスタＸと他のクラスタの平均Ｌ＊ａ＊ｂ＊間の色差を計算し（ステップ１６０１）、色差最小のクラスタを抽出する（以降、該当クラスタをクラスタＹと表記する）（ステップ１６０２）。クラスタＹが統合先のクラスタになる。 The integration of existing clusters and the addition of new clusters (step 1568) will be described. FIG. 11C is a process flowchart of step 1568. The continuity evaluation values of the respective clusters at that time are compared, and the cluster having the smallest continuity evaluation value is selected (hereinafter, the corresponding cluster is referred to as cluster X) (step 1600). Cluster X becomes the cluster to be integrated. The color difference between the average L * a * b * of the cluster X and other clusters is calculated (step 1601), and the cluster with the smallest color difference is extracted (hereinafter, the corresponding cluster is referred to as cluster Y) (step 1602). Cluster Y becomes the integration destination cluster.

クラスタＸをクラスタＹへ統合すべく、クラスタＹの所属画素数ｎ（Ｙ）にクラスタＸの所属画素数ｎ（Ｘ）を加算し（ステップ１６０３）、クラスタＹの平均Ｌ＊ａ＊ｂ＊を再計算する（ステップ１６０４）。
（クラスタＹの再計算後の平均Ｌ＊）＝（（クラスタＹの再計算前の平均Ｌ＊）×（ｎ（Ｙ）−ｎ（Ｘ））＋（クラスタＸの平均Ｌ＊）×ｎ（Ｘ））／ｎ（Ｙ）
（クラスタＹの再計算後の平均ａ＊）＝（（クラスタＹの再計算前の平均ａ＊）×（ｎ（Ｙ）−ｎ（Ｘ））＋（クラスタＸの平均ａ＊）×ｎ（Ｘ））／ｎ（Ｙ）
（クラスタＹの再計算後の平均ｂ＊）＝（（クラスタＹの再計算前の平均ｂ＊）×（ｎ（Ｙ）−ｎ（Ｘ））＋（クラスタＸの平均ｂ＊）×ｎ（Ｘ））／ｎ（Ｙ） In order to integrate cluster X into cluster Y, the number n (X) of pixels belonging to cluster X is added to the number n (Y) of pixels belonging to cluster Y (step 1603), and the average L * a * b * of cluster Y is calculated. Recalculation is performed (step 1604).
(Average L * after recalculation of cluster Y) = ((average L * before recalculation of cluster Y) × (n (Y) −n (X)) + (average L * of cluster X) × n ( X)) / n (Y)
(Average a * after recalculation of cluster Y) = ((Average a * before recalculation of cluster Y) × (n (Y) −n (X)) + (Average a * of cluster X) × n ( X)) / n (Y)
(Average b * after recalculation of cluster Y) = ((average b * before recalculation of cluster Y) × (n (Y) −n (X)) + (average b * of cluster X) × n ( X)) / n (Y)

次に、クラスタＸを消去して新規クラスタを追加すべく、クラスタＸを新規クラスタで置換する。クラスタＸの所属画素数を初期化してｎ（Ｘ）＝１に設定し（ステップ１６０５）、平均Ｌ＊ａ＊ｂ＊に注目画素のＬ＊ａ＊ｂ＊を設定する（ステップ１６０６）。連続性評価値も初期化してｌｅｎ（Ｘ）＝０に設定する（ステップ１６０７）。 Next, in order to erase the cluster X and add a new cluster, the cluster X is replaced with the new cluster. The number of pixels belonging to the cluster X is initialized and set to n (X) = 1 (step 1605), and the L * a * b * of the pixel of interest is set to the average L * a * b * (step 1606). The continuity evaluation value is also initialized and len (X) = 0 is set (step 1607).

図１０のクラスタ統合部１５７の処理を説明すると、予備クラスタリング部１５６で分割されたクラスタのうち、ある程度画素数が少ないクラスタは被写体を有意な塊単位で抽出する上において不要または重要性が低いクラスタである。 The processing of the cluster integration unit 157 in FIG. 10 will be described. Among the clusters divided by the preliminary clustering unit 156, a cluster with a small number of pixels to a certain extent is a cluster that is unnecessary or less important in extracting a subject in significant chunk units. It is.

図１３は、クラスタ統合部１５７の処理フローチャートである。各クラスタを順次見ていき、クラスタの画素数が所定閾値ｎ＿ｔｈより小さいか否かを判定し（ステップ１６１２）、小さい場合は注目クラスタｉの平均Ｌ＊ａ＊ｂ＊と他のクラスタの平均Ｌ＊ａ＊ｂ＊との色差を求め（ステップ１６１３）、他のクラスタ全てに対して求めた色差のうち最小のものに該当するクラスタ番号ｊを抽出し（ステップ１６１４）、クラスタｉをクラスタｊに統合する（ステップ１６１５）。クラスタｊの画素数にクラスタｉの画素数を加算し、クラスタｉの画素数を０に変更する。 FIG. 13 is a process flowchart of the cluster integration unit 157. Each cluster is sequentially viewed, and it is determined whether or not the number of pixels in the cluster is smaller than a predetermined threshold n_th (step 1612). If smaller, the average L * a * b * of the cluster i of interest and the average L of other clusters are determined. The color difference from * a * b * is obtained (step 1613), the cluster number j corresponding to the smallest color difference obtained for all other clusters is extracted (step 1614), and cluster i is set to cluster j. Integration is performed (step 1615). The number of pixels in cluster i is added to the number of pixels in cluster j, and the number of pixels in cluster i is changed to zero.

統合するクラスタの画素数境界である閾値ｎ＿ｔｈは、暗部領域の画素数に対して例えば１５％（１０％〜２０％程度に設定するのが適当）の画素数に相当する値を画像毎に求めて、それを閾値とする。 The threshold value n_th, which is the boundary of the number of pixels of the cluster to be integrated, is obtained for each image, for example, a value corresponding to the number of pixels of 15% (suitably set to about 10% to 20%) with respect to the number of pixels in the dark area. That is the threshold value.

図７に戻り、判断部１５４は、クラスタ数に応じて階調補正を行うか否かを判断する。クラスタ数が１であれば階調補正を行わないと判断し、クラスタ数が１以外であれば階調補正を行うと判断する。これにより、夜空を背景に花火を撮影した画像のように暗部に該当する夜空に何もオブジェクトが潜んでおらず、明るく補正する必要がない画像が入力された場合に、階調補正を行わないと判断して処理することができる。 Returning to FIG. 7, the determination unit 154 determines whether to perform gradation correction according to the number of clusters. If the number of clusters is 1, it is determined not to perform gradation correction, and if the number of clusters is other than 1, it is determined to perform gradation correction. As a result, tone correction is not performed when an image that does not need to be brightly corrected is input when there is no object in the night sky corresponding to the dark area, such as an image of fireworks shot against the night sky. Can be processed.

図１４は、暗部補正量決定部１５５の構成を示す。判断部１５４が階調補正を行わないと判断した場合は、選択部１５９は、Δ１＝Δ１ａ（＝０）を補正量として選択出力することにより、実質的に階調補正を無効にする。判断部１５４が階調補正を行うと判断した場合は、補正量算出部１５８が算出した補正量Δ１ｂを選択して、Δ１＝Δ１ｂを補正量として出力する。 FIG. 14 shows a configuration of the dark part correction amount determination unit 155. When the determination unit 154 determines not to perform gradation correction, the selection unit 159 selects and outputs Δ1 = Δ1a (= 0) as a correction amount, thereby substantially invalidating the gradation correction. When the determination unit 154 determines to perform gradation correction, the correction amount Δ1b calculated by the correction amount calculation unit 158 is selected and Δ1 = Δ1b is output as the correction amount.

図１５は、補正量算出部１５８の構成を示す。第一のクラスタ抽出部１５８０は、クラスタリング結果から各クラスタの画素数を比較して画素数が最も多いクラスタとその次に多いクラスタを抽出する。２つのクラスタのうち明度が高い方をクラスタＡ、明度が低い方をクラスタＢと表記する。色差計算部１５８２では、クラスタＡとクラスタＢの補正前の平均Ｌａｂ同士の色差ｄＥ１を計算しておく。補正量生成部１５９２は補正量Δ１ｂを設定して、仮補正テーブル生成部１５９１は補正量に応じた仮補正テーブルを作成する。階調補正部１５８５は仮補正テーブルを用いた階調補正を、クラスタＡの平均Ｌａｂを色変換部１５８４でＲＧＢに変換したＲＧＢ＿ａと、クラスタＢの平均Ｌａｂを同じくＲＧＢに変換したＲＧＢ＿ｂに対して行い、階調補正後の値を色変換部１５８６で再度Ｌａｂ信号に変換する。色差計算部１５８７では、クラスタＡとクラスタＢの補正後の平均Ｌａｂ同士の色差ｄＥ２を計算する。色差比計算部１５８８は補正前の色差ｄＥ１と補正後の色差ｄＥ２の比率を計算して求める。 FIG. 15 shows a configuration of the correction amount calculation unit 158. The first cluster extraction unit 1580 compares the number of pixels of each cluster from the clustering result, and extracts the cluster with the largest number of pixels and the cluster with the next largest number. Of the two clusters, the higher brightness is expressed as cluster A, and the lower brightness is expressed as cluster B. The color difference calculation unit 1582 calculates the color difference dE1 between the average Lab before correction of the cluster A and the cluster B. The correction amount generation unit 1592 sets the correction amount Δ1b, and the temporary correction table generation unit 1591 creates a temporary correction table corresponding to the correction amount. The gradation correction unit 1585 performs gradation correction using the temporary correction table for RGB_a obtained by converting the average Lab of cluster A into RGB by the color conversion unit 1584 and RGB_b obtained by converting the average Lab of cluster B into RGB similarly. Then, the value after gradation correction is converted again into a Lab signal by the color conversion unit 1586. The color difference calculation unit 1587 calculates the color difference dE2 between the average Lab after correction of the cluster A and the cluster B. The color difference ratio calculation unit 1588 calculates and obtains the ratio of the color difference dE1 before correction and the color difference dE2 after correction.

第二のクラスタ抽出部１５８１では、クラスタリング結果から最も暗いクラスタを抽出する。最も暗いクラスタをクラスタＣと表記する。ちなみに、画像によってはクラスタＢとクラスタＣが同じクラスタを指すこともあるが、それでも構わない。階調補正部１５８５は仮補正テーブルを用いた階調補正を、クラスタＣの平均Ｌａｂを色変換部１５８４でＲＧＢに変換したＲＧＢ＿ｃに対して行い、階調補正後の値を色変換部１５８６で再度Ｌａｂ信号に変換する。 The second cluster extraction unit 1581 extracts the darkest cluster from the clustering result. The darkest cluster is denoted as cluster C. Incidentally, although the cluster B and the cluster C may point to the same cluster depending on the image, it does not matter. The gradation correction unit 1585 performs gradation correction using the temporary correction table on RGB_c obtained by converting the average Lab of cluster C into RGB by the color conversion unit 1584, and the value after gradation correction is performed by the color conversion unit 1586. It is converted again into a Lab signal.

暗部補正量判定部１５８９では、以下の終了条件１または終了条件２を満たせば、その時点での補正量Δ１ｂを出力して終了する。どちらの終了条件も満たさなければ、補正量生成部１５９２は変更した補正量を発生させ、終了条件を満足するまで処理を繰り返す。
［終了条件１］クラスタＡとクラスタＢの補正前後の色差比が、色差比目標値設定部１５８３に設定された目標値Ｘｄ以上である。
［終了条件２］クラスタＣの階調補正後の平均Ｌが、最暗クラスタの明度上限設定部１５９０に設定された上限値Ｌｃ＿ｔｈ以上である。 If the following end condition 1 or end condition 2 is satisfied, the dark portion correction amount determination unit 1589 outputs the correction amount Δ1b at that time and ends. If neither end condition is satisfied, the correction amount generation unit 1592 generates a changed correction amount and repeats the process until the end condition is satisfied.
[End Condition 1] The color difference ratios before and after the correction of cluster A and cluster B are equal to or greater than the target value Xd set in the color difference ratio target value setting unit 1583.
[End Condition 2] The average L after tone correction of the cluster C is equal to or higher than the upper limit value Lc_th set in the lightness upper limit setting unit 1590 of the darkest cluster.

画素数が最も大きいクラスタと次に大きいクラスタの色差が補正前のＸ倍になるように補正するということは、他の面積の狭いクラスタ同士の色差比に着目して補正するよりも視認性が向上したことが観察者に認識されやすく、非常に効果的である。また、最も暗いクラスタが明るく補正されすぎないように補正量を制限することは、暗部ノイズが目立つ副作用を防止するのに有効である。 The correction so that the color difference between the cluster having the largest number of pixels and the next largest cluster is X times before correction is more visible than the correction by paying attention to the color difference ratio between other clusters having a small area. The improvement is easily recognized by the observer and is very effective. Further, limiting the correction amount so that the darkest cluster is not corrected too brightly is effective in preventing a side effect in which dark part noise is conspicuous.

図１６は、最暗クラスタの補正量制限を説明する図である。（ａ）は暗部を示し、（ｂ）は暗部を拡大した図である。図１６のＹｃとＹｃ＿ｔｈは最暗クラスタの補正量制限をわかりやすく表現したものであり、ＹｃがクラスタＣの補正後の輝度を表しており、Ｙｃ＿ｔｈは上限値を輝度で表している。 FIG. 16 is a diagram for explaining the correction amount limitation of the darkest cluster. (A) shows a dark part, (b) is the figure which expanded the dark part. In FIG. 16, Yc and Yc_th express the correction amount limitation of the darkest cluster in an easy-to-understand manner, Yc represents the luminance after correction of cluster C, and Yc_th represents the upper limit value in luminance.

補正量生成部１５９２は、Δ１ｂ＝０を初期値として、補正量生成の要求がある度に、Δ１ｂに＋１したものを次の補正量として発生させる。仮補正テーブル生成部１５９１では、ＲＧＢ＿ａを輝度変換して求めた輝度Ｙａを制御点として、図１６のような補正テーブルを作成する。制御点ＹａはクラスタＡ（面積が大きい２つのクラスタのうち明るい方）の輝度に該当する。制御点Ｙａにおける出力がＹａ＋Δ１ｂになるように補正テーブルを作成し、暗部領域以外は暗部補正量生成部１５で使用されず、どのように設定してもよいので、図１６のように、Ｙａ≦入力Ｙ＜２５５は直線で結んでおけば良い。 The correction amount generation unit 1592 sets Δ1b = 0 as an initial value, and generates a value obtained by adding 1 to Δ1b as the next correction amount each time a correction amount generation is requested. The temporary correction table generation unit 1591 creates a correction table as shown in FIG. 16 using the luminance Ya obtained by luminance conversion of RGB_a as a control point. The control point Ya corresponds to the luminance of cluster A (the brighter of the two clusters having a large area). The correction table is created so that the output at the control point Ya becomes Ya + Δ1b, and the dark area correction amount generation section 15 is not used except for the dark area, and may be set in any way. As shown in FIG. Input Y <255 may be connected by a straight line.

色差比目標値設定部１５８３では、暗部面積率Ｐｄに応じて色差比の目標値Ｘｄ＝３．５×Ｐｄを算出する。算出式は数十枚のサンプル画像を用意してどのくらいに設定すれば、ほぼ全ての画像（少なくとも用意したサンプルの８割）で適正な明るさに補正されるかを主観評価結果から導出したものである。被写体における暗部領域の占める割合が大きいほど暗部の視認性向上を重視した方が高評価を得る傾向があり、暗部領域の占める割合が小さいほど暗部以外の被写体画質を重視した方が高評価が得られ、暗部の視認性向上に対する要求レベルが下がる傾向があった。 The color difference ratio target value setting unit 1583 calculates a color difference ratio target value Xd = 3.5 × Pd according to the dark area ratio Pd. The calculation formula is derived from the subjective evaluation result that prepares dozens of sample images and how much is set to correct the brightness to almost all images (at least 80% of the prepared samples). It is. The higher the proportion of the dark area in the subject, the higher the tendency to obtain higher evaluation when the dark area visibility is emphasized, and the lower the proportion of the dark area, the higher the evaluation is given to the subject image quality other than the dark portion. Therefore, there is a tendency that the required level for improving the visibility of dark parts is lowered.

最暗クラスタの明度上限設定部１５９０では、Ｌｃ＿ｔｈが１５くらいの値（１０〜１８の間）に設定されるようにしておくのが適当である。これは予め決めておいた固定値でよい。 It is appropriate that the lightness upper limit setting unit 1590 of the darkest cluster is set so that Lc_th is about 15 (between 10 and 18). This may be a predetermined fixed value.

図２に戻り、ハイライト補正量生成部１６では、補正テーブルのハイライト領域における傾きα４’を補正量として求め、出力する。これはハイライトが階調補正によって白飛びするのを抑制するために行う処理である。サンプリング画像の各画素を閾値ｔｈ１と比較し、閾値ｔｈ１以上であればハイライト領域の画素であると判定する。更に、ハイライト領域のＲＧＢ値全てが２５５である画素（白画素）を除外した領域を対象として、対象領域における飽和度が予め設定された飽和度上限値Ｘｈ以下になることを終了条件とし、終了条件を満たすα４’を求める。 Returning to FIG. 2, the highlight correction amount generation unit 16 obtains and outputs the inclination α4 'in the highlight area of the correction table as the correction amount. This is a process performed to suppress highlights from being blown out by gradation correction. Each pixel of the sampled image is compared with the threshold value th1. Furthermore, for an area excluding pixels (white pixels) where all RGB values of the highlight area are 255, the saturation condition in the target area is set to a preset saturation upper limit value Xh or less as an end condition, Α4 ′ that satisfies the termination condition is obtained.

図１７のように、ｔｈ１を制御点とし、ハイライト領域で傾きがα４’になる仮補正テーブルを作成し、傾きα４’＝０からはじめてα４’を徐々に大きくしていく。ハイライト領域以外はハイライト補正量生成部１６で使用されないので、仮補正テーブルでは図１７のように、０≦入力Ｙ＜ｔｈ１を直線で結んでおけば良い。 As shown in FIG. 17, a temporary correction table having a slope α4 ′ in the highlight area is created using th1 as a control point, and α4 ′ is gradually increased starting from the slope α4 ′ = 0. Since areas other than the highlight area are not used by the highlight correction amount generation unit 16, it is only necessary to connect 0 ≦ input Y <th1 with a straight line in the temporary correction table as shown in FIG.

飽和度は、対象領域における飽和画素の割合である。飽和画素は、階調補正前後のＲＧＢ値を参照し、ＲＧＢ３信号のうち補正後の値が（２５５−ｘ１）以上に飽和した信号数が、補正前に２５５に飽和している信号数よりも多ければ、階調補正によって飽和した画素（＝飽和画素）であると判断する。ｘ１は（２５５−ｘ１）が目視でほぼ飽和していると認定されるくらいの値、ｘ１＝２０くらいに設定しておくのが適当である。 The degree of saturation is the ratio of saturated pixels in the target area. The saturated pixel refers to RGB values before and after gradation correction, and the number of signals in which the corrected value of RGB3 signals is saturated to (255−x1) or more is greater than the number of signals saturated to 255 before correction. If so, it is determined that the pixel is saturated by the gradation correction (= saturated pixel). It is appropriate to set x1 to a value such that (255−x1) is recognized as being almost saturated visually, and about x1 = 20.

図２に示す補正量決定部１８の構成を、図１８に示す。補正量Δ２算出部１８０では、最終的に求める図６の階調補正テーブルと同様に、図１９に示した関係を使って、ハイライトの傾きがα４’である場合の補正量Δ２を求める。暗部補正量生成部１５で生成された補正量Δ１と、ハイライト補正量生成部１６で生成された傾きα４’から求めた補正量Δ２とを、最小値選択部１８１で比較し、最小のものを選択して出力する（Δ＝ｍｉｎ（Δ１，Δ２））。 The configuration of the correction amount determination unit 18 shown in FIG. 2 is shown in FIG. The correction amount Δ2 calculation unit 180 calculates the correction amount Δ2 when the highlight slope is α4 ′ using the relationship shown in FIG. 19 as in the finally obtained gradation correction table of FIG. The minimum amount selection unit 181 compares the correction amount Δ1 generated by the dark portion correction amount generation unit 15 with the correction amount Δ2 obtained from the slope α4 ′ generated by the highlight correction amount generation unit 16, and the smallest one is obtained. Is selected and output (Δ = min (Δ1, Δ2)).

以上説明したように、本実施例によれば、クラスタリングの前段処理の中で、予め設定したクラスタ数の上限値を超えないように、新規クラスタの追加だけでなく、既存クラスタの統合を随時行うため、処理を高速化することができる。また、連続性評価値に基づき統合対象となるクラスタを選択するため、いずれにしても最終的には不要なクラスタを前段処理の途中の段階で統合することで処理を高速化し、かつ、最終的なクラスタリング後段処理後のクラスタ分割の精度を維持することができる。 As described above, according to the present embodiment, not only the addition of new clusters but also integration of existing clusters is performed as needed so that the upper limit value of the number of clusters set in advance is not exceeded in the pre-processing of clustering. Therefore, the processing can be speeded up. In addition, since clusters to be integrated are selected based on the continuity evaluation value, in any case, unnecessary clusters are eventually integrated at a stage in the middle of the previous processing, and the processing speed is increased. It is possible to maintain the accuracy of cluster division after the post-clustering process.

本実施例では、前述の通り、画像の暗部領域をクラスタリング対象領域としているため、新規クラスタを追加するか否かの判定条件に当たる色差閾値をｄＥ＿ｔｈ＝３程度の小さい値に設定する必要があった。これは通常画像に対して適用する閾値よりもかなり小さい。また、暗部領域では暗電流の影響もあり比較的大きいノイズが発生しやすい。そのため、暗部領域をクラスタリング対象領域とする場合、本発明が問題としているノイズの起伏に反応してクラスタ数が増加する問題が特に発生しやすく、本発明の効果が非常に大きいと言える（但し、暗部領域のみをクラスタリング対象領域とする場合以外にも、効果の大きさが違うだけで、本発明の効果はある）。 In this embodiment, as described above, since the dark area of the image is the clustering target area, it is necessary to set the color difference threshold corresponding to the determination condition as to whether or not to add a new cluster to a small value of about dE_th = 3. . This is much smaller than the threshold applied to normal images. In the dark area, a relatively large noise is likely to occur due to the influence of dark current. Therefore, when the dark region is a clustering target region, the problem that the number of clusters increases in response to the noise undulation that is a problem of the present invention is particularly likely to occur, and it can be said that the effect of the present invention is very large (however, In addition to the case where only the dark area is set as the clustering target area, only the magnitude of the effect is different and the effect of the present invention is obtained).

なお、本発明のクラスタ分割結果の適用先の画像処理は、階調補正のみに限定されるものではない。別の適用例を２つ挙げる。 Note that the image processing to which the cluster division result of the present invention is applied is not limited to gradation correction only. Two other application examples are given.

適用例１：
特許文献２と同様に、クラスタ分割結果に基づき減色処理を行い、文字色を一色に統一する際に、本発明のクラスタリング高速化技術を適用する。文字文書原稿をスキャナで読み取ると、例えば黒一色であった文字に色成分が混入して黒一色でなくなる。クラスタ分割し、画素値を所属クラスタの代表値で置換することにより、本来黒一色であった文字を黒一色に再生することができるようになる。 Application example 1:
Similar to Patent Document 2, the clustering speed-up technology of the present invention is applied when color reduction processing is performed based on the cluster division result and the character color is unified into one color. When a text document original is read by a scanner, for example, a color component is mixed in a black color character and the black color is lost. By dividing the cluster and replacing the pixel value with the representative value of the cluster to which it belongs, it becomes possible to reproduce a character that was originally black in black.

適用例２：
画像の色数や画像の代表色に応じて、画像を分類する際に、本発明のクラスタリング高速化技術を適用する。色数（クラスタ数）や代表色（所属画素数が最大のクラスタ代表値）を画像特徴として含み、画像特徴が近い画像同士を近くに配置分類した画像一覧を表示してユーザーに提示することで、ユーザーが素早く類似画像を見つけられるようになる。 Application example 2:
The clustering speed-up technology of the present invention is applied when classifying images according to the number of image colors or the representative colors of the images. By displaying the image list that includes the number of colors (number of clusters) and representative colors (cluster representative value with the largest number of assigned pixels) as image features, and images that are close to each other and arranged close together, and present them to the user , Users can quickly find similar images.

本発明によれば、カラー画像内の各画素を色情報に基づき複数のクラスタに分割するクラスタ分割において、画像内の全画素を一旦クラスタ分割してからクラスタの統合（あるいは分割）行うのではなく、各画素をクラスタ分割する途中段階において、新規クラスタの追加、および、既存クラスタの統合を随時行うため、処理途中でクラスタ数が増えすぎるのを抑え、処理を高速化することができる。 According to the present invention, in cluster division in which each pixel in a color image is divided into a plurality of clusters based on color information, all the pixels in the image are not divided into clusters and then integrated (or divided). In the middle of dividing each pixel into clusters, addition of new clusters and integration of existing clusters are performed as needed, so that it is possible to suppress the number of clusters from increasing during the processing and to speed up the processing.

本発明によれば、同一クラスタに属する画素の領域的な連続性を評価する連続性評価値を算出し、既存クラスタの統合は、連続性評価値に基づき、領域的な連続性が低いクラスタを優先して他のクラスタへ統合するため、処理を高速化した上で最終的なクラスタ分割の精度を維持することができる。 According to the present invention, the continuity evaluation value for evaluating the regional continuity of pixels belonging to the same cluster is calculated, and the integration of the existing clusters is based on the continuity evaluation value. Since the integration is prioritized into other clusters, the accuracy of the final cluster division can be maintained while speeding up the processing.

本発明によれば、既存クラスタの統合は、新規クラスタの追加によりクラスタの数が予め設定された上限値を超える場合に随時実施するため、処理途中でクラスタ数が予め設定した上限値を超えないように制御することができ、処理を高速化できる。 According to the present invention, the integration of existing clusters is performed whenever the number of clusters exceeds a preset upper limit due to the addition of a new cluster, so the number of clusters does not exceed the preset upper limit during the process. And the processing can be speeded up.

本発明によれば、新規クラスタの追加は、注目画素が属するクラスタが既存クラスタの中に存在しないと判定された場合に随時実施し、クラスタ数が固定でなく画像に対応したクラスタのみ追加されるため、不要なクラスタとの距離を計算する処理時間が省略され、クラスタ数とクラスタ代表値の初期値に左右されないクラスタ分割結果を得ることができる。 According to the present invention, the new cluster is added whenever it is determined that the cluster to which the pixel of interest belongs does not exist in the existing cluster, and only the cluster corresponding to the image is added without the number of clusters being fixed. Therefore, the processing time for calculating the distance to an unnecessary cluster is omitted, and a cluster division result that is not affected by the number of clusters and the initial value of the cluster representative value can be obtained.

本発明によれば、画像の暗部領域を判定してクラスタ分割を行う対象領域とする場合に対して本発明のクラスタリング高速化技術を適用するため、新規クラスタを追加するか否かの判定条件に当たる色差閾値設定と暗電流の影響からノイズの起伏に反応してクラスタ数が増加する問題が特に発生しやすいケースに対して特に、本発明の処理の高速化（かつクラスタ分割の精度維持）効果を発揮することができる。 According to the present invention, since the clustering speed-up technology of the present invention is applied to the case where the dark region of the image is determined and set as the target region for cluster division, the determination condition whether or not to add a new cluster is met. Especially for cases where the problem of increasing the number of clusters in response to noise undulations due to the color difference threshold setting and the influence of dark current is particularly likely to occur. It can be demonstrated.

本発明は特に高速化に効果があるため、その点を強調して説明したが、実装上はメモリを節約できる効果もある。従来方式（特許文献２のクラスタリング）では、クラスタ数がいくつまで増えるかわからないので、各クラスタのデータ（所属画素数、代表値）を保存するためのメモリを予めかなり余裕を持って確保しておくか、あるいは、動的に確保する必要があった。一方、本発明によれば、クラスタ数が増えすぎないように（予め設定した上限値を超えないように）制御できるため、各クラスタのデータを保存するためのメモリを節約できる。 Since the present invention is particularly effective in increasing the speed, it has been described with emphasis on this point, but there is also an effect of saving memory in terms of mounting. In the conventional method (clustering in Patent Document 2), it is not known how many clusters the number of clusters will increase. Therefore, a memory for storing data (number of belonging pixels, representative value) of each cluster is secured in advance with a considerable margin. Or it was necessary to secure dynamically. On the other hand, according to the present invention, control can be performed so that the number of clusters does not increase excessively (so as not to exceed a preset upper limit value), so that memory for storing data of each cluster can be saved.

本発明は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した各実施例の機能を実現することになる。プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれる。さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれる。また、本発明の実施例の機能等を実現するためのプログラムは、ネットワークを介した通信によってサーバから提供されるものでも良い。 The present invention supplies a storage medium storing software program codes for realizing the functions of the above-described embodiments to a system or apparatus, and a program in which a computer (CPU or MPU) of the system or apparatus is stored in the storage medium. This is also achieved by reading and executing the code. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments. As a storage medium for supplying the program code, for example, a hard disk, an optical disk, a magneto-optical disk, a nonvolatile memory card, a ROM, or the like can be used. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on an instruction of the program code. A case where part or all of the actual processing is performed and the functions of the above-described embodiments are realized by the processing is also included. Further, after the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. This includes the case where the CPU or the like provided in the board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing. Further, the program for realizing the functions and the like of the embodiments of the present invention may be provided from a server by communication via a network.

１０輝度変換部
１１ヒストグラム作成部
１２閾値決定部
１５暗部補正量生成部
１６ハイライト補正量生成部
１８補正量決定部
１９階調補正テーブル作成部
２０階調補正部
３０画像サンプリング部 DESCRIPTION OF SYMBOLS 10 Brightness conversion part 11 Histogram preparation part 12 Threshold value determination part 15 Dark part correction amount generation part 16 Highlight correction amount generation part 18 Correction amount determination part 19 Tone correction table preparation part 20 Tone correction part 30 Image sampling part

特許第４１６４９０７号公報Japanese Patent No. 4164907 特開２００６−２２９２８０号公報JP 2006-229280 A

Claims

カラー画像内の各画素を色情報に基づき複数のクラスタに分割するクラスタ分割手段を有し、前記クラスタ分割手段の出力に応じて画像処理を行う画像処理装置であって、前記クラスタ分割手段は、新規クラスタの追加、および、既存クラスタの統合を随時行いながら前記各画素を複数のクラスタに分割することを特徴とする画像処理装置。 The image processing apparatus includes a cluster dividing unit that divides each pixel in a color image into a plurality of clusters based on color information, and performs image processing according to an output of the cluster dividing unit, wherein the cluster dividing unit includes: An image processing apparatus that divides each pixel into a plurality of clusters while adding new clusters and integrating existing clusters as needed.

同一クラスタに属する画素の領域的な連続性を評価する連続性評価値を算出する連続性評価値算出手段を有し、前記既存クラスタの統合は、前記連続性評価値に基づき、領域的な連続性が低いクラスタを優先して他のクラスタへ統合することを特徴とする請求項１記載の画像処理装置。 Continuity evaluation value calculating means for calculating a continuity evaluation value for evaluating regional continuity of pixels belonging to the same cluster, and the integration of the existing clusters is based on the continuity evaluation value. The image processing apparatus according to claim 1, wherein a cluster having low reliability is preferentially integrated into another cluster.

前記既存クラスタの統合は、新規クラスタの追加によりクラスタの数が予め設定された上限値を超える場合に、随時実施することを特徴とする請求項１または２記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the integration of the existing clusters is performed as needed when the number of clusters exceeds a preset upper limit value due to the addition of a new cluster.

注目画素が属するクラスタを既存クラスタの中から判定する、あるいは、注目画素が属するクラスタが既存クラスタの中に存在しないと判定する所属クラスタ判定手段を有し、前記新規クラスタの追加は、前記所属クラスタ判定手段において注目画素が属するクラスタが既存クラスタの中に存在しないと判定された場合に、随時実施することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。 A cluster determination unit that determines a cluster to which the pixel of interest belongs from existing clusters, or determines that a cluster to which the pixel of interest belongs does not exist in the existing cluster; The image processing apparatus according to any one of claims 1 to 3, wherein the image processing apparatus is implemented as needed when the determination unit determines that the cluster to which the target pixel belongs does not exist in the existing cluster.

カラー画像内の暗部領域を判定する暗部領域判定手段を有し、前記クラスタ分割手段は、前記暗部領域の各画素を色情報に基づき複数のクラスタに分割することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置 5. A dark area determining means for determining a dark area in a color image, wherein the cluster dividing means divides each pixel of the dark area into a plurality of clusters based on color information. The image processing apparatus according to any one of the above

前記画像処理は、前記クラスタ分割手段の出力に応じて、前記暗部領域の明るさを補正する補正量を決定し、決定した補正量に基づいて、前記カラー画像を階調補正する手段であることを特徴とする請求項５記載の画像処理装置。 The image processing is means for determining a correction amount for correcting the brightness of the dark area in accordance with the output of the cluster dividing unit and correcting the gradation of the color image based on the determined correction amount. The image processing apparatus according to claim 5.

カラー画像内の各画素を色情報に基づき複数のクラスタに分割するクラスタ分割工程を有し、前記クラスタ分割工程の出力に応じて画像処理を行う画像処理方法であって、前記クラスタ分割工程は、新規クラスタの追加、および、既存クラスタの統合を随時行いながら前記各画素を複数のクラスタに分割することを特徴とする画像処理方法。 An image processing method having a cluster dividing step of dividing each pixel in a color image into a plurality of clusters based on color information, and performing image processing according to an output of the cluster dividing step, wherein the cluster dividing step includes: An image processing method characterized by dividing each pixel into a plurality of clusters while adding new clusters and integrating existing clusters as needed.

請求項７記載の画像処理方法をコンピュータに実現させるためのプログラム。 A program for causing a computer to realize the image processing method according to claim 7.

請求項７記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium having recorded thereon a program for causing a computer to implement the image processing method according to claim 7.