JP3411847B2 - Color reproduction method and apparatus for input device, and recording medium recording program of this method - Google Patents

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、カラー画像を取り
扱う入力機器、すなわち、ディジタルカメラ、カメラ、
ビデオ、スキャナーなど、各機器固有の色再現に関する
歪、特性などを補正し、入力対象となる物体本来の色を
再現する方法及び装置、並びに、この方法のプログラム
を記録した記録媒体に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an input device that handles color images, that is, a digital camera, a camera,
The present invention relates to a method and apparatus for correcting distortion and characteristics relating to color reproduction unique to each device such as video and scanner, and reproducing the original color of an object to be input, and a recording medium recording a program of this method. .

【０００２】[0002]

【従来の技術】ディジタルカメラ、スキャナ、ビデオな
どの入力機器により撮影されたカラー画像の色を、撮影
対象となる物体の色と同様になるように色を再現する為
の従来の手順としては次の通りである。2. Description of the Related Art A conventional procedure for reproducing a color of a color image photographed by an input device such as a digital camera, a scanner or a video so as to be the same as a color of an object to be photographed is as follows. Is the street.

【０００３】初めに、図９に示すように、ｘｙＹ，ＸＹ
Ｚなどの表色系において規定された値（以下、色票を規
定する値を色票値と呼ぶ）をもつ色票を入力機器により
撮影する。次に、図１０に示すように、この撮影された
画像からＲＧＢ値を取り出し、この値と色票値との関係
を対応付けるように入力機器の逆モデルを作成する。次
に。図１１に示すように、作成した後の入力機器逆モデ
ルを用いて任意の撮影画像の色再現を行う。First, as shown in FIG. 9, xyY, XY
A color chart having a value defined in a color system such as Z (hereinafter, a value that defines a color chart is referred to as a color chart value) is photographed by an input device. Next, as shown in FIG. 10, RGB values are extracted from the photographed image, and an inverse model of the input device is created so as to associate the relationship between these values and the color chart values. next. As shown in FIG. 11, color reproduction of an arbitrary photographed image is performed using the created inverse model of the input device.

【０００４】従来、色再現を実現する方法として、高次
の非線型写像を実現できる神経回路網モデルを用いた手
法、装置が提案されている（特開平６−１８９６２５
号、など）が、明らかに、層数が３層の階層型神経回路
網モデルを用いた手法、装置に関するものであり、後述
するように補正精度、補正に要する時間などの点で問題
があった。Conventionally, as a method for realizing color reproduction, a method and apparatus using a neural network model capable of realizing a high-order nonlinear mapping have been proposed (Japanese Patent Laid-Open No. 6-189625).
No., etc.) clearly relates to a method and apparatus using a hierarchical neural network model with three layers, and there are problems in terms of correction accuracy and time required for correction, as will be described later. It was

【０００５】まず、従来の神経回路網モデル、及び、学
習法（Ｒｕｎｍｅｌｈａｒｔ，Ｄ．Ｅ． ａｎｄ Ｍｃ
Ｃｌｅｌｌａｎｄ，Ｊ．Ｌ． Ｅｄ．“Ｐａｒａｌｌｅ
ｌＤｉｓｔｒｉｂｕｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ”，
Ｖｏｌ．１，ＭＩＴ Ｐｒｅｓｓ，Ｃａｍｍｂｒｉｄｇ
ｅ，１９８９）について述べる。First, a conventional neural network model and a learning method (Runmelhart, DE and Mc) are used.
Clelland, J .; L. Ed. "Paralle
lDistributed Processing ”,
Vol. 1, MIT Press, Cambridg
e, 1989).

【０００６】従来の神経回路網モデルを用いた色再現で
は、３層または、４層の神経回路網モデルのみが用いら
れており、中間、出力ユニットには、シグモイド関数の
入出力特性を持つユニットが用いられていた。In the color reproduction using the conventional neural network model, only the three-layer or four-layer neural network model is used, and the intermediate and output units are units having the input / output characteristics of the sigmoid function. Was used.

【０００７】ｉ番目のユニットへの入力値をＸ＝（Ｘ
１，Ｘ２，…，Ｘｎ）、バイアス、重みをＷ＝（Ｗ０，
Ｗ１，Ｗ２，…，Ｗｎ）、ユニットからの出力をＯ、ユ
ニットの入出力関数をｆ（・）とすると、ユニットの入
出力特性は式（１）で示される。The input value to the i-th unit is X = (X
1, X2, ..., Xn), bias, weight W = (W0,
W1, W2, ..., Wn), the output from the unit is O, and the input / output function of the unit is f (·), the input / output characteristic of the unit is expressed by the equation (1).

【０００８】[0008]

【数１】 [Equation 1]

【０００９】このユニット出力値を次層のユニットの入
力値として与える。この前向き計算手順を入力側から出
力側に向かって順番に実行する。最終的なモデル出力値
を求めた後、教師データＴｄｊとモデル出力値Ｏｄｊの
誤差を（２）式により計算する。但し、出力ユニット数
をＯＵｎｕｍ（変数ｊ）、学習データの数をＤｎｕｍ
（変数ｄ）とする。ここで、（２）式は、誤差二乗和と
いう評価基準を用いているが、尤度などの他の評価基準
を用いることも可能である。This unit output value is given as an input value of the unit of the next layer. This forward calculation procedure is sequentially executed from the input side to the output side. After obtaining the final model output value, the error between the teacher data Tdj and the model output value Odj is calculated by the equation (2). However, the number of output units is OUnum (variable j), and the number of learning data is Dnum.
(Variable d). Here, although the expression (2) uses the evaluation standard called the error sum of squares, it is also possible to use other evaluation standards such as the likelihood.

【００１０】[0010]

【数２】 [Equation 2]

【００１１】上記の評価基準を用いた場合、（３）式の
逆向き計算手順により、評価関数の一次微分を求める。
まず、ｊ番目の出力ユニットのバイアスｂｊに関する一
次偏微分数値は、（４）式より求まる。When the above evaluation criterion is used, the first derivative of the evaluation function is obtained by the reverse calculation procedure of the equation (3).
First, the first-order partial differential value with respect to the bias bj of the j-th output unit is obtained from the equation (4).

【００１２】 δＥｊ＝Ｔｄｊ−Ｏｄｊ …（３） ∂Ｅｊ／∂Ｗ０＝（∂Ｅｊ／∂Ｏｊ）・（∂Ｏｊ／∂Ｗ０）＝δＥｊ（１−δ Ｅｊ） …（４） 次に、中間第３層のｉ番目のユニットとｊ番目の出力ユ
ニット間の歪みＷｉｊに関する偏微分は、（５）式によ
り求まる。ΔEj = Tdj-Odj (3) ∂Ej / ∂W0 = (∂Ej / ∂Oj) · (∂Oj / ∂W0) = δEj (1-δEj) (4) Next, the intermediate first The partial differential with respect to the distortion Wij between the i-th unit and the j-th output unit of the three layers is obtained by the equation (5).

【００１３】 ∂Ｅｊ／∂Ｗｉｊ＝（∂Ｅｊ／∂Ｏｊ）・（∂Ｏｊ／∂Ｗｉｊ）＝δＥｊ・（ １−δＥｊ）・Ｘｉ …（５） （３）式で求められる誤差逆伝搬量を出力側から入力側
に逆向きに計算することにより、中間第３層−第２層
間、及び、中間第２−第１層間の重み、バイアスに関す
る一次偏微分値を求めることができる。∂Ej / ∂Wij = (∂Ej / ∂Oj) · (∂Oj / ∂Wij) = δEj · (1−δEj) · Xi (5) The error backpropagation amount obtained by the equation (3) By performing the calculation in the reverse direction from the output side to the input side, it is possible to obtain the first partial differential value regarding the weight and the bias between the intermediate third layer-second layer and the intermediate second-first layer.

【００１４】以上の計算手順から求めた評価関数のモデ
ルに含まれる全重みに関する一次偏微分をｇ＝（∂Ｅ／
∂Ｗ１，∂Ｅ／∂Ｗ２，…，Ｗｍｎｕｍ）とする。但
し、重みの数をｍｎｕｍとする。The first partial differential with respect to all weights included in the model of the evaluation function obtained from the above calculation procedure is g = (∂E /
∂W1, ∂E / ∂W2, ..., Wmnum). However, the number of weights is mnum.

【００１５】従来の誤差逆伝搬法（モーメンタム法）で
は、上記の勾配を用いて、下記の更新則により重みを更
新する。但し、学習の反復回数をｋで、重みの差より求
まる慣性項をΔＷｋ＝Ｗｋ−Ｗｋ_-１で表わし、学習率
をη、慣性率をαとする。In the conventional error back-propagation method (momentum method), the weight is updated according to the following update rule using the above gradient. However, the number of iterations of learning is k, the inertia term obtained from the difference in weight is represented by ΔWk = Wk−Wk ₋ 1, the learning rate is η, and the inertia rate is α.

【００１６】 Ｗｋ₊１＝Ｗｋ−ηｋｇｋ＋αΔＷｋ …（６） しかしながら、これらのモデル、学習法を用いた従来の
色補正手法には次の問題点があった。Wk ₊ 1 = Wk-ηkgk + αΔWk (6) However, the conventional color correction method using these models and learning methods has the following problems.

【００１７】層数については、従来、高々４層の神経回
路網モデルしか使われておらず、これらの層数では、様
々に特性の異なる入出力機器の色再現を、統一的な構造
で実用的な色差（色差３以下）以下の補正性能をもつモ
デルを実現することが著しく困難であり、モデル構造が
不適切である。しかし、逆に、これらの補正性能を実現
するために層数、ユニット数を増加させると、学習、色
補正の為の計算量が指数関数的に増加する為、リアルタ
イムに学習を行いながら色補正することが実現できない
という相反する問題があった。Regarding the number of layers, only a neural network model of at most 4 layers has been used so far, and with these numbers of layers, color reproduction of input / output devices having various characteristics can be practically used with a unified structure. It is extremely difficult to realize a model having a correction performance equal to or less than a specific color difference (color difference of 3 or less), and the model structure is inappropriate. However, conversely, if the number of layers and the number of units are increased in order to achieve these correction performances, the amount of calculation for learning and color correction exponentially increases, so color correction is performed while performing learning in real time. There was a contradictory problem that it could not be achieved.

【００１８】従来の高速学習法としては、一括学習型の
Ｋｉｃｋ Ｏｕｔ法（Ｋ．Ｏｃｈｉａｉ，ｅｔｃ．，
“Ｋｉｃｋ−Ｏｕｔ Ｌｅａｒｎｉｎｇ ａｌｇｏｒｉ
ｔｈｍｔｏ ｒｅｄｕｃｅ ｔｈｅ ｏｓｃｉｌｌａｔ
ｉｏｎ ｏｆ ｗｅｉｇｈｔｓ”，Ｎｅｕｒａｌ Ｎｅ
ｔｗｏｒｋｓ，Ｖｏｌ．７，Ｎｏ．５，ｐｐ．７９７−
８０７，１９９４）、逐次学習型のＳｅｑｕｅｎｔｉａ
ｌ Ｋｉｃｋ Ｏｕｔ法（特願平６−３０７３１２号）
などが挙げられる。これらの高速学習法では、（４）、
（５）式で求めた勾配に基づいて、（７）〜（１１）式
により重みを更新する。As a conventional fast learning method, a batch learning type Kick Out method (K. Ochiai, etc.,
"Kick-Out Learning algorithm
thmto reduce the oscillat
ion of weights ”, Neural Ne
networks, Vol. 7, No. 5, pp. 797-
807, 1994), sequential learning type Sequentia.
l Kick Out method (Japanese Patent Application No. 6-307312)
And so on. In these fast learning methods, (4),
The weights are updated by the equations (7) to (11) based on the gradient obtained by the equation (5).

【００１９】［Ｋｉｃｋ Ｏｕｔ法］ここで、学習の反
復回数をｋで、重みの差より求まる慣性項をΔＷｋ＝Ｗ
ｋ−Ｗｋ_-１で、勾配の差より求まる勾配の差分をΔｇ
ｋ＝ｇｋ−ｇｋ_-１で表わし、学習率をη、慣性率を
α、慣性項の係数をγｋ＝−ΔＷｋ_-１ＴΔｇｋ／２‖
Δｇｋ‖²とする。[Kick Out method] Here, the number of iterations of learning is k, and the inertia term obtained from the weight difference is ΔWk = W.
At k-Wk _- 1, the gradient difference obtained from the gradient difference is Δg
k = gk−gk ₋ 1, the learning rate is η, the inertial rate is α, and the coefficient of the inertial term is γk = −ΔWk ₋ 1TΔgk / 2‖
Let Δgk ‖ ² .

【００２０】 ｉｆ Δｇｋ^TΔｇｋ_-１＞０ Ｗｋ₊１＝Ｗｋ−ηｋｇｋ＋αΔＷｋ＋γｋΔｇｋ ｉｆ Δｇｋ^TΔｇｋ_-１≦０ Ｗｋ₊１＝Ｗｋ−ηｋｇｋ＋αΔＷｋ …（７） また、学習率は次式（Ｄｅｌｔａ−Ｂａｒ−Ｄｅｌｔａ
−Ｂａｒ則）により更新する。但し、[0020] _{^{if Δgk T Δgk - 1> 0}} Wk + 1 = Wk-ηkgk + αΔWk + γkΔgk if Δgk T Δgk - 1 ≦ 0 Wk + 1 = Wk-ηkgk + αΔWk ... (7) In addition, the learning rate is expressed by the following equation (Delta-Bar-Delta
-Bar rule). However,

【００２１】[0021]

【数３】 [Equation 3]

【００２２】は、平滑化微分を、θは、その重み付け係
数を表わす。Is a smoothing differential, and θ is a weighting coefficient thereof.

【００２３】[0023]

【数４】 [Equation 4]

【００２４】 ［Ｓｅｑｕｅｎｔｉａｌ Ｋｉｃｋ Ｏｕｔ法］ ｉｆ Δｇｋ^TΔｇｋ_-１＞０ Ｗｋ₊１＝Ｗｋ−ｄｉａｇ（ηｋ）ｇｋ＋αΔＷｋ＋ｄｉａｇ（γｋ）Δｇ ｋ ｉｆ Δｇｋ^TΔｇｋ_-１≦０ Ｗｋ₊１＝Ｗｋ−ｄｉａｇ（ηｋ）ｇｋ＋αΔＷｋ …（９） また、学習率は（１０）式の（Ｄｅｌｔａ−Ｂａｒ−Ｄ
ｅｌｔａ−Ｂａｒ則）により、補正係数は（１１）式に
より更新する。但し、[0024] [Sequential Kick Out _{^{method] if Δgk T Δgk - 1>}} 0 Wk + 1 = Wk-diag (ηk) gk + αΔWk + diag (γk) Δg k if Δgk T Δgk - 1 ≦ 0 Wk + 1 = Wk-diag (ηk ) Gk + αΔWk (9) Further, the learning rate is (Delta-Bar-D) of the equation (10).
The correction coefficient is updated by the equation (11) according to the eta-Bar rule. However,

【００２５】[0025]

【数５】 [Equation 5]

【００２６】は平滑化微分を、θは、その重み付け係数
を表わす。Is a smoothing differential, and θ is a weighting coefficient thereof.

【００２７】学習率ηｋの更新則Update rule for learning rate ηk

【００２８】[0028]

【数６】 [Equation 6]

【００２９】補正係数γｋの更新則Update rule for correction coefficient γk

【００３０】[0030]

【数７】 [Equation 7]

【００３１】しかしながら、以上のような従来の神経回
路網モデルには、下記の問題点があった。However, the above-described conventional neural network model has the following problems.

【００３２】従来の神経回路網モデルを用いた色再現で
は、学習時において、無彩色、及び、有彩色の学習デー
タ数を同程度に揃える必要がある。通常の色空間では、
無彩色は高々３０色程度であるのに対して、有彩色は１
５００以上もあり、無彩色に関する学習サンプル数が、
有彩色の学習サンプル数と比較して極端に少なくなると
いう問題がある。この為、このように不釣り合いの学習
データセットを用いて、神経回路網を学習させると、主
に有彩色のみを色補正するように学習したモデルが獲得
され、無彩色に関しては補正精度が極端に低下するとい
う問題がある。In color reproduction using the conventional neural network model, it is necessary to make the number of achromatic and chromatic color learning data equal at the time of learning. In a normal color space,
Achromatic colors are at most about 30 colors, while chromatic colors are 1
There are more than 500, and the number of learning samples for achromatic colors is
There is a problem that the number of learning samples of chromatic color is extremely smaller than that of learning samples. For this reason, when a neural network is trained using such a disproportionate learning data set, a model learned to mainly perform color correction only for chromatic colors is acquired, and correction accuracy for achromatic colors is extremely high. There is a problem that it drops to.

【００３３】従来の神経回路網モデルは、単一のネット
ワークモデルで構成されており、１つの表色系全体を網
羅する色再現モデルが提案されている。しかし、上記の
ように、表色系全体を１つのネットワークモデルで学習
すると、デジタルカメラのように、被写体の明るさが変
わると、デジタルカメラ側の露光量（しぼり）が変化
し、色に対するダイナミックレンジが大きく変化する
為、同一の色票を撮影しても、異なる色の画像として撮
影されてしまう。この為、明るい被写体として色票を撮
影した画像に基づいて、色補正モデルを作成した後、暗
い被写体の色票を撮影し、このモデルを用いて色補正を
行っても、色再現性能が極端に低下する、もしくは、逆
にさらに色差が増大するという問題がある。The conventional neural network model is composed of a single network model, and a color reproduction model covering the entire one color system has been proposed. However, as described above, if the entire color system is learned by one network model, the exposure amount (squeeze) on the digital camera side changes when the brightness of the subject changes, as in a digital camera, and the dynamics of colors are changed. Since the range changes greatly, even if the same color chart is photographed, it will be photographed as images of different colors. Therefore, even if a color correction model is created based on an image of a color chart taken as a bright subject and then a color chart of a dark subject is taken and color correction is performed using this model, the color reproduction performance is extremely high. However, there is a problem that the color difference further increases.

【００３４】そこで、パターン分類の分野などで、モデ
ルへの入力データ空間を分割して、複数のモデルに各部
分空間を学習させるモジュール型神経回路網モデルが提
案されている（Ｍ．Ｉ．Ｊｏｒｄａｎ，Ｒ．Ａ．ＪＡｃ
ｏｂｓ，“Ｈｉｅｒａｒｃｈｉｃａｌ Ｍｉｘｔｕｒｅ
ｓ ｏｆ Ｅｘｐｅｒｔｓ ａｎｄ ＥＭ ａｌｇｏｒ
ｉｔｈｍ”，Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ，
Ｖｏｌ．６，ｐｐ．１８１−２１４，１９９４）。Therefore, in the field of pattern classification, a modular neural network model has been proposed in which the input data space to the model is divided and a plurality of models learn each subspace (MI Jordan). , RA JAc
obs, “Hierarchical Mixture”
s of Experts and EM algorithm
itm ”, Neural Computation,
Vol. 6, pp. 181-214, 1994).

【００３５】初めに、上記従来のモジュール型神経回路
網モデル（その構成を図１２に示す）、および、切り替
えネット部の学習法について示す。First, the conventional modular neural network model (its structure is shown in FIG. 12) and the learning method of the switching net part will be described.

【００３６】切り替えネットの入力、中間ユニットは、
従来の階層型神経回路網と同様の構造である為、同じ計
算手順により学習が行える。出力ユニットの特性関数と
しては、エキスパートネットを切り替える働きをする係
数を生成する為に、ｓｏｆｔｍａｘ関数と呼ばれる重み
付け関数が用いられる。このｓｏｆｔｍａｘ関数の計算
手順を以下に示す。The input of the switching net, the intermediate unit,
Since the structure is similar to the conventional hierarchical neural network, learning can be performed by the same calculation procedure. As a characteristic function of the output unit, a weighting function called a softmax function is used in order to generate a coefficient that functions to switch the expert net. The calculation procedure of this softmax function is shown below.

【００３７】切り替えネットの出力ユニットｉへの入力
値の総和をＳｉ（ｉ＝１，…，Ｃｎ）とすると、この値
を下記のｓｏｆｔｍａｘ関数を用いて正規化した係数ｇ
＿ｉ（ｉ＝１，…，Ｃｎ）を求める。ここで、エキスパ
ートネットの数は、余白部の色の数をＥｎとすると、こ
れに等しくなる。Letting Si (i = 1, ..., Cn) be the sum of input values to the output unit i of the switching net, this value is normalized using the softmax function described below to obtain a coefficient g.
_I (i = 1, ..., Cn) is calculated. Here, the number of expert nets becomes equal to En, where En is the number of colors in the blank space.

【００３８】 ｇ＿ｉ＝ｅｘｐ（Ｓｉ）／Ｓｕｍ［ｊ＝１，…，Ｅｎ］ｅｘｐ（Ｓｊ） …（ １２） 各エキスパートネットの出力をｙｊ（ｊ＝１，…，Ｅ
ｎ）とすると、モジュール型神経回路網モデルの出力量
は、各エキスパートネットの出力値に重み付け係数ｇ＿
ｉを乗じて、次式に示すような重み付け加算により求ま
る。G_i = exp (Si) / Sum [j = 1, ..., En] exp (Sj) (12) The output of each expert net is yj (j = 1, ..., E).
n), the output amount of the modular neural network model is the weighting coefficient g_
It is obtained by multiplying i and performing weighted addition as shown in the following equation.

【００３９】 ｙ＝Ｓｕｍ［ｊ＝１，…，Ｅｎ］ｇ＿ｉ・ｙｊ …（１３） モジュール型神経回路網モデルを学習する際の評価基準
としては下記の対数尤度を用い、これを最小化するよう
に、エキスパートネット、切り替えネットの両方を同一
の評価基準の下で学習する。Y = Sum [j = 1, ..., En] g_i · yj (13) The following log-likelihood is used as an evaluation criterion for learning the modular neural network model, and this is minimized. Thus, both the expert net and the switching net are learned under the same evaluation criteria.

【００４０】 ｌｎ Ｌ＝ｌｎ Ｓｕｍ［ｔ＝１，…，Ｄｎｕｍ］ Ｓｕｍ ［ｉ＝１，…， Ｄｎｕｍ］ｇ＿ｉ，ｔ・ｅｘｐ（−‖Ｔｉ，ｔ−ｙｉ，ｔ‖／（２σｉ²）） …（１４） 但し、ｌｎは１０を底とする対数を、Ｔはモジュール型
神経回路網モデルに対す教師データ表わす。Ln L = ln Sum [t = 1, ..., Dnum] Sum [i = 1, ..., Dnum] g_i, t · exp (−‖Ti, t−yi, t‖ / (2σi ² )) ... (14) where ln is the logarithm with base 10 and T is the teaching data for the modular neural network model.

【００４１】これより、上記の評価基準を用いた場合、
エキスパートネットの重みは次式により更新する。From this, when the above evaluation criteria are used,
The weight of the expert net is updated by the following equation.

【００４２】 Ｗｋ₊１＝Ｗｋ＋ΔＷｋ ΔＷｋ＝Ｓｕｍ［ｔ＝１，…，Ｄｎｕｍ］ｈ＿ｉ，ｔ（ｙｔ−Ｗｔ）ｘｔ … （１５） 但し、ｈ＿ｉ，ｔ＝ｇ＿ｉ ｅｘｐ（−‖Ｔｉ，ｔ−ｙｉ，ｔ‖／（２σｉ² ））／Ｓｕｍ［ｊ＝１，…，Ｅｎ］ｇ＿ｉ ｅｘｐ（−‖Ｔｊ，ｔ−ｙｊ，ｔ‖ ／（２σｉ²）） …（１６） ｗｔは重みを、ｘｔは入力データを表わす。Wk ₊ 1 = Wk + ΔWk ΔWk = Sum [t = 1, ..., Dnum] h_i, t (yt-Wt) xt (15) where h_i, t = g_i exp (-‖Ti, t-yi, t‖ / (2σi ² )) / Sum [j = 1, ..., En] g_i exp (−‖Tj, t−yj, t‖ / (2σi ² )) (16) wt is a weight, and xt is an input. Represents data.

【００４３】また、切り替えネットの重みは次式により
更新する。The weight of the switching net is updated by the following equation.

【００４４】 Ｗｋ₊１＝Ｗｋ＋ΔＷｋ ΔＷｋ＝Ｓｕｍ［ｔ＝１，…，Ｄｎｕｍ］（ｈ＿ｉ，ｔ−ｇ＿ｉ，ｔ）ｙｔ …（１７）Wk ₊ 1 = Wk + ΔWk ΔWk = Sum [t = 1, ..., Dnum] (h_i, t−g_i, t) yt (17)

【００４５】[0045]

【発明が解決しようとする課題】しかしながら、従来の
モジュール型神経回路網モデルを用いた学習法では、前
述したように、エキスパートネットと切り替えネットを
同一の評価基準により学習する為、切り替えネット部分
に対して任意の評価基準を設定することができない、す
なわち、切り替えネットに対して任意の教師データを与
えることができないという大きな問題がある。However, in the conventional learning method using the modular neural network model, as described above, since the expert net and the switching net are learned by the same evaluation standard, the switching net part is On the other hand, there is a big problem that an arbitrary evaluation standard cannot be set, that is, arbitrary teacher data cannot be given to the switching net.

【００４６】また、他の学習法として、切り替えネット
分離した状態で、エキスパートネット、切り替えネット
を個別に学習させた後、両モデルを結合して、再度、全
体で学習する方法がある。しかしながら、手順が繁雑で
あり、学習に非常に時間を要するという問題がある。As another learning method, there is a method in which the expert nets and the switching nets are individually trained in a state where the switching nets are separated, and then both models are combined and the whole learning is performed again. However, there is a problem that the procedure is complicated and it takes a very long time to learn.

【００４７】また、モジュール型神経回路網モデルを用
いた色再現においては、これをリアルタイムに行うため
に、実用的な時間で学習が終了する高速学習法が用いら
れておらず、リアルタイムに学習できないという問題が
ある。In the color reproduction using the modular neural network model, since this is done in real time, the high-speed learning method that finishes the learning in a practical time is not used, and the learning cannot be performed in real time. There is a problem.

【００４８】また、モジュール型神経回路網モデルを学
習させる際、１００〜２００色程度の実用的な色票数の
学習データを用いて学習が行われるが、この色票の選択
方法、及び、色票数が少ない場合に発生する、学習の片
寄り（過学習）を防ぐ手段が講じられておらず、学習サ
ンプル数が極端に少ない場合、色再現を実現できない場
合が発生するという問題がある。Further, when learning the modular neural network model, learning is performed using learning data having a practical color chart number of about 100 to 200 colors. The method of selecting the color chart and the number of color charts However, there is a problem in that color reproduction cannot be realized when the number of learning samples is extremely small and no means for preventing bias in learning (over-learning) that occurs when the number of learning is small is taken.

【００４９】本発明の課題は、図１２で示した従来のモ
ジュール型神経回路網モデルの構造を改良し、これに新
しい学習法を用いて、上記の問題点を解決し、切り替え
ネットに任意の教師データを与えることができ、手順が
単純であり、実用的な時間で学習でき、学習サンプル数
が少ない場合でも色再現が可能であり、中間的な明るさ
にも対応できる入力機器用の色再現方法、及び、装置を
提供することである。The object of the present invention is to improve the structure of the conventional modular type neural network model shown in FIG. 12 and to use a new learning method to solve the above-mentioned problems and to provide an arbitrary switching net. Colors for input devices that can provide teacher data, have a simple procedure, can learn in a practical time, can reproduce colors even when the number of learning samples is small, and can handle intermediate brightness A reproduction method and an apparatus are provided.

【００５０】[0050]

【課題を解決するための手段】上記の課題を解決するた
めに本発明の入力機器用色再現方法は、ディジタルカメ
ラ、スキャナ、ビデオなどの入力機器により撮影された
カラー画像の色を、撮影対象となる物体の色と同様にな
るように色を再現する方法において、ｘｙＹ，ＸＹＺな
どの表色系において規定された値である色票値をもつ色
票を作成する段階と前記作成した色票を前記入力機器に
より撮影し、この撮影された画像からＲＧＢ値などの色
を表す数値を取り出す段階と、多層神経回路網モデルを
用いて、前記入力機器の色歪などの入出力特性を補正す
るための特性を特性ごとに個別に獲得するモデルである
エキスパートネットを複数個組み合わせたモデルと、前
記複数個のエキスパートネットへの入力値に応じて該エ
キスパートネットを連続的に切り替える働きをする神経
回路網モデルである切り替えネットとから構成される多
層モジュール型神経回路網モデルに任意の評価基準を与
えて、前記入力機器により撮影された画像から取得され
た色を表す数値と、色票値との対応関係を学習させる段
階と、前記学習後の多層モジュール型神経回路網モデル
を用いて任意の画像の色再現を行う段階とを、有し、前
記学習させる段階において、多層モジュール型神経回路
網モデルを構成するエキスパートネット、および、切り
替えネットに異なる任意の評価基準を与えて、入力機器
により撮影された画像から取得された色を表す数値と、
色票値との対応関係を学習させることを特徴とする。In order to solve the above problems, a color reproduction method for an input device according to the present invention uses a color image of a color image taken by an input device such as a digital camera, a scanner, or a video as an object to be taken. In the method of reproducing a color so as to be similar to the color of an object, the steps of creating a color chart having a color chart value that is a value defined in a color system such as xyY, XYZ, and the created color chart. Is captured by the input device and numerical values representing colors such as RGB values are extracted from the captured image, and input / output characteristics such as color distortion of the input device are corrected using a multilayer neural network model. A model in which a plurality of expert nets, which are models for individually acquiring characteristics for each of the characteristics, are combined, and the expert nets are input according to input values to the plurality of expert nets. An arbitrary evaluation criterion is given to a multilayer module type neural network model composed of a switching net that is a neural network model that operates continuously, and the color acquired from the image captured by the input device is displayed. a number representing the steps to learn the correspondence between the color chart value, and performing the color reproduction of any image using a multi-layer modular neural network model after the learning, possess, before
In the learning stage, a multi-layer modular neural circuit
Expert nets that make up the network model, and
Inputting equipment by giving different arbitrary evaluation criteria to the replacement net
A number representing the color acquired from the image taken by
The feature is that the correspondence with the color chart value is learned .

【００５１】[0051]

【００５２】あるいは、ディジタルカメラ、スキャナ、
ビデオなどの入力機器により撮影されたカラー画像の色
を、撮影対象となる物体の色と同様になるように色を再
現する方法において、ｘｙＹ，ＸＹＺなどの表色系にお
いて規定された値を持つ色票、マンセル色票などの色票
以外の余白部に色を付加し、色票を作成する段階と、前
記色票を用いて、前記入力機器のダイナミックレンジを
変化させて、色票を撮影する段階と、前記撮影された画
像から、色票、および、余白部の色を表わす数値を取得
する段階と、多層神経回路網モデルを用いて入力機器の
色歪などの入出力特性を補正するための特性を特性ごと
に個別に獲得するモデルを複数個組み合わせたモデル
と、これらのモデルへの入力値に応じて連続的に切り替
える働きをする神経回路網モデルとから構成される多層
モジュール型神経回路網モデルを用い、該多層モジュー
ル型神経回路網モデルを構成する２種類の神経回路網モ
デルの両方に異なる任意の評価基準を与えて、前記取得
した色を表わす数値と、前記色票を作成する元となる色
を表わす数値の関係を学習する段階と、前記学習後に前
記多層モジュール型神経回路網モデルを用いて任意の撮
影画像の色再現を行う段階とを、有することを特徴とす
る。Alternatively, a digital camera, a scanner,
In a method of reproducing a color of a color image captured by an input device such as a video so as to be the same as a color of an object to be captured, it has a value defined in a color system such as xyY, XYZ. A color chart is created by adding colors to the margins other than the color chart, such as the color chart and Munsell color chart, and creating a color chart, and changing the dynamic range of the input device using the color chart. And a step of acquiring a color chart and a numerical value representing a color of a blank area from the photographed image, and correcting an input / output characteristic such as a color distortion of an input device using a multilayer neural network model. Multi-layer modular neural network consisting of a model that combines a number of models that individually acquire the characteristics for each characteristic and a neural network model that continuously switches according to the input values to these models. Times By using a network model, different evaluation criteria different from each other are given to both of the two types of neural network models constituting the multilayer module type neural network model, and the numerical value representing the acquired color and the color chart are created. The present invention is characterized by including the steps of learning the relationship of the numerical values representing the original colors and the step of performing color reproduction of an arbitrary captured image using the multilayer module type neural network model after the learning.

【００５３】あるいは、ディジタルカメラ、スキャナ、
ビデオなどの入力機器により撮影された画像の色を、撮
影対象となる物体の色と同様になるように色再現する方
法において、ｘｙＹ，ＸＹＺなどの表色系において規定
された値をもつ色票、マンセル色票などの色票以外の余
白部に白、または、黒色などの無彩色を付加した色票を
作成する段階と、前記作成した色票に、余白部が白の場
合には黒色で、あるいは、余白部が黒の場合は白色を用
いて、かつ、各色票を自動的に取得する際の基準位置と
しての印の役目を果たす基準色票を付加した色票を作成
する段階と、前記余白部の色が複数種類から構成される
色票を前記入力機器で撮影し、入力された画像から色票
の値を計測する段階と、撮影された画像の表色系から、
ＲＧＢ値、または、ｓＲＧＢ値などの値へ変換し、各色
票のＲＧＢ値を測色する段階と、測色値に、余白部が
白、または、黒であることを識別するための識別番号を
測色データ列に付加し、このデータと色票値の真値の対
を色補正モデルの学習用データとして作成する段階と、
学習後に変換する画像に含まれる各色の頻度を調べ、色
の種類の数をＣｎ、各色のデータ点数をＢｉ（ｉ＝１，
…，Ｃｎ）とすると、Ｃｏｆ＿ｊ＝Ｓｕｍ［ｊ＝１，
…，Ｃｎ、かつ、ｊ≠ｉ］Ｂｊ／（（Ｃｎ−１）・Ｓｕ
ｍ［ｊ＝１，…，Ｃｎ］Ｂｊ）、但し、Ｓｕｍ［ｊ］
は、ｊに関する和を表わす前式により、各色の対応し
た、学習時に評価関数に乗じる色分布重み付け係数Ｃｏ
ｆ＿ｊを求める段階と、前記余白部が白、黒の違いによ
り異なる色歪を補正する計算手順を学習する複数のエキ
スパートネット、および、複数のエキスパートネットを
補正対象となる入力画像の明るさに応じて、連続的に切
り替える切り替えネットの２種類の部分モデルから構成
される多層モジュール型神経回路網モデルを用い、前記
作成した学習データと前記作成した色分布重み付け係数
を用いて、Ｅ＝Ｓｕｍ Ｃｏｆ＿ｊ（Ｔ＿ｊ−Ｏ＿ｊ）
²なる式の評価基準を最小化するように、多重モジュー
ル型神経回路網モデルのエキスパートネットを学習する
とともに、前記切り替えネットの出力側を、前記色票の
余白部の識別符号に応じて切り替わるように、任意の教
師データを与えて前記切り替えネットを学習させ、各ネ
ットを学習させる際、各ネットで個別の評価基準にＳｅ
ｑｕｅｎｔｉａｌ Ｋｉｃｋ Ｏｕｔ法を適用すると共
に、モジュール型神経回路網モデル全体での学習も同時
に実行する段階と、前記学習後、モデルの変数を固定し
た入力機器逆モデルを用いて、任意の撮影画像の色再現
を行う段階と、を有することを特徴とする。Alternatively, a digital camera, a scanner,
A method for reproducing the color of an image captured by an input device such as a video so as to be the same as the color of an object to be captured, and a color chart having values defined in a color system such as xyY, XYZ. , Creating a color chart in which white or black or other achromatic color is added to the margins other than the color chart such as Munsell color chart, and when the margin is white in the created color chart, it is black Or, when the blank portion is black, white is used, and a color chart to which a reference color chart serving as a reference position when automatically acquiring each color chart is added is created, From the step of measuring the color chart value from the input image by photographing the color chart composed of a plurality of types of the color of the margin portion with the input device, and from the color system of the photographed image,
The step of converting RGB values or sRGB values into values and measuring the RGB values of each color chart, and the colorimetric value is provided with an identification number for identifying whether the margin is white or black. Adding to the colorimetric data string and creating a pair of this data and the true value of the color chart value as learning data for the color correction model;
The frequency of each color included in the image to be converted after learning is checked, the number of color types is Cn, and the data score of each color is Bi (i = 1,
, Cn), Cof_j = Sum [j = 1,
, Cn, and j ≠ i] Bj / ((Cn-1) · Su
m [j = 1, ..., Cn] Bj), where Sum [j]
Is a color distribution weighting coefficient Co that corresponds to each color and is multiplied by the evaluation function at the time of learning by the previous expression representing the sum of j.
According to the brightness of the input image to be corrected, a plurality of expert nets for learning a calculation procedure for correcting different color distortions depending on the difference between white and black in the blank portion and f_j Then, a multilayer module type neural network model composed of two types of partial models of switching nets that are continuously switched is used, and E = Sum Cof_j (is used by using the created learning data and the created color distribution weighting coefficient. T_j-O_j)
^In order to minimize the evaluation criterion of the formula ² while learning the expert net of the multi-module type neural network model, switch the output side of the switching net according to the identification code of the margin part of the color chart. , Learning the switching net by giving arbitrary teacher data to each net, and learning each net, the individual evaluation criterion Se is applied to each net.
Applying the quantitative Kick Out method and performing learning on the entire modular neural network model at the same time, and using the input device inverse model with fixed model variables after the learning, the color of an arbitrary captured image And a step of reproducing.

【００５４】また、上記の課題を解決するために本発明
の入力機器用色再現装置は、ディジタルカメラ、スキャ
ナ、ビデオなどの入力機器により撮影されたカラー画像
の色を、撮影対象となる物体の色と同様になるように色
を再現する装置において、ｘｙＹ，ＸＹＺなどの表色系
において規定された値である色票値をもつ色票を作成す
る色票作成手段と、前記作成した色票を前記入力機器に
より撮影し、この撮影された画像からＲＧＢ値などの色
を表す数値を取り出す色票値計測手段と、多層神経回路
網モデルを用いて、前記入力機器の色歪などの入出力特
性を補正するための特性を特性ごとに個別に獲得するモ
デルであるエキスパートネットを複数個組み合わせたモ
デルと、前記複数個のエキスパートネットへの入力値に
応じて該エキスパートネットを連続的に切り替える働き
をする神経回路網モデルである切り替えネットとから構
成される多層モジュール型神経回路網モデルに任意の評
価基準を与えて、前記入力機器により撮影された画像か
ら取得された色を表す数値と、色票値との対応関係を学
習させる学習手段と、前記学習後の多層モジュール型神
経回路網モデルを用いて任意の画像の色再現を行う色補
正手段とを、具備し、前記学習手段は、多層モジュール
型神経回路網モデルを構成するエキスパートネット、お
よび、切り替えネットに異なる任意の評価基準を与え
て、入力機器により撮影された画像から取得された色を
表す数値と、色票値との対応関係を学習させるものであ
ることを特徴とする。In order to solve the above problems, the color reproduction apparatus for an input device according to the present invention uses the color of a color image captured by an input device such as a digital camera, a scanner, a video, etc. of an object to be captured. In a device that reproduces a color similar to a color, a color chart creating unit that creates a color chart having a color chart value that is a value defined in a color system such as xyY, XYZ, and the created color chart. Using the color patch value measuring means for taking out numerical values representing colors such as RGB values from the taken image and the multilayer neural network model, and inputting / outputting the color distortion of the input device. A model obtained by combining a plurality of expert nets, which is a model for individually acquiring the characteristics for correcting the characteristics, and the expert according to input values to the plurality of expert nets. An arbitrary evaluation criterion was given to a multilayer module type neural network model composed of a switching net which is a neural network model that works to continuously switch Tonet, and the images were acquired from the image taken by the input device. a number that represents the color, and learning means for learning the correspondence between the color chart value, and a color correction unit that performs color reproduction of any image using a multi-layer modular neural network model after the learning, comprising , The learning means is a multi-layer module
Expert nets that make up a neural network model
And give the switching net different evaluation criteria.
The color acquired from the image captured by the input device.
This is for learning the correspondence between the numerical values and the color chart values.
Characterized in that that.

【００５５】[0055]

【００５６】あるいは、ディジタルカメラ、スキャナ、
ビデオなどの入力機器により撮影されたカラー画像の色
を、撮影対象となる物体の色と同様になるように色を再
現する装置において、ｘｙＹ，ＸＹＺなどの表色系にお
いて規定された値を持つ色票、マンセル色票などの色票
以外の余白部に色を付加し、色票を作成する色票作成手
段と、前記色票を用いて、前記入力機器のダイナミック
レンジを変化させて、色票を撮影する撮影手段と、前記
撮影された画像から、色票、および、余白部の色を表わ
す数値を取得する色票値計測手段と、多層神経回路網モ
デルを用いて入力機器の色歪などの入出力特性を補正す
るための特性を特性ごとに個別に獲得するモデルを複数
個組み合わせたモデルと、これらのモデルへの入力値に
応じて連続的に切り替える働きをする神経回路網モデル
とから構成される多層モジュール型神経回路網モデルを
用い、該多層モジュール型神経回路網モデルを構成する
２種類の神経回路網モデルの両方に異なる任意の評価基
準を与えて、前記取得した色を表わす数値と、前記色票
を作成する元となる色を表わす数値の関係を学習する学
習手段と、前記学習後に前記多層モジュール型神経回路
網モデルを用いて任意の撮影画像の色再現を行う色補正
手段とを、具備することを特徴とする。Alternatively, a digital camera, a scanner,
An apparatus that reproduces the color of a color image captured by an input device such as a video so as to be the same as the color of an object to be captured has a value defined in a color system such as xyY, XYZ. A color chart creating unit that creates a color chart by adding a color to a margin portion other than the color chart such as a color chart or Munsell color chart, and a dynamic range of the input device is changed by using the color chart to generate a color chart. Image capturing means for capturing a vote, color chart value measuring means for obtaining a color chart and a numerical value representing a color of a blank portion from the captured image, and color distortion of an input device using a multilayer neural network model. A model that combines a plurality of models that individually acquire the characteristics for correcting the input / output characteristics such as, and a neural network model that functions to continuously switch according to the input value to these models. Consists of A layer module type neural network model is used, and different arbitrary evaluation criteria are given to both of the two types of neural network models constituting the multilayer module type neural network model, and the numerical value representing the acquired color and the Learning means for learning the relationship of the numerical values representing the colors from which the color chart is created, and color correction means for performing color reproduction of any photographed image using the multilayer module type neural network model after the learning, It is characterized by having.

【００５７】あるいは、ディジタルカメラ、スキャナ、
ビデオなどの入力機器により撮影された画像の色を、撮
影対象となる物体の色と同様になるように色再現する装
置において、ｘｙＹ，ＸＹＺなどの表色系において規定
された値をもつ色票、マンセル色票などの色票以外の余
白部に白、または、黒色などの無彩色を付加した色票を
作成し、該作成した色票に、余白部が白の場合には黒色
で、あるいは、余白部が黒の場合は白色を用いて、か
つ、各色票を自動的に取得する際の基準位置としての印
の役目を果たす基準色票を付加した色票を作成する色票
作成手段と、前記余白部の色が複数種類から構成される
色票を前記入力機器で撮影し、入力された画像から色票
の値を計測し、前記撮影された画像の表色系から、ＲＧ
Ｂ値、または、ｓＲＧＢ値などの値へ変換し、各色票の
ＲＧＢ値を測色する色票計測手段と、前記測色された測
色値に、余白部が白、または、黒であることを識別する
ための識別番号を測色データ列に付加し、このデータと
色票値の真値の対を色補正モデルの学習用データとして
作成し、学習後に変換する画像に含まれる各色の頻度を
調べ、色の種類の数をＣｎ、各色のデータ点数をＢｉ
（ｉ＝１，…，Ｃｎ）とすると、Ｃｏｆ＿ｊ＝Ｓｕｍ
［ｊ＝１，…，Ｃｎ、かつ、ｊ≠ｉ］Ｂｊ／（（Ｃｎ−
１）・Ｓｕｍ［ｊ＝１，…，Ｃｎ］Ｂｊ）、但し、Ｓｕ
ｍ［ｊ］は、ｊに関する和を表わす前記式により、各色
の対応した、学習時に評価関数に乗じる色分布重み付け
係数Ｃｏｆ＿ｊを求め、前記余白部が白、黒の違いによ
り異なる色歪を補正する計算手順を学習する複数のエキ
スパートネット、および、複数のエキスパートネットを
補正対象となる入力画像の明るさに応じて、連続的に切
り替える切り替えネットの２種類の部分モデルから構成
される多層モジュール型神経回路網モデルを用い、前記
作成した学習データと前記求めた色分布重み付け係数を
用いて、Ｅ＝Ｓｕｍ Ｃｏｆ＿ｊ（Ｔ＿ｊ−Ｏ＿ｊ）²
なる式の評価基準を最小化するように、多重モジュール
型神経回路網モデルのエキスパートネットを学習させ、
前記切り替えネットの出力側を、前記色票の余白部の識
別符号に応じて切り替わるように、任意の教師データを
与えて前記切り替えネットを学習させ、各ネットを学習
させる際、各ネットで個別の評価基準にＳｅｑｕｅｎｔ
ｉａｌ Ｋｉｃｋ Ｏｕｔ法を適用すると共に、モジュ
ール型神経回路網モデル全体での学習も同時に実行する
学習手段と、前記学習後、モデルの変数を固定した入力
機器逆モデルを用いて、任意の撮影画像の色再現を行う
色補正手段とを、具備することを特徴とする。Alternatively, a digital camera, a scanner,
In a device that reproduces the color of an image captured by an input device such as a video so as to be the same as the color of an object to be captured, a color chart having values defined in a color system such as xyY and XYZ. , Create a color chart in which white or achromatic color such as black is added to the blank area other than the color chart such as Munsell color chart, and the created color chart is black when the blank area is white, or , A color chart creating means for creating a color chart to which a white color is used when the margin portion is black, and a reference color chart serving as a mark as a reference position when automatically obtaining each color chart is added to create a color chart. , A color chart having a plurality of colors of the margin is photographed by the input device, the value of the color chart is measured from the input image, and the RG is calculated from the color system of the photographed image.
A color chart measuring unit for converting the B value or a value such as sRGB value to measure the RGB value of each color chart, and the margin portion of the colorimetric value measured is white or black. Is added to the colorimetric data string to create a pair of this data and the true value of the color chart value as learning data for the color correction model, and the frequency of each color included in the image to be converted after learning. , The number of color types is Cn, and the number of data points of each color is Bi
If (i = 1, ..., Cn), Cof_j = Sum
[J = 1, ..., Cn, and j ≠ i] Bj / ((Cn-
1) .Sum [j = 1, ..., Cn] Bj), where Su
m [j] is a color distribution weighting coefficient Cof_j that corresponds to each color and is multiplied by an evaluation function at the time of learning, by the above-described expression representing the sum of j, and corrects color distortion that is different depending on whether the blank portion is white or black. A multi-layered modular nerve composed of two types of partial models of a plurality of expert nets for learning the calculation procedure and a switching net that continuously switches the plurality of expert nets according to the brightness of the input image to be corrected E = Sum Cof_j (T_j-O_j) ² using the created learning data and the obtained color distribution weighting coefficient using a network model.
The expert net of the multi-module neural network model is trained so as to minimize the evaluation criterion of
When the output side of the switching net is switched according to the identification code of the blank portion of the color chart, the switching net is learned by giving arbitrary teacher data, and when learning each net, the individual nets are individually learned. Sequent as the evaluation standard
The ial Kick Out method is applied, and a learning unit that simultaneously executes learning in the entire modular neural network model and an input device inverse model in which the model variables are fixed after the learning are used to capture an arbitrary captured image. And a color correction unit for performing color reproduction.

【００５８】なお、上記の入力機器用色再現方法におけ
る段階をコンピュータに実行させるためのプログラム
を、該コンピュータが読み取り可能な記録媒体に記録
し、これと、この記録媒体を読み取ってそこに記録され
た入力機器用色再現方法のプログラムを実行可能なコン
ピュータが存在すれば、本発明を実施可能である。It should be noted that a program for causing a computer to execute the steps in the above-described color reproduction method for an input device is recorded in a computer-readable recording medium, and this recording medium is read and recorded therein. The present invention can be implemented if there is a computer that can execute the program of the color reproduction method for an input device.

【００５９】本発明では、多層モジュール型神経回路網
モデルと、新しい学習法を用いることで、明るい被写体
を撮影した際の補正モデルと暗い被写体を撮影した際の
補正モデルを構築し、これらのモデル出力の非線型加算
を行うことにより、中間的な明るさにも対応可能とす
る。In the present invention, a multilayer model type neural network model and a new learning method are used to construct a correction model when a bright subject is photographed and a correction model when a dark subject is photographed, and these models are constructed. By performing non-linear addition of outputs, it is possible to deal with intermediate brightness.

【００６０】また、モジュラー型神経回路網を多層構造
とすることで、従来、不可能であった切り替えネットに
任意の教師データを与えて学習させることを可能とす
る。Further, since the modular neural network has a multi-layered structure, it becomes possible to give arbitrary learning data to a switching net, which has been impossible in the prior art, to perform learning.

【００６１】また、学習において、実際に補正する画像
に含まれる各色の画素数を数え、その画素数の割合から
算出される係数を、学習用に用いる評価基準に乗じるこ
とで、色票中の無彩色、有彩色にかかわらず、補正対象
となる画像に含まれる色に関して重点的に補正誤差を最
小化することができるようにする。In learning, the number of pixels of each color included in the image to be actually corrected is counted, and the coefficient calculated from the ratio of the number of pixels is multiplied by the evaluation standard used for learning, whereby A correction error can be focused and minimized with respect to a color included in an image to be corrected regardless of whether it is an achromatic color or a chromatic color.

【００６２】また、多層モジュール型神経回路網モデル
を用いることで、従来、不可能であった実用的な時間に
よる高速学習を実現する。Further, by using the multi-layer module type neural network model, high-speed learning in a practical time, which has been impossible in the past, is realized.

【００６３】さらに、学習の片寄りなどが生じないよう
に表色系の中から適切な色サンプルを選択することで、
学習データ数が極端に少ない場合でも、過学習が生じな
いようにする。Furthermore, by selecting an appropriate color sample from the color system so as to prevent learning deviations,
Even if the number of learning data is extremely small, prevent overlearning.

【００６４】[0064]

【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described in detail below with reference to the drawings.

【００６５】本発明は、図１２で示した従来のモジュー
ル型神経回路網モデルの構造を改良した多層モジュール
型神経回路網モデルと、新しい学習法を用いて、明るい
被写体を撮影した際の補正モデルと暗い被写体を撮影し
た際の補正モデルを構築し、これらのモデル出力の非線
型加算を行うことにより、中間的な明るさにも対応でき
るモデルを提案する。The present invention uses a multilayer module type neural network model which is an improvement of the structure of the conventional module type neural network model shown in FIG. 12 and a correction model when a bright subject is photographed by using a new learning method. We propose a model that can deal with intermediate brightness by constructing a correction model when shooting a dark subject and performing non-linear addition of these model outputs.

【００６６】提案する本モデルは、図１に示すような中
間層１，２，…，ｎが５層以上（ｎ≧５）の多層神経回
路網モデルで構成されるエキスパートネットと切り替え
ネットから構成される多重モジュール型神経回路網モデ
ルを用いている点に特徴がある。The proposed model is composed of an expert net and a switching net composed of a multi-layer neural network model in which the intermediate layers 1, 2, ..., N are 5 layers or more (n ≧ 5) as shown in FIG. It is characterized by using a multi-module neural network model that is used.

【００６７】また、エキスパートネットの各層の中間ユ
ニット数が同一個数であることにも特徴がある。これ以
上にも、各中間ユニット数が異なるモデルが考えられる
が、学習時間、補正性能の点において、本モデルが最も
補正性能が良い。Another feature is that the number of intermediate units in each layer of the expert net is the same. Although a model having different numbers of intermediate units may be considered, the model has the best correction performance in terms of learning time and correction performance.

【００６８】新しい多層モジュール型神経回路網モデル
を図２，３に示す。これらの提案モデルでは、図１に示
すような多層神経回路網モデルを用いており、入力機器
の取り扱う色空間の基底の数、補正した後の色空間の基
底の数に応じて、入出力ユニット数を変化させる。A new multi-layer modular neural network model is shown in FIGS. In these proposed models, a multilayer neural network model as shown in FIG. 1 is used, and the input / output unit is determined according to the number of color space bases handled by the input device and the number of corrected color space bases. Change the number.

【００６９】図２に示す多層モジュール型神経回路網モ
デル１では、各エキスパートネットの出力値を切り替え
ネットが出力する係数を用いた重み付け和をとることに
より、最終的なモデル出力が計算される。In the multilayer module type neural network model 1 shown in FIG. 2, the final model output is calculated by taking the weighted sum using the coefficient output from the switching net of the output value of each expert net.

【００７０】また、図３に示す多層モジュール型神経回
路網モデル２では、各エキスパートネットの出力値を切
り替えネットの入力値として与える。そして、切り替え
ネットから出力される係数を用いて、各エキスパートネ
ットの重み付け和をとることにより、最終的なモデル出
力が計算される。In the multilayer module type neural network model 2 shown in FIG. 3, the output value of each expert net is given as the input value of the switching net. Then, the final model output is calculated by taking the weighted sum of each expert net using the coefficients output from the switching net.

【００７１】これらのモデルでは、従来のモジュラーネ
ットでは不可能であった切り替えネットに任意の教師デ
ータを与えて学習させることが可能である。この場合、
多重モジュール型神経回路網モデルの学習の評価基準は
次式のようになる。With these models, it is possible to give arbitrary training data to the switching net, which has been impossible with the conventional modular net, to perform learning. in this case,
The evaluation criteria for learning the multi-module neural network model are as follows.

【００７２】 ｌｎ Ｌ＝ｌｎ Ｓｕｍ［ｔ＝１，…，Ｄｎｕｍ］Ｓｕｍ［ｉ＝１，…，Ｄｎ ｕｍ］Ｔｇａｔｅ＿ｉ，ｔ・ｅｘｐ（−‖Ｔｉ，ｔ−ｙｉ，ｔ‖／（２σｉ²） ） …（１８） 但し、ｌｎは１０を底とする対数を、Ｔはモジュール型
神経回路網モデルに対する教師データ表わす。Ｔｇａｔ
ｅは切り替えモデルに対する教師データ表わす。Ln L = ln Sum [t = 1, ..., Dnum] Sum [i = 1, ..., Dnum] Tgate_i, t · exp (−‖Ti, t−yi, t‖ / (2σi ² )) (18) where ln represents a logarithm with a base of 10 and T represents teacher data for the modular neural network model. Tgat
e represents teacher data for the switching model.

【００７３】以下にその学習則を示す。多層モジュール
型神経回路網モデルの切り替えネットは、従来の切り替
えネットの学習則（（１７）式）の代わりに次式を用い
て学習する。但し、切り替えネットへ与える任意の教師
データをＴｇａｔｅとする。The learning rules are shown below. The switching net of the multilayer module type neural network model is learned by using the following equation instead of the conventional learning rule of the switching net (Equation (17)). However, it is assumed that any teacher data given to the switching net is Tgate.

【００７４】 Ｗｋ₊１＝Ｗｋ＋ΔＷｋ ΔＷｋ＝Ｓｕｍ［ｔ＝１，…，Ｄｎｕｍ］（ｈｉ，ｔ−Ｔｇａｔｅ＿ｉ，ｔ） ｙｔ …（１９） また、これに従い、エキスパートネットは、従来の（１
５），（１６）式の代わりに、次式を用いて学習する。Wk ₊ 1 = Wk + ΔWk ΔWk = Sum [t = 1, ..., Dnum] (hi, t−Tgate_i, t) yt (19) Further, according to this, the expert net is
Instead of equations (5) and (16), the following equation is used for learning.

【００７５】 Ｗｋ₊１＝Ｗｋ＋ΔＷｋ ΔＷｋ＝Ｓｕｍ［ｔ＝１，…，Ｄｎｕｍ］ｈｉ，ｔ（ｙｔ−Ｗｔ）ｘｔ …（ ２０） 但し、ｈｉ，ｔ＝Ｔｇａｔｅ＿ｉ ｅｘｐ（−‖Ｔｉ，ｔ−ｙｉ，ｔ‖／（２ σｉ²））／（Ｓｕｍ［ｊ＝１，…，Ｅｎ］Ｔｇａｔｅ＿ｊ ｅｘｐ（−‖Ｔｊ ，ｔ−ｙｊ，ｔ‖／（２σｊ²））） …（２１） 学習においては、色票中の無彩色、有彩色のサンプル数
が大きく異なる為、色補正モデルが有彩色に対する補正
誤差は十分に小さくすることはできるが、無彩色に関す
る補正誤差が大きくなってしまうという問題がある。こ
の問題に対しては、実際に補正する画像に含まれる各色
の画素数を数え、その画素数の割合から算出される係数
を、学習用に用いる評価基準に乗じることにより、補正
対象となる画像に含まれる色に関して重点的に補正誤差
を最小化することができるようになる。Wk ₊ 1 = Wk + ΔWk ΔWk = Sum [t = 1, ..., Dnum] hi, t (yt−Wt) xt (20) However, hi, t = Tgate_i exp (−‖Ti, t−yi, t‖ / (2 σi ² )) / (Sum [j = 1, ..., En] Tgate_j exp (−‖Tj, t−yj, t‖ / (2σj ² ))) (21) In learning, color Since the number of samples of achromatic colors and chromatic colors in the vote is greatly different, the correction error for the chromatic colors can be made sufficiently small in the color correction model, but there is a problem that the correction error for the achromatic colors becomes large. To solve this problem, the number of pixels of each color included in the image to be actually corrected is counted, and the coefficient calculated from the ratio of the number of pixels is multiplied by the evaluation criterion used for learning to obtain the image to be corrected. It becomes possible to minimize the correction error with respect to the colors included in.

【００７６】補正する画像に含まれる色の数をＣｎ、各
色のデータ点数をＢｉ（ｉ＝１，…，Ｃｎ）とすると、
次式により、各色の対応した評価関数に乗じる係数Ｃｏ
ｆ＿ｊを求める。If the number of colors included in the image to be corrected is Cn and the number of data points of each color is Bi (i = 1, ..., Cn),
The coefficient Co that multiplies the corresponding evaluation function of each color by the following formula
Find f_j.

【００７７】 Ｃｏｆ＿ｊ＝Ｓｕｍ［ｊ＝１，…，Ｃｎ、かつ、ｊ≠ｉ］Ｂｊ／（（Ｃｎ−１ ）・Ｓｕｍ［ｊ＝１，…，Ｃｎ］Ｂｊ） …（２２） 但し、Ｓｕｍ［ｊ］は、ｊに関する和を表わす。[0077]   Cof_j = Sum [j = 1, ..., Cn, and j ≠ i] Bj / ((Cn-1 ) .Sum [j = 1, ..., Cn] Bj) (22) However, Sum [j] represents the sum regarding j.

【００７８】エキスパートネットの学習時に上記の係数
を次式の評価関数に乗じて、この評価関数値を最小化す
るようにエキスパートネットを学習する。At the time of learning the expert net, the above-mentioned coefficient is multiplied by the evaluation function of the following equation, and the expert net is learned so as to minimize the value of this evaluation function.

【００７９】 Ｅ＝Ｓｕｍ［ｊ＝１，…，Ｄｎｕｍ］Ｃｏｆ＿ｊ（Ｔ＿ｊ−Ｏ＿ｊ）² …（ ２３） 但し、Ｄｎｕｍは学習データ数を表わす。E = Sum [j = 1, ..., Dnum] Cof_j (T_j−O_j) ² (23) Here, Dnum represents the number of learning data.

【００８０】また、従来のモジュール型神経回路網モデ
ルの学習法では、切り替えネットの出力に教師データを
与えることができないという問題がある。そこで、本発
明では、切り替えネットの出力側に教師データを与えて
学習する。Further, the conventional learning method of the modular neural network model has a problem that the teacher data cannot be given to the output of the switching net. Therefore, in the present invention, learning is performed by giving teacher data to the output side of the switching net.

【００８１】学習に多くの時間を要する問題に対して
は、高速学習法を導入することにより、画像毎に最適な
色再現モデルをリアルタイムに作成することが可能とな
る。しかしながら、従来のモジュール型神経回路網モデ
ルでは、被写体の明るさに応じて個別の補正計算手順を
獲得するエキスパートモデルの両方のモデルについて個
別に学習する必要があるが、モジュール型神経回路網モ
デルでは、従来の高速学習法を利用することができな
い。そこで、本発明では、新たな多層モジュール型神経
回路網モデルを提案し、これを学習する為の高速学習法
を提案した。For problems that require a lot of time for learning, it is possible to create an optimum color reproduction model for each image in real time by introducing the high speed learning method. However, in the conventional modular neural network model, it is necessary to individually learn both models of the expert model that obtains the individual correction calculation procedure according to the brightness of the subject. , The conventional fast learning method cannot be used. Therefore, in the present invention, a new multilayer module type neural network model is proposed, and a high-speed learning method for learning this is proposed.

【００８２】過学習の問題に対しては、本発明では、モ
ジュール型神経回路網の学習サンプルとして、学習の片
寄りなどが生じないように表色系の中から適切な色サン
プルを選択する方法、及び、学習データ数が極端に少な
い場合でも、過学習が生じないようにする為に汎化技法
を併用した学習法を用いた。To solve the problem of over-learning, the present invention selects a proper color sample from the color system as a learning sample of the modular neural network so that deviation of learning does not occur. And, even if the number of learning data is extremely small, the learning method combined with the generalization technique was used to prevent over-learning.

【００８３】以下に、本発明の色再現方法及び装置の一
実施形態例を示す。図４，５は、本色再現方法を示す流
れ図である。本色再現方法は学習処理と色補正処理に分
けられる。An embodiment of the color reproducing method and apparatus of the present invention will be described below. 4 and 5 are flowcharts showing the color reproduction method. This color reproduction method is divided into learning processing and color correction processing.

【００８４】学習処理の流れは図４に示すように、色票
作成１０１、色票値計測１０２、学習処理１０３、色分
布解析１０４に大別される。As shown in FIG. 4, the flow of the learning process is roughly divided into color chart creation 101, color chart value measurement 102, learning processing 103, and color distribution analysis 104.

【００８５】色票作成１０１では、色票を作成する元と
なる数値データ（色票値）から色票の画像ファイルを作
成する。入力機器の色歪などを測定する為の色票は、下
記の手順により作成する。すなわち、色票を作る際、図
６に示すように、基準色票を色票の１隅に配置し、ま
た、この基準色票に続く、縦横の端の列に配置する色に
ついては、色票の余白部が白の場合、マンセル空間の中
から選択した色票の中から明度の低い色を配置するよう
に作成し、また、色票の余白部が黒の場合、縦横の端の
列に配置する色票は明度の高い色を配置するように作成
する。こうすることにより、撮影後の画像に微分フィル
タを乗じることにより、色票全体の傾き、ゆがみ、反り
などを検出することが容易になる。In color chart creation 101, a color chart image file is created from the numerical data (color chart value) from which the color chart is created. Create a color chart for measuring color distortion of input devices by the following procedure. That is, when creating a color chart, as shown in FIG. 6, the reference color chart is arranged in one corner of the color chart, and the colors arranged in the vertical and horizontal end rows following the reference color chart are If the blank area of the vote is white, it is created so that the color with low lightness is placed from the color chart selected from the Munsell space, and if the blank area of the color chart is black, the row of vertical and horizontal edges Create the color chart to be placed so that the color with high lightness is placed. By doing so, it becomes easy to detect the inclination, distortion, warp, and the like of the entire color chart by multiplying the captured image by the differential filter.

【００８６】色票値計測１０２は、ディジタルカメラな
どにより、予め作成しておいた色票をダイナミックレン
ジを変化させるなどして撮影し、その撮影画像１に微分
フィルタなどを用いることにより、色票画像全体の大き
さ、傾き、ゆがみ、反りなどの情報を抽出し、これに基
づき画像中の各色票の値を自動計測し、学習用データフ
ァイル２を作成する。The color chart value measurement 102 is performed by photographing a color chart prepared in advance by a digital camera or the like by changing the dynamic range, and using a differential filter or the like on the photographed image 1 to obtain the color chart. Information such as the size, inclination, distortion, and warp of the entire image is extracted, and based on this, the value of each color patch in the image is automatically measured, and the learning data file 2 is created.

【００８７】色分布解析１０４は、色補正時に用いる画
像（撮影画像１とは別の画像）５で使われている各色の
頻度を調べ、学習時の重み付け係数を作成する。The color distribution analysis 104 checks the frequency of each color used in the image (image different from the photographed image 1) 5 used for color correction, and creates the weighting coefficient for learning.

【００８８】学習処理１０３では、色票値計測１０２で
作成された学習用データファイル２、及び、色分布解析
１０４で作成された色分布重み付けデータを用いてモジ
ュール型神経回路網モデルを学習し、その学習結果を重
みファイル３に出力する。In the learning process 103, the learning type data file 2 created in the color chart value measurement 102 and the color distribution weighting data created in the color distribution analysis 104 are used to learn the modular neural network model, The learning result is output to the weight file 3.

【００８９】一方、色補正処理の流れは、図５に示すよ
うになり、色補正処理１０５で処理する。On the other hand, the flow of the color correction processing is as shown in FIG. 5, and the color correction processing 105 performs the processing.

【００９０】色補正処理１０５では、上記学習処理１０
３によって作成された学習結果の重みファイル３を用い
て、他の撮影画像５を色補正して、その結果の色補正後
の画像をファイル６に出力する。In the color correction processing 105, the learning processing 10
The weighted file 3 of the learning result created by 3 is used to perform color correction on the other captured image 5, and the resulting image after color correction is output to the file 6.

【００９１】次に、本発明の入力機器用色再現装置の一
実施形態例を図７，８に示す。本装置は、図７に示す学
習装置２００と、図８に示す色補正装置３００とから構
成される。Next, an example of an embodiment of the color reproducing apparatus for an input device of the present invention is shown in FIGS. This apparatus includes a learning device 200 shown in FIG. 7 and a color correction device 300 shown in FIG.

【００９２】学習装置２００は、画像撮影装置から撮影
された画像を読み込むための画像読み込み部２０１と、
色票を撮影した画像から各色票の値の計測処理をする色
票値計測部２０２と、補正対象となる他の任意の画像か
ら色の分布情報を算出する色分布解析部２０３と、学習
部２０４とから構成される。学習装置は、色票を撮影し
た画像と他の任意の画像を読み込み、これらの画像の色
情報から入力機器の色ずれを補正する為の情報を学習に
より獲得し、この情報を学習結果（重み）として出力す
る。The learning device 200 includes an image reading unit 201 for reading an image taken by the image taking device,
A color chart value measuring unit 202 that measures the value of each color chart from an image of a captured color chart, a color distribution analysis unit 203 that calculates color distribution information from any other image that is a correction target, and a learning unit. And 204. The learning device reads the image obtained by capturing the color chart and another arbitrary image, acquires information for correcting the color shift of the input device from the color information of these images by learning, and acquires this information as a learning result (weight). ) Is output.

【００９３】色補正装置３００は、画像読み込み部３０
１と、学習装置２００から出力された学習結果（重み）
を読み込む為の学習結果読み込み部３０２と、色補正を
行う色補正部３０３とから構成される。色補正装置３０
０は、学習結果と任意の画像を読み込み、色補正処理を
行って、その補正結果（色補正後の画像）を出力する。The color correction device 300 includes the image reading unit 30.
1 and the learning result (weight) output from the learning device 200
The learning result reading unit 302 for reading the color and the color correction unit 303 for performing the color correction. Color correction device 30
In 0, the learning result and an arbitrary image are read, color correction processing is performed, and the correction result (image after color correction) is output.

【００９４】なお、図１，２，３，７，８で示した各部
の一部もしくは全部を、コンピュータを用いて機能させ
ることができること、あるいは、図４，５で示した処理
の手順をコンピュータで実行させることができることは
言うまでもなく、コンピュータをその各部として機能さ
せるためのプログラム、あるいは、コンピュータでその
処理の手順を実行させるためのプログラムを、そのコン
ピュータが読み取り可能な記録媒体、例えば、ＦＤ（フ
ロッピーディスク）や、ＭＯ、ＲＯＭ、メモリカード、
ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して提
供し、配布することが可能である。It should be noted that some or all of the respective parts shown in FIGS. 1, 2, 3, 7, and 8 can be made to function by using a computer, or the processing procedure shown in FIGS. Needless to say, the program for causing the computer to function as each unit or the program for causing the computer to execute the procedure of the processing can be executed by the computer-readable recording medium, for example, FD ( Floppy disk), MO, ROM, memory card,
It is possible to record it on a CD, a DVD, a removable disk, etc., provide it, and distribute it.

【００９５】[0095]

【発明の効果】以上の説明で明らかなように、本発明に
よれば、多層モジュール型神経回路網モデルと、新しい
学習法を用いることで、明るい被写体を撮影した際の補
正モデルと暗い被写体を撮影した際の補正モデルを構築
し、これらのモデル出力の非線型加算を行うことによ
り、中間的な明るさにも対応できる。As is apparent from the above description, according to the present invention, the correction model and the dark subject when a bright subject is photographed and the dark subject are captured by using the multilayer module type neural network model and the new learning method. By constructing a correction model at the time of shooting and performing non-linear addition of these model outputs, it is possible to deal with intermediate brightness.

【００９６】また、モジュラー型神経回路網を多層構造
とすることで、従来、不可能であった切り替えネットに
任意の教師データを与えて学習させることが可能であ
る。Further, since the modular neural network has a multi-layered structure, it is possible to give arbitrary teacher data to a switching net, which has been impossible in the past, and to perform learning.

【００９７】また、学習において、実際に補正する画像
に含まれる各色の画素数を数え、その画素数の割合から
算出される係数を、学習用に用いる評価基準に乗じるこ
とで、色票中の無彩色、有彩色にかかわらず、補正対象
となる画像に含まれる色に関して重点的に補正誤差を最
小化することができる。Further, in learning, the number of pixels of each color included in the image to be actually corrected is counted, and the coefficient calculated from the ratio of the number of pixels is multiplied by the evaluation standard used for learning. It is possible to minimize the correction error focusing on the color included in the image to be corrected regardless of whether it is an achromatic color or a chromatic color.

【００９８】また、新たな多層モジュール型神経回路網
モデルを用いることで、従来、不可能であった高速学習
が実現できる。By using a new multi-layer module type neural network model, high-speed learning, which has been impossible in the past, can be realized.

【００９９】さらに、学習の片寄りなどが生じないよう
に表色系の中から適切な色サンプルを選択することで、
学習データ数が極端に少ない場合でも、過学習が生じな
いようにすることができる。Furthermore, by selecting an appropriate color sample from the color system so as to prevent learning deviations,
Even if the number of learning data is extremely small, it is possible to prevent overlearning.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明で用いる多層神経回路網モデルを示す図
である。FIG. 1 is a diagram showing a multilayer neural network model used in the present invention.

【図２】本発明で用いる多層モジュール型神経回路網モ
デル１を示す図である。FIG. 2 is a diagram showing a multilayer module type neural network model 1 used in the present invention.

【図３】本発明で用いる多層モジュール型神経回路網モ
デル２を示す図である。FIG. 3 is a diagram showing a multilayer module type neural network model 2 used in the present invention.

【図４】本発明の方法の一実施形態例での学習処理の流
れを示す図である。FIG. 4 is a diagram showing a flow of a learning process in an embodiment of the method of the present invention.

【図５】上記本発明の方法の一実施形態例での色補正処
理の流れを示す図である。FIG. 5 is a diagram showing a flow of color correction processing in the embodiment of the method of the present invention.

【図６】色票の例を示す図である。FIG. 6 is a diagram illustrating an example of a color chart.

【図７】本発明の装置の一実施形態例での学習装置の構
成示すブロック図である。FIG. 7 is a block diagram showing a configuration of a learning device in an exemplary embodiment of the device of the present invention.

【図８】上記本発明の装置の一実施形態例での色補正装
置の構成を示すブロック図である。FIG. 8 is a block diagram showing a configuration of a color correction apparatus in an exemplary embodiment of the apparatus of the present invention.

【図９】映像の取り込みを説明する図である。FIG. 9 is a diagram illustrating capturing of video.

【図１０】入力機器逆モデルの学習を説明する図であ
る。FIG. 10 is a diagram illustrating learning of an input device inverse model.

【図１１】入力機器逆モデルによる色補正を説明する図
である。FIG. 11 is a diagram illustrating color correction using an input device inverse model.

【図１２】従来のモジュール型神経回路網モデルを示す
図である。FIG. 12 is a diagram showing a conventional modular neural network model.

【符号の説明】[Explanation of symbols]

１…撮影画像 ２…学習用データ ３…学習結果（重み） ４…色分布重み付け係数 ５…他の撮影画像 ６…色補正後の画像 １０１…色票の作成 １０２…色票値計測 １０３…学習処理 １０４…色分布解析 １０５…色補正処理 ２００…学習装置 ２０１…画像読み込み部 ２０２…色票値計測部 ２０３…色分布解析部 ２０４…学習部 ３００…色補正装置 ３０１…画像読み込み部 ３０２…学習結果読み込み部 ３０３…色補正部 1 ... Taken image 2 ... Learning data 3 ... Learning result (weight) 4 ... Color distribution weighting coefficient 5 ... Other captured images 6 ... Image after color correction 101 ... Creation of color chart 102 ... Color chart value measurement 103 ... Learning process 104 ... Color distribution analysis 105 ... Color correction processing 200 ... Learning device 201 ... Image reading unit 202 ... Color chart value measuring unit 203 ... Color distribution analysis unit 204 ... Learning Department 300 ... Color correction device 301 ... Image reading unit 302 ... Learning result reading unit 303 ... Color correction unit

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｈ０４Ｎ 1/46 Ｈ０４Ｎ 9/64 Ａ 1/60 1/40 Ｄ 9/64 1/46 Ｚ (56)参考文献 特開 平８−115407（ＪＰ，Ａ) 特開 平６−237370（ＪＰ，Ａ) 特開 平２−287860（ＪＰ，Ａ) 特開 平６−52137（ＪＰ，Ａ) 特開 平11−284868（ＪＰ，Ａ) 特開 平11−284871（ＪＰ，Ａ) 特開 平２−300876（ＪＰ，Ａ) 特開 平３−294983（ＪＰ，Ａ) 特開 平５−258114（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 510 G06T 11/60 120 G06T 5/00 100 H04N 1/46 H04N 1/60 G09G 5/02 G06N 3/00 550 G06N 3/00 560 ＪＩＣＳＴファイル（ＪＯＩＳ)─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. ⁷ Identification code FI H04N 1/46 H04N 9/64 A 1/60 1/40 D 9/64 1/46 Z (56) Reference JP-A-8 -115407 (JP, A) JP-A-6-237370 (JP, A) JP-A-2-287860 (JP, A) JP-A-6-52137 (JP, A) JP-A-11-284868 (JP, A) ) JP-A-11-284871 (JP, A) JP-A-2-300876 (JP, A) JP-A-3-294983 (JP, A) JP-A-5-258114 (JP, A) (58) Field (Int.Cl. ⁷ , DB name) G06T 1/00 510 G06T 11/60 120 G06T 5/00 100 H04N 1/46 H04N 1/60 G09G 5/02 G06N 3/00 550 G06N 3/00 560 JISST file (JOIS)

Claims (7)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 ディジタルカメラ、スキャナ、ビデオな
どの入力機器により撮影されたカラー画像の色を、撮影
対象となる物体の色と同様になるように色を再現する方
法において、 ｘｙＹ，ＸＹＺなどの表色系において規定された値であ
る色票値をもつ色票を作成する段階と 前記作成した色票を前記入力機器により撮影し、この撮
影された画像からＲＧＢ値などの色を表す数値を取り出
す段階と、 多層神経回路網モデルを用いて、前記入力機器の色歪な
どの入出力特性を補正するための特性を特性ごとに個別
に獲得するモデルであるエキスパートネットを複数個組
み合わせたモデルと、前記複数個のエキスパートネット
への入力値に応じて該エキスパートネットを連続的に切
り替える働きをする神経回路網モデルである切り替えネ
ットとから構成される多層モジュール型神経回路網モデ
ルに任意の評価基準を与えて、前記入力機器により撮影
された画像から取得された色を表す数値と、色票値との
対応関係を学習させる段階と、 前記学習後の多層モジュール型神経回路網モデルを用い
て任意の画像の色再現を行う段階とを、有し、 前記学習させる段階において、 多層モジュール型神経回路網モデルを構成するエキスパ
ートネット、および、切り替えネットに異なる任意の評
価基準を与えて、入力機器により撮影された画像から取
得された色を表す数値と、色票値との対応関係を学習さ
せることを特徴とする入力機器用色再現方法。1. A digital camera, scanner, video, etc.
Capture the color of a color image captured by any input device
Those who reproduce colors so that they are similar to the color of the target object
In the law, it is a value specified in a color system such as xyY, XYZ.
That the color chips step of creating that the created color chart having color chart values taken by the input device, the shooting
Numerical values representing colors such as RGB values are extracted from the shaded image
And the multi-layered neural network model to eliminate the color distortion of the input device.
Individual characteristics for correcting which input / output characteristics
Multiple sets of expert nets that are models to be acquired by
Combined model and the multiple expert nets
The expert net is continuously turned off according to the input value to
A switching network, which is a neural network model that works
Multilayer modular neural network model composed of
Give an arbitrary evaluation standard to the camera and shoot with the input device
Of the color chart value and the numerical value that represents the color obtained from the captured image
Using the step of learning the correspondence and the multilayer module type neural network model after the learning.
And a step of performing color reproduction of an arbitrary image according to the present invention , and in the learning step, an arbitrary different evaluation criterion is given to the expert net and the switching net forming the multilayer module type neural network model, and input. numbers and, the input color reproduction process equipment characterized in that to learn the correspondence between the color chart values representing the color obtained from the photographed image by the device. 【請求項２】 ディジタルカメラ、スキャナ、ビデオな
どの入力機器により撮影されたカラー画像の色を、撮影
対象となる物体の色と同様になるように色を再現する方
法において、 ｘｙＹ，ＸＹＺなどの表色系において規定された値を持
つ色票、マンセル色票などの色票以外の余白部に色を付
加し、色票を作成する段階と、 前記色票を用いて、前記入力機器のダイナミックレンジ
を変化させて、色票を撮影する段階と、 前記撮影された画像から、色票、および、余白部の色を
表わす数値を取得する段階と、 多層神経回路網モデルを用いて入力機器の色歪などの入
出力特性を補正するための特性を特性ごとに個別に獲得
するモデルを複数個組み合わせたモデルと、これらのモ
デルへの入力値に応じて連続的に切り替える働きをする
神経回路網モデルとから構成される多層モジュール型神
経回路網モデルを用い、該多層モジュール型神経回路網
モデルを構成する２種類の神経回路網モデルの両方に異
なる任意の評価基準を与えて、前記取得した色を表わす
数値と、前記色票を作成する元となる色を表わす数値の
関係を学習する段階と、 前記学習後に前記多層モジュール型神経回路網モデルを
用いて任意の撮影画像の色再現を行う段階とを、 有することを特徴とする入力機器用色再現方法。2. A method of reproducing a color of a color image captured by an input device such as a digital camera, a scanner or a video so as to be the same as the color of an object to be captured, such as xyY, XYZ. A step of creating a color chart by adding a color to a margin portion other than the color chart such as a color chart having a value specified in the color system, a Munsell color chart, and a dynamic color of the input device using the color chart. Changing the range, photographing the color chart, acquiring the numerical values representing the color of the color chart and the color of the blank area from the photographed image, and using the multilayer neural network model of the input device. A model that combines multiple models that individually acquire the characteristics for correcting input / output characteristics such as color distortion, and a neural network that functions to continuously switch according to the input values to these models Using the multi-layered module type neural network model composed of Dell and applying different evaluation criteria to both of the two types of neural network model constituting the multi-layered module type neural network model, the obtained color is obtained. And a step of learning the relationship between the numerical value representing the color used to create the color chart and the color reproduction of an arbitrary photographed image using the multilayer module type neural network model after the learning. And a color reproduction method for an input device. 【請求項３】 ディジタルカメラ、スキャナ、ビデオな
どの入力機器により撮影された画像の色を、撮影対象と
なる物体の色と同様になるように色再現する方法におい
て、 ｘｙＹ，ＸＹＺなどの表色系において規定された値をも
つ色票、マンセル色票などの色票以外の余白部に白、ま
たは、黒色などの無彩色を付加した色票を作成する段階
と、 前記作成した色票に、余白部が白の場合には黒色で、あ
るいは、余白部が黒の場合は白色を用いて、かつ、各色
票を自動的に取得する際の基準位置としての印の役目を
果たす基準色票を付加した色票を作成する段階と、 前記余白部の色が複数種類から構成される色票を前記入
力機器で撮影し、入力された画像から色票の値を計測す
る段階と、 撮影された画像の表色系から、ＲＧＢ値、または、ｓＲ
ＧＢ値などの値へ変換し、各色票のＲＧＢ値を測色する
段階と、 測色値に、余白部が白、または、黒であることを識別す
るための識別番号を測色データ列に付加し、このデータ
と色票値の真値の対を色補正モデルの学習用データとし
て作成する段階と、 学習後に変換する画像に含まれる各色の頻度を調べ、色
の種類の数をＣｎ、各色のデータ点数をＢｉ（ｉ＝１，
…，Ｃｎ）とすると、Ｃｏｆ＿ｊ＝Ｓｕｍ［ｊ＝１，
…，Ｃｎ、かつ、ｊ≠ｉ］Ｂｊ／（（Ｃｎ−１）・Ｓｕ
ｍ［ｊ＝１，…，Ｃｎ］Ｂｊ）、但し、Ｓｕｍ［ｊ］
は、ｊに関する和を表わす前式により、各色の対応し
た、学習時に評価関数に乗じる色分布重み付け係数Ｃｏ
ｆ＿ｊを求める段階と、 前記余白部が白、黒の違いにより異なる色歪を補正する
計算手順を学習する複数のエキスパートネット、およ
び、複数のエキスパートネットを補正対象となる入力画
像の明るさに応じて、連続的に切り替える切り替えネッ
トの２種類の部分モデルから構成される多層モジュール
型神経回路網モデルを用い、前記作成した学習データと
前記作成した色分布重み付け係数を用いて、Ｅ＝Ｓｕｍ
Ｃｏｆ＿ｊ（Ｔ＿ｊ−Ｏ＿ｊ）²なる式の評価基準を
最小化するように、多重モジュール型神経回路網モデル
のエキスパートネットを学習するとともに、前記切り替
えネットの出力側を、前記色票の余白部の識別符号に応
じて切り替わるように、任意の教師データを与えて前記
切り替えネットを学習させ、各ネットを学習させる際、
各ネットで個別の評価基準にＳｅｑｕｅｎｔｉａｌ Ｋ
ｉｃｋ Ｏｕｔ法を適用すると共に、モジュール型神経
回路網モデル全体での学習も同時に実行する段階と、 前記学習後、モデルの変数を固定した入力機器逆モデル
を用いて、任意の撮影画像の色再現を行う段階と、 を有することを特徴とする入力機器用色再現方法。3. A method of color-reproducing an image captured by an input device such as a digital camera, a scanner, a video so as to be similar to the color of an object to be captured, such as xyY, XYZ color specifications. A color chart having a value specified in the system, a step of creating a color chart in which a white color is added to a margin portion other than the color chart such as Munsell color chart, or an achromatic color such as black is added, and to the created color chart, When the blank area is white, it is black, or when the blank area is black, white is used, and the standard color chart that serves as a mark as the reference position when automatically acquiring each color chart is used. Creating an added color chart, photographing a color chart composed of a plurality of types of the margin color with the input device, and measuring the value of the color chart from the input image, From the color system of the image, RGB value or sR
Converting to a value such as a GB value and measuring the RGB values of each color chart, and the colorimetric data string includes an identification number for identifying whether the blank area is white or black. The step of adding this data and the true value of the color chart value as learning data of the color correction model and the frequency of each color included in the image to be converted after learning are checked, and the number of color types is Cn, The data score of each color is Bi (i = 1,
, Cn), Cof_j = Sum [j = 1,
, Cn, and j ≠ i] Bj / ((Cn-1) · Su
m [j = 1, ..., Cn] Bj), where Sum [j]
Is a color distribution weighting coefficient Co that corresponds to each color and is multiplied by the evaluation function at the time of learning by the previous expression representing the sum of j.
Depending on the brightness of the input image to be corrected, a plurality of expert nets for learning a calculation procedure for correcting different color distortions depending on the difference between white and black in the blank area are obtained. E = Sum using the created learning data and the created color distribution weighting coefficient using a multilayer module type neural network model composed of two types of partial models of a switching net that is continuously switched.
Cof_j (T_j-O_j) ^{2 is used} to learn an expert net of a multi-module neural network model so as to minimize the evaluation criterion of the expression Cof_j (T_j-O_j) ² , and the output side of the switching net is discriminated from the margin part of the color chart. When learning the switching net by giving arbitrary teacher data so as to switch according to the code and learning each net,
Sequential K for individual evaluation criteria on each net
Applying the ick Out method and simultaneously performing learning on the entire modular neural network model, and after the learning, using the input device inverse model with fixed model variables, color reproduction of an arbitrary captured image And a step of performing a color reproduction method for an input device. 【請求項４】 ディジタルカメラ、スキャナ、ビデオな
どの入力機器により撮影されたカラー画像の色を、撮影
対象となる物体の色と同様になるように色を再現する装
置において、 ｘｙＹ，ＸＹＺなどの表色系において規定された値であ
る色票値をもつ色票を作成する色票作成手段と、 前記作成した色票を前記入力機器により撮影し、この撮
影された画像からＲＧＢ値などの色を表す数値を取り出
す色票値計測手段と、 多層神経回路網モデルを用いて、前記入力機器の色歪な
どの入出力特性を補正するための特性を特性ごとに個別
に獲得するモデルであるエキスパートネットを 複数個組
み合わせたモデルと、前記複数個のエキスパートネット
への入力値に応じて該エキスパートネットを連続的に切
り替える働きをする神経回路網モデルである切り替えネ
ットとから構成される多層モジュール型神経回路網モデ
ルに任意の評価基準を与えて、前記入力機器により撮影
された画像から取得された色を表す数値と、色票値との
対応関係を学習させる学習手段と、 前記学習後の多層モジュール型神経回路網モデルを用い
て任意の画像の色再現を行う色補正手段とを、具備し、 前記学習手段は、 多層モジュール型神経回路網モデルを構成するエキスパ
ートネット、および、切り替えネットに異なる任意の評
価基準を与えて、入力機器により撮影された画像から取
得された色を表す数値と、色票値との対応関係を学習さ
せるものであることを特徴とする入力機器用色再現装
置。4. A digital camera, scanner, video, etc.
Capture the color of a color image captured by any input device
A device that reproduces colors that are similar to the colors of the target object.
The values specified in the color system such as xyY and XYZ are
A color chart creating means for creating a color chart having a color chart value, and the created color chart is photographed by the input device.
Numerical values representing colors such as RGB values are extracted from the shaded image
Using color chart value measuring means and a multilayer neural network model, color distortion of the input device
Individual characteristics for correcting which input / output characteristics
Multiple sets of expert nets that are models to be acquired by
Combined model and the multiple expert nets
The expert net is continuously turned off according to the input value to
A switching network, which is a neural network model that works
Multilayer modular neural network model composed of
Give an arbitrary evaluation standard to the camera and shoot with the input device
Of the color chart value and the numerical value that represents the color obtained from the captured image
A learning means for learning the correspondence and a multilayer module type neural network model after the learning are used.
And a color correction means for performing color reproduction of an arbitrary image, wherein the learning means gives an arbitrary evaluation criterion different to the expert net and the switching net that constitute the multilayer module type neural network model, a number that represents the color obtained from images taken by the input device, a color reproduction device for input devices you characterized in that to learn the correspondence between the color chart values. 【請求項５】 ディジタルカメラ、スキャナ、ビデオな
どの入力機器により撮影されたカラー画像の色を、撮影
対象となる物体の色と同様になるように色を再現する装
置において、 ｘｙＹ，ＸＹＺなどの表色系において規定された値を持
つ色票、マンセル色票などの色票以外の余白部に色を付
加し、色票を作成する色票作成手段と、 前記色票を用いて、前記入力機器のダイナミックレンジ
を変化させて、色票を撮影する撮影手段と、 前記撮影された画像から、色票、および、余白部の色を
表わす数値を取得する色票値計測手段と、 多層神経回路網モデルを用いて入力機器の色歪などの入
出力特性を補正するための特性を特性ごとに個別に獲得
するモデルを複数個組み合わせたモデルと、これらのモ
デルへの入力値に応じて連続的に切り替える働きをする
神経回路網モデルとから構成される多層モジュール型神
経回路網モデルを用い、該多層モジュール型神経回路網
モデルを構成する２種類の神経回路網モデルの両方に異
なる任意の評価基準を与えて、前記取得した色を表わす
数値と、前記色票を作成する元となる色を表わす数値の
関係を学習する学習手段と、 前記学習後に前記多層モジュール型神経回路網モデルを
用いて任意の撮影画像の色再現を行う色補正手段とを、 具備することを特徴とする入力機器用色再現装置。5. A device that reproduces the color of a color image captured by an input device such as a digital camera, a scanner or a video so as to be the same as the color of an object to be captured, such as xyY, XYZ. A color chart creating unit for creating a color chart by adding a color to a margin portion other than the color chart such as a color chart having a specified value in the color system, Munsell color chart, and the input using the color chart. A photographing means for photographing a color chart by changing a dynamic range of a device, a color chart value measuring means for obtaining a color chart and a numerical value representing a color of a margin from the photographed image, and a multilayer neural circuit A model that combines multiple models that individually acquire the characteristics for correcting the input / output characteristics such as color distortion of the input device using the mesh model, and the continuous model according to the input value to these models. Switch to A multilayer module type neural network model composed of a working neural network model is used, and different evaluation criteria are given to both of the two types of neural network models forming the multilayer module type neural network model. And learning means for learning the relationship between the acquired numerical value representing the color and the numerical value representing the color from which the color chart is created, and after the learning, any photographing is performed using the multilayer module type neural network model. A color reproduction device for an input device, comprising: a color correction unit that reproduces a color of an image. 【請求項６】 ディジタルカメラ、スキャナ、ビデオな
どの入力機器により撮影された画像の色を、撮影対象と
なる物体の色と同様になるように色再現する装置におい
て、 ｘｙＹ，ＸＹＺなどの表色系において規定された値をも
つ色票、マンセル色票などの色票以外の余白部に白、ま
たは、黒色などの無彩色を付加した色票を作成し、該作
成した色票に、余白部が白の場合には黒色で、あるい
は、余白部が黒の場合は白色を用いて、かつ、各色票を
自動的に取得する際の基準位置としての印の役目を果た
す基準色票を付加した色票を作成する色票作成手段と、 前記余白部の色が複数種類から構成される色票を前記入
力機器で撮影し、入力された画像から色票の値を計測
し、前記撮影された画像の表色系から、ＲＧＢ値、また
は、ｓＲＧＢ値などの値へ変換し、各色票のＲＧＢ値を
測色する色票計測手段と、 前記測色された測色値に、余白部が白、または、黒であ
ることを識別するための識別番号を測色データ列に付加
し、このデータと色票値の真値の対を色補正モデルの学
習用データとして作成し、学習後に変換する画像に含ま
れる各色の頻度を調べ、色の種類の数をＣｎ、各色のデ
ータ点数をＢｉ（ｉ＝１，…，Ｃｎ）とすると、Ｃｏｆ
＿ｊ＝Ｓｕｍ［ｊ＝１，…，Ｃｎ、かつ、ｊ≠ｉ］Ｂｊ
／（（Ｃｎ−１）・Ｓｕｍ［ｊ＝１，…，Ｃｎ］Ｂ
ｊ）、但し、Ｓｕｍ［ｊ］は、ｊに関する和を表わす前
記式により、各色の対応した、学習時に評価関数に乗じ
る色分布重み付け係数Ｃｏｆ＿ｊを求め、前記余白部が
白、黒の違いにより異なる色歪を補正する計算手順を学
習する複数のエキスパートネット、および、複数のエキ
スパートネットを補正対象となる入力画像の明るさに応
じて、連続的に切り替える切り替えネットの２種類の部
分モデルから構成される多層モジュール型神経回路網モ
デルを用い、前記作成した学習データと前記求めた色分
布重み付け係数を用いて、Ｅ＝Ｓｕｍ Ｃｏｆ＿ｊ（Ｔ
＿ｊ−Ｏ＿ｊ）²なる式の評価基準を最小化するよう
に、多重モジュール型神経回路網モデルのエキスパート
ネットを学習させ、前記切り替えネットの出力側を、前
記色票の余白部の識別符号に応じて切り替わるように、
任意の教師データを与えて前記切り替えネットを学習さ
せ、各ネットを学習させる際、各ネットで個別の評価基
準にＳｅｑｕｅｎｔｉａｌ Ｋｉｃｋ Ｏｕｔ法を適用
すると共に、モジュール型神経回路網モデル全体での学
習も同時に実行する学習手段と、 前記学習後、モデルの変数を固定した入力機器逆モデル
を用いて、任意の撮影画像の色再現を行う色補正手段と
を、 具備することを特徴とする入力機器用色再現装置。6. A device that reproduces the color of an image captured by an input device such as a digital camera, a scanner, or a video so as to be the same as the color of an object to be captured, such as xyY, XYZ color specifications. Create a color chart in which achromatic color such as white or black is added to the blank area other than the color chart such as a color chart or Munsell color chart having a value specified in the system, and the margin section is added to the created color chart. Is black when white is white, or white when the margin is black, and a reference color chart that serves as a mark as a reference position when automatically acquiring each color chart is added. A color chart creating unit for creating a color chart, and a color chart composed of a plurality of colors of the margin portion are photographed by the input device, the value of the color chart is measured from the input image, and the photographed From the color system of the image, the RGB value or sRGB value And a color chart measuring means for measuring the RGB value of each color chart, and an identification number for identifying that the margin portion is white or black in the colorimetric value obtained by the color measurement. Add to the colorimetric data string, create a pair of this data and the true value of the color chart value as learning data for the color correction model, check the frequency of each color included in the image to be converted after learning, and check the number of color types. Is Cn and the number of data points of each color is Bi (i = 1, ..., Cn), Cof
_J = Sum [j = 1, ..., Cn, and j ≠ i] Bj
/ ((Cn-1) .Sum [j = 1, ..., Cn] B
j), where Sum [j] is a color distribution weighting coefficient Cof_j that corresponds to each color and is multiplied by an evaluation function at the time of learning, according to the above-described expression representing the sum of j, and the blank portion is different depending on the difference between white and black. It is composed of two types of partial models: a plurality of expert nets that learn the calculation procedure for correcting color distortion, and a switching net that continuously switches the plurality of expert nets according to the brightness of the input image to be corrected. Using the created learning data and the obtained color distribution weighting coefficient, E = Sum Cof_j (T
_J-O_j) The expert net of the multi-module neural network model is trained so as to minimize the evaluation criterion of the expression ^{2 and} the output side of the switching net is set according to the identification code of the blank part of the color chart. So that it switches
When the switching net is learned by giving arbitrary teacher data and each net is learned, the Sequential Kick Out method is applied to each net as an individual evaluation criterion, and at the same time, learning is performed on the entire modular neural network model. A color for input device, comprising: learning means to be executed; and after the learning, a color correction means for performing color reproduction of an arbitrary photographed image using an input device inverse model in which model variables are fixed. Reproduction device. 【請求項７】 請求項１，２，３のいずれか１項記載の
入力機器用色再現方法における段階をコンピュータに実
行させるためのプログラムを、該コンピュータが読み取
り可能な記録媒体に記録したことを特徴とする入力機器
用色再現方法のプログラムを記録した記録媒体。7. A program for causing a computer to execute the steps in the color reproduction method for an input device according to claim 1, 2, or 3 is recorded on a computer-readable recording medium. A recording medium on which a characteristic color reproduction method program for an input device is recorded.