JP3624604B2 - 撮像装置の色再現補正装置および補正方法 - Google Patents
撮像装置の色再現補正装置および補正方法 Download PDFInfo
- Publication number
- JP3624604B2 JP3624604B2 JP35791796A JP35791796A JP3624604B2 JP 3624604 B2 JP3624604 B2 JP 3624604B2 JP 35791796 A JP35791796 A JP 35791796A JP 35791796 A JP35791796 A JP 35791796A JP 3624604 B2 JP3624604 B2 JP 3624604B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- light source
- correction
- subject
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置の色再現補正装置および方法に関し、例えばテレビジョンカメラなどのカラー画像撮像装置によって撮像した被写体の画像が、被写体照明用の光源が異なっても撮影者が見た通りの色で表示装置で的確に再現できるようにする技術に関する。
【０００２】
【従来の技術】
一般に人の目は照明の種類によらず、物体表面の白いものは白く見える性質がある。この様な、目の性質は色順応と呼ばれている。テレビジョンカメラ等のカラー画像撮像装置では目のこの性質を反映させるため、照明によらず、白いものを撮影した場合に撮影用の３原色の信号出力が同じになるように調整されている。これを白バランス処理と呼ぶ。
【０００３】
しかしながら、撮影用の３原色は必ずしも人の目の特性と同じではない。また、実際に撮影した照明とその結果を表示する表示装置の基準白色の物理的特性が違っている。これらのことのため、撮影結果を表示装置で見た場合に、無彩色以外の色が実際の被写体とは違って見える場合があった。放送のように実際の撮影現場の色について視聴者が知識を持たない場合は人の記憶色にあっていれば問題は少ないが、印刷原稿など色自体が問題になる場合や、より臨場感を出した撮影が必要な場合には改善すべき問題であった。
【０００４】
放送用テレビジョンカメラなどのカラー画像の撮像装置の色再現の改善に関して、従来より、リニアマトリックス法が知られている。例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類の色信号を得る通常のテレビジョンカメラにおいては、それぞれを相互にミキシングするマトリックス回路を通して補正された赤、緑、青の信号を得てそれを信号処理することにより、テレビジョン用の映像信号を得ることが行われていた。
【０００５】
しかしながら、必ずしも、色再現補正のためのマトリックスの常数の決定の手法は確立されたものでなく、試行錯誤的に見た目できれいなように選ばれており、被写体の照明光源の変化に対して最良の結果を得るリニアマトリックス常数は得られていなかった。このため、実際には、リニアマトリックス回路は使用せず、放送技術者による撮影モニターの目視に基づき色相と色量を調整して色調を合わせることで済ましている場合がほとんどであった。
【０００６】
一方、家庭用のビデオカメラなどの機器では、例えば３種類の色のフィルタを画素毎に密着して乗せた１枚の撮像素子から映像信号を得る場合が多いが、撮像素子に乗せることのできるフィルタの分光特性には限りがあるので一般に色再現が悪くなっている。この場合の補正は、最も使用頻度の高い照明で撮影したときに、目の色識別感度の高い肌色付近の色調が良くなるように、色相と色量で調整するのが一般的であった。照明の光源が変化した場合には、見た目の白が白く撮像するようにＲＧＢの信号のレベルを合わせる白バランス処理のみで済ませていた。
【０００７】
【発明が解決しようとする課題】
また、上記各機器に共通する問題点は被写体が照明によってどの様な色に見えているかを再現しようと言うのではなく、できあがった画像が見た目にきれいかどうかを基準に色再現を選んでおり、実際の照明の臨場感等は無視された形になっている事である。それは、表示装置のテレビモニターの基準白の色は実際の被写体の照明光の白色とは必ずしも一致しないのでそのままでは見た目とは違ったものに表示されてしまうことを考慮して補正マトリックスを求める方法が確立されていなかったため、たとえば、白熱電灯の下で撮影されたのか、屋外の太陽光の下で撮影されたのかは無視された形で色再現を検討せざるを得なかったからである。
【０００８】
本発明の目的は、上記従来機器における問題点に鑑み、撮像装置の色再現補正装置と補正方法において、簡単な構成により被写体照明用の光源が違っても撮影者が見た色が表示装置で的確に再現できるように色再現補正マトリックスを決めて色再現補正ができるようにすることにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の態様では、被写体を撮影して複数の分光特性を持った色信号を得、これらを信号処理してカラー画像を得る撮像装置の色再現補正装置において、照明の光源の種類を推定する光源推定装置と、予め決めてある複数の光源のそれぞれに対して、各光源で照明した被写体の複数の色の目視による見え方と、その照明された被写体を前記撮像装置で撮影した出力信号を、前記照明に使用した光源の白色とは必ずしも一致しない光源を基準白色とする表示装置に表示した画像の前記被写体の複数の色のそれぞれに対応する色の目視による見え方がほぼ同等となるように、前記照明下の被写体の複数の色のそれぞれの均等色空間上の位置を目の順応効果を考慮して前記表示装置の基準光源白色での均等色空間上の対応するそれぞれの位置に変換した値と、前記被写体を撮影した前記撮像装置の色信号に補正マトリックス演算を施した出力信号を前記表示装置に表示した被写体の複数の色のそれぞれに対応した色の均等色空間上の位置との距離の絶対値の平均値が最小となるように、決定した補正マトリックス演算の常数を記憶する記憶装置と、撮影に当たって前記識別装置で識別した照明光源に対応する補正マトリックス常数を前記記憶装置から引き出して前記色信号に補正マトリックス演算を施す演算装置とを設ける。
【００１０】
人の目で見た色が表示装置でも再現されるためには、ある照明の下で被写体を見た色の目への刺激値を表示装置で再現した場合にそれと同じ色に見える色の目への刺激値に変換し、その値が撮像装置で撮像した被写体を表示装置で表示した色の目への刺激値と同じであればよい。このような刺激値の変換は、ある照明の下の色の見え方を他の照明の下で表したものと等価であるから、その変換に、人の目の色順応のモデルを適用することができる。したがって、前記複数の光源のそれぞれに対して、その光源による照明の下で見た被写体の複数の色の目視による見え方を測定し、これを表示装置の基準白色を表す光源の下での刺激値に変換し、基準刺激値を得る。そして、前記被写体を撮影した撮像装置の色信号に補正マトリックス演算を施し、後にその値から撮影された刺激値を求め、先に求めた基準刺激値と比較して誤差が最小となるように前記補正マトリックスの常数を決定し前記記憶装置に記憶する。そして、撮影に際しては前記光源推定装置で識別した照明光源に対応する補正マトリックス常数を前記記憶装置から引き出して前記色信号に補正マトリックス演算を施せば所望の色再現補正が行なわれ、最適の色再現が実現できる。
【００１１】
この場合、前記光源推定装置は前記複数の色信号に対し白バランス処理を施すための白バランス制御信号に基づき照明光源の種類を推定すると好都合である。
【００１２】
白バランス制御信号は、照明光源のスペクトル分布に応じて変化するから、この白バランス制御信号を用いて照明光源の種類を容易に推定することができ、かつまた装置構成も簡略化できる。
【００１３】
本発明の第２の態様では、被写体を撮影して複数の分光特性を持った色信号を得、これらを信号処理してカラー画像を得る撮像装置の色再現補正装置において、照明の光源の種類を推定する光源推定装置と、予め決めてある複数の光源のそれぞれに対して、各光源で照明した被写体の複数の色の目視による見え方と、その照明された被写体を前記撮像装置で撮影した出力信号を、前記照明に使用した光源の白色とは必ずしも一致しない光源を基準白色とする表示装置に表示した画像の前記被写体の複数の色のそれぞれに対応する色の目視による見え方がほぼ同等となるように、前記照明下の被写体の複数の色のそれぞれの均等色空間上の位置を目の順応効果を考慮して前記表示装置の基準光源白色での均等色空間上の対応するそれぞれの位置に変換した値と、前記被写体を撮影した前記撮像装置の色信号に補正マトリックス演算を施した出力信号を前記表示装置に表示した被写体の複数の色のそれぞれに対応した色の均等色空間上の位置との距離の絶対値の平均値が最小となるように、決定した補正マトリックス演算の常数を記憶する記憶装置と、撮影に当たって前記光源推定装置で推定した照明光源に最も近似する補正マトリックス常数を前記記憶装置に記憶してある常数を基に演算して推定する常数推定装置と撮影に当たっては前記常数推定装置の出力常数を用いて、前記色信号に補正マトリックス演算を施す演算装置とを設ける。
【００１４】
前記補正マトリックスの常数は照明の種類に応じて変化する。したがって、全ての照明に対して補正マトリックスの常数を用意するのは実際的ではない。したがって、幾つかの予め決めてある複数の光源に対して補正マトリックスの常数を決定し前記記憶装置に記憶させておく。そして、前記常数推定装置によって、照明光源に最も近似する補正マトリックス常数を前記記憶装置に記憶してある常数の値から補間して求めればよい。これによって、装置構成を簡単にし、効率的に的確な色再現補正を行なう事が可能になる。
【００１５】
この場合も、前記光源推定装置は前記複数の色信号に対し白バランス処理を施すための白バランス制御信号に基づき照明光源の種類を推定すると好都合である。
【００１６】
白バランス制御信号は照明光源の種類に応じて異なるスペクトル分布を有する。したがって、白バランス制御信号から照明光源の種類を的確かつ用意に推定することができ、かつ装置構成も簡略化できる。
【００１７】
また、前記補正マトリックス演算は補正演算後の複数の出力信号それぞれが前記複数の色信号の１つの色信号と、前記複数の色信号間の複数の差信号のそれぞれに常数を乗算したものとの和として表すことができる。
【００１８】
撮影した複数の色信号に白バランス処理を施して得た信号に補正マトリックス演算を行なうことにより、白い物は補正後も白く写るはずであり、補正後も白バランスが変化しないという拘束条件をつけることができる。したがって、補正マトリックスの行方向の係数の和は１とすることができる。したがって、例えば（Ｇ−Ｒ）と（Ｇ−Ｂ）のような色差信号に補正マトリックス演算を施して得たものと補正前の色信号との和により補正演算後の出力を得る事ができる。これによって、色再現補正のための変数が低減され、装置構成および処理が簡略化される。
【００１９】
さらに、前記複数の分光特性を持った色信号は被写体照明が変化しても、前記各色信号の補正マトリックスの複数の色信号間の差信号にかかる常数の変化ができるだけ少ないように選ぶよう構成してもよい。
【００２０】
例えば適切な分光特性のカラーフィルタを使用することにより、色温度の違う照明でも色差信号の補正量がほとんどゼロとしても影響の小さいものがある。このような場合には、補正マトリックスの変数の数をさらに低減することができる。
【００２１】
また、前記演算装置は、前記複数の色信号に対し白バランス処理を施して得られた複数の色信号に補正マトリックス演算を施すと好都合である。
【００２２】
白バランス処理を施して得られた複数の色信号に対し補正マトリックス演算を行なうことにより、補正信号の変数の数を低減し、装置構成および処理を簡略化することができる。
【００２３】
本発明の第３の態様では、被写体を撮影して複数の分光特性を持った色信号を得、これらを信号処理してカラー画像を得る撮像装置の色再現補正方法において、ある光源で照明した被写体の色の目視による見え方と、その照明された被写体を前記撮像装置で撮影した出力信号を、前記照明に使用した光源の白色とは必ずしも一致しない光源を基準白色とする表示装置に表示した画像の色の目視による見え方がほぼ同等となるように、前記照明下の被写体の色の均等色空間上の位置を目の順応効果を考慮して前記表示装置の基準光源白色での均等色空間上の位置に変換した値と、前記被写体を撮影した前記撮像装置の色信号に補正マトリックス演算を施した出力信号を前記表示装置に表示した色の均等色空間上の位置が近似できるように、前記補正マトリックス演算の常数値を決定する。
【００２４】
前記第１の態様に関して述べたのと同様に、このような方法によって簡単な処理で的確な補正マトリックス演算の常数値が決定出来る。
【００２５】
本発明の第４の態様では、被写体を撮影して複数の分光特性を持った色信号を得、これらを信号処理してカラー画像を得る撮像装置の色再現補正方法において、ある光源で照明した被写体の複数の色の目視による見え方と、その照明された被写体を前記撮像装置で撮影した出力信号を、前記照明に使用した光源の白色とは必ずしも一致しない光源を基準白色とする表示装置に表示した画像の前記被写体の複数の色のそれぞれに対応する色の目視による見え方がほぼ同等となるように、前記照明下の被写体の複数の色のそれぞれの均等色空間上の位置を目の順応効果を考慮して前記表示装置の基準光源白色での均等色空間上の対応するそれぞれの位置に変換した値と、前記被写体を撮影した前記撮像装置の色信号に補正マトリックス演算を施した出力信号を前記表示装置に表示した被写体の複数の色のそれぞれに対応した色の均等色空間上の位置との距離の絶対値の平均値が最小となるように、前記補正マトリックス演算の常数値を決定する。
【００２６】
この場合は被写体の複数の色に対して、前記距離の絶対値の平均値が最小となるように補正マトリックス演算の常数値が決定される。したがって、多くの色に対して色再現補正がより的確に行なわれ、より忠実な色再現が可能になる。
【００２７】
この場合、前記補正マトリックス演算は補正演算後の複数の出力信号それぞれが前記複数の色信号の１つの色信号と、前記複数の色信号間の複数の差信号のそれぞれに常数を乗算したものとの和として表されるよう構成することもできる。
【００２８】
この場合も、白バランス処理を行なった信号に補正マトリックス演算を行なうことにより、補正マトリックスの行方向の係数の和を１とすることができる。したがって、例えば２つの色差信号に補正マトリックス演算を施したものと補正前の色信号との和として補正出力を得ることができる。これにより、色再現補正のための変数が削減できる。
【００２９】
また、前記複数の分光特性を持った色信号は被写体照明が変化しても、前記各色信号の補正マトリックスの複数の色信号間の差信号にかかる常数の変化ができるだけ少ないように選ぶと好都合である。
【００３０】
適切な分光特性のカラーフィルタを使用することで、このように各色信号の補正マトリックスの複数の色信号間の差信号にかかる常数の変化を少なくすることにより、補正信号の変数をさらに削減することが可能になる。
【００３１】
【発明の実施の形態】
具体的な説明に先立ち、まず本発明に係わる装置および方法において使用される手法を原理的に説明する。
【００３２】
一般に見た目の色の違いを表現するのには、均等色空間上に色を表現し、そこでの２色の距離を定義して使用し、これを色差と言う。ある色の均等色空間上の位置はたとえばＣＩＥのＬ＊ｕ＊ｖ＊空間や実用的によく使われるＬ＊ａ＊ｂ＊での成分は物理的測色的刺激値ＸＹＺと、そのときの基準白色（一般的に照明色）の刺激値Ｘｎ、Ｙｎ、Ｚｎの成分の比から計算され、たとえばＬ＊ａ＊ｂ＊ではＸ／Ｘｎ、Ｙ／Ｙｎ、Ｚ／Ｚｎから規定された計算式で計算される。よって、基準白色の違う色については直接比較ができない。そのため、基準白色の違うある２色の比較にはその２つの色の見え方（基準白色の違う２つの均等色空間上の位置）のどちらかを他の基準白色での色の見え方（他の基準白色の均等色空間上の位置）に変換する必要がある。この変換された色を対応色と言う。この場合の変換は、基準白色の刺激値はわかっているので、刺激値ＸＹＺの変換として表せる。
【００３３】
人の目で見た色が表示装置でも再現されるためには、ある照明の下で被写体を見た色の目への刺激値を基準色の違う表示装置で再現した場合にそれと同じ色に見える色の目への刺激値に変換し、つまり、対応色を求め、それが撮像装置で撮像した被写体を表示装置で表示した色の目への刺激値と同じであればよい。そのときは、その照明の下で直接見た被写体の色と、撮像装置で撮影して表示装置で表示した被写体の色を見たものは同じに見えるはずである。
【００３４】
この刺激値の変換は、ある照明の下の色の見え方を他の照明の下での見え方で表したものと等価であるから、その変換に、人の目の色順応のモデルを適用することができる。
【００３５】
ある照明の下で見た被写体の人の目への刺激値を測定し、それを表示装置の基準白色を表す光源の下での刺激値に変換し、これを基準刺激値とする。この被写体を撮影して補正マトリックス処理を施し、後にその値から撮影された刺激値を求めて先に求めた基準刺激値と比較して誤差が最小となるように補正マトリックスの係数を決めれば、この照明で、この被写体で色再現が最適となったことになる。
【００３６】
この関係を式で表すと以下の数式１のようになる。
【数１】
ここで、Ｒ，Ｇ，Ｂは撮像装置の出力、ｒ，ｇ，ｂはＮＴＳＣのＲＧＢ表色系で被写体の色を表したのもである。また、ＡはＲＧＢ表色系からその測色的刺激値Ｘ，Ｙ，Ｚを求めるマトリックス回路、Ｈは表示装置で表示された測色的刺激値への変換を行なう色順応マトリックスである。ＣはＲ，Ｇ，Ｂ信号の色再現補正を行なう補正マトリックスである。
【００３７】
色順応マトリックスＨはフォン・クリースモデルに従うと以下のように導出できる。
【００３８】
Ｓ１，Ｓ２，Ｓ３をある照明である被写体を見たときの網膜の錘体への刺激値とする。そのときの測色的刺激値ＸＹＺとＳ１，Ｓ２，Ｓ３とは変換マトリックスＭで以下の数式２のような関係がある。
【数２】
【００３９】
なお、前記測色的刺激値ＸＹＺは次の関係を有する。
【数３】
【００４０】
人の目が光源の色に色順応した時の錘体の応答をＳ′１，Ｓ′２，Ｓ′３とし、Ｓｗ１，Ｓｗ２，Ｓｗ３をこの光源白色の刺激値とすると、Ｓ′ｉ（ｉ＝１〜３）は次の数式４のように表せる。
【数４】
【００４１】
そこでこの被写体を表示装置で表示して、この被写体を見たときの錘体の刺激値と応答値をＳｃｉ，Ｓｃ′ｉ（ｉ＝１〜３）とし、表示装置の基準白色の錘体への刺激値をＳｗｃｉ（ｉ＝１〜３）とする。Ｓ′ｉ＝Ｓｃ′ｉ（ｉ＝１〜３）であれば、同じ色に見えていると言えるので、以下の数式５の関係がある。
【数５】
【００４２】
数式５を行列式で書き換えると次のようになる。
【数６】
【００４３】
数式６に前記数式２を代入すると次のようになる。
【数７】
ここでＸｃ，Ｙｃ，Ｚｃは表示装置での表示色を示す。
【００４４】
これは数式１の左辺に他ならない。したがって、数式７を書き換えると次の数式が得られる。
【数８】
【００４５】
数式１と数式８とを比較し、かつ数式３の関係を考慮すると前記数式１のＨは次のようになる。
【数９】
【００４６】
すなわち、色順応マトリックスＨは数式９のように光源の錘体への刺激値とＳｗｉ，Ｓｗｃｉと測色的刺激値ＸＹＺからの変換マトリックスＭを使って表せる。そして、Ｓｗｉ，Ｓｗｃｉも数式２から光源の測色的な刺激値が分かれば計算できるので色順応マトリックスＨも計算できる。
【００４７】
一方、数式１から与えられたＲ，Ｇ，Ｂとｒ，ｇ，ｂからのＣの要素を求めれば補正マトリックスが求まる。Ｃは３行×３列のマトリックスなので、このまま拘束条件を何もつけなければ、最低３色の値が分かれば一義的に決められる。
【００４８】
しかし、これらの点で最適であっても、すべての色について最適とは限らないので、できるだけたくさんの色の誤差の平均が最小になるように補正マトリックスＣを決めればこの光源については最適化されたことになる。これは、線形回帰の問題なのでその公式に添って計算できる。
【００４９】
実際は照明の変化に対して最適な補正マトリックスＣは変化すると考えられるが、すべての照明に対しての関数として補正マトリックスを用意するのは原理的には可能でも実際的ではない。そこで、いくつかの代表的な光源に対して補正マトリックスを求めておき、光源の推定装置の出力、例えばテレビジョンカメラの白バランス制御信号をつかって、照明光源に近い複数の光源でテーブルにある補正マトリックスの値から補間してその光源の補正マトリックスＣを求めるようにすれば、効率的である。
【００５０】
さらに、撮影した複数の色信号の、例えば、赤、緑、青の３色の信号の、白バランスをとった信号に補正マトリックス演算をすることにすれば、白いものは補正後も白く写るはずなので白バランスが変化しないという拘束条件をつけてかまわない。そうすると、補正マトリックスＣの行方向の係数の和は１であるとすることができる。色補正をかける前の色信号をＲ，Ｇ，Ｂとし、補正後の信号をＲ′，Ｇ′，Ｂ′とすると、Ｒ′，Ｇ′，Ｂ′は数式１０のように書ける。
【数１０】
【００５１】
したがって、（Ｇ−Ｒ）と（Ｇ−Ｂ）を変数とする３行×２列のマトリックス演算による補正信号をそれぞれの信号に加算することにより補正が実現できる。つまり、このような拘束条件を設けることにより、９個あった色再現補正の変数が６個に削減されたことになる。
【００５２】
次に、本発明の具体的な実施形態につき説明する。図１は、本発明を３板カラーテレビジョンカメラに適用した本発明の一実施形態に係わる撮像装置の概略の構成を示す。同図の装置は、レンズプリズム光学系１と、ＲＧＢ３色のうちの赤色の撮像素子２ｒと、緑色の撮像素子２ｇと、青色の撮像素子２ｂと、ホワイトバランス回路３と、タイミングパルス発生器４と、補正信号作成部５と、信号処理回路１１と、白バランス設定制御回路１２とを備えている。補正信号作成部５は色差信号作成回路６と、マトリックス回路７と、係数設定回路８と、補正係数テーブルメモリ９と、ＲＧＢ各色のための３つの加算器を含む加算器ブロック１０とを備えている。
【００５３】
レンズプリズム光学系１は、図示しない被写体からの画像光をＲＧＢ３色それぞれの撮像素子２ｒ，２ｇ，２ｂに導くためのものである。各撮像素子２ｒ，２ｇ，２ｂは、例えば、それぞれＣＣＤ撮像素子その他で構成される。ホワイトバランス回路３は、被写体として白い紙または白色光源を撮影した時に赤色の信号出力Ｒと青色の信号出力Ｂの値が共に緑色の信号出力Ｇの値に等しくなるように各色のゲイン補正を行なうものである。このゲイン補正のための制御信号は白バランス設定制御回路１２で生成されたＷｒ，Ｗｂであって、この制御信号Ｗｒ，Ｗｂの値にもとづきそれぞれ、Ｒ，Ｂの信号のゲインが調整されるようになっている。なお、図１の白バランス設定回路１２では通常手動（マニュアル）で白バランスの調整が行なわれるが、自動的に白バランスの調整を行なうよう構成してもよい。
【００５４】
また、タイミングパルス発生器４は、各撮像素子２ｒ，２ｇ，２ｂにドライブ制御信号を供給し、信号処理回路１１に同期パルスを供給するなど、各回路に必要なタイミングおよび制御パルスを提供するものである。
【００５５】
補正信号作成部５において、色差信号作成回路６はホワイトバランス回路３から入力されたＲＧＢ各色の信号から色差信号（Ｇ−Ｒ）信号および（Ｇ−Ｂ）信号を作成するものである。マトリックス回路７は、これらの色差信号（Ｇ−Ｒ），（Ｇ−Ｂ）に対し係数設定回路８からの係数値とマトリックス演算して各色の補正信号を得るものである。すなわち、マトリックス回路７は、前記数式１０の右辺第１項の補正項を生成するものである。補正係数テーブルメモリ９は、予め複数の照明光源に対応して求められたマトリックス常数のテーブルを記憶するもので、ＲＯＭなどで構成される。
【００５６】
係数設定回路８は、前記白バランス制御信号Ｗｒ，Ｗｂの値を受けて、照明光源の種類を推定し、補正係数テーブルメモリ９から必要なマトリックス常数のデータを読み出し、マトリックス演算のための係数を求めるものである。
【００５７】
したがって、マトリックス回路７は、前記色差信号（Ｇ−Ｒ），（Ｇ−Ｂ）に対し係数設定回路８からの係数値によりマトリックス演算を行ない各色の補正信号を求める。また、加算器ブロック１０は、マトリックス回路７からの各色の補正信号と白バランス３からの元の各色の信号とを加算して補正された３色のＲ′，Ｇ′，Ｂ′信号を作成し、信号処理回路１１に入力するものである。信号処理回路１１は、これらの補正信号Ｒ′，Ｇ′，Ｂ′に対し所定の信号処理を施し、例えば標準テレビジョン信号を生成して出力するものである。
【００５８】
図１の撮像装置では、各色の撮像素子２ｒ，２ｇ，２ｂで得られた映像信号は、白バランス回路３で白を撮影した時に各色の信号値が互いに等しくなるようにゲイン補正される。そして、前述のように、色差信号作成回路６、マトリックス回路７、係数設定回路８および補正係数テーブルメモリによって各色の補正信号が求められる。これら各色の補正信号は加算器ブロック１０で、白バランス回路３から出力される元の白バランス補正された色信号Ｒ，Ｇ，Ｂと加算されて、前記数式６で示される３色の補正された色信号Ｒ′，Ｇ′，Ｂ′が求められる。すなわち、白バランス補正後の各色信号を使用して色再現補正を行なうことにより、簡単な回路構成で的確な補正処理を行なうことが可能になる。
【００５９】
図２は、本発明の第２の実施形態に係わる撮像装置の概略の構成を示し、単板カラーカメラに適用した例を示す。また、図３は、図２の撮像装置において使用される撮像素子２２の例を示し、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のフィルタを各画素に対応して配置した様子を示す。なお、図３は図示の簡略化のため、４×４＝１６画素の構成で示しているが、本発明はこのような構成に限定されるものではない。実際には、さらに多数の画素が使用され、必要な画素数にわたり図３に示されるようなフィルタ配列が繰り返される。図３の撮像素子では、画素の走査は左上の画素から順次水平右方向に１行ずつ走査される。したがって、この時の信号は図３の例では、ＧＲＧＢ、ＧＢＧＲ、ＧＲＧＢ、ＧＢＧＲ、のような順序で順次出力される。
【００６０】
図２に戻ると、同図の撮像装置は、レンズ光学系２１と、前記撮像素子２２と、白バランス回路２３と、白バランス設定制御回路２４と、補正信号作成部２５と、信号処理回路３３と、遅延回路３４と、加算回路３５と、タイミングパルス発生器３６などによって構成される。
【００６１】
また、補正信号作成部２５は、色分離回路２６と、色差信号作成回路２７と、かけ算器２８，２９と、加算器３０と、補正マトリックス係数発生回路３１と、色補正信号テーブルメモリ３２などを備えている。
【００６２】
図２の撮像装置においては、レンズ光学系２１を通った図示しない被写体からの画像光は、前述の色フィルタを備えた撮像素子２２に入力され、各色の時系列的な映像信号が生成される。このような映像信号は白バランス回路２３に入力され、時系列的に入力されるＲ，Ｇ，Ｂの各色信号をそれぞれの色にしたがって増幅率を調整して白バランスを取る。この増幅率の調整のための制御信号はＲ，Ｂに対してそれぞれＷｒ，Ｗｂであり、Ｇ信号については固定である。
【００６３】
白バランス設定制御回路２４は光源の白バランスを計測し、光源の種類に対応する制御信号Ｗｒ，Ｗｂを出力する。白バランス設定制御回路は通常このような動作を自動的に行なうよう構成されるが、白バランスの調整を手動で行なうことによって制御信号Ｗｒ，Ｗｂを出力するよう構成することもできる。
【００６４】
補正信号作成部２５においては、色分離回路２６で前記白バランス回路２３から時系列的に供給される映像信号を各色ごとに分離して各色の信号Ｒ，Ｇ，Ｂが得られる。信号作成回路２７は、これらの色信号Ｒ，Ｇ，Ｂから２つの色差信号（Ｇ−Ｒ）信号および（Ｇ−Ｂ）信号を作成する。
【００６５】
これら色差信号（Ｇ−Ｒ）および（Ｇ−Ｂ）に対しそれぞれのかけ算器２８，２９で、補正マトリックス係数発生回路３１から供給されるマトリックス係数をかけ算し、加算器３０で加算する事により、元の信号の色に対応した補正信号を得る。
【００６６】
補正マトリックス係数発生回路３１においては、前記白バランス制御信号Ｗｒ，Ｗｂを受け入れ、その値から推定される光源に近似する１つもしくは複数の光源に対応する補正量を色補正信号テ−ブルメモリ３２から読み出し、それらを演算して最適な補正係数を決定する。そして、色分離回路２６からの制御信号を受けて元の時系列で出力される信号の色に対応した補正係数を発生し、かけ算器２８，２９に供給する。
【００６７】
このように、白バランス補正後の信号に対し処理を行なう構成とすることにより、そのままでは６個必要なかけ算器と足し算器がそれぞれ２個ずつに削減できる。
【００６８】
補正信号作成部２５の出力の補正信号は加算器３５に供給され、遅延回路３４によって遅延時間を揃えた元の信号と加算されて、補正された時系列的なＲ′，Ｇ′，Ｂ′の信号列を得る。この信号列はよく知られた単板撮像装置の信号処理回路３３で処理されて例えば標準テレビジョン信号などの必要な映像信号が生成され出力される。
【００６９】
なお、特許請求の範囲に記載された各構成要件、特に独立請求項１および３における各装置および回路と図１および図２に示される実施形態の装置との対応関係は次のようになる。
【００７０】
請求項１に関しては、推定装置は図１の構成における白バランス設定制御回路１２および係数設定回路８を合わせたものに対応し、図２の構成では白バランス設定制御回路２４と補正マトリックス係数発生回路３１とを合わせたものに対応する。また、記憶装置は、図１の構成では係数設定回路８およびＲＯＭ９を合わせたものに対応し、図２の構成では補正マトリックス係数発生回路３１とＲＯＭ３２とを合わせたものに対応する。さらに、演算装置は、図１の構成ではマトリックス回路７および加算器１０を合わせたものに対応し、図２の構成では差信号発生回路２７とかけ算器２８，２９と加算器３０，３５を合わせたものに対応する。
【００７１】
次に、請求項３に関しては、光源推定装置は図２の白バランス設定制御回路と補正マトリックス係数発生回路３１とを合わせたものに対応する。また、記憶装置は図２の補正マトリックス係数発生回路３１とＲＯＭ３２とを合わせたものに対応する。さらに、常数推定装置は図２の補正マトリックス係数発生回路３１に対応する。さらに、演算装置は図２の差信号発生回路３１とかけ算器２８，２９と加算器３０，３５とを合わせたものに対応する。
【００７２】
【実施例】
図４は、図２の撮像装置に使用された撮像素子のＲＧＢ各色の分光感度の例である。この分光感度は標準的な撮影レンズの分光特性を加味したものである。このような撮像素子を含む撮像装置で撮影してＮＴＳＣの理想受像器に表示する場合の撮像装置に本発明を適用して補正マトリックスを求める例を以下に示す。
【００７３】
分光反射率（透過率）の分かっている十分多数の被写体を用意し、分光放射率の分かっている光源照明の下での測色的な刺激値、Ｘ，Ｙ，Ｚを求め、前述の色順応変換マトリックスを使ってＮＴＳＣの基準光源のＣ光源でのそれぞれの色の見え方に対応した対応色の測色的刺激値Ｘｃ，Ｙｃ，Ｚｃを求める。これらの値にＮＴＳＣのＲＧＢ表色系への変換マトリックスをかけることにより、各色の基準となるＲＧＢ信号の値、ｒ，ｇ，ｂを求める。
【００７４】
次に、照明光で白バランスを取った状態でそれらの被写体を撮影した時のＲＧＢ各色の値を撮像装置の分光特性から求め、それに前述の補正マトリックスＣを白バランスを崩さないという拘束条件の下にかけた値Ｒ′，Ｇ′，Ｂ′と、それぞれの色での基準色ｒ，ｇ，ｂとの誤差の平均が最小になるように補正マトリックスＣの係数を線形回帰で求める。
【００７５】
このような方法で求めた補正係数で補正した場合と、補正しない場合のＡ光源を照明として撮影した時の各種被写体の色に対する色差の改善の例を図５の（ａ），（ｂ）に示す。横軸であるＸ軸は被写体の番号を示す便宜上のものである。図５（ａ）は補正前のＲＧＢ表色系の値から補正マトリックスＣをかけないで直接各色の値からＣＩＥのＬａｂ表色系に変換し、色差を求めたものである。また、図５（ｂ）は、補正マトリックスＣをかけて後にＬａｂ表色系に変換して色差を求めたものである。これらの図から、本発明により、色差が改善されていることが明瞭に理解できる。
【００７６】
このようにして各種光源で求めた補正係数の結果を図６の（ａ），（ｂ），（ｃ）に示す。横軸であるＸ軸は光源の色温度である。図６（ａ）は赤信号の補正係数で、白バランスを崩さない拘束条件の下で、前述のように（Ｇ−Ｒ）と（Ｇ−Ｂ）の係数として補正量を表したものである。同様にして、図６（ｂ）は緑信号、図６（ｃ）は青信号の補正係数である。
【００７７】
ここで、緑信号に対する（Ｇ−Ｒ）の係数や青信号に対する（Ｇ−Ｂ）の係数のように値自体も小さく、変化も小さい係数がある。これらについては、適切な分光特性のカラーフィルタを使用した場合は、このように色温度の違う照明でも色差信号の補正量がほとんどゼロとしても影響は少ない。この場合、補正信号のパラメータをさらに削減することができる。
【００７８】
以上のようにして各種光源で求めた補正係数を、図２の補正テーブルメモリ３２に持つことにより、良好な色再現補正ができる。
【００７９】
【発明の効果】
したがって、本発明によれば、簡単な装置構成により、人の目の色順応を考慮し色再現を最適化できるので、撮影時に見た色と近似した色が表示装置に再現できる。
【００８０】
また、補正に色差信号を使っているので補正係数が削減できるばかりでなく、装置も簡略になり、装置規模を削減できる。さらに、適当な分光特性を撮像装置に適用することにより、係数の一部が小さくなり実質的な係数の削減ができる。
【００８１】
さらに、白バランス処理を行なった後に補正処理を行なうことにより、装置構成を簡略化し、より的確な色再現の補正が可能になる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わる撮像装置の概略の構成を示すブロック図である。
【図２】本発明の他の実施形態に係わる撮像装置の概略の構成を示すブロック図である。
【図３】図２の装置で使用した撮像素子のフィルタ配列の例を示す説明図である。
【図４】図２の装置で使用した撮像素子の分光特性を示すグラフである。
【図５】色再現改善結果の例を示すグラフである。
【図６】各種光源での色再現マトリックス係数の例を示すグラフである。
【符号の説明】
１ レンズ光学系
２ｒ，２ｇ，２ｂ 各色の撮像素子
３，２３ 白バランス回路
５ 補正信号作成部
６ 色差信号作成回路
７ マトリックス回路
８ マトリックス係数設定回路
９ 補正テーブルメモリ
１１，３３ 信号処理回路
１２，２４ 白バランス設定制御回路
２２ 撮像素子
２５ 補正信号作成部
２７ 差信号作成回路
２８，２９ かけ算器
１０，３０，３５ 加算器
３１ マトリックス係数発生回路
３２ 補正テーブルメモリ
【発明の属する技術分野】
本発明は、撮像装置の色再現補正装置および方法に関し、例えばテレビジョンカメラなどのカラー画像撮像装置によって撮像した被写体の画像が、被写体照明用の光源が異なっても撮影者が見た通りの色で表示装置で的確に再現できるようにする技術に関する。
【０００２】
【従来の技術】
一般に人の目は照明の種類によらず、物体表面の白いものは白く見える性質がある。この様な、目の性質は色順応と呼ばれている。テレビジョンカメラ等のカラー画像撮像装置では目のこの性質を反映させるため、照明によらず、白いものを撮影した場合に撮影用の３原色の信号出力が同じになるように調整されている。これを白バランス処理と呼ぶ。
【０００３】
しかしながら、撮影用の３原色は必ずしも人の目の特性と同じではない。また、実際に撮影した照明とその結果を表示する表示装置の基準白色の物理的特性が違っている。これらのことのため、撮影結果を表示装置で見た場合に、無彩色以外の色が実際の被写体とは違って見える場合があった。放送のように実際の撮影現場の色について視聴者が知識を持たない場合は人の記憶色にあっていれば問題は少ないが、印刷原稿など色自体が問題になる場合や、より臨場感を出した撮影が必要な場合には改善すべき問題であった。
【０００４】
放送用テレビジョンカメラなどのカラー画像の撮像装置の色再現の改善に関して、従来より、リニアマトリックス法が知られている。例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類の色信号を得る通常のテレビジョンカメラにおいては、それぞれを相互にミキシングするマトリックス回路を通して補正された赤、緑、青の信号を得てそれを信号処理することにより、テレビジョン用の映像信号を得ることが行われていた。
【０００５】
しかしながら、必ずしも、色再現補正のためのマトリックスの常数の決定の手法は確立されたものでなく、試行錯誤的に見た目できれいなように選ばれており、被写体の照明光源の変化に対して最良の結果を得るリニアマトリックス常数は得られていなかった。このため、実際には、リニアマトリックス回路は使用せず、放送技術者による撮影モニターの目視に基づき色相と色量を調整して色調を合わせることで済ましている場合がほとんどであった。
【０００６】
一方、家庭用のビデオカメラなどの機器では、例えば３種類の色のフィルタを画素毎に密着して乗せた１枚の撮像素子から映像信号を得る場合が多いが、撮像素子に乗せることのできるフィルタの分光特性には限りがあるので一般に色再現が悪くなっている。この場合の補正は、最も使用頻度の高い照明で撮影したときに、目の色識別感度の高い肌色付近の色調が良くなるように、色相と色量で調整するのが一般的であった。照明の光源が変化した場合には、見た目の白が白く撮像するようにＲＧＢの信号のレベルを合わせる白バランス処理のみで済ませていた。
【０００７】
【発明が解決しようとする課題】
また、上記各機器に共通する問題点は被写体が照明によってどの様な色に見えているかを再現しようと言うのではなく、できあがった画像が見た目にきれいかどうかを基準に色再現を選んでおり、実際の照明の臨場感等は無視された形になっている事である。それは、表示装置のテレビモニターの基準白の色は実際の被写体の照明光の白色とは必ずしも一致しないのでそのままでは見た目とは違ったものに表示されてしまうことを考慮して補正マトリックスを求める方法が確立されていなかったため、たとえば、白熱電灯の下で撮影されたのか、屋外の太陽光の下で撮影されたのかは無視された形で色再現を検討せざるを得なかったからである。
【０００８】
本発明の目的は、上記従来機器における問題点に鑑み、撮像装置の色再現補正装置と補正方法において、簡単な構成により被写体照明用の光源が違っても撮影者が見た色が表示装置で的確に再現できるように色再現補正マトリックスを決めて色再現補正ができるようにすることにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の態様では、被写体を撮影して複数の分光特性を持った色信号を得、これらを信号処理してカラー画像を得る撮像装置の色再現補正装置において、照明の光源の種類を推定する光源推定装置と、予め決めてある複数の光源のそれぞれに対して、各光源で照明した被写体の複数の色の目視による見え方と、その照明された被写体を前記撮像装置で撮影した出力信号を、前記照明に使用した光源の白色とは必ずしも一致しない光源を基準白色とする表示装置に表示した画像の前記被写体の複数の色のそれぞれに対応する色の目視による見え方がほぼ同等となるように、前記照明下の被写体の複数の色のそれぞれの均等色空間上の位置を目の順応効果を考慮して前記表示装置の基準光源白色での均等色空間上の対応するそれぞれの位置に変換した値と、前記被写体を撮影した前記撮像装置の色信号に補正マトリックス演算を施した出力信号を前記表示装置に表示した被写体の複数の色のそれぞれに対応した色の均等色空間上の位置との距離の絶対値の平均値が最小となるように、決定した補正マトリックス演算の常数を記憶する記憶装置と、撮影に当たって前記識別装置で識別した照明光源に対応する補正マトリックス常数を前記記憶装置から引き出して前記色信号に補正マトリックス演算を施す演算装置とを設ける。
【００１０】
人の目で見た色が表示装置でも再現されるためには、ある照明の下で被写体を見た色の目への刺激値を表示装置で再現した場合にそれと同じ色に見える色の目への刺激値に変換し、その値が撮像装置で撮像した被写体を表示装置で表示した色の目への刺激値と同じであればよい。このような刺激値の変換は、ある照明の下の色の見え方を他の照明の下で表したものと等価であるから、その変換に、人の目の色順応のモデルを適用することができる。したがって、前記複数の光源のそれぞれに対して、その光源による照明の下で見た被写体の複数の色の目視による見え方を測定し、これを表示装置の基準白色を表す光源の下での刺激値に変換し、基準刺激値を得る。そして、前記被写体を撮影した撮像装置の色信号に補正マトリックス演算を施し、後にその値から撮影された刺激値を求め、先に求めた基準刺激値と比較して誤差が最小となるように前記補正マトリックスの常数を決定し前記記憶装置に記憶する。そして、撮影に際しては前記光源推定装置で識別した照明光源に対応する補正マトリックス常数を前記記憶装置から引き出して前記色信号に補正マトリックス演算を施せば所望の色再現補正が行なわれ、最適の色再現が実現できる。
【００１１】
この場合、前記光源推定装置は前記複数の色信号に対し白バランス処理を施すための白バランス制御信号に基づき照明光源の種類を推定すると好都合である。
【００１２】
白バランス制御信号は、照明光源のスペクトル分布に応じて変化するから、この白バランス制御信号を用いて照明光源の種類を容易に推定することができ、かつまた装置構成も簡略化できる。
【００１３】
本発明の第２の態様では、被写体を撮影して複数の分光特性を持った色信号を得、これらを信号処理してカラー画像を得る撮像装置の色再現補正装置において、照明の光源の種類を推定する光源推定装置と、予め決めてある複数の光源のそれぞれに対して、各光源で照明した被写体の複数の色の目視による見え方と、その照明された被写体を前記撮像装置で撮影した出力信号を、前記照明に使用した光源の白色とは必ずしも一致しない光源を基準白色とする表示装置に表示した画像の前記被写体の複数の色のそれぞれに対応する色の目視による見え方がほぼ同等となるように、前記照明下の被写体の複数の色のそれぞれの均等色空間上の位置を目の順応効果を考慮して前記表示装置の基準光源白色での均等色空間上の対応するそれぞれの位置に変換した値と、前記被写体を撮影した前記撮像装置の色信号に補正マトリックス演算を施した出力信号を前記表示装置に表示した被写体の複数の色のそれぞれに対応した色の均等色空間上の位置との距離の絶対値の平均値が最小となるように、決定した補正マトリックス演算の常数を記憶する記憶装置と、撮影に当たって前記光源推定装置で推定した照明光源に最も近似する補正マトリックス常数を前記記憶装置に記憶してある常数を基に演算して推定する常数推定装置と撮影に当たっては前記常数推定装置の出力常数を用いて、前記色信号に補正マトリックス演算を施す演算装置とを設ける。
【００１４】
前記補正マトリックスの常数は照明の種類に応じて変化する。したがって、全ての照明に対して補正マトリックスの常数を用意するのは実際的ではない。したがって、幾つかの予め決めてある複数の光源に対して補正マトリックスの常数を決定し前記記憶装置に記憶させておく。そして、前記常数推定装置によって、照明光源に最も近似する補正マトリックス常数を前記記憶装置に記憶してある常数の値から補間して求めればよい。これによって、装置構成を簡単にし、効率的に的確な色再現補正を行なう事が可能になる。
【００１５】
この場合も、前記光源推定装置は前記複数の色信号に対し白バランス処理を施すための白バランス制御信号に基づき照明光源の種類を推定すると好都合である。
【００１６】
白バランス制御信号は照明光源の種類に応じて異なるスペクトル分布を有する。したがって、白バランス制御信号から照明光源の種類を的確かつ用意に推定することができ、かつ装置構成も簡略化できる。
【００１７】
また、前記補正マトリックス演算は補正演算後の複数の出力信号それぞれが前記複数の色信号の１つの色信号と、前記複数の色信号間の複数の差信号のそれぞれに常数を乗算したものとの和として表すことができる。
【００１８】
撮影した複数の色信号に白バランス処理を施して得た信号に補正マトリックス演算を行なうことにより、白い物は補正後も白く写るはずであり、補正後も白バランスが変化しないという拘束条件をつけることができる。したがって、補正マトリックスの行方向の係数の和は１とすることができる。したがって、例えば（Ｇ−Ｒ）と（Ｇ−Ｂ）のような色差信号に補正マトリックス演算を施して得たものと補正前の色信号との和により補正演算後の出力を得る事ができる。これによって、色再現補正のための変数が低減され、装置構成および処理が簡略化される。
【００１９】
さらに、前記複数の分光特性を持った色信号は被写体照明が変化しても、前記各色信号の補正マトリックスの複数の色信号間の差信号にかかる常数の変化ができるだけ少ないように選ぶよう構成してもよい。
【００２０】
例えば適切な分光特性のカラーフィルタを使用することにより、色温度の違う照明でも色差信号の補正量がほとんどゼロとしても影響の小さいものがある。このような場合には、補正マトリックスの変数の数をさらに低減することができる。
【００２１】
また、前記演算装置は、前記複数の色信号に対し白バランス処理を施して得られた複数の色信号に補正マトリックス演算を施すと好都合である。
【００２２】
白バランス処理を施して得られた複数の色信号に対し補正マトリックス演算を行なうことにより、補正信号の変数の数を低減し、装置構成および処理を簡略化することができる。
【００２３】
本発明の第３の態様では、被写体を撮影して複数の分光特性を持った色信号を得、これらを信号処理してカラー画像を得る撮像装置の色再現補正方法において、ある光源で照明した被写体の色の目視による見え方と、その照明された被写体を前記撮像装置で撮影した出力信号を、前記照明に使用した光源の白色とは必ずしも一致しない光源を基準白色とする表示装置に表示した画像の色の目視による見え方がほぼ同等となるように、前記照明下の被写体の色の均等色空間上の位置を目の順応効果を考慮して前記表示装置の基準光源白色での均等色空間上の位置に変換した値と、前記被写体を撮影した前記撮像装置の色信号に補正マトリックス演算を施した出力信号を前記表示装置に表示した色の均等色空間上の位置が近似できるように、前記補正マトリックス演算の常数値を決定する。
【００２４】
前記第１の態様に関して述べたのと同様に、このような方法によって簡単な処理で的確な補正マトリックス演算の常数値が決定出来る。
【００２５】
本発明の第４の態様では、被写体を撮影して複数の分光特性を持った色信号を得、これらを信号処理してカラー画像を得る撮像装置の色再現補正方法において、ある光源で照明した被写体の複数の色の目視による見え方と、その照明された被写体を前記撮像装置で撮影した出力信号を、前記照明に使用した光源の白色とは必ずしも一致しない光源を基準白色とする表示装置に表示した画像の前記被写体の複数の色のそれぞれに対応する色の目視による見え方がほぼ同等となるように、前記照明下の被写体の複数の色のそれぞれの均等色空間上の位置を目の順応効果を考慮して前記表示装置の基準光源白色での均等色空間上の対応するそれぞれの位置に変換した値と、前記被写体を撮影した前記撮像装置の色信号に補正マトリックス演算を施した出力信号を前記表示装置に表示した被写体の複数の色のそれぞれに対応した色の均等色空間上の位置との距離の絶対値の平均値が最小となるように、前記補正マトリックス演算の常数値を決定する。
【００２６】
この場合は被写体の複数の色に対して、前記距離の絶対値の平均値が最小となるように補正マトリックス演算の常数値が決定される。したがって、多くの色に対して色再現補正がより的確に行なわれ、より忠実な色再現が可能になる。
【００２７】
この場合、前記補正マトリックス演算は補正演算後の複数の出力信号それぞれが前記複数の色信号の１つの色信号と、前記複数の色信号間の複数の差信号のそれぞれに常数を乗算したものとの和として表されるよう構成することもできる。
【００２８】
この場合も、白バランス処理を行なった信号に補正マトリックス演算を行なうことにより、補正マトリックスの行方向の係数の和を１とすることができる。したがって、例えば２つの色差信号に補正マトリックス演算を施したものと補正前の色信号との和として補正出力を得ることができる。これにより、色再現補正のための変数が削減できる。
【００２９】
また、前記複数の分光特性を持った色信号は被写体照明が変化しても、前記各色信号の補正マトリックスの複数の色信号間の差信号にかかる常数の変化ができるだけ少ないように選ぶと好都合である。
【００３０】
適切な分光特性のカラーフィルタを使用することで、このように各色信号の補正マトリックスの複数の色信号間の差信号にかかる常数の変化を少なくすることにより、補正信号の変数をさらに削減することが可能になる。
【００３１】
【発明の実施の形態】
具体的な説明に先立ち、まず本発明に係わる装置および方法において使用される手法を原理的に説明する。
【００３２】
一般に見た目の色の違いを表現するのには、均等色空間上に色を表現し、そこでの２色の距離を定義して使用し、これを色差と言う。ある色の均等色空間上の位置はたとえばＣＩＥのＬ＊ｕ＊ｖ＊空間や実用的によく使われるＬ＊ａ＊ｂ＊での成分は物理的測色的刺激値ＸＹＺと、そのときの基準白色（一般的に照明色）の刺激値Ｘｎ、Ｙｎ、Ｚｎの成分の比から計算され、たとえばＬ＊ａ＊ｂ＊ではＸ／Ｘｎ、Ｙ／Ｙｎ、Ｚ／Ｚｎから規定された計算式で計算される。よって、基準白色の違う色については直接比較ができない。そのため、基準白色の違うある２色の比較にはその２つの色の見え方（基準白色の違う２つの均等色空間上の位置）のどちらかを他の基準白色での色の見え方（他の基準白色の均等色空間上の位置）に変換する必要がある。この変換された色を対応色と言う。この場合の変換は、基準白色の刺激値はわかっているので、刺激値ＸＹＺの変換として表せる。
【００３３】
人の目で見た色が表示装置でも再現されるためには、ある照明の下で被写体を見た色の目への刺激値を基準色の違う表示装置で再現した場合にそれと同じ色に見える色の目への刺激値に変換し、つまり、対応色を求め、それが撮像装置で撮像した被写体を表示装置で表示した色の目への刺激値と同じであればよい。そのときは、その照明の下で直接見た被写体の色と、撮像装置で撮影して表示装置で表示した被写体の色を見たものは同じに見えるはずである。
【００３４】
この刺激値の変換は、ある照明の下の色の見え方を他の照明の下での見え方で表したものと等価であるから、その変換に、人の目の色順応のモデルを適用することができる。
【００３５】
ある照明の下で見た被写体の人の目への刺激値を測定し、それを表示装置の基準白色を表す光源の下での刺激値に変換し、これを基準刺激値とする。この被写体を撮影して補正マトリックス処理を施し、後にその値から撮影された刺激値を求めて先に求めた基準刺激値と比較して誤差が最小となるように補正マトリックスの係数を決めれば、この照明で、この被写体で色再現が最適となったことになる。
【００３６】
この関係を式で表すと以下の数式１のようになる。
【数１】
【００３７】
色順応マトリックスＨはフォン・クリースモデルに従うと以下のように導出できる。
【００３８】
Ｓ１，Ｓ２，Ｓ３をある照明である被写体を見たときの網膜の錘体への刺激値とする。そのときの測色的刺激値ＸＹＺとＳ１，Ｓ２，Ｓ３とは変換マトリックスＭで以下の数式２のような関係がある。
【数２】
なお、前記測色的刺激値ＸＹＺは次の関係を有する。
【数３】
人の目が光源の色に色順応した時の錘体の応答をＳ′１，Ｓ′２，Ｓ′３とし、Ｓｗ１，Ｓｗ２，Ｓｗ３をこの光源白色の刺激値とすると、Ｓ′ｉ（ｉ＝１〜３）は次の数式４のように表せる。
【数４】
そこでこの被写体を表示装置で表示して、この被写体を見たときの錘体の刺激値と応答値をＳｃｉ，Ｓｃ′ｉ（ｉ＝１〜３）とし、表示装置の基準白色の錘体への刺激値をＳｗｃｉ（ｉ＝１〜３）とする。Ｓ′ｉ＝Ｓｃ′ｉ（ｉ＝１〜３）であれば、同じ色に見えていると言えるので、以下の数式５の関係がある。
【数５】
数式５を行列式で書き換えると次のようになる。
【数６】
数式６に前記数式２を代入すると次のようになる。
【数７】
【００４４】
これは数式１の左辺に他ならない。したがって、数式７を書き換えると次の数式が得られる。
【数８】
数式１と数式８とを比較し、かつ数式３の関係を考慮すると前記数式１のＨは次のようになる。
【数９】
すなわち、色順応マトリックスＨは数式９のように光源の錘体への刺激値とＳｗｉ，Ｓｗｃｉと測色的刺激値ＸＹＺからの変換マトリックスＭを使って表せる。そして、Ｓｗｉ，Ｓｗｃｉも数式２から光源の測色的な刺激値が分かれば計算できるので色順応マトリックスＨも計算できる。
【００４７】
一方、数式１から与えられたＲ，Ｇ，Ｂとｒ，ｇ，ｂからのＣの要素を求めれば補正マトリックスが求まる。Ｃは３行×３列のマトリックスなので、このまま拘束条件を何もつけなければ、最低３色の値が分かれば一義的に決められる。
【００４８】
しかし、これらの点で最適であっても、すべての色について最適とは限らないので、できるだけたくさんの色の誤差の平均が最小になるように補正マトリックスＣを決めればこの光源については最適化されたことになる。これは、線形回帰の問題なのでその公式に添って計算できる。
【００４９】
実際は照明の変化に対して最適な補正マトリックスＣは変化すると考えられるが、すべての照明に対しての関数として補正マトリックスを用意するのは原理的には可能でも実際的ではない。そこで、いくつかの代表的な光源に対して補正マトリックスを求めておき、光源の推定装置の出力、例えばテレビジョンカメラの白バランス制御信号をつかって、照明光源に近い複数の光源でテーブルにある補正マトリックスの値から補間してその光源の補正マトリックスＣを求めるようにすれば、効率的である。
【００５０】
さらに、撮影した複数の色信号の、例えば、赤、緑、青の３色の信号の、白バランスをとった信号に補正マトリックス演算をすることにすれば、白いものは補正後も白く写るはずなので白バランスが変化しないという拘束条件をつけてかまわない。そうすると、補正マトリックスＣの行方向の係数の和は１であるとすることができる。色補正をかける前の色信号をＲ，Ｇ，Ｂとし、補正後の信号をＲ′，Ｇ′，Ｂ′とすると、Ｒ′，Ｇ′，Ｂ′は数式１０のように書ける。
【数１０】
したがって、（Ｇ−Ｒ）と（Ｇ−Ｂ）を変数とする３行×２列のマトリックス演算による補正信号をそれぞれの信号に加算することにより補正が実現できる。つまり、このような拘束条件を設けることにより、９個あった色再現補正の変数が６個に削減されたことになる。
【００５２】
次に、本発明の具体的な実施形態につき説明する。図１は、本発明を３板カラーテレビジョンカメラに適用した本発明の一実施形態に係わる撮像装置の概略の構成を示す。同図の装置は、レンズプリズム光学系１と、ＲＧＢ３色のうちの赤色の撮像素子２ｒと、緑色の撮像素子２ｇと、青色の撮像素子２ｂと、ホワイトバランス回路３と、タイミングパルス発生器４と、補正信号作成部５と、信号処理回路１１と、白バランス設定制御回路１２とを備えている。補正信号作成部５は色差信号作成回路６と、マトリックス回路７と、係数設定回路８と、補正係数テーブルメモリ９と、ＲＧＢ各色のための３つの加算器を含む加算器ブロック１０とを備えている。
【００５３】
レンズプリズム光学系１は、図示しない被写体からの画像光をＲＧＢ３色それぞれの撮像素子２ｒ，２ｇ，２ｂに導くためのものである。各撮像素子２ｒ，２ｇ，２ｂは、例えば、それぞれＣＣＤ撮像素子その他で構成される。ホワイトバランス回路３は、被写体として白い紙または白色光源を撮影した時に赤色の信号出力Ｒと青色の信号出力Ｂの値が共に緑色の信号出力Ｇの値に等しくなるように各色のゲイン補正を行なうものである。このゲイン補正のための制御信号は白バランス設定制御回路１２で生成されたＷｒ，Ｗｂであって、この制御信号Ｗｒ，Ｗｂの値にもとづきそれぞれ、Ｒ，Ｂの信号のゲインが調整されるようになっている。なお、図１の白バランス設定回路１２では通常手動（マニュアル）で白バランスの調整が行なわれるが、自動的に白バランスの調整を行なうよう構成してもよい。
【００５４】
また、タイミングパルス発生器４は、各撮像素子２ｒ，２ｇ，２ｂにドライブ制御信号を供給し、信号処理回路１１に同期パルスを供給するなど、各回路に必要なタイミングおよび制御パルスを提供するものである。
【００５５】
補正信号作成部５において、色差信号作成回路６はホワイトバランス回路３から入力されたＲＧＢ各色の信号から色差信号（Ｇ−Ｒ）信号および（Ｇ−Ｂ）信号を作成するものである。マトリックス回路７は、これらの色差信号（Ｇ−Ｒ），（Ｇ−Ｂ）に対し係数設定回路８からの係数値とマトリックス演算して各色の補正信号を得るものである。すなわち、マトリックス回路７は、前記数式１０の右辺第１項の補正項を生成するものである。補正係数テーブルメモリ９は、予め複数の照明光源に対応して求められたマトリックス常数のテーブルを記憶するもので、ＲＯＭなどで構成される。
【００５６】
係数設定回路８は、前記白バランス制御信号Ｗｒ，Ｗｂの値を受けて、照明光源の種類を推定し、補正係数テーブルメモリ９から必要なマトリックス常数のデータを読み出し、マトリックス演算のための係数を求めるものである。
【００５７】
したがって、マトリックス回路７は、前記色差信号（Ｇ−Ｒ），（Ｇ−Ｂ）に対し係数設定回路８からの係数値によりマトリックス演算を行ない各色の補正信号を求める。また、加算器ブロック１０は、マトリックス回路７からの各色の補正信号と白バランス３からの元の各色の信号とを加算して補正された３色のＲ′，Ｇ′，Ｂ′信号を作成し、信号処理回路１１に入力するものである。信号処理回路１１は、これらの補正信号Ｒ′，Ｇ′，Ｂ′に対し所定の信号処理を施し、例えば標準テレビジョン信号を生成して出力するものである。
【００５８】
図１の撮像装置では、各色の撮像素子２ｒ，２ｇ，２ｂで得られた映像信号は、白バランス回路３で白を撮影した時に各色の信号値が互いに等しくなるようにゲイン補正される。そして、前述のように、色差信号作成回路６、マトリックス回路７、係数設定回路８および補正係数テーブルメモリによって各色の補正信号が求められる。これら各色の補正信号は加算器ブロック１０で、白バランス回路３から出力される元の白バランス補正された色信号Ｒ，Ｇ，Ｂと加算されて、前記数式６で示される３色の補正された色信号Ｒ′，Ｇ′，Ｂ′が求められる。すなわち、白バランス補正後の各色信号を使用して色再現補正を行なうことにより、簡単な回路構成で的確な補正処理を行なうことが可能になる。
【００５９】
図２は、本発明の第２の実施形態に係わる撮像装置の概略の構成を示し、単板カラーカメラに適用した例を示す。また、図３は、図２の撮像装置において使用される撮像素子２２の例を示し、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のフィルタを各画素に対応して配置した様子を示す。なお、図３は図示の簡略化のため、４×４＝１６画素の構成で示しているが、本発明はこのような構成に限定されるものではない。実際には、さらに多数の画素が使用され、必要な画素数にわたり図３に示されるようなフィルタ配列が繰り返される。図３の撮像素子では、画素の走査は左上の画素から順次水平右方向に１行ずつ走査される。したがって、この時の信号は図３の例では、ＧＲＧＢ、ＧＢＧＲ、ＧＲＧＢ、ＧＢＧＲ、のような順序で順次出力される。
【００６０】
図２に戻ると、同図の撮像装置は、レンズ光学系２１と、前記撮像素子２２と、白バランス回路２３と、白バランス設定制御回路２４と、補正信号作成部２５と、信号処理回路３３と、遅延回路３４と、加算回路３５と、タイミングパルス発生器３６などによって構成される。
【００６１】
また、補正信号作成部２５は、色分離回路２６と、色差信号作成回路２７と、かけ算器２８，２９と、加算器３０と、補正マトリックス係数発生回路３１と、色補正信号テーブルメモリ３２などを備えている。
【００６２】
図２の撮像装置においては、レンズ光学系２１を通った図示しない被写体からの画像光は、前述の色フィルタを備えた撮像素子２２に入力され、各色の時系列的な映像信号が生成される。このような映像信号は白バランス回路２３に入力され、時系列的に入力されるＲ，Ｇ，Ｂの各色信号をそれぞれの色にしたがって増幅率を調整して白バランスを取る。この増幅率の調整のための制御信号はＲ，Ｂに対してそれぞれＷｒ，Ｗｂであり、Ｇ信号については固定である。
【００６３】
白バランス設定制御回路２４は光源の白バランスを計測し、光源の種類に対応する制御信号Ｗｒ，Ｗｂを出力する。白バランス設定制御回路は通常このような動作を自動的に行なうよう構成されるが、白バランスの調整を手動で行なうことによって制御信号Ｗｒ，Ｗｂを出力するよう構成することもできる。
【００６４】
補正信号作成部２５においては、色分離回路２６で前記白バランス回路２３から時系列的に供給される映像信号を各色ごとに分離して各色の信号Ｒ，Ｇ，Ｂが得られる。信号作成回路２７は、これらの色信号Ｒ，Ｇ，Ｂから２つの色差信号（Ｇ−Ｒ）信号および（Ｇ−Ｂ）信号を作成する。
【００６５】
これら色差信号（Ｇ−Ｒ）および（Ｇ−Ｂ）に対しそれぞれのかけ算器２８，２９で、補正マトリックス係数発生回路３１から供給されるマトリックス係数をかけ算し、加算器３０で加算する事により、元の信号の色に対応した補正信号を得る。
【００６６】
補正マトリックス係数発生回路３１においては、前記白バランス制御信号Ｗｒ，Ｗｂを受け入れ、その値から推定される光源に近似する１つもしくは複数の光源に対応する補正量を色補正信号テ−ブルメモリ３２から読み出し、それらを演算して最適な補正係数を決定する。そして、色分離回路２６からの制御信号を受けて元の時系列で出力される信号の色に対応した補正係数を発生し、かけ算器２８，２９に供給する。
【００６７】
このように、白バランス補正後の信号に対し処理を行なう構成とすることにより、そのままでは６個必要なかけ算器と足し算器がそれぞれ２個ずつに削減できる。
【００６８】
補正信号作成部２５の出力の補正信号は加算器３５に供給され、遅延回路３４によって遅延時間を揃えた元の信号と加算されて、補正された時系列的なＲ′，Ｇ′，Ｂ′の信号列を得る。この信号列はよく知られた単板撮像装置の信号処理回路３３で処理されて例えば標準テレビジョン信号などの必要な映像信号が生成され出力される。
【００６９】
なお、特許請求の範囲に記載された各構成要件、特に独立請求項１および３における各装置および回路と図１および図２に示される実施形態の装置との対応関係は次のようになる。
【００７０】
請求項１に関しては、推定装置は図１の構成における白バランス設定制御回路１２および係数設定回路８を合わせたものに対応し、図２の構成では白バランス設定制御回路２４と補正マトリックス係数発生回路３１とを合わせたものに対応する。また、記憶装置は、図１の構成では係数設定回路８およびＲＯＭ９を合わせたものに対応し、図２の構成では補正マトリックス係数発生回路３１とＲＯＭ３２とを合わせたものに対応する。さらに、演算装置は、図１の構成ではマトリックス回路７および加算器１０を合わせたものに対応し、図２の構成では差信号発生回路２７とかけ算器２８，２９と加算器３０，３５を合わせたものに対応する。
【００７１】
次に、請求項３に関しては、光源推定装置は図２の白バランス設定制御回路と補正マトリックス係数発生回路３１とを合わせたものに対応する。また、記憶装置は図２の補正マトリックス係数発生回路３１とＲＯＭ３２とを合わせたものに対応する。さらに、常数推定装置は図２の補正マトリックス係数発生回路３１に対応する。さらに、演算装置は図２の差信号発生回路３１とかけ算器２８，２９と加算器３０，３５とを合わせたものに対応する。
【００７２】
【実施例】
図４は、図２の撮像装置に使用された撮像素子のＲＧＢ各色の分光感度の例である。この分光感度は標準的な撮影レンズの分光特性を加味したものである。このような撮像素子を含む撮像装置で撮影してＮＴＳＣの理想受像器に表示する場合の撮像装置に本発明を適用して補正マトリックスを求める例を以下に示す。
【００７３】
分光反射率（透過率）の分かっている十分多数の被写体を用意し、分光放射率の分かっている光源照明の下での測色的な刺激値、Ｘ，Ｙ，Ｚを求め、前述の色順応変換マトリックスを使ってＮＴＳＣの基準光源のＣ光源でのそれぞれの色の見え方に対応した対応色の測色的刺激値Ｘｃ，Ｙｃ，Ｚｃを求める。これらの値にＮＴＳＣのＲＧＢ表色系への変換マトリックスをかけることにより、各色の基準となるＲＧＢ信号の値、ｒ，ｇ，ｂを求める。
【００７４】
次に、照明光で白バランスを取った状態でそれらの被写体を撮影した時のＲＧＢ各色の値を撮像装置の分光特性から求め、それに前述の補正マトリックスＣを白バランスを崩さないという拘束条件の下にかけた値Ｒ′，Ｇ′，Ｂ′と、それぞれの色での基準色ｒ，ｇ，ｂとの誤差の平均が最小になるように補正マトリックスＣの係数を線形回帰で求める。
【００７５】
このような方法で求めた補正係数で補正した場合と、補正しない場合のＡ光源を照明として撮影した時の各種被写体の色に対する色差の改善の例を図５の（ａ），（ｂ）に示す。横軸であるＸ軸は被写体の番号を示す便宜上のものである。図５（ａ）は補正前のＲＧＢ表色系の値から補正マトリックスＣをかけないで直接各色の値からＣＩＥのＬａｂ表色系に変換し、色差を求めたものである。また、図５（ｂ）は、補正マトリックスＣをかけて後にＬａｂ表色系に変換して色差を求めたものである。これらの図から、本発明により、色差が改善されていることが明瞭に理解できる。
【００７６】
このようにして各種光源で求めた補正係数の結果を図６の（ａ），（ｂ），（ｃ）に示す。横軸であるＸ軸は光源の色温度である。図６（ａ）は赤信号の補正係数で、白バランスを崩さない拘束条件の下で、前述のように（Ｇ−Ｒ）と（Ｇ−Ｂ）の係数として補正量を表したものである。同様にして、図６（ｂ）は緑信号、図６（ｃ）は青信号の補正係数である。
【００７７】
ここで、緑信号に対する（Ｇ−Ｒ）の係数や青信号に対する（Ｇ−Ｂ）の係数のように値自体も小さく、変化も小さい係数がある。これらについては、適切な分光特性のカラーフィルタを使用した場合は、このように色温度の違う照明でも色差信号の補正量がほとんどゼロとしても影響は少ない。この場合、補正信号のパラメータをさらに削減することができる。
【００７８】
以上のようにして各種光源で求めた補正係数を、図２の補正テーブルメモリ３２に持つことにより、良好な色再現補正ができる。
【００７９】
【発明の効果】
したがって、本発明によれば、簡単な装置構成により、人の目の色順応を考慮し色再現を最適化できるので、撮影時に見た色と近似した色が表示装置に再現できる。
【００８０】
また、補正に色差信号を使っているので補正係数が削減できるばかりでなく、装置も簡略になり、装置規模を削減できる。さらに、適当な分光特性を撮像装置に適用することにより、係数の一部が小さくなり実質的な係数の削減ができる。
【００８１】
さらに、白バランス処理を行なった後に補正処理を行なうことにより、装置構成を簡略化し、より的確な色再現の補正が可能になる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わる撮像装置の概略の構成を示すブロック図である。
【図２】本発明の他の実施形態に係わる撮像装置の概略の構成を示すブロック図である。
【図３】図２の装置で使用した撮像素子のフィルタ配列の例を示す説明図である。
【図４】図２の装置で使用した撮像素子の分光特性を示すグラフである。
【図５】色再現改善結果の例を示すグラフである。
【図６】各種光源での色再現マトリックス係数の例を示すグラフである。
【符号の説明】
１ レンズ光学系
２ｒ，２ｇ，２ｂ 各色の撮像素子
３，２３ 白バランス回路
５ 補正信号作成部
６ 色差信号作成回路
７ マトリックス回路
８ マトリックス係数設定回路
９ 補正テーブルメモリ
１１，３３ 信号処理回路
１２，２４ 白バランス設定制御回路
２２ 撮像素子
２５ 補正信号作成部
２７ 差信号作成回路
２８，２９ かけ算器
１０，３０，３５ 加算器
３１ マトリックス係数発生回路
３２ 補正テーブルメモリ
Claims (10)
- 被写体を撮影して複数の分光特性を持った色信号を得、これらを信号処理してカラー画像を得る撮像装置の色再現補正装置であって、
照明の光源の種類を推定する光源推定装置と、
予め決めてある複数の光源のそれぞれに対して、各光源で照明した被写体の複数の色の目視による見え方と、その照明された被写体を前記撮像装置で撮影した出力信号を、前記照明に使用した光源の白色とは必ずしも一致しない光源を基準白色とする表示装置に表示した画像の前記被写体の複数の色のそれぞれに対応する色の目視による見え方がほぼ同等となるように、前記照明下の被写体の複数の色のそれぞれの均等色空間上の位置を目の順応効果を考慮して前記表示装置の基準光源白色での均等色空間上の対応するそれぞれの位置に変換した値と、前記被写体を撮影した前記撮像装置の色信号に補正マトリックス演算を施した出力信号を前記表示装置に表示した被写体の複数の色のそれぞれに対応した色の均等色空間上の位置との距離の絶対値の平均値が最小となるように、決定した補正マトリックス演算の常数を記憶する記憶装置と、
撮影に当たって前記光源推定装置で推定した照明光源に対応する補正マトリックス常数を前記記憶装置から引き出して前記色信号に補正マトリックス演算を施す演算装置と、
を具備することを特徴とする撮像装置の色再現補正装置。 - 前記光源推定装置は前記複数の色信号に対し白バランス処理を施すための白バランス制御信号に基づき照明光源の種類を推定することを特徴とする請求項１に記載の撮像装置の色再現補正装置。
- 被写体を撮影して複数の分光特性を持った色信号を得、これらを信号処理してカラー画像を得る撮像装置の色再現補正装置であって、
照明の光源の種類を推定する光源推定装置と、
予め決めてある複数の光源のそれぞれに対して、各光源で照明した被写体の複数の色の目視による見え方と、その照明された被写体を前記撮像装置で撮影した出力信号を、前記照明に使用した光源の白色とは必ずしも一致しない光源を基準白色とする表示装置に表示した画像の前記被写体の複数の色のそれぞれに対応する色の目視による見え方がほぼ同等となるように、前記照明下の被写体の複数の色のそれぞれの均等色空間上の位置を目の順応効果を考慮して前記表示装置の基準光源白色での均等色空間上の対応するそれぞれの位置に変換した値と、前記被写体を撮影した前記撮像装置の色信号に補正マトリックス演算を施した出力信号を前記表示装置に表示した被写体の複数の色のそれぞれに対応した色の均等色空間上の位置との距離の絶対値の平均値が最小となるように、決定した補正マトリックス演算の常数を記憶する記憶装置と、
撮影に当たって前記光源推定装置で推定した照明光源に最も近似する補正マトリックス常数を前記記憶装置に記憶してある常数を基に演算して推定する常数推定装置と、
撮影に当たっては前記常数推定装置の出力常数を用いて、前記色信号に補正マトリックス演算を施す演算装置と、
を具備することを特徴とする撮像装置の色再現補正装置。 - 前記光源推定装置は前記複数の色信号に対し白バランス処理を施すための白バランス制御信号に基づき照明光源の種類を推定することを特徴とする請求項３に記載の撮像装置の色再現補正装置。
- 前記補正マトリックス演算は補正演算後の複数の出力信号それぞれが前記複数の色信号の１つの色信号と、前記複数の色信号間の複数の差信号のそれぞれに常数を乗算したものとの和として表されることを特徴とする請求項１または２に記載の撮像装置の色再現補正装置。
- 前記複数の分光特性を持った色信号は被写体照明が変化しても、前記各色信号の補正マトリックスの複数の色信号間の差信号にかかる常数の変化ができるだけ少ないように選ばれたことを特徴とする請求項３に記載の撮像装置の色再現補正装置。
- 前記演算装置は、前記複数の色信号に対し白バランス処理を施して得られた複数の色信号に補正マトリックス演算を施すことを特徴とする請求項１〜６のいずれか１項に記載の撮像装置の色再現補正装置。
- 被写体を撮影して複数の分光特性を持った色信号を得、これらを信号処理してカラー画像を得る撮像装置の色再現補正方法であって、
ある光源で照明した被写体の複数の色の目視による見え方と、その照明された被写体を前記撮像装置で撮影した出力信号を、前記照明に使用した光源の白色とは必ずしも一致しない光源を基準白色とする表示装置に表示した画像の前記被写体の複数の色のそれぞれに対応する色の目視による見え方がほぼ同等となるように、
前記照明下の被写体の複数の色のそれぞれの均等色空間上の位置を目の順応効果を考慮して前記表示装置の基準光源白色での均等色空間上の対応するそれぞれの位置に変換した値と、前記被写体を撮影した前記撮像装置の色信号に補正マトリックス演算を施した出力信号を前記表示装置に表示した被写体の複数の色のそれぞれに対応した色の均等色空間上の位置との距離の絶対値の平均値が最小となるように、前記補正マトリックス演算の常数値を決定したことを特徴とする撮像装置の色再現補正方法。 - 前記補正マトリックス演算は補正演算後の複数の出力信号それぞれが前記複数の色信号の１つの色信号と、前記複数の色信号間の複数の差信号のそれぞれに常数を乗算したものとの和として表されることを特徴とする請求項５または６に記載の撮像装置の色再現補正方法。
- 前記複数の分光特性を持った色信号は被写体照明が変化しても、前記各色信号の補正マトリックスの複数の色信号間の差信号にかかる常数の変化ができるだけ少ないように選ばれたことを特徴とする請求項７に記載の撮像装置の色再現補正方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35791796A JP3624604B2 (ja) | 1996-12-28 | 1996-12-28 | 撮像装置の色再現補正装置および補正方法 |
| US08/998,027 US6459449B1 (en) | 1996-12-28 | 1997-12-24 | Color reproduction correction device and correction method for an imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35791796A JP3624604B2 (ja) | 1996-12-28 | 1996-12-28 | 撮像装置の色再現補正装置および補正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10191378A JPH10191378A (ja) | 1998-07-21 |
| JP3624604B2 true JP3624604B2 (ja) | 2005-03-02 |
Family
ID=18456607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35791796A Expired - Lifetime JP3624604B2 (ja) | 1996-12-28 | 1996-12-28 | 撮像装置の色再現補正装置および補正方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6459449B1 (ja) |
| JP (1) | JP3624604B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008124928A (ja) * | 2006-11-14 | 2008-05-29 | Toshiba Corp | オートホワイトバランスシステム |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6266328B1 (en) | 1996-08-26 | 2001-07-24 | Caritas Technologies, Inc. | Dial up telephone conferencing system controlled by an online computer network |
| JP3432414B2 (ja) * | 1998-04-20 | 2003-08-04 | 三菱電機株式会社 | 色変換装置および色変換方法 |
| US6205244B1 (en) * | 1998-06-23 | 2001-03-20 | Intel Corporation | Method for imager device color calibration utilizing light-emitting diodes or other spectral light sources |
| JP3847965B2 (ja) * | 1998-07-30 | 2006-11-22 | キヤノン株式会社 | 撮像装置 |
| KR100278642B1 (ko) * | 1998-10-22 | 2001-01-15 | 윤종용 | 칼라 영상 처리장치 및 방법 |
| JP3697997B2 (ja) * | 2000-02-18 | 2005-09-21 | ソニー株式会社 | 画像表示装置と階調補正データ作成方法 |
| US7173657B2 (en) * | 2000-03-24 | 2007-02-06 | Rochester Institute Of Technology | System and method for analyzing, optimizing and/or designing spectral sensitivity curves for an imaging device |
| US6876384B1 (en) * | 2000-04-19 | 2005-04-05 | Biomorphic Vlsi, Inc. | Pixel selective white balancing |
| US7020327B2 (en) * | 2000-05-09 | 2006-03-28 | Colorzip Media, Inc. | Machine readable code image and method of encoding and decoding the same |
| JP3904841B2 (ja) * | 2000-05-15 | 2007-04-11 | シャープ株式会社 | 液晶表示装置及びそれを用いた電子機器並びに液晶表示方法 |
| US6803956B1 (en) * | 2000-06-12 | 2004-10-12 | Pulnix America, Inc. | Color recognition camera |
| JP4534340B2 (ja) | 2000-10-31 | 2010-09-01 | ソニー株式会社 | 色再現補正装置 |
| EP1330926A2 (en) * | 2000-11-01 | 2003-07-30 | Koninklijke Philips Electronics N.V. | Processing of color signals in a color camera |
| US7084907B2 (en) * | 2001-01-15 | 2006-08-01 | Nikon Corporation | Image-capturing device |
| DE10108277A1 (de) | 2001-02-21 | 2002-08-29 | Franz Josef Gasmann | Aufnahmegerät, Verfahren zur Rekonstruktion einer Bildinformation und Verfahren zur Kalibrierung einer Bildinformation |
| US7184080B2 (en) * | 2001-06-25 | 2007-02-27 | Texas Instruments Incorporated | Automatic white balancing via illuminant scoring |
| JP3745655B2 (ja) * | 2001-07-27 | 2006-02-15 | シャープ株式会社 | 色信号補正回路、色信号補正装置、色信号補正方法、色信号補正プログラム、及び表示装置 |
| JP4565260B2 (ja) * | 2001-09-21 | 2010-10-20 | 株式会社ニコン | 信号処理装置 |
| US7053935B2 (en) * | 2002-02-21 | 2006-05-30 | Eastman Kodak Company | Apparatus and method for accurate electronic color capture and reproduction |
| JP3950715B2 (ja) * | 2002-03-05 | 2007-08-01 | 富士フイルム株式会社 | 固体撮像素子およびこれを用いた撮像装置 |
| US7463287B2 (en) * | 2002-07-29 | 2008-12-09 | Fujifilm Corporation | Solid-state image pick-up device and image pick-up apparatus capable of distinguishing a photographing light source type |
| JP3967690B2 (ja) * | 2003-03-25 | 2007-08-29 | 富士フイルム株式会社 | 撮像装置 |
| CN1323558C (zh) * | 2003-06-17 | 2007-06-27 | 明基电通股份有限公司 | 影像形成装置的色彩修正装置及方法 |
| JP4251317B2 (ja) | 2003-06-23 | 2009-04-08 | 株式会社ニコン | 撮像装置および画像処理プログラム |
| US8339462B2 (en) * | 2008-01-28 | 2012-12-25 | DigitalOptics Corporation Europe Limited | Methods and apparatuses for addressing chromatic abberations and purple fringing |
| JP4533156B2 (ja) * | 2004-02-02 | 2010-09-01 | キヤノン株式会社 | 調整回路及び方法 |
| GB2430105B (en) * | 2004-04-05 | 2009-09-23 | Mitsubishi Electric Corp | Imaging device |
| US7724949B2 (en) * | 2004-06-10 | 2010-05-25 | Qualcomm Incorporated | Advanced chroma enhancement |
| JP4501634B2 (ja) * | 2004-10-29 | 2010-07-14 | 富士フイルム株式会社 | マトリクス係数決定方法及び画像入力装置 |
| US7760253B2 (en) * | 2005-02-08 | 2010-07-20 | Hewlett-Packard Development Company, L.P. | Imaging device analysis methods, imaging device analysis systems, and articles of manufacture |
| JP4898578B2 (ja) * | 2007-07-03 | 2012-03-14 | オリンパス株式会社 | 画像処理システム、撮像システム、及び顕微鏡撮像システム |
| US7830429B1 (en) * | 2007-07-27 | 2010-11-09 | Hewlett-Packard Development Company, L.P. | Optimizing characterization values of image capture apparatus components |
| US8229215B2 (en) * | 2007-12-03 | 2012-07-24 | Omnivision Technologies, Inc. | Image sensor apparatus and method for scene illuminant estimation |
| US20090147098A1 (en) * | 2007-12-10 | 2009-06-11 | Omnivision Technologies, Inc. | Image sensor apparatus and method for color correction with an illuminant-dependent color correction matrix |
| US20100053448A1 (en) * | 2008-09-01 | 2010-03-04 | Naka Masafumi D | Systems and methods for picture enhancement |
| US8339471B2 (en) | 2009-12-31 | 2012-12-25 | DigitalOptics Corporation Europe Limited | Auto white balance algorithm using RGB product measure |
| JP6305049B2 (ja) * | 2013-12-18 | 2018-04-04 | キヤノン株式会社 | 画像処理装置、画像処理方法ならびにプログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5485201A (en) * | 1992-08-28 | 1996-01-16 | Asahi Kogaku Kogyo Kabushiki Kaisha | Fill-in light emitting apparatus and still video camera |
| JPH06165189A (ja) | 1992-11-25 | 1994-06-10 | Nikon Corp | ホワイトバランス調整装置 |
| KR0150056B1 (ko) | 1994-08-12 | 1998-12-01 | 이대원 | 색보정 기능을 가지는 카메라 |
| JP3540485B2 (ja) | 1995-04-13 | 2004-07-07 | 株式会社リコー | 電子スチルカメラ |
| US5805213A (en) | 1995-12-08 | 1998-09-08 | Eastman Kodak Company | Method and apparatus for color-correcting multi-channel signals of a digital camera |
| JP3755921B2 (ja) * | 1996-02-29 | 2006-03-15 | 株式会社コダックデジタルプロダクトセンター | 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置 |
-
1996
- 1996-12-28 JP JP35791796A patent/JP3624604B2/ja not_active Expired - Lifetime
-
1997
- 1997-12-24 US US08/998,027 patent/US6459449B1/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008124928A (ja) * | 2006-11-14 | 2008-05-29 | Toshiba Corp | オートホワイトバランスシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| US6459449B1 (en) | 2002-10-01 |
| JPH10191378A (ja) | 1998-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3624604B2 (ja) | 撮像装置の色再現補正装置および補正方法 | |
| EP0757473B1 (en) | Image processing apparatus and method | |
| US6961149B2 (en) | Color reproducing device | |
| US9264689B2 (en) | Systems and methods for color compensation in multi-view video | |
| JP4897593B2 (ja) | 複眼撮影装置及びその調節方法 | |
| EP1092323B1 (en) | Methods and apparatus for color device characterization | |
| JP3892648B2 (ja) | 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体 | |
| US6614471B1 (en) | Luminance correction for color scanning using a measured and derived luminance value | |
| US7636473B2 (en) | Image color adjustment | |
| JP3668014B2 (ja) | 画像処理方法及び装置 | |
| US20070110304A1 (en) | Projector color correcting method | |
| KR100513342B1 (ko) | 디지털 자동 화이트 밸런스 장치 | |
| JP2000102042A (ja) | 撮像装置の分光感度特性測定方法および撮像データ構成方法 | |
| JPH05276529A (ja) | 色温度またはホワイトバランスの調整方法及び装置 | |
| US8493463B2 (en) | Spectral characteristic correction apparatus, spectral characteristic correction method and recording medium on which spectral characteristic correction program is recorded | |
| US7701462B2 (en) | Simple and robust color saturation adjustment for digital images | |
| US8169475B2 (en) | Image processing system, imaging system, and microscope imaging system | |
| KR100595251B1 (ko) | 디스플레이 장치의 색재현 장치 및 방법 | |
| JP2007159141A5 (ja) | ||
| JP5782324B2 (ja) | 色補正装置および色補正処理方法 | |
| JP3943611B2 (ja) | 画像再生方法及び画像再生装置 | |
| EP2204980B1 (en) | Image processing system, imaging system, and microscope imaging system | |
| JP2014042138A (ja) | 画像処理装置、コンピュータプログラム、およびデジタルカメラ | |
| JP2005309985A (ja) | 画像処理装置およびその方法 | |
| JP3539883B2 (ja) | 画像処理方法および装置、記録媒体、撮像装置並びに画像再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040723 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040817 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041005 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041122 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 9 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |