JP2003087816A - ホワイトバランス調整装置、ホワイトバランス調整プログラム、ホワイトバランス調整方法およびディジタルカメラ - Google Patents

Abstract

(57)【要約】 【課題】 画像内に特定色の大きな部位があったり、分
光分布が特定色に偏った光源下での撮像画像であったり
すると、これらの特定色の影響によってホワイトバラン
ス調整が失敗するカラーフェリアが生じてしまう。 【解決手段】 画像の輝度成分を取得して帯域分割し、
所定の帯域内にある画像の色成分分布情報に基づいてホ
ワイトバランスを調整するためのホワイトバランス補正
係数を算出する。従って、画像内の特定色や特定色に偏
った光源に影響されることなくホワイトバランス調整を
実施可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ホワイトバランス
調整装置、ホワイトバランス調整プログラム、ホワイト
バランス調整方法およびディジタルカメラに関する。

【０００２】

【従来の技術】人間の目は色順応によって色成分を調整
しており、光源が変化しても白い物体を白と認識するこ
とができる。しかし、ディジタルカメラ等の画像機器に
おいてその撮像素子自体には色順応の機能が存在しない
ため、従来からオートホワイトバランスなどと呼ばれる
技術によって色のバランスを調整している。例えば、カ
ラー画像データがＲ（レッド），Ｇ（グリーン），Ｂ
（ブルー）の３成分から構成されるときに、３成分それ
ぞれの階調値を画像全体で積算し、それぞれの積算比率
がＲ：Ｇ：Ｂ＝１：１：１になるように、各色成分の階
調値に補正をかけている。

【０００３】

【発明が解決しようとする課題】上述した従来のディジ
タルカメラにおいては、被写体の色成分総てを加算する
と無彩色になると言う仮説に基づいて、画像全体の平均
的な色がグレーになるように補正をしているので、画像
内に特定色の大きな部位があったり、分光分布が特定色
に偏った光源下での撮像画像であったりすると、これら
の特定色の影響によってホワイトバランス調整が失敗す
るカラーフェリアが生じてしまう。本発明は、上記課題
にかんがみてなされたもので、画像内の特定色や特定色
に偏った光源に影響されることなくホワイトバランス調
整を実施可能なホワイトバランス調整装置、ホワイトバ
ランス調整プログラム、ホワイトバランス調整方法およ
びディジタルカメラの提供を目的とする。

【０００４】

【課題を解決するための手段】上記目的を達成するた
め、請求項１にかかる発明は、画像を複数部位から構成
される複数の参照領域に分割する画像分割手段と、同画
像分割手段によって分割された参照領域であって他の参
照領域と比較して領域内の色成分分布の偏りが少ない所
定領域についての色成分分布情報を取得する色成分分布
情報取得手段と、同取得した色成分分布情報に基づいて
上記画像の色成分を補正してホワイトバランスを制御す
るホワイトバランス制御手段とを具備する構成としてあ
る。上記のように構成した請求項１にかかる発明におい
ては、画像を複数部位から構成される複数の参照領域に
分割し、この参照領域のいずれか又は組み合わせについ
ての色成分分布情報を取得し、この色成分分布情報に基
づいて画像の色成分を補正してホワイトバランスを制御
する。ここで色成分分布情報取得手段は、他の参照領域
と比較して領域内の色成分分布の偏りが少ない領域につ
いて色成分分布情報を取得する。

【０００５】すなわち、色成分分布の偏りが少ない領域
の色成分に基づいてホワイトバランスを調整しており、
画像全体の色成分に基づいて全体のバランスを整えるわ
けではない。従って、画像に単色の大きな部位が存在し
てもこの部位を除外可能であり、この単色部位に大きな
影響を受けることが無くカラーフェリアを防止すること
ができる。ここで、色成分分布の偏りが少ない領域は、
他の参照領域と比較してのものであり、絶対的に色成分
の偏在が少ない領域すなわち、無彩色の領域を選択肢そ
の色成分分布情報を取得するというわけではない。ま
た、参照領域は連続した領域である必要はなく、画像全
体から抽出した複数部位から構成されていればよい。例
えば、画像全体からまんべんなく複数部位を抽出しても
良いし、輝度が所定範囲内にあるものを抽出しても良
く、種々の指標に基づいて抽出した部位にて参照領域を
構成可能である。所定の色としては、画像が３色の色成
分で構成されるとき、そのいずれかの色成分であっても
良いし、その組み合わせによって表現される所定の色で
あっても良い。

【０００６】また、請求項２にかかる発明は、画像が第
１色成分〜第３色成分で表現されるときに、基準となる
第１色成分に対して他の第２色成分および第３色成分が
画像内の他の領域と比較して比較的均等に分布している
領域の色成分分布情報を取得する色成分分布情報取得手
段と、同取得した色成分分布情報に基づいて上記画像の
色成分を補正してホワイトバランスを制御するホワイト
バランス制御手段とを具備する構成としてある。

【０００７】上記のように構成した請求項２にかかる発
明においては、画像が第１色成分〜第３色成分で表現さ
れており、ホワイトバランスの制御にあたり、第１色成
分を基準とする。そして、基準となる第１色成分に対し
て他の第２色成分および第３色成分が画像内の他の領域
と比較して比較的均等に分布している領域について色成
分分布情報を取得し、この領域の色成分分布情報に基づ
いて画像の色成分を補正する。

【０００８】すなわち、第２色成分と第３色成分が基準
の第１色成分に対して偏った分布となっていない領域の
色成分分布情報に基づいてホワイトバランスを調整する
ので、特定色の存在に大きな影響を受けることが無くカ
ラーフェリアを防止することができる。ここで、第１色
成分〜第３色成分としてはＲＧＢ成分やＣＭＹ成分等種
々の色成分で実現可能であるが、人間の錐体が感じる色
分布に近いＲＧＢ成分であると好ましい。また、輝度成
分の大部分を占めるＧ成分を基準色とすることが好まし
い。

【０００９】さらに、請求項３にかかる発明は、画像の
輝度成分を取得する輝度成分取得手段と、上記画像にお
いて当該輝度成分が所定の帯域内にある部位の画像の色
成分分布情報を取得する色成分分布情報取得手段と、同
取得した色成分分布情報に基づいて上記画像の色成分を
補正してホワイトバランスを制御するホワイトバランス
制御手段とを具備する構成としてある。

【００１０】上記のように構成した請求項３にかかる発
明においては、輝度成分取得手段にて画像の輝度成分を
取得し、色成分分布情報取得手段では当該輝度成分が所
定の帯域内にある部位の画像の色成分分布情報を取得す
る。そして、ホワイトバランス制御手段は、上記取得し
た色成分分布情報に基づいて上記画像の色成分を補正し
てホワイトバランスを制御する。

【００１１】すなわち、輝度成分が所定の帯域内にある
部位の画像についての色成分分布情報を使用しているの
で、画像全体の大きな特定色に大きな影響を受けること
が無くカラーフェリアを防止することができる。尚、上
述の総ての発明においては、色成分分布情報を取得する
ので、ディジタル画像データを扱う画像機器について適
用すると処理が容易となって好ましいが、むろんテレビ
ジョン等アナログデータを扱う画像機器について本発明
を適用することもできる。

【００１２】ここで、輝度成分取得手段は画像の輝度成
分を取得することができればよく、種々の構成を採用可
能である。その構成例として請求項４にかかる発明で
は、上記輝度成分取得手段は、ドットマトリクス状の画
像データを所定区画に分割するとともに各区画毎の色成
分の平均値を上記輝度成分として取得する構成としてあ
る。すなわち、近年の画像機器においては数百万画素等
非常に多くの画素データを扱うことができ、このような
画像機器においてドットマトリクス状の画像データの総
てについて輝度成分を参照し、総てについての色成分分
布情報を処理するには、非常に多くの計算時間を要し、
また非常に多くのバッファメモリを必要とする。

【００１３】そこで、全体のホワイトバランスを調整可
能である限りにおいて参照するデータを間引くと好適で
あり、本発明においては画像データを所定区画に分割し
て区画毎の色成分の平均値を取得している。また、画像
データに輝度成分としてのデータが含まれる場合にはそ
のデータを使用すればよいが、色成分のデータからなる
場合には、一般に、当該色成分データから輝度成分を算
出することができる。輝度成分を算出するための式とし
ても種々のものがあるが、本発明のように色成分の平均
値を算出するのであれば、その計算は非常に単純であり
容易に実行可能である。むろん、輝度成分としては例え
ば、ＲＧＢ成分に基づいてＹ＝０．３０Ｒ＋０．５９Ｇ
＋０．１１Ｂ等として算出すること等も可能である。

【００１４】さらに、輝度成分取得手段においては、ホ
ワイトバランス調整のために参照する画素を帯域毎に抽
出するための指標を与えることができればよく、そのた
めの構成として請求項５にかかる発明では、上記輝度成
分取得手段は、画像の輝度成分をヒストグラム化すると
ともに所定の輝度範囲に帯域分割する構成としてある。
すなわち、輝度成分をヒストグラム化すると、輝度成分
のレベル毎、例えば階調値毎の分布を把握することがで
き、輝度成分の分布が分かれば容易に帯域分割をするこ
とができる。例えば、各帯域内に存在する画素数をほぼ
等しくなるように帯域分割すること等が可能になる。

【００１５】色成分分布情報としては、ホワイトバラン
スを調整するための指針となる種々の情報を取得するこ
とができ、その一例として請求項６にかかる発明では、
上記色成分分布情報取得手段は、上記画像の色成分毎の
分布比を取得する構成としてある。すなわち、画像に特
定の色成分が多く含まれるときにホワイトバランスがず
れやすいことから、当該色成分毎に分布比を取得すれば
各色成分の分布比を比較しやすくなり、ホワイトバラン
スを容易に調整することができる。

【００１６】ここで、色成分分布情報は、所定の参照領
域について取得したり、基準の第１色成分に対して第２
色成分と第３色成分が比較的均等に分布している領域に
ついて取得したり、所定の帯域毎に取得するなどすれ
ば、画像全体の特定色に大きく影響を受けることが無く
カラーフェリアを防止することができる。また、この場
合も色成分としてはＲＧＢ成分やＣＭＹ成分等種々の色
成分を採用可能であるが、人間の錐体が感じる色分布に
近いＲＧＢ成分であると好ましい。さらに、分布比は色
成分の分布を反映した比であれば良く、種々の態様を採
用可能である。例えば、各色成分毎の階調値やレベルの
積分値でもよいし平均値でも良い。また、色成分分布に
ついての比であれば良く、いずれの色成分が分母あるい
は分子になっても良い。

【００１７】さらに、請求項７にかかる発明は、上記色
成分分布情報取得手段は、上記画像が第１色成分〜第３
色成分で表現されるときに、色成分分布情報として第１
色成分について「１」を取得し、第２色成分について第
１色成分の分布と第２色成分の分布との比を取得し、第
３色成分について第１色成分の分布と第３色成分の分布
との比を取得する構成としてある。

【００１８】すなわち、分布比としてホワイトバランス
の調整に使用可能な色成分分布情報を取得すると好適で
あり、第１色成分の分布と第２色成分の分との比を取得
すれば、第１色成分を基準とした第２色成分の相対的な
分布を把握することができ、同時に第２色成分の相対的
な補正量を把握することができる。第３色成分について
も同様であり、第１色成分の分布と第３色成分の分との
比を取得すれば、第１色成分を基準とした第３色成分の
相対的な分布を把握することができる。

【００１９】従って、画像全体における第１色成分のそ
れぞれについて「１」，第２色成分のそれぞれについて
「第１色成分の分布と第２色成分の分布との比」，第３
色成分のそれぞれについて「第１色成分の分布と第３色
成分の分布との比」を乗じると色成分の分布の偏りを減
じるような調整、すなわちホワイトバランスの調整を行
うことができる。

【００２０】さらに、請求項８にかかる発明は、上記ホ
ワイトバランス制御手段は、少なくとも２以上の輝度帯
域について上記分布比を平均化して色成分毎の補正量決
定に使用する構成としてある。すなわち、画像全体につ
いての色成分分布情報を参照せずに、所定の参照領域や
色成分の分布比が均等な領域や輝度成分が所定帯域内に
ある部位についての色成分分布情報を参照してホワイト
バランスを制御するに当たり、どのように色成分分布情
報を取得するのかを示す指針は様々なものを採用可能で
ある。その一例として、少なくとも２以上の輝度帯域に
ついて分布比を平均化すれば、輝度レンジ全体について
の色成分分布のずれを補償することができ、さらにこの
分布比を色成分毎の係数にするなどして補正量を決定す
れば、色成分分布のずれを補償しつつホワイトバランス
制御を行うことができる。

【００２１】より具体的な例としては、画像機器の色域
のずれを補償することが挙げられる。すなわち、画像機
器の色域をＬｕｖ空間で考えたときには一般にＬ軸に対
して略軸対象であるが、高輝度部位と低輝度部位では逆
方向に色域が広がっている。従って、高輝度部位と低輝
度部位とでの色成分分布比を平均化すれば、輝度軸に沿
った色域のずれを補償することができる。また、分布比
の平均化は一回だけで済ませる必要はなく、多くの領域
について分布比を平均化し、最も好ましい平均値を採用
して色成分毎の補正量を決定する構成にすることも可能
である。

【００２２】さらに、平均化する際の具体的な構成例と
して請求項９にかかる発明では、上記ホワイトバランス
制御手段は、輝度帯域をＮ分割したときに、帯域ｉの分
布比と帯域Ｎ＋１−ｉの分布比とを平均化する構成とし
てある。すなわち、輝度帯域をＮ分割（Ｎは正の整数）
して輝度の階調値やレベルが小さい方から帯域番号ｉ
（ｉは正の整数）を付与したときに、帯域ｉの分布比と
帯域Ｎ＋１−ｉの分布比とを平均化すれば、輝度帯域の
両端の２帯域について平均化し、輝度帯域の両端からそ
れぞれ２番目の２帯域について平均化するようにして順
次帯域を平均化することができ、画像機器の色域につい
て色域が上記Ｌ軸に対して略逆側にずれた部位について
色成分分布比が平均化され、色域のずれを補償すること
ができる。

【００２３】上述したように色成分分布比を色成分毎の
係数として画像全体の色成分の補正量を決定すれば、色
成分分布のずれを補償しつつホワイトバランス制御を行
うことができる。ホワイトバランスを制御するに当たり
好ましい色成分分布比を取得するために好適な構成の一
例として請求項１０にかかる発明では、上記ホワイトバ
ランス制御手段は、上記分布比で１に近い値をホワイト
バランス補正のための係数として取得する構成としてあ
る。

【００２４】すなわち、分布比はホワイトバランスを調
整するための係数となるが、上記分割された帯域を考え
るなどして複数の分布比を算出したときに、分布比が１
から非常に遠い値となっているものを上記係数としてし
まうと、任意の画像データの係数として乗ぜられたとき
に、非常に大きくカラーバランスを変化させてしまう。
従って、カラーフェリアを招く可能性が非常に大きい。
そこで、分布比が１に近いものを採用することとして係
数による補正量を抑えることにすれば、カラーフェリア
になることはほとんど無い。

【００２５】また、分布比が１に近いものを選択するこ
とは、補正量が小さいものを選択することと等価である
が、補正量が小さいと言ってもホワイトバランスの調整
としては十分機能し、好ましい係数となることが多い。
具体的には、最も１に近いものを取得すれば最も好まし
い係数となることが多いが、むろん、最も１に近いこと
は必須ではなく、２番目に近いものであっても良いし、
所定のしきい値を超えない範囲で１に近いものを取得す
るなど種々の構成を採用可能である。さらに、上述のよ
うに平均化された分布比であっても１に近いものを取得
するのが好適である。

【００２６】さらに、請求項１１にかかる発明は、上記
ホワイトバランス制御手段は、上記画像を形成するドッ
トマトリクス状の画像データの各色成分に上記係数を乗
じることによってホワイトバランスを制御する構成とし
てある。すなわち、上述のように上記分布比はホワイト
バランスを調整するための係数となるので、画像がドッ
トマトリクス状の画像データで表現されているときに、
当該画像データの各色成分に上記係数を乗じると容易に
ホワイトバランスを制御することができる。また、非常
に高い確立でカラーフェリアの発生を防止可能である。

【００２７】ところで、このようなホワイトバランス調
整装置は単独で存在する場合もあるし、ある機器に組み
込まれた状態で利用されることもあるなど、発明の思想
としてはこれに限らず、各種の態様を含むものである。
従って、ソフトウェアであったりハードウェアであった
りするなど、適宜、変更可能である。発明の思想の具現
化例としてホワイトバランス調整装置のソフトウェアと
なる場合に対応させ、請求項１２〜請求項１４にかかる
発明は上記ホワイトバランス調整装置をコンピュータで
実施させる各機能に対応した構成としてある。請求項４
〜請求項１１に対応させたプログラムとしても有効であ
ることは言うまでもない。

【００２８】むろん、そのソフトウェアの記録媒体は、
磁気記録媒体であってもよいし光磁気記録媒体であって
もよいし、今後開発されるいかなる記録媒体においても
全く同様に考えることができる。また、一次複製品、二
次複製品などの複製段階については全く問う余地無く同
等である。その他、上記媒体ではないが供給方法として
通信回線を利用して行なう場合でも本発明が利用されて
いることにはかわりない。さらに、一部がソフトウェア
であって、一部がハードウェアで実現されている場合に
おいても発明の思想において全く異なるものはなく、一
部を記録媒体上に記憶しておいて必要に応じて適宜読み
込まれるような形態のものとしてあってもよい。

【００２９】また、このようなホワイトバランス調整プ
ログラムはかかる制御に従って処理を進めていく上でそ
の根底にはその手順に発明が存在するということは当然
であり、方法としても適用可能であることは容易に理解
できる。このため、請求項１５〜請求項１７にかかる発
明は、上記ホワイトバランス調整装置が実施するホワイ
トバランス調整方法に対応した構成としてある。すなわ
ち、必ずしも実体のある装置に限らず、その方法として
も有効であることに相違はない。むろん、上記請求項４
〜請求項１１に対応させた方法としても有効である。さ
らに、本発明を具体的な装置に適用することも可能であ
り、請求項１８のようにホワイトバランス調整を実行可
能な各手段を搭載したディジタルカメラとしても本発明
を実現可能である。

【００３０】

【発明の効果】以上説明したように請求項１，請求項１
２，請求項１５にかかる発明においては、単色部位に大
きな影響を受けることが無くカラーフェリアを防止可能
なホワイトバランス調整装置、ホワイトバランス調整プ
ログラムおよびホワイトバランス調整方法を提供するこ
とができる。また、請求項２，請求項１３，請求項１６
にかかる発明においては、特定色の存在に大きな影響を
受けることが無くカラーフェリアを防止することが可能
なホワイトバランス調整装置、ホワイトバランス調整プ
ログラムおよびホワイトバランス調整方法を提供するこ
とができる。

【００３１】さらに、請求項３，請求項１４，請求項１
７，請求項１８にかかる発明においては、画像全体の大
きな特定色に大きな影響を受けることが無くカラーフェ
リアを防止することが可能なホワイトバランス調整装
置、ホワイトバランス調整プログラム，ホワイトバラン
ス調整方法およびディジタルカメラを提供することがで
きる。さらに、請求項４にかかる発明によれば、リソー
スを低減することができる。

【００３２】さらに、請求項５にかかる発明によれば、
輝度成分を容易に帯域分割をすることができる。さら
に、請求項６にかかる発明によれば、画像の各色成分の
分布比を比較することにより、容易にホワイトバランス
を調整することができる。さらに、請求項７にかかる発
明によれば、ホワイトバランスの調整に直接的に使用可
能な色成分分布情報を取得することができる。さらに、
請求項８にかかる発明によれば、輝度レンジ全体につい
ての色成分分布のずれを補償しつつホワイトバランス調
整可能になる。

【００３３】さらに、請求項９にかかる発明によれば、
容易に色域のずれを補償することができる。さらに、請
求項１０にかかる発明によれば、カラーフェリアの発生
率を非常に低くしながらホワイトバランス調整可能にな
る。さらに、請求項１１にかかる発明によれば、係数の
乗算により容易にホワイトバランスを制御可能になる。

【００３４】

【発明の実施の形態】ここでは、下記の順序に従って本
発明の実施の形態について説明する。 （１）ディジタルスチルカメラの概略構成： （２）画像処理の概略： （３）ホワイトバランス測定及び制御のための構成： （４）ホワイトバランス測定及び制御処理： （４−１）輝度成分取得処理： （４−２）色成分分布情報取得処理： （４−３）ホワイトバランス制御処理： （４−３−１）光源種別に対応した補正：

【００３５】（１）ディジタルスチルカメラの概略構
成：図１は、本発明のホワイトバランス制御が適用され
るディジタルスチルカメラの概略構成をブロック図によ
り示している。ディジタルスチルカメラ１０は、光学部
２０と、ＣＰＵ３２を核とする制御部３０とから構成さ
れている。光学部２０は、光学レンズ系２１と、オート
フォーカス機構２２と、測距部２３と、オートフォーカ
スコントローラ２４とを備え、オートフォーカスコント
ローラ２４がコントローラ２５からの制御信号に基づい
て測距部２３にて被写体までの距離を測定しつつオート
フォーカス機構２２にて光学レンズ系２１を駆動してピ
ントを合わせる。光学レンズ系２１にて被写体像を結像
するのは撮像素子としてのＣＣＤ２６の撮像面であり、
本ＣＣＤ２６は１８００×１２００画素を有する単板で
構成されている。単板で構成しているため、２×２画素
について、グリーン（Ｇ）、マゼンタ（Ｍ）、イエロー
（Ｙ）、シアン（Ｃ）のカラーフィルタを順次形成して
ある。なお、シャッターについては電子シャッターとと
もにメカニカルシャッターを備えているが、メカニカル
シャッターについては図示を省略している。

【００３６】この他、光学部２０にはストロボ２７も備
えられており、コントローラ２５からの駆動信号に応じ
て所定光量および所定回数の発光を行う。これにより、
赤目防止であるとかスローシンクといった撮影を実現し
ている。なお、ＣＣＤ２６が出力するアナログ量の電気
信号を増幅するオートゲインコントローラ（ＡＧＣ）２
８が備えられ、増幅後のアナログ電気信号をディジタル
値に変換して出力するＡ／Ｄコンバータ２９が備えられ
ている。むろん、以上の光学部２０については、ディジ
タルスチルカメラ１０としての一般的な構成の一例に過
ぎず、各種の変更が可能であることはいうまでもない。
例えば、光学レンズ系２１にはズームレンズを備えるこ
ともできるし、あるいは固定焦点としてオートフォーカ
スの機能を備えない廉価なものであっても良い。

【００３７】また、制御部３０はバス３１を備えてお
り、当該バス３１にＣＰＵ３２とＲＯＭ３３とＲＡＭ３
４と上記Ａ／Ｄコンバータ２９が接続されている。ＣＰ
Ｕ３２はＲＯＭ３３に書き込まれたファームウェアを実
行して光学部２０の制御や画像処理の演算等を実行する
ものであり、その際にＲＡＭ３４は画像データを保存す
る画像エリア３４ａとして機能したり演算処理のための
ワークエリア３４ｂとして機能したりする。ＣＰＵ３２
が光学部２０を制御する際には、コントローラ２５に対
して制御信号を出力し、同コントローラ２５が各構成回
路などに対する適宜制御信号を生成して出力する。

【００３８】制御部３０はマンマシンインターフェイス
としての機能も有しており、操作ボタンなどを配置した
操作パネル３５と、撮影画像や操作指示などを表示する
ＬＣＤパネル３６を備えており、ＣＰＵ３２は操作パネ
ル３５の操作を監視し、適宜、操作を受けつつ対応する
制御を実行する。また、ＬＣＤパネル３６への表示はＲ
ＡＭ３４に割り当てられたビデオＲＡＭエリア３４ｃに
対してＣＰＵ３２が所定のデータを書き込むことによ
り、ＬＣＤパネル３６に備えられたディスプレイコント
ローラが適宜同データを読み込んで表示を行う。そし
て、撮影され、所定の画像処理を経て生成される画像デ
ータはＩ／Ｏ３７ａを介して外部メモリであるフラッシ
ュメモリカード３７ｂに書き込まれ、また、必要に応じ
て同フラッシュメモリカード３７ｂから読み出される。

【００３９】制御部３０の構成もこの種のディジタルス
チルカメラ１０の典型例であって、各種の変更が可能で
ある。例えば、外部メモリの種類については適宜他の種
類のものに置き換えることは容易であるし、さらには着
脱可能なメモリとのインターフェイスを備えなくてもＵ
ＳＢインターフェイスを介してコンピュータに画像デー
タを出力するようにしてもよい。表示部としてのＬＣＤ
パネル３６に付随して他のＬＣＤ表示器を備えてもよい
し、ＣＰＵ３２については制御対象が異なる複数のＣＰ
Ｕを備えても良い。

【００４０】光学部２０で撮像された画像はＣＣＤ２６
からアナログ電気信号として出力された後、ＡＧＣ２８
を経てＡ／Ｄコンバータ２９にてディジタルデータに変
換され、さらにバス３１を介してＲＡＭ３４の画像エリ
ア３４ａに記録される。そして、ＣＰＵ３２が所定の画
像処理を実行することによりＪＰＥＧ画像データに変換
されて上述したフラッシュメモリカード３７ｂに書き込
まれることになる。

【００４１】（２）画像処理の概略：図２は、この画像
処理の主要な流れを示している。細部においては後述す
るような具体的な処理が実行されるものの、概略的には
この流れに従って処理を進めている。まず、この概略に
ついて説明する。ステップＳ１０２では、欠陥画素補間
を実行する。およそ２００万画素を有するＣＣＤ２６に
は欠陥画素は避けられず、所定の基準値以下のものであ
れば良品として供給される。このため、良品の範囲内で
の欠陥画素については同色画素だけを基準とした５×５
画素のメヂアンフィルタを使用して補う。すなわち、欠
陥画素がシアンの画素であるとすると、この欠陥画素の
周囲に位置する５×５のシアン画素の出力値を順番に並
べ、中央値を欠陥画素の値とする。なお、欠陥画素自体
は光学部２０において既に検出されている。

【００４２】次のステップＳ１０４ではホワイトバラン
スの測定を行う。撮影時の光源の種類、およびＣＣＤ２
６とカラーフィルタとの組合せによっては、ホワイトバ
ランスがずれることがあり、本実施形態においては、各
撮影ごとにステップＳ１０４にてホワイトバランスを測
定し、その結果を反映させてずれを少なくするようにス
テップＳ１１０にてホワイトバランスの制御をする。ホ
ワイトバランスを測定するときには間引き処理で選択し
た１１３×７５画素の画像データを利用し、ＲＧＢ表色
系においてＧ成分を基準としたＲ成分の偏りとＢ成分の
偏りを測定する。なお、本ＣＣＤ２６は補色系のカラー
フィルタを備えており、補色系であることを踏まえて制
御をしている。

【００４３】本実施形態では三種類の画像を生成する。
一つ目は確認画像であり、二つ目はサムネール画像であ
り、三つ目は主画像である。確認画像は撮影後速やかに
ＬＣＤパネル３６に表示するための画像であり、７２０
×２４０画素の画像データで構成される。サムネール画
像は主画像とともに画像データとして記録されるもので
あり１６０×１２０画素の画像データで構成される。主
画像は操作者の選択によって三つのサイズを選択可能で
あり、Ｅ−ｍａｉｌ画像という７２０×４８０画素か、
Ｐｒｉｎｔ画像という１８００×１２００画素か、Ｈｙ
ｐｉｃｔ２という高解像度化した２１６０×１４４０画
素かのいずれかである。

【００４４】図２において、ステップＳ１０６〜ステッ
プＳ１１４は破線で囲む表示をしてあり、すくなくとも
これらの処理は生成される三種類の画像ごとに実施され
る。ステップＳ１０６ではデータ補間を実施する。ＣＣ
Ｄ２６は単板で構成され、２００万画素を有しているも
のの全画素のそれぞれで色情報が完結しているわけでは
ない。すなわち、ある画素についてはシアンの情報だ
け、ある画素についてはマゼンタの情報だけ、ある画素
についてはイエローの情報だけ、ある画素についてはグ
リーンの情報だけとなっている。このデータをモザイク
データと呼ぶ。データ補間では各画素に対して不足する
他の色の情報を補うことにより、各画素ごとに色情報を
完結させるための処理である。不足する情報は注目画素
に隣接して取り囲む８画素に含まれる色情報の平均値で
ある。例えば、シアン画素（Ｃ１）の周囲にはイエロー
の画素が二個（Ｙ１，Ｙ２）、マゼンタの画素が二個
（Ｍ１，Ｍ２）、グリーンの画素が四個（Ｇ１〜Ｇ４）
存在する。

【００４５】従って、このシアン画素の色情報（Ｃ，
Ｍ，Ｙ，Ｇ）については、 Ｃ＝Ｃ１ Ｍ＝（Ｍ１＋Ｍ２）／２ Ｙ＝（Ｙ１＋Ｙ２）／２ Ｇ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４ として計算する。

【００４６】ステップＳ１０８では、表色系を変えてＲ
ＧＢ画像データに変換する。変換のための一般式も存在
するが、実際には単純な一般式を利用するのではなく、
チューニングを施したルックアップテーブルを利用した
り行列式を利用したりして変換を行う。ＲＧＢ画像デー
タに変換後、ステップＳ１１０では、上述したようにＲ
ＧＢ表色系におけるＲ成分の偏りとＢ成分の偏りを少な
くする制御を実行する。次のステップＳ１１２ではトー
ンカーブ補正を行う。トーンカーブ補正はいわゆるγ補
正とも呼ばれ、このときに各成分について１０ビットの
画像データを８ビットの画像データに変換しつつ、さら
に白色側領域と黒色側領域でのノイズの低減や階調性の
保持のためにγカーブ自体についての調整も行ってい
る。トーンカーブ補正自体はルックアップテーブルを利
用しており、予めチューニングして作成した１０ビット
→８ビットのルックアップテーブルを参照して変換す
る。

【００４７】この後、ＪＰＥＧ画像圧縮技術を利用する
ため、ＲＧＢ表色系からＹＵＶ表色系へと色変換する。
なお、輝度とイエローを区別するため、以後において輝
度はＹｍと表示し、また、後述するようにモザイクカラ
ーデータから直接導き出す輝度を単純輝度Ｙｓとして表
示することにする。ＲＧＢ表色系からＹＵＶ表色系への
色変換は一般式あるいは行列式を利用して変換する。な
お、モザイクカラーデータからＹＵＶ表色系への変換の
一般式は、 Ｙｓ＝０．２５×（Ｃ＋Ｍ＋Ｙ＋Ｇ） Ｕ＝Ｃ＋Ｍ−（Ｙ＋Ｇ） Ｖ＝−Ｃ＋Ｍ＋Ｙ−Ｇ となっているが、実際には上述したようなチューニング
やホワイトバランスの制御が実施され、この通りの対応
関係を採用しているわけではない。

【００４８】ステップＳ１１６とステップＳ１１８は主
画像の作成の際にのみ実施される処理である。ノイズ除
去は色成分としてＵＶ成分についてのみいわゆるローパ
スフィルタを適用する演算を行なう。すなわち、色変化
が急峻すぎるものについては押さえ気味に作用する。ま
た、エッジ強調は輝度成分についてのみ当該輝度成分に
基づくエッジ量から非線形関数値（例えばコアリング関
数値）を算出し、同非線形関数値を元の輝度成分に加重
して演算している。従って、隣接する画素間で輝度値が
変化する場合にそのエッジ量を算出し、当該エッジ量の
絶対値が大きければその変化量を大きく輝度値に反映さ
せるし、同絶対値が小さければ元輝度値はほぼ元のまま
の値となる。

【００４９】以上が画像処理の概略であるが、上記手順
は実際の演算処理において複数の処理を同時に行うなど
することにより、演算処理時間の短縮を図ることも行な
う。撮影は上述した三種類の画像ごとに上述した画像処
理を実行し、最終的にはサムネール画像を含んだ主画像
のＪＰＥＧ圧縮画像をフラッシュメモリカード３７ｂに
書き込むことによって完了する。この他にも、本ディジ
タルスチルカメラではフラッシュメモリカード３７ｂか
ら画像データを読み込んでＬＣＤパネル３６に表示した
り、データの削除や各種の設定を実行可能であるが、こ
れについては一般的な技術を適用可能であるので説明を
省略する。

【００５０】（３）ホワイトバランス測定及び制御のた
めの構成：以下、上記画像処理のステップＳ１０４にお
けるホワイトバランスの測定と当該測定結果を反映した
ホワイトバランス制御について詳細に説明する。図３
は、上記図１に示す構成にて実現されるホワイトバラン
スの測定系及び制御系を示すブロック図である。同図に
おける輝度成分取得モジュール３３ａと色成分分布情報
取得モジュール３３ｂとホワイトバランス制御モジュー
ル３３ｃとはＲＯＭ３３に予め記録されたプログラムモ
ジュールを上記ＣＰＵ３２が適宜読み出すことにより実
行される。また、各モジュールは上記ＲＡＭ３４の画像
エリア３４ａおよびワークエリア３４ｂに記録されたデ
ータを適宜使用し、必要に応じて中間データを書き込ん
でホワイトバランスを制御するためのマトリクスを決定
する。ホワイトバランスの制御は画像データにこのマト
リクスを乗じることによって実現される。

【００５１】輝度成分取得モジュール３３ａは、画像エ
リア３４ａに記録されたＣＣＤのＲａｗデータを取得し
て輝度成分を取得する。ここで、輝度成分取得モジュー
ル３３ａは、演算量を低下させるための間引き処理やＧ
ＭＹＣのＲａｗデータをＲＧＢＹｓデータに変換する処
理、ヒストグラム処理と同ヒストグラムの帯域分割処理
を行っており、それぞれの処理にて生成され、適宜使用
される間引き済データ３４ｂ１，ＲＧＢＹｓデータ３４
ｂ２，ヒストグラムデータ３４ｂ３，帯域データ３４ｂ
４は上記ＲＡＭ３４のワークエリア３４ｂに記録され
る。それぞれの処理は後に詳述する。尚、原色系のフィ
ルタを搭載したディジタルスチルカメラであればＧＭＹ
ＣデータからＲＧＢデータへの変換は不要であるが、Ｃ
ＣＤのＲＧＢデータをｓＲＧＢデータの特性に近似させ
るような補正処理が必要である。

【００５２】色成分分布情報取得モジュール３３ｂは、
上記分割された帯域であってホワイトバランスを調整す
るための指標として好適な帯域内の色成分分布情報とし
てＲＧＢ色成分の積分データ３４ｂ５とその比である分
布比データ３４ｂ６を取得する。ホワイトバランス制御
モジュール３３ｃは得られた分布比データ３４ｂ６か
ら、ホワイトバランス調整に使用するための係数であっ
てＧ成分に対してＲ成分を相対的に補正するための補正
係数Ｒ’_ｃ，およびＧ成分に対してＢ成分を相対的に補
正するための補正係数Ｂ’_ｃ（３４ｂ７）を求める。そ
して、この補正係数を生理的三原色による表色空間での
係数に変換するとともに当該表色空間内で補正を施して
補正係数Ｒ_ｃ，Ｂ_ｃを算出し、当該補正係数に基づいて
最終的なホワイトバランス制御マトリクス３４ｂ９を算
出する。

【００５３】尚、上記ＲＯＭ３３にはＥｓｔｅｖｅｚ−
Ｈｕｎｔ−Ｐｏｉｎｔｅｒの式などの順応変換式に基づ
いて、ｓＲＧＢ座標系のＲＧＢ色成分を生理的三原色の
ＲＧＢ色成分に変換する変換マトリクスＡ（３３ｄ１）
と当該変換の逆変換を実施する逆変換マトリクスＡ^−１
（３３ｄ２）が記録されており、上記ホワイトバランス
制御モジュール３３ｃにて使用される。以上のようにし
て作成された上記ホワイトバランス制御マトリクス３４
ｂ９と上記画像エリア３４ａ内のＣＣＤＲａｗデータを
ＲＧＢ色成分に変換したものとを乗じると、当該画像の
ホワイトバランスを制御することができる。

【００５４】本実施形態においては、ホワイトバランス
の補正係数を２段階で求めている。すなわち、第１段階
として一旦補正係数Ｒ’_ｃ，Ｂ’_ｃを求めた後、さらに
第２段階として補正係数Ｒ_ｃ，Ｂ_ｃを求めている。この
ようにして補正係数を２段階で求めていることによっ
て、画像内の大きな単色部位に影響を受けてホワイトバ
ランス制御が失敗したり、特定の光源であるときにホワ
イトバランス制御が失敗するような、カラーフェリア等
を防止することができるが、上記段階のそれぞれは単独
で実施されてもホワイトバランス制御として機能する
し、別手法のホワイトバランス制御に対してそれぞれの
段階を付加してホワイトバランスを制御する構成として
も良い。例えば、第１段階で算出された補正係数
Ｒ’_ｃ，Ｂ’_ｃを使用してホワイトバランス制御マトリ
クス３４ｂ８を算出するような構成であってもホワイト
バランス調整装置として機能する。

【００５５】（４）ホワイトバランス測定及び制御処
理：以下、上記構成においてホワイトバランスの測定及
び制御のために実施される処理を詳細に説明する。図
４，図５はホワイトバランス測定及び制御を示すフロー
チャートである。図４は上記第１段階に該当し、図５は
第２段階及び最終的なホワイトバランス制御マトリクス
３４ｂ９を算出する段階に相当する。また、図４のステ
ップＳ２００〜Ｓ２２０が上記輝度成分取得モジュール
３３ａの処理に該当し、図４のステップＳ２２５〜Ｓ２
５０が上記色成分分布情報取得モジュール３３ｂの処理
に該当し、図４，図５のステップＳ２５０〜ステップＳ
２７５およびステップＳ１１０が上記ホワイトバランス
制御モジュール３３ｃの処理に該当する。ここでは、各
モジュール毎の処理に分けつつ一連の処理を説明する。

【００５６】（４−１）輝度成分取得処理：輝度成分取
得モジュール３３ａがステップＳ２００にて上記画像エ
リア３４ａ内のＣＣＤＲａｗデータを取得すると、ステ
ップＳ２０５においては当該ＣＣＤＲａｗデータに対し
て間引き処理を実施する。すなわち、ＣＣＤＲａｗデー
タは上述のように１８００×１２００画素を有するデー
タであり、全画素について以後の処理を実行すると非常
に時間がかかり、また、ＲＡＭ３４に必要とされる空き
記憶容量も非常に大きなものとなることから、以下のよ
うにして画素を間引いている。

【００５７】図６は、この間引き処理を説明するための
説明図である。同図右側の四角はＣＣＤＲａｗデータの
模式図であり、１８００×１２００画素のＧＭＹＣモザ
イクデータである。本実施形態においては、このモザイ
クデータの１／１６の大きさの画像データを使用するこ
とにしており、まず、図におけるモザイクデータ左上の
１６×１６画素群（Ｇｒ１）を取得する。画素群Ｇｒ１
内にはＧＭＹＣの各色成分データが６４個ずつ含まれて
おり、各色成分毎に６４個のデータの階調値平均を取
る。そして、これらの平均を一画素分の色成分データ｜
Ｇ｜_１，｜Ｍ｜_１，｜Ｙ｜_１，｜Ｃ｜_１とする。

【００５８】以降は同様にして逐次上記ＣＣＤＲａｗデ
ータから１６×１６画素の画素群を取得して平均化する
処理を行う。この結果、上記ＣＣＤＲａｗデータは１／
１６の大きさすなわち１１３×７５画素の階調値データ
となる。この階調値データは間引き済データ３４ｂ１と
して上記ワークエリア３４ｂに記憶される。むろん、こ
の間引き処理においてその圧縮率１／１６は必須の値で
はなく、上記ＲＡＭ３４や処理負担等に応じて適宜変更
することが可能である。また、上述のように平均化する
とＣＣＤＲａｗデータの総ての情報を加味することがで
きて好適であるものの、ＣＣＤＲａｗデータの縦横１６
画素につき各色１画素残すように間引くなど、他にも種
々の手法を採用可能である。

【００５９】本実施形態においては、ＲＧＢ空間でホワ
イトバランスの調整を考えており、上記ステップＳ２０
５にて間引き処理を行った後の間引き済データ３４ｂ１
はステップＳ２１０にてＲＧＢ成分および単純輝度Ｙｓ
に変換される。ＧＭＹＣ成分からＲＧＢ成分への変換
は、上記ステップＳ１０８における変換式と同様の変換
式を使用しており、この変換式では上述のようにチュー
ニングが施されていることにより、高精度に色変換を行
うことができる。図７は、ステップＳ２１０における変
換後の画素データ（ＲＧＢＹｓデータ３４ｂ２）を示し
ている。変換後の画素データは、同図に示すように１１
３×７５画素であるとともに各画素についてＲＧＢＹｓ
の４成分の階調値データから構成されている。

【００６０】輝度成分取得モジュール３３ａはこの時点
で画素の輝度成分を取得しているが、本実施形態では後
の処理のため、ステップＳ２１５において各画素の単純
輝度Ｙｓを各階調値についてヒストグラム化してヒスト
グラムデータ３４ｂ３を生成する。図８は、このヒスト
グラムの一例を示すグラフである。同図においては、階
調値ピッチが細かいため連続的な曲線として示している
が、実際のヒストグラムは離散的な値である。尚、以下
のヒストグラムのグラフでも同様に曲線として示してい
るが実際は離散的な値である。

【００６１】ステップＳ２１５にてヒストグラムを作成
すると、ステップＳ２２０にて当該ヒストグラムを１０
個の輝度帯域に分割する。図９は、同ステップＳ２２０
における帯域分割の様子を説明する説明図である。同図
上部の表は帯域を決定していく作業を示しており、下部
のグラフは帯域が分割されたヒストグラムを示してい
る。帯域を分割する際には、上部の表に示すように単純
輝度Ｙｓの階調値が「０」のものからヒストグラムを積
算し、積算値が８４７（約１１３×７５／１０）を超え
た段階で次の帯域に移って積算を繰り返す。

【００６２】このような積算を１０個の帯域について繰
り返すと、各帯域に属する画素数がほぼ等しくなる。す
なわち、図９のグラフに示す各帯域の面積はほぼ等し
い。帯域分割された後のデータは、いずれの画素がいず
れの帯域に属するか判別可能な帯域データ３４ｂ４とし
て上記ワークエリア３４ｂに記憶される。ここで、ヒス
トグラムは離散的な値であるため、各帯域に属する画素
数が厳密に等しくなるとは限らないが、後述の色成分分
布情報取得モジュール３３ｂによって分布比の算出プロ
セスが存在するので画素数の厳密性は問題とならない。
積算値が上記８４７を超えた段階で、その階調値の画素
については一方の帯域のみに含まれるとしても良いし双
方に含まれるとしても良い。また、この帯域分割におい
ては、後にホワイトバランス調整のために使用して好適
な輝度帯域を特定することができればよく、分割数が１
０個であることが必須ではないし、分割の手法は上述の
ものに限られない。

【００６３】（４−２）色成分分布情報取得処理：色成
分分布情報取得モジュール３３ｂは、上記帯域データ３
４ｂ４に基づいてホワイトバランス制御に好ましい帯域
から色分布情報を取得する。このために、まずステップ
Ｓ２２５にて上記分割された帯域毎に同一帯域内に属す
る画素のＲＧＢ成分をそれぞれ積分し、ＲＧＢ積分デー
タ３４ｂ５として上記ワークエリア３４ｂに記憶する。
ステップＳ２３０では、分布比として各帯域毎に「Ｇ成
分の積分値／Ｒ成分の積分値」と「Ｇ成分の積分値／Ｂ
成分の積分値」とを求め、分布比データ３４ｂ６として
上記ワークエリア３４ｂに記憶する。図１０は積分値と
分布比とを算出する様子を説明する説明図である。上記
帯域データ３４ｂ４ではいずれの画素がいずれの帯域に
属するか判別可能であるため、同図に示すように各帯域
に属する画素のＲＧＢ成分を容易に知ることができる。

【００６４】このＲＧＢ成分値から、積分値は以下の式
（１）にて算出し、

【数１】 分布比は以下の式（２）にて算出する。

【数２】 ここで、Ｒ_ｉｊ，Ｇ_ｉｊ，Ｂ_ｉｊは各色成分毎の階調値
であり、「ｉ」は帯域の番号に該当し「ｊ」は画素を区
別するための便宜的な番号である。また、Ｉｒｉ，Ｉｇ
ｉ，Ｉｂｉは各帯域毎、各成分毎の積分値であり、Ｒｉ
ｃとＢｉｃは各帯域毎の分布比である。

【００６５】ここで、上記積分値は色成分の階調値の積
算値であることから、各帯域毎にどれほどの値の階調値
がどれほど分布しているかを反映した値となっている。
また、この積分値を使用して分布比を算出することは帯
域毎の色成分毎の平均階調値を使用して分布比を算出す
ることと等価である。帯域毎の色成分毎の平均階調値
は、帯域内に属する画素の所定色成分の階調値を足し合
わせ、画素数で除したものであり、色成分毎の画素数は
各帯域で同数であるところ、分布比にした場合には分母
と分子で画素数が相殺されて結局分布比に寄与するのは
階調値を足し合わせた成分のみとなるからである。

【００６６】この分布比Ｒｉｃは「帯域毎のＧ成分の平
均値／帯域毎のＲ成分の平均値」，分布比Ｂｉｃは「帯
域毎のＧ成分の平均値／帯域毎のＢ成分の平均値」であ
り、この分布比はホワイトバランスを調整する性質を持
った係数となる。すなわち、ある画素のＲＧＢ色成分そ
れぞれがその画素の属する帯域の各色成分の平均階調値
と等しい場合、分布比ＲｉｃとＲ成分の階調値とを乗じ
ると分母が相殺してＧ成分の平均値と等しくなり、分布
比ＢｉｃとＢ成分の階調値とを乗じても分母が相殺して
Ｇ成分の平均値と等しくなる。従って、当該画素の全色
成分が等しくなり無彩色になる。

【００６７】このように、分布比Ｒｉｃと分布比Ｂｉｃ
とはそれぞれ画素のＲ成分とＢ成分とに作用し、その帯
域のＧ成分の平均値を基準としつつ当該基準に近づける
ようにＲ成分とＢ成分とを相対的に変化させるので、ホ
ワイトバランスを調整するための係数であると言える。
従って、上記ステップＳ２３０まででは、帯域毎のホワ
イトバランス補正係数を算出したと言える。本発明にお
いては、所定帯域の分布比を参照して画像全体のホワイ
トバランスを調整するとともに、画像内容や光源等の差
異にかかわらずより好ましい結果を得るための補正を加
えている。

【００６８】ステップＳ２３０にて分布比データを取得
すると、上記色成分分布情報取得モジュール３３ｂはス
テップＳ２３５にて以下の式（３）に従って分布比の組
みの平均値Ｒ’_ｎｃ，Ｂ’_ｎｃを算出する。

【数３】 ここで、ｎは帯域の組番号であり「１〜５」の整数であ
る。

【００６９】図１１は、組みの平均値Ｒ’_ｎｃについて
２つの帯域を組みにする様子を説明する説明図である。
同図に示す上部のグラフは上述のようにして１０個の帯
域に分割されたヒストグラムを示している。上記式
（３）においては、ｎ番目の帯域と（１１−ｎ）番目の
帯域についての平均を算出していることから、同図に示
すように両端の帯域（１番目と１０番目）が組みとな
り、両端から２番目の帯域（２番目と９番目）が組みと
なるようにして順次組み合わせられる。Ｂ’_ｎｃについ
ての組み合わせの考え方も同様である。

【００７０】図１２は、分布比を組みにして平均化する
際の考え方を説明する説明図であり、同図はＹＵＶ色空
間のＵ−Ｙ平面に写像されたＲＧＢ色空間の色域を示
す。同図において、ＲＧＢ色空間の色域は、高輝度領域
で負のＵ方向に偏り、低輝度領域で正のＵ方向に偏って
いる。Ｖ−Ｙ平面に写像した場合も同様で、高輝度領域
で負のＶ方向に偏り、低輝度領域で正のＶ方向に偏るこ
ととなる。すなわち、高輝度領域と低輝度領域とで逆の
性質を有しており、この性質を上記分布比で考えると高
輝度領域と低輝度領域とで大きな差が発生することとな
るが、両者を平均すればその差を相殺することができ、
色域形状に起因する分布比の偏りを除去した当該分布比
を評価することができる。尚、この偏りを除去するよう
に分布比を平均化する考え方は、ＲＧＢ色空間とＹＵＶ
色空間との関係から発生したものであり、多くの画像機
器についてのホワイトバランス調整にて採用することが
できる。

【００７１】ステップ２３５にて分布比の組みの平均値
が算出されると、ステップＳ２４０にてＲ’_ｎｃが
「１」より小さいか否かを判別し、同ステップＳ２４０
にてＲ’ _ｎｃが「１」より小さいと判別されたときには
ステップＳ２４５にてＲ’_ｎｃに対して当該Ｒ’_ｎｃの
逆数を代入する。このステップＳ２４０，ステップＳ２
４５の判別処理は、ステップＳ２４０での判別結果にか
かわらず、組み番号１〜５の総てについて、また、Ｂ’
_ｎｃについても同様に独立に実行される。ここでの処理
はＲ’_ｎｃとＢ’_ｎｃとの総てについて、「１」より小
さければ「１」より大きな数に変換する処理をしている
ものであり、次の評価関数ｅ_ｎによる判別のための変換
であるとともに、評価関数による判別後は元の値に戻さ
れる。

【００７２】（４−３）ホワイトバランス制御処理：ス
テップＳ２５０では、評価関数ｅ_ｎに対して、各組の
Ｒ’_ｎｃとＢ’_ｎｃとを代入し、上記ホワイトバランス
制御モジュール３３ｃは当該評価関数ｅ_ｎが最小となる
組み番号ｎのＲ’_ｎｃとＢ’_ｎｃとの値を第１段階のホ
ワイトバランス補正係数Ｒ’_ｃおよびＢ’_ｃとして決定
する。この第１段階のホワイトバランス補正係数も上述
の分布比と同様の性質を有しており、上記図３に示すホ
ワイトバランス制御マトリクス３４ｂ８の所定成分とな
り得る係数である。すなわち、画像内の任意の画素のＲ
ＧＢ成分を成分とする行列にホワイトバランス制御マト
リクス３４ｂ８を乗じると、その画像のホワイトバラン
スを制御することができる。

【００７３】ここで、評価関数が最小のものを選択する
処理は、Ｒ’_ｎｃとＢ’_ｎｃとのそれぞれと「１」との
差が最小のものを選択している処理であり、補正量が最
も小さいものを選択していることになる。すなわち、ホ
ワイトバランス調整においてはカラーフェリアを防止す
ることが重要であり、補正量の大きなものをホワイトバ
ランス補正係数としてしまうと大きな補正によってカラ
ーフェリアが発生することが多いが、補正量が小さいも
のを選択しておけば、カラーフェリアの発生確率を非常
に小さくすることができる。また、補正量が小さいもの
を選択しているとともに、他の領域と比較して色成分分
布の偏りが少ない領域を選択していると言うこともでき
る。この場合、上記輝度成分取得モジュール３３ａが上
記画像分割手段に該当するし、色成分分布情報取得モジ
ュール３３ｂにて評価関数が最小となるものを選択する
処理が上記色成分分布の偏りが少ない領域を選択するこ
とに該当する。さらに、評価関数が最小となるものを選
択する処理は、Ｇ成分に対してＲ成分およびＢ成分が他
の領域と比較して比較的均等に分布している領域を選択
している処理であると言うこともできる。

【００７４】本出願人は、上述の処理によって決定され
たホワイトバランス補正係数が非常に効果的にホワイト
バランス調整可能であることを確認しているが、ここで
は、カラーフェリアを防止することができればよく、評
価関数が２番目に「１」に近いものを選択する構成にす
るなど適宜変更可能である。このとき、例えば、所定の
値域内であれば２番目，３番目に「１」に近いものを選
択するようにするなどの工夫を施せばカラーフェリアを
防止可能である。また、本発明においては、画像の一部
の輝度帯域に属するデータに基づいてホワイトバランス
補正係数を算出しており、上述のように補正量の小さい
ものを選択しているため、上述の従来例のように画像全
体のＲＧＢ積分値を反映させるホワイトバランス調整と
比較して、非常にカラーフェリアが発生しにくい。

【００７５】（４−３−１）光源種別に対応した補正：
上述のように第１段階のホワイトバランス補正係数でホ
ワイトバランス制御を行うことも可能であるが、本実施
形態においてはより見た目に近づけるために、さらに図
５のステップＳ２５５以降の処理を実行している。ステ
ップＳ２５５では、Ｇ成分の階調値「１２８」（中央
値）を基準としたホワイトバランス補正係数となるよう
に以下の式にて上記第１段階のホワイトバランス補正係
数Ｒ’_ｃおよびＢ’_ｃを変換する。 Ｒ＝128／Ｒ’_ｃ，Ｇ＝128，Ｂ＝128／Ｂ’_ｃ

【００７６】ステップＳ２６０では、当該変換後の係数
ＲＧＢを以下の式（４）に従ってＥｓｔｅｖｅｚ−Ｈｕ
ｎｔ−Ｐｏｉｎｔｅｒの式にて生理的三原色の空間Ｒ’
Ｇ’Ｂ’に変換する。

【数４】

【００７７】ここで、マトリクスＡは上記ＲＯＭ３３に
記憶されたマトリクスであり、ｓＲＧＢ座標を生理的三
原色のＲＧＢ座標に変換する。また、マトリクスＡはマ
トリクスＢとマトリクスＣとを乗じて生成されたもので
あり、それぞれのマトリクスは上述した値であるととも
にマトリクスＢはｓＲＧＢ座標をＸＹＺ座標に変換する
変換マトリクスであり、マトリクスＣはＸＹＺ座標を生
理的三原色のＲＧＢ座標に変換するマトリクスである。
尚、上記式において斜体の文字はマトリクスを示してい
る。ステップＳ２６０にて生理的三原色の空間データ
Ｒ’Ｇ’Ｂ’が得られると、ステップＳ２６５にて以下
の式に従って最終的なホワイトバランス補正係数Ｒｃ，
Ｂｃを決定する。 Ｒｃ＝Ｇ’／Ｒ’，Ｂｃ＝Ｇ’／Ｂ’

【００７８】これらステップＳ２５５〜Ｓ２６５の処理
は、ｓＲＧＢ座標を一旦生理的三原色のＲ’Ｇ’Ｂ’座
標に変換し、当該変換後の空間でホワイトバランス補正
係数を補正（ステップＳ２６５）していることに該当す
る。この処理によって人間の見た目に応じた良好なホワ
イトバランスに近づけることができ、光源種に依存しな
いホワイトバランス制御を実施することができる。図１
３，図１４は生理的三原色に変換してホワイトバランス
補正係数を補正する様子を説明する説明図である。

【００７９】図１３はｓＲＧＢの理想光源（ＣＩＥ標準
の光源Ｄ６５）の分光分布を示す図であり、図１４は生
理的三原色についての分光分布を示す図である。図にお
いて横軸は波長（ｎｍ）であり、縦軸は分光分布の相対
値である。尚、図１３，図１４において４５０ｎｍ付近
にピークがあるカーブはＢ成分、５４０ｎｍ付近にピー
クがあるカーブはＧ成分の分光分布であり、図１３の６
１０ｎｍ付近，図１４の５８０ｎｍ付近にピークがある
カーブはＲ成分の分光分布である。上記ホワイトバラン
ス補正係数はＲ成分とＢ成分とに対してそれぞれ乗ぜら
れるので、ホワイトバランス補正係数による調整は、上
記図１３，１４における分光分布に対してはＢ成分とＲ
成分のカーブを拡大したり縮小したりするように作用す
る。

【００８０】図１４に示す分光分布は生理的三原色につ
いての分布であることから、人間の色の感じ方はこの分
布に非常に近く、この分布となるＲＧＢ空間でホワイト
バランス補正係数の補正を行うと、人間の色の感じ方に
非常に近い形でホワイトバランスを制御することができ
る。具体的には、図１３に示す分光分布においてはＲ成
分のピーク波長およびピーク強度が図１４に示す分光分
布のＲ成分のピーク波長およびピーク強度より大きい。
従って、上記ステップＳ２６０における変換を実施せず
にホワイトバランスの調整をしようとすると、Ｒ成分に
対する補正が相対的に大きくなり、Ｒ成分を強調しすぎ
たり、弱めすぎたりしてしまう。そこで、上記ステップ
Ｓ２６０における変換を実施した後にホワイトバランス
補正係数を補正することにより、より見た目に近い赤と
なるようにホワイトバランスを調整可能である。むろ
ん、青に関しても同様で見た目に近い青となる。従っ
て、白熱灯かでの撮影画像等であっても適切なホワイト
バランスとなるよう調整されるようにホワイトバランス
補正係数を決定可能である。

【００８１】ステップＳ２６５にて最終的なホワイトバ
ランス補正係数Ｒｃ，Ｂｃを決定したら、ステップＳ２
７０において当該ホワイトバランス補正係数Ｒｃ，Ｂｃ
を１行１列目および３行３列目の成分とし、２行２列目
の成分を「１」とし、他の成分を「０」としたマトリク
スの左から上記逆変換マトリクスＡ^−１を乗じ、右から
上記マトリクスＡを乗じてホワイトバランス制御マトリ
クスＷ（３４ｂ９）を生成し、ステップＳ２７５にて当
該ホワイトバランス制御マトリクスＷを上記ＲＡＭ３４
のワークエリア３４ｂに保存する。

【００８２】尚、逆変換マトリクスＡ^−１は以下の式
（５）にて表現される。

【数５】 上記式においても斜体の文字はマトリクスを示してい
る。

【００８３】このホワイトバランス制御マトリクスＷの
算出／保存までがホワイトバランスの測定に該当し、デ
ィジタルスチルカメラ１０の処理としてはこの後図２に
示すフローチャートに戻ってステップＳ１０６以降の処
理を実行する。そして、ステップＳ１１０においてＣＣ
ＤＲａｗデータをｓＲＧＢデータに変換した画像データ
に対してホワイトバランス制御マトリクスＷを乗じるこ
とによって個々の撮像画像のホワイトバランスを制御す
る。

【００８４】すなわち、ホワイトバランス制御マトリク
スＷは、ｓＲＧＢ座標で表現されたカラー画像データの
画像についてホワイトバランスを調整するように作用す
るマトリクスであり、入力および出力データはｓＲＧＢ
データである。上記ホワイトバランス補正係数はｓＲＧ
Ｂに対する補正係数ではないため、上記マトリクスＡ等
による空間の変換を行って入出力データがｓＲＧＢデー
タになるようにしてある。図１５は、かかるホワイトバ
ランス制御マトリクスＷによる演算を説明するための説
明図であり、上部のマトリクス演算式において右辺のＲ
ＧＢは入力ｓＲＧＢデータであり、左辺のＲ’’Ｇ’’
Ｂ’’は出力ｓＲＧＢデータである。また、本実施形態
の実際の処理においてホワイトバランス制御マトリクス
Ｗは３個の３×３の行列を予め計算して得られる１個の
３×３の行列であるが、ここでは便宜上３個のマトリク
スに分けて説明する。

【００８５】図１５においてマトリクス演算式の下方に
は３個のマトリクスによる各演算段階を示している。上
述のように入力データはｓＲＧＢデータである。マト
リクスＡはｓＲＧＢ座標系のＲＧＢ色成分を生理的三原
色のＲＧＢ色成分に変換するマトリクスであるので、当
該入力データにマトリクスＡを乗じると、に示すよ
うに生理的三原色のＲＧＢ色成分に変換される。この変
換結果に対して上記ホワイトバランス補正係数Ｒｃ，Ｂ
ｃを成分として含むマトリクスを乗じると、に示すよ
うに生理的三原色のＲＧＢ色成分にてホワイトバランス
が調整される。この調整後のＲＧＢデータに逆変換マト
リクスＡ^−１を乗じると、に示したようにホワイトバ
ランス調整後の画像データがｓＲＧＢデータに変換され
る。従って、ディジタルスチルカメラの画像処理過程に
おいてｓＲＧＢデータに１個の３×３の行列であるホワ
イトバランス制御マトリクスＷを乗じるとホワイトバラ
ンスが調整される。

【００８６】以上説明したように、本発明においては画
像の輝度成分を取得して帯域分割し、所定の帯域内にあ
る画像の色成分分布情報に基づいてホワイトバランスを
調整するためのホワイトバランス補正係数を算出する。
従って、画像内の特定色や特定色に偏った光源に影響さ
れることなくホワイトバランス調整を実施可能となる。

【図面の簡単な説明】

【図１】ディジタルスチルカメラの概略構成を示すブロ
ック図である。

【図２】画像処理の主要な流れを示すフローチャートで
ある。

【図３】ホワイトバランスの測定系及び制御系を示すブ
ロック図である。

【図４】ホワイトバランス測定及び制御を示すフローチ
ャートである。

【図５】ホワイトバランス測定及び制御を示すフローチ
ャートである。

【図６】間引き処理を説明するための説明図である。

【図７】ＲＧＢＹｓ変換後の画素データを示す図であ
る。

【図８】ヒストグラムの一例を示すグラフである。

【図９】帯域分割の様子を説明する説明図である。

【図１０】積分値と分布比とを算出する様子を説明する
説明図である。

【図１１】２つの帯域を組みにする様子を説明する説明
図である。

【図１２】分布比を組みにして平均化する際の考え方を
説明する説明図である。

【図１３】ｓＲＧＢの理想光源の分光分布を示す図であ
る。

【図１４】生理的三原色についての分光分布を示す図で
ある。

【図１５】ホワイトバランス制御マトリクスによる演算
を説明するための説明図である。

【符号の説明】

１０…ディジタルスチルカメラ ２０…光学部 ２１…光学レンズ系 ２２…オートフォーカス機構 ２３…測距部 ２４…オートフォーカスコントローラ ２５…コントローラ ２６…ＣＣＤ ２７…ストロボ ２８…オートゲインコントローラ（ＡＧＣ） ２９…Ａ／Ｄコンバータ ３０…制御部 ３１…バス ３２…ＣＰＵ ３３…ＲＯＭ ３３ａ…輝度成分取得モジュール ３３ｂ…色成分分布情報取得モジュール ３３ｃ…ホワイトバランス制御モジュール ３３ｄ１…変換マトリクスＡ ３３ｄ２…逆変換マトリクスＡ^−１ ３４…ＲＡＭ ３４ａ…画像エリア ３４ｂ…ワークエリア ３４ｂ１…間引き済データ ３４ｂ２…ＲＧＢＹｓデータ ３４ｂ３…ヒストグラムデータ ３４ｂ４…帯域データ ３４ｂ５…ＲＧＢ積分データ ３４ｂ６…分布比データ ３４ｂ７…補正係数Ｒ’_ｃ，Ｂ’_ｃ ３４ｂ８…ホワイトバランス制御マトリクス ３４ｂ９…ホワイトバランス制御マトリクス ３４ｃ…ビデオＲＡＭエリア ３５…操作パネル ３６…ＬＣＤパネル ３７ａ…Ｉ／Ｏ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C065 AA03 BB02 CC01 DD01 GG21 GG22 GG23 GG32 5C066 AA01 CA05 CA13 CA17 EA14 EA15 GA01 GA05 GB01 JA01 JA02 KD06

Claims (18)

【特許請求の範囲】
1. 【請求項１】 画像を複数部位から構成される複数の参
   照領域に分割する画像分割手段と、 同画像分割手段によって分割された参照領域であって他
   の参照領域と比較して領域内の色成分分布の偏りが少な
   い所定領域についての色成分分布情報を取得する色成分
   分布情報取得手段と、 同取得した色成分分布情報に基づいて上記画像の色成分
   を補正してホワイトバランスを制御するホワイトバラン
   ス制御手段とを具備することを特徴とするホワイトバラ
   ンス調整装置。
2. 【請求項２】 画像が第１色成分〜第３色成分で表現さ
   れるときに、基準となる第１色成分に対して他の第２色
   成分および第３色成分が画像内の他の領域と比較して比
   較的均等に分布している領域の色成分分布情報を取得す
   る色成分分布情報取得手段と、 同取得した色成分分布情報に基づいて上記画像の色成分
   を補正してホワイトバランスを制御するホワイトバラン
   ス制御手段とを具備することを特徴とするホワイトバラ
   ンス調整装置。
3. 【請求項３】 画像の輝度成分を取得する輝度成分取得
   手段と、 上記画像において当該輝度成分が所定の帯域内にある部
   位の画像の色成分分布情報を取得する色成分分布情報取
   得手段と、 同取得した色成分分布情報に基づいて上記画像の色成分
   を補正してホワイトバランスを制御するホワイトバラン
   ス制御手段とを具備することを特徴とするホワイトバラ
   ンス調整装置。
4. 【請求項４】 上記輝度成分取得手段は、ドットマトリ
   クス状の画像データを所定区画に分割するとともに各区
   画毎の色成分の平均値を上記輝度成分として取得するこ
   とを特徴とする上記請求項３に記載のホワイトバランス
   調整装置。
5. 【請求項５】 上記輝度成分取得手段は、画像の輝度成
   分をヒストグラム化するとともに所定の輝度範囲に帯域
   分割することを特徴とする上記請求項３または請求項４
   のいずれかに記載のホワイトバランス調整装置。
6. 【請求項６】 上記色成分分布情報取得手段は、上記画
   像の色成分毎の分布比を取得することを特徴とする上記
   請求項１〜請求項５のいずれかに記載のホワイトバラン
   ス調整装置。
7. 【請求項７】 上記色成分分布情報取得手段は、上記画
   像が第１色成分〜第３色成分で表現されるときに、色成
   分分布情報として第１色成分について「１」を取得し、
   第２色成分について第１色成分の分布と第２色成分の分
   布との比を取得し、第３色成分について第１色成分の分
   布と第３色成分の分布との比を取得することを特徴とす
   る上記請求項１〜請求項６のいずれかに記載のホワイト
   バランス調整装置。
8. 【請求項８】 上記ホワイトバランス制御手段は、少な
   くとも２以上の輝度帯域について上記分布比を平均化し
   て色成分毎の補正量決定に使用することを特徴とする上
   記請求項６または請求項７のいずれかに記載のホワイト
   バランス調整装置。
9. 【請求項９】 上記ホワイトバランス制御手段は、輝度
   帯域をＮ分割したときに、帯域ｉの分布比と帯域Ｎ＋１
   −ｉの分布比とを平均化することを特徴とする上記請求
   項８に記載のホワイトバランス調整装置。
10. 【請求項１０】 上記ホワイトバランス制御手段は、上
    記分布比で１に近い値をホワイトバランス補正のための
    係数として取得することを特徴とする上記請求項６〜請
    求項９のいずれかに記載のホワイトバランス調整装置。
11. 【請求項１１】 上記ホワイトバランス制御手段は、上
    記画像を形成するドットマトリクス状の画像データの各
    色成分に上記係数を乗じることによってホワイトバラン
    スを制御することを特徴とする上記請求項６〜請求項１
    ０のいずれかに記載のホワイトバランス調整装置。
12. 【請求項１２】 画像を構成する色成分の情報を含む画
    像データを取得する画像データ取得機能と、 同取得した画像データに基づいて画像を複数部位の画像
    データから構成される複数の参照領域に分割する画像分
    割機能と、 同画像分割機能によって分割された参照領域であって他
    の参照領域と比較して領域内の色成分分布の偏りが少な
    い所定領域についての色成分分布情報を取得する色成分
    分布情報取得機能と、 同取得した色成分分布情報に基づいて上記画像データの
    色成分の情報を補正してホワイトバランスを制御するホ
    ワイトバランス制御機能とをコンピュータに実現させる
    ことを特徴とするホワイトバランス調整プログラム。
13. 【請求項１３】 第１色成分〜第３色成分で表現された
    画像データを取得する画像データ取得機能と、 同取得した画像データにて構成される画像内で、基準と
    なる第１色成分に対して他の第２色成分および第３色成
    分が画像内の他の領域と比較して比較的均等に分布して
    いる領域の色成分分布情報を取得する色成分分布情報取
    得機能と、 同取得した色成分分布情報に基づいて上記画像の色成分
    を補正してホワイトバランスを制御するホワイトバラン
    ス制御機能とをコンピュータに実現させることを特徴と
    するホワイトバランス調整プログラム。
14. 【請求項１４】 画像を構成する色成分の情報を含む画
    像データを取得する画像データ取得機能と、 当該取得した画像データに基づいて画像の輝度成分を取
    得する輝度成分取得機能と、 上記画像において当該輝度成分が所定の帯域内にある部
    位の画像の色成分分布情報を上記画像データに基づいて
    取得する色成分分布情報取得機能と、 同取得した色成分分布情報に基づいて上記画像の色成分
    を補正してホワイトバランスを制御するホワイトバラン
    ス制御機能とをコンピュータに実現させることを特徴と
    するホワイトバランス調整プログラム。
15. 【請求項１５】 画像を複数部位から構成される複数の
    参照領域に分割する画像分割工程と、 同画像分割工程によって分割された参照領域であって他
    の参照領域と比較して領域内の色成分分布の偏りが少な
    い所定領域についての色成分分布情報を取得する色成分
    分布情報取得工程と、 同取得した色成分分布情報に基づいて上記画像の色成分
    を補正してホワイトバランスを制御するホワイトバラン
    ス制御工程とを具備することを特徴とするホワイトバラ
    ンス調整方法。
16. 【請求項１６】 画像が第１色成分〜第３色成分で表現
    されるときに、基準となる第１色成分に対して他の第２
    色成分および第３色成分が画像内の他の領域と比較して
    比較的均等に分布している領域の色成分分布情報を取得
    する色成分分布情報取得工程と、 同取得した色成分分布情報に基づいて上記画像の色成分
    を補正してホワイトバランスを制御するホワイトバラン
    ス制御工程とを具備することを特徴とするホワイトバラ
    ンス調整方法。
17. 【請求項１７】 画像の輝度成分を取得する輝度成分取
    得工程と、 上記画像において当該輝度成分が所定の帯域内にある部
    位の画像の色成分分布情報を取得する色成分分布情報取
    得工程と、 同取得した色成分分布情報に基づいて上記画像の色成分
    を補正してホワイトバランスを制御するホワイトバラン
    ス制御工程とを具備することを特徴とするホワイトバラ
    ンス調整方法。
18. 【請求項１８】 ＣＣＤ素子にて撮像された画像を所定
    の要素色の階調値で表現したドットマトリクス状のカラ
    ー画像データを取得するカラー画像データ取得手段と、 このカラー画像データを所定区画に分割するとともに各
    区画毎の色成分の平均値を輝度成分とし、当該輝度成分
    をヒストグラム化するとともに所定の輝度範囲に帯域を
    Ｎ分割して取得する輝度成分取得手段と、 上記輝度成分の帯域毎に上記カラー画像データの色成分
    毎の分布比を取得し、帯域ｉの分布比と帯域Ｎ＋１−ｉ
    の分布比とを平均化する色成分分布情報取得手段と、 同平均化された分布比で１に近い値をホワイトバランス
    補正のための係数として取得し、上記カラー画像データ
    において補正対象となる色成分に上記係数を乗じること
    によってホワイトバランスを制御することを特徴とする
    ディジタルカメラ。