JP4314822B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法、及び画像処理プログラム Download PDFInfo
- Publication number
- JP4314822B2 JP4314822B2 JP2003001752A JP2003001752A JP4314822B2 JP 4314822 B2 JP4314822 B2 JP 4314822B2 JP 2003001752 A JP2003001752 A JP 2003001752A JP 2003001752 A JP2003001752 A JP 2003001752A JP 4314822 B2 JP4314822 B2 JP 4314822B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- image processing
- histogram
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、電子カメラなどの機器に搭載又は接続される画像処理装置に関する。また、本発明は、その画像処理装置に適用される画像処理方法、及び画像処理プログラムに関する。
【０００２】
【従来の技術】
従来、電子カメラ内の画像処理回路では、ホワイトバランス処理、色変換処理、階調変換処理などが、個々の画像に応じて自動的に行われる。
これら処理に使用されるパラメータは、個々の画像の色温度や輝度などに応じてそれぞれ決定される。
【０００３】
よって、同じシーンを撮影して得られた２枚の画像同士であっても、それら画像の間で少しでも変化が生じていれば上記各処理のパラメータは異なるものに設定される。このため、個々の画像はそれぞれ異なる仕上がりになる。
【０００４】
【発明が解決しようとする課題】
しかし、一般に、ユーザが同じシーンを２回連続して撮影して２枚の画像を取得した場合、フレーミングを若干変えている可能性があるものの、２枚の画像の間にはほとんど差異がないことが多い。このような場合、ユーザは、２枚の画像の雰囲気（特に色のバランス）を同じにしたいと望んでいることが多い。
【０００５】
しかしながら、ユーザには差異がほとんどないと感じられる２枚の画像の間であっても、上記した従来の電子カメラは、その差異が大きいと認識してそれら２枚の画像を全く異なる雰囲気に仕上げてしまうことがあった。
そこで本発明は、人間の目に対し違和感を与えないような差異を複数の画像の間に設けることのできる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像処理装置は、撮像素子が取得した記録すべき個々の画像の色ヒストグラムを作成するヒストグラム作成手段と、色に関する画像処理を施すべき処理対象画像の色ヒストグラムを、それに先行して取得された比較対象画像の色ヒストグラムと比較して、それら画像の間の色の相関度を算出する相関度算出手段と、前記色に関する画像処理に使用すべきパラメータを、前記算出した相関度に応じて決定する決定手段と、その決定手段で決定されたパラメータを用いて、記録すべき個々の画像に対して色に関する画像処理を施す画像処理手段と、前記撮像素子が取得した記録すべき個々の画像に適する前記パラメータを、記録すべき個々の画像に応じて仮決定する仮決定手段とを備える。そして、前記決定手段は、前記処理対象画像について仮決定された前記パラメータと前記比較対象画像について仮決定された前記パラメータとに対して、前記相関度が高い場合には前記比較対象画像について仮決定された前記パラメータに近い値となるように、前記相関度が低い場合には前記処理対象画像について仮決定された前記パラメータに近い値となるように荷重平均を施すことによって、前記使用すべきパラメータを決定する。一般に、人間の目は、複数枚の画像を比較する場合、それら画像の間の色の差異に気づきやすいので、色ヒストグラムに基づくこの決定によれば、人間の目に対し違和感を与えないような差異を複数の画像の間に設けることができる。また、上記のように荷重平均を施すことよって、前記処理対象画像の色、前記比較対象画像の色、及び、それら画像の間の相関度が、適切にパラメータに反映される。
【０００７】
好ましくは、前記ヒストグラム作成手段は、前記色ヒストグラムの作成に当たり、前記画像上の各位置の色をその色の属する色相範囲で評価する。このような評価によれば、人間の目に対し違和感を与えないような差異を複数の画像の間に設けることができる。
また、好ましくは、前記ヒストグラム作成手段は、各色相範囲の広さを非均等に採る。これによって、微妙な色の差異であっても人間の目には大きな差異に写るような色同士が峻別され、また、大きな色の差異であっても人間の目には小さな差異に写るような色同士が同一とみなされるような画像処理が実現する。
【０００８】
また、好ましくは、前記ヒストグラム作成手段は、前記色ヒストグラムの作成に当たり、前記画像上の各位置の色をその色の属する色相範囲及び彩度範囲で評価する。
また、好ましくは、前記ヒストグラム作成手段は、各色相範囲及び／又は各彩度範囲の広さを非均等に採る。これによって、微妙な色の差異であっても人間の目には大きな差異に写るような色同士が峻別され、また、大きな色の差異であっても人間の目には小さな差異に写るような色同士が同一とみなされるような画像処理が実現する。
【０００９】
また、好ましくは、前記ヒストグラム作成手段は、前記色ヒストグラムを作成するに当たり、前記画像上の各色の出現頻度を複数画素からなる領域毎に評価する。これによって、色ヒストグラムを作成するために必要な時間が短縮する。
【００１０】
また、好ましくは、前記相関度算出手段は、前記相関度の指標として、一方の色ヒストグラムの各色の各頻度が成すベクトルと、他方の色ヒストグラムの各色の各頻度が成すベクトルとの間のユークリッド距離を算出する。これによって、相関度が確実に算出される。
また、好ましくは、前記ヒストグラム作成手段は、前記画像のうち所定の色範囲から外れた色を有した領域を、前記色ヒストグラム作成時の色の評価対象から外す。このようにすれば、仮に、前記処理対象画像と前記比較対照画像の一方にのみ際立った色が存在していたとしても、その色がパラメータに与える影響は、抑えられる。
【００１１】
また、本発明の画像処理方法は、撮像素子が取得した記録すべき個々の画像の色ヒストグラムを作成するヒストグラム作成手順と、色に関する画像処理を施すべき処理対象画像の色ヒストグラムを、それに先行して取得された比較対象画像の色ヒストグラムと比較して、それら画像の間の色の相関度を算出する相関度算出手順と、前記色に関する画像処理に使用すべきパラメータを、前記算出した相関度に応じて決定する決定手順と、その決定手順で決定されたパラメータを用いて、記録すべき個々の画像に対して色に関する画像処理を施す画像処理手順と、前記撮像素子が取得した記録すべき個々の画像に適する前記パラメータを、記録すべき個々の画像に応じて仮決定する仮決定手順とを有する。そして、前記決定手順では、前記処理対象画像について仮決定された前記パラメータと前記比較対象画像について仮決定された前記パラメータとに対して、前記相関度が高い場合には前記比較対象画像について仮決定された前記パラメータに近い値となるように、前記相関度が低い場合には前記処理対象画像について仮決定された前記パラメータに近い値となるように荷重平均が施されることによって、前記使用すべきパラメータが決定される。一般に、人間の目は、複数枚の画像を比較する場合、それら画像の間の色の差異に気づきやすいので、色ヒストグラムに基づくこの決定によれば、人間の目に対し違和感を与えないような差異を複数の画像の間に設けることができる。また、上記のように荷重平均が施されることによって、前記処理対象画像の色、前記比較対象画像の色、及び、それら画像の間の相関度が、適切にパラメータに反映される。
【００１２】
好ましくは、前記ヒストグラム作成手順では、前記色ヒストグラムの作成に当たり、前記画像上の各位置の色はその色の属する色相範囲で評価される。
また、好ましくは、前記ヒストグラム作成手順では、各色相範囲の広さは非均等に採られる。これによって、微妙な色の差異であっても人間の目には大きな差異に写るような色同士が峻別され、また、大きな色の差異であっても人間の目には小さな差異に写るような色同士が同一とみなされるような画像処理が実現する。
【００１３】
また、好ましくは、前記ヒストグラム作成手順では、前記色ヒストグラムの作成に当たり、前記画像上の各位置の色はその色の属する色相範囲及び彩度範囲で評価される。
また、好ましくは、前記ヒストグラム作成手順では、各色相範囲及び／又は各彩度範囲の広さは非均等に採られる。これによって、微妙な色の差異であっても人間の目には大きな差異に写るような色同士が峻別され、また、大きな色の差異であっても人間の目には小さな差異に写るような色同士が同一とみなされるような画像処理が実現する。
【００１４】
また、好ましくは、前記ヒストグラム作成手順では、前記色ヒストグラムを作成するに当たり、前記画像上の各色の出現頻度は複数画素からなる領域毎に評価される。これによって、色ヒストグラムを作成するために必要な時間が短縮する。
【００１５】
また、好ましくは、前記相関度算出手順では、前記相関度の指標として、一方の色ヒストグラムの各色の各頻度が成すベクトルと、他方の色ヒストグラムの各色の各頻度が成すベクトルとの間のユークリッド距離が算出される。これによって、相関度が確実に算出される。
また、好ましくは、前記ヒストグラム作成手順では、前記画像のうち所定の色範囲から外れた色を有した領域は、前記色ヒストグラム作成時の色の評価対象から外される。このようにすれば、仮に、前記処理対象画像と前記比較対照画像の一方にのみ際立った色が存在していたとしても、その色がパラメータに与える影響は、抑えられる。
【００１６】
また、本発明の画像処理プログラムは、撮像素子が取得した記録すべき個々の画像の色ヒストグラムを作成するヒストグラム作成手順と、色に関する画像処理を施すべき処理対象画像の色ヒストグラムを、それに先行して取得された比較対象画像の色ヒストグラムと比較して、それら画像の間の色の相関度を算出する相関度算出手順と、前記色に関する画像処理に使用すべきパラメータを、前記算出した相関度に応じて決定する決定手順と、その決定手順で決定されたパラメータを用いて、記録すべき個々の画像に対して色に関する画像処理を施す画像処理手順と、前記撮像素子が取得した記録すべき個々の画像に適する前記パラメータを、記録すべき個々の画像に応じて仮決定する仮決定手順とを画像処理装置に実行させる。そして、前記決定手順では、前記処理対象画像について仮決定された前記パラメータと前記比較対象画像について仮決定された前記パラメータとに対して、前記相関度が高い場合には前記比較対象画像について仮決定された前記パラメータに近い値となるように、前記相関度が低い場合には前記処理対象画像について仮決定された前記パラメータに近い値となるように荷重平均が施されることによって、前記使用すべきパラメータが決定される。なお、この画像処理プログラムは、本発明の画像処理方法を画像処理装置に実行させることができる。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態の電子カメラの概略構成を示す図である。
電子カメラ本体１には、撮像素子１１、Ａ／Ｄ変換器１２、ホワイトバランス処理回路１４、補間回路１５、階調変換処理回路１６、設定回路１３などが備えられる。
【００１８】
撮像素子１１上に、撮影レンズ２による被写体の像が形成される。撮像素子１１の出力信号は、不図示のアナログゲイン回路を介してＡ／Ｄ変換器１２に入力され、ディジタル信号に変換される。ディジタル信号には、ホワイトバランス処理回路１４においてホワイトバランス処理が施され、補間回路１５において画素補間処理が施され、階調変換処理回路１６において階調変換処理が施される。
【００１９】
ここで、ホワイトバランス処理回路１４がディジタル信号（以下、Ｒ／Ｇ，Ｂ／Ｇとする。）に乗算すべきゲイン（以下、Ｇｒ，Ｇｂとする。）は、設定回路１３により画像毎に設定される。この設定回路１３が、本発明の特徴部分に対応する。
なお、図１の符号１３ａは、設定回路１３における演算回路を示しており、符号１３ｂはその処理に使用されるＲＡＭ、符号１３ｃはその処理に使用されるＲＯＭである。
【００２０】
ＲＯＭ１３ｃには、ホワイトバランス処理回路１４に設定すべきゲイン（Ｇｒ，Ｇｂ）が予め各種格納されている。
例えば、ＲＯＭ１３ｃにおいて、各種のゲイン（Ｇｒ1，Ｇｂ1），（Ｇｒ2，Ｇｂ2），・・・は、図１（１３ｃ−１）のような「色温度−ゲインテーブル」として、画像の色温度毎に予め格納されている。
【００２１】
また、本実施形態のＲＯＭ１３ｃには、図１（１３ｃ−２）のような「乖離度−荷重テーブル」（後述）も予め格納されている。
因みに、従来は、個々の画像の色温度が求められ、その色温度−ゲインテーブルに対応付けられたゲイン（Ｇｒ，Ｇｂ）が、画像毎にホワイトバランス処理回路１４に送られ、設定されるだけであった。
【００２２】
図２は、設定回路１３の動作フローチャートである。
なお、この動作フローチャートでは、ｊ番目（ｊ≧２）に取得された画像Ｉjに対する処理のみを示している。
１番目の画像Ｉ1については、従来と同様にしてゲイン（Ｇｒ，Ｇｂ）が設定される。また、そのゲイン（Ｇｒ1、Ｇｂ1）と、その画像Ｉ1の色ヒストグラムＨ1（取得方法については下記のステップＳ１、Ｓ３を参照）とが、後続する２枚目の画像Ｉ2に対する処理に必要な情報としてＲＡＭ１３ｂに格納される。
【００２３】
本実施形態では、図３に示すように、画像Ｉjについてのゲイン（Ｇｒj，Ｇｂj）は、その画像Ｉj（図３（Ｂ））に応じて決定されるだけでなく、画像Ｉjと画像Ｉj-1（図３（Ａ））との相関度にも応じて決定される。
図２のステップＳ１では、画像Ｉj内の各小領域ｅi（ｉ＝１〜ｎ，図３では、ｎ＝３５）の色（Ｒi，Ｇi，Ｂi）がそれぞれ求められる。ここで、各小領域ｅiは複数画素からなるので、色（Ｒi、Ｇi、Ｂi）は、小領域ｅi内の各画素値の合算値（又は平均値）とすればよい。
【００２４】
また、ステップＳ２では、画像Ｉjの色温度が従来と同様の手法により求められ、ＲＯＭ１３ｃ内の色温度−ゲインテーブルに基づいてゲイン（Ｇｒj，Ｇｂj）が仮決定される。
さらに、ステップＳ３では、ステップＳ１において求められた各小領域ｅiの色（Ｒi，Ｇi，Ｂi）（ｉ＝１〜３５）に基づいて画像Ｉjの色ヒストグラムＨjが作成される。本実施形態では、色ヒストグラムＨjが、画像Ｉjと画像Ｉj-1との相関度を判断するために使用される。
【００２５】
一般に、人間の目は、複数枚の画像を比較する場合、それら画像の間の色の差異に気づきやすいので、色ヒストグラムに基づく判断は、人間の目による判断に近いと考えられる。
図４は、色度図である。
色ヒストグラム作成に当たっては、各小領域ｅiの色（Ｒi，Ｇi，Ｂi）が色度図上のどの色範囲に属するかがそれぞれ峻別され、色範囲毎にその出現頻度が計数される。
【００２６】
ここで、例えば、各色範囲の色度図上の色相方向（つまり（Ｒ／Ｇ，Ｂ／Ｇ）＝（１，１）を中心とする円の周方向）における位置は、異なる。
なお、人間の目は、彩度方向においても或る程度の感度を有しているので、図４に示すように、彩度方向（つまり（Ｒ／Ｇ，Ｂ／Ｇ）＝（１，１）を中心とする円の径方向）においても色範囲を幾つか設けることが好ましい。
【００２７】
しかも、各色範囲の色相方向における広さや、各色範囲の彩度方向における広さは、非均等であることが好ましい。その理由は、微妙な色の差異であっても人間の見た目には大きな差異に写るような色同士は確実に峻別されることが望ましく、また、大きな色の差異であっても人間の見た目には小さな差異にしか写らないような色同士は同一とみなされることが望ましいからである。
【００２８】
例えば、図４に示す例では、緑色に近い色範囲（色度図の左下）は、彩度方向においても複数個、設けられている（このため、彩度方向における広さが比較的狭い）。
このようにすれば、彩度の低い緑色（蛍光灯などの人工色である。）と、彩度の高い緑色（植物などの自然色である。）とが別の色範囲に含まれる。その結果、人工の緑色と自然の緑色とが、峻別される。
【００２９】
図５（Ｂ）は、以上のようにして作成された画像Ｉjの色ヒストグラムＨjである。
なお、この時点では、ＲＡＭ１３ｂには、前の画像Ｉj-1の色ヒストグラムＨj-1と、その画像Ｉj-1に対し仮決定されたゲイン（Ｇｒj-1，Ｇｂj-1）とが格納されている。
【００３０】
図５（Ａ）は、画像Ｉj-1の色ヒストグラムＨj-1である。
図２のステップＳ４においては、ステップＳ３で作成された画像Ｉjの色ヒストグラムＨj（図５（Ｂ））と、ＲＡＭ１３ｂに格納されている画像Ｉj-1の色ヒストグラムＨj-1（図５（Ａ））との相関度が求められる。
相関度の指標は、例えば、色ヒストグラムＨjの各色の各頻度が成すベクトルと、色ヒストグラムＨj-1の各色の各頻度が成すベクトルとの間の、ユークリッド距離（以下、「乖離度」という。）ｄである（式（１））。
【数１】
但し、ｃは、色度図上の色範囲の番号（１〜１０）である。
この乖離度Ｄが小さいほど、画像Ｉjの色と前の画像Ｉj-1の色との相関度が高い。
そして、図２のステップＳ５では、この乖離度Ｄと、ステップＳ２において画像Ｉjに対し仮決定されたゲイン（Ｇｒj，Ｇｂj）と、前の画像Ｉj-1に対し仮決定されたゲイン（Ｇｒj-1，Ｇｂj-1）とに応じて、画像Ｉjに対し使用すべきゲイン（Ｇｒ，Ｇｂ）が決定される。
【００３１】
この際、ゲイン（Ｇｒj，Ｇｂj）及びゲイン（Ｇｒj-1，Ｇｂj-1）に、乖離度Ｄに応じた荷重平均が施される。
このとき、図１（１３ｃ−２）に示した「乖離度−荷重テーブル」が参照される。このテーブルには、荷重平均時のゲイン（Ｇｒj-1，Ｇｂj-1），ゲイン（Ｇｒj，Ｇｂj）に乗算すべき荷重αj-1，αjが、各乖離度Ｄに対応付けられて格納されている。
【００３２】
ここで、乖離度Ｄが小さいときほど平均後のゲイン（Ｇｒ，Ｇｂ）がゲイン（Ｇｒj-1，Ｇｂj-1）に近い値となり、乖離度Ｄが大きいときほど平均後のゲイン（Ｇｒ，Ｇｂ）がゲイン（Ｇｒj，Ｇｂj）に近い値となるよう、このテーブルの内容は予め決定されている。
設定回路１３は、式（２）により荷重平均を施してゲイン（Ｇｒ，Ｇｂ）の値を決定し（以上、ステップＳ５）、その値を、ホワイトバランス処理回路１４に設定する（ステップＳ６）。
【数２】
なお、以上の処理が終了した時点で、画像Ｉjの色ヒストグラムＨj及びゲイン（Ｇｒj，Ｇｂj）が、前の画像Ｉj-1の色ヒストグラムＨj-1及びゲイン（Ｇｒj-1，Ｇｂj-1）に代えて、ＲＡＭ１３ｂに格納される。
その後、図１のホワイトバランス処理回路１４において、画像Ｉjには、ゲイン（Ｇｒ，Ｇｂ）を使用したホワイトバランス処理が施される。
【００３３】
以上、本実施形態では、画像Ｉjと画像Ｉj-1との相関度が色ヒストグラムに基づいて判別され、その相関度に応じて画像Ｉjに対するホワイトバランス処理のパラメータ（ゲイン（Ｇｒ，Ｇｂ））が決定される。
上記したように人間の目は色に対して敏感なので、色ヒストグラムに基づくこの決定によれば、画像Ｉj-1と画像Ｉjとの間のホワイトバランスの差異は、人間の目に近い感度で設けられる。
【００３４】
なお、本実施形態の上記ステップＳ１において小領域ｅiの色が評価されるときには、次のようになっていてもよい。
先ず、画像内に際立った色（例えば原色）の画素があった場合、際立った色の画素が色の評価対象から外れる。
具体的には、際立った色の画素が存在する小領域ｅiの色は、際立った色の画素以外の画素の合算値（又は平均値）とみなされる。
【００３５】
このようにすれば、仮に、画像Ｉjと画像Ｉj-1の一方にのみ際立った色が存在していたとしても、その色は無視されるので、相関度が低く（乖離度Ｄが高く）なることはない。
仮に、画像Ｉjと画像Ｉj-1との一方の一部に際立った色が存在していたとしても、画像の殆どの領域で画像Ｉjと画像Ｉj-1とが似ているのであれば、人間の目には同じに見えることが多い。したがって、人間の目に近い感度で相関度が判断される。
【００３６】
［その他］
なお、上記実施形態では、図１（１３ｃ−２）にも示すように、荷重（αj-1，αj）の組み合わせの数が、乖離度Ｄの高さに応じて（１０，０），（８，２），・・・，（０，１０）の５つとされたが、それ以外の数（例えば２）とされてもよい。因みに、２である場合、乖離度Ｄが所定値未満であるときに（αj-1，αj）は（１，０）となり、乖離度Ｄが所定値以上であるときに（αj-1，αj）は（０，１）となる。
【００３７】
また、上記実施形態では、荷重平均の対象を、画像Ｉj-1のゲイン（Ｇｒj-1，Ｇｂj-1）及び画像Ｉjのゲイン（Ｇｒj，Ｇｂj）としたが、画像Ｉj-1の色温度及び画像Ｉjの色温度としてもよい。
この場合、荷重平均後の色温度に対応付けられてゲイン（Ｇｒ，Ｇｂ）が予め「色温度−ゲインテーブル」に格納される。そのゲイン（Ｇｒ，Ｇｂ）が、ホワイトバランス処理回路１４に設定される。
【００３８】
また、上記実施形態では、相関度に応じて設定されるパラメータは、ホワイトバランス処理のパラメータ（ゲイン（Ｇｒ，Ｇｂ））であるが、階調変換処理のパラメータ（階調変換カーブ）や、色変換処理のパラメータ（色変換マトリクス）であってもよい。
また、上記実施形態では、或る画像について仮決定されたゲインが、次の画像のゲインの決定時に使用されているが、実際に設定されたゲインが使用されてもよい。
【００３９】
因みにその場合、特に、電子カメラが連写モードであるときには、連続して取得された画像の相関度が十分に高くなる可能性が高い。つまり、荷重（αj-1，αj）が（１，０）となる（つまり、仮決定したゲイン（Ｇｒj，Ｇｂj）の値が加重平均の演算に不要となる）可能性が高い。よって、必要なときにのみ図２のステップＳ２（（Ｇｒj，Ｇｂj）仮決定する手順）が実行されるよう、図２の動作フローチャートの一部が変更されてもよい。
【００４０】
また、上記実施形態では、本発明が電子カメラに適用された場合について説明したが、画像処理回路が搭載される他の機器、例えばスキャナにも、本発明は同様に適用可能である。
また、上記実施形態で説明した手順（図２）からなる画像処理プログラム（コンピュータなどの画像処理装置により実行可能なプログラム）を構成することもできる。
【００４１】
【発明の効果】
以上説明したとおり本発明によれば、人間の目に対し違和感を与えないような差異を複数の画像の間に設けることのできる画像処理装置、画像処理方法、及び画像処理プログラムが実現する。
【図面の簡単な説明】
【図１】実施形態の電子カメラの概略構成を示す図である。
【図２】設定回路１３の動作フローチャートである。
【図３】実施形態の概要を示す図である。
【図４】色度図である。
【図５】（Ｂ）は、画像Ｉjの色ヒストグラムＨj、（Ａ）は、画像Ｉj-1の色ヒストグラムＨj-1である。
【符号の説明】
１ 電子カメラ本体
２ 撮影レンズ
１１ 撮像素子
１２ Ａ／Ｄ変換器
１３ 設定回路
１３ａ 演算回路
１３ｂ ＲＡＭ
１３ｃ ＲＯＭ
１４ ホワイトバランス処理回路
１５ 補間回路
１６ 階調変換処理回路
Ｉj 画像（処理対象画像）
Ｉj-1 画像（比較対象画像）
【発明の属する技術分野】
本発明は、電子カメラなどの機器に搭載又は接続される画像処理装置に関する。また、本発明は、その画像処理装置に適用される画像処理方法、及び画像処理プログラムに関する。
【０００２】
【従来の技術】
従来、電子カメラ内の画像処理回路では、ホワイトバランス処理、色変換処理、階調変換処理などが、個々の画像に応じて自動的に行われる。
これら処理に使用されるパラメータは、個々の画像の色温度や輝度などに応じてそれぞれ決定される。
【０００３】
よって、同じシーンを撮影して得られた２枚の画像同士であっても、それら画像の間で少しでも変化が生じていれば上記各処理のパラメータは異なるものに設定される。このため、個々の画像はそれぞれ異なる仕上がりになる。
【０００４】
【発明が解決しようとする課題】
しかし、一般に、ユーザが同じシーンを２回連続して撮影して２枚の画像を取得した場合、フレーミングを若干変えている可能性があるものの、２枚の画像の間にはほとんど差異がないことが多い。このような場合、ユーザは、２枚の画像の雰囲気（特に色のバランス）を同じにしたいと望んでいることが多い。
【０００５】
しかしながら、ユーザには差異がほとんどないと感じられる２枚の画像の間であっても、上記した従来の電子カメラは、その差異が大きいと認識してそれら２枚の画像を全く異なる雰囲気に仕上げてしまうことがあった。
そこで本発明は、人間の目に対し違和感を与えないような差異を複数の画像の間に設けることのできる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像処理装置は、撮像素子が取得した記録すべき個々の画像の色ヒストグラムを作成するヒストグラム作成手段と、色に関する画像処理を施すべき処理対象画像の色ヒストグラムを、それに先行して取得された比較対象画像の色ヒストグラムと比較して、それら画像の間の色の相関度を算出する相関度算出手段と、前記色に関する画像処理に使用すべきパラメータを、前記算出した相関度に応じて決定する決定手段と、その決定手段で決定されたパラメータを用いて、記録すべき個々の画像に対して色に関する画像処理を施す画像処理手段と、前記撮像素子が取得した記録すべき個々の画像に適する前記パラメータを、記録すべき個々の画像に応じて仮決定する仮決定手段とを備える。そして、前記決定手段は、前記処理対象画像について仮決定された前記パラメータと前記比較対象画像について仮決定された前記パラメータとに対して、前記相関度が高い場合には前記比較対象画像について仮決定された前記パラメータに近い値となるように、前記相関度が低い場合には前記処理対象画像について仮決定された前記パラメータに近い値となるように荷重平均を施すことによって、前記使用すべきパラメータを決定する。一般に、人間の目は、複数枚の画像を比較する場合、それら画像の間の色の差異に気づきやすいので、色ヒストグラムに基づくこの決定によれば、人間の目に対し違和感を与えないような差異を複数の画像の間に設けることができる。また、上記のように荷重平均を施すことよって、前記処理対象画像の色、前記比較対象画像の色、及び、それら画像の間の相関度が、適切にパラメータに反映される。
【０００７】
好ましくは、前記ヒストグラム作成手段は、前記色ヒストグラムの作成に当たり、前記画像上の各位置の色をその色の属する色相範囲で評価する。このような評価によれば、人間の目に対し違和感を与えないような差異を複数の画像の間に設けることができる。
また、好ましくは、前記ヒストグラム作成手段は、各色相範囲の広さを非均等に採る。これによって、微妙な色の差異であっても人間の目には大きな差異に写るような色同士が峻別され、また、大きな色の差異であっても人間の目には小さな差異に写るような色同士が同一とみなされるような画像処理が実現する。
【０００８】
また、好ましくは、前記ヒストグラム作成手段は、前記色ヒストグラムの作成に当たり、前記画像上の各位置の色をその色の属する色相範囲及び彩度範囲で評価する。
また、好ましくは、前記ヒストグラム作成手段は、各色相範囲及び／又は各彩度範囲の広さを非均等に採る。これによって、微妙な色の差異であっても人間の目には大きな差異に写るような色同士が峻別され、また、大きな色の差異であっても人間の目には小さな差異に写るような色同士が同一とみなされるような画像処理が実現する。
【０００９】
また、好ましくは、前記ヒストグラム作成手段は、前記色ヒストグラムを作成するに当たり、前記画像上の各色の出現頻度を複数画素からなる領域毎に評価する。これによって、色ヒストグラムを作成するために必要な時間が短縮する。
【００１０】
また、好ましくは、前記相関度算出手段は、前記相関度の指標として、一方の色ヒストグラムの各色の各頻度が成すベクトルと、他方の色ヒストグラムの各色の各頻度が成すベクトルとの間のユークリッド距離を算出する。これによって、相関度が確実に算出される。
また、好ましくは、前記ヒストグラム作成手段は、前記画像のうち所定の色範囲から外れた色を有した領域を、前記色ヒストグラム作成時の色の評価対象から外す。このようにすれば、仮に、前記処理対象画像と前記比較対照画像の一方にのみ際立った色が存在していたとしても、その色がパラメータに与える影響は、抑えられる。
【００１１】
また、本発明の画像処理方法は、撮像素子が取得した記録すべき個々の画像の色ヒストグラムを作成するヒストグラム作成手順と、色に関する画像処理を施すべき処理対象画像の色ヒストグラムを、それに先行して取得された比較対象画像の色ヒストグラムと比較して、それら画像の間の色の相関度を算出する相関度算出手順と、前記色に関する画像処理に使用すべきパラメータを、前記算出した相関度に応じて決定する決定手順と、その決定手順で決定されたパラメータを用いて、記録すべき個々の画像に対して色に関する画像処理を施す画像処理手順と、前記撮像素子が取得した記録すべき個々の画像に適する前記パラメータを、記録すべき個々の画像に応じて仮決定する仮決定手順とを有する。そして、前記決定手順では、前記処理対象画像について仮決定された前記パラメータと前記比較対象画像について仮決定された前記パラメータとに対して、前記相関度が高い場合には前記比較対象画像について仮決定された前記パラメータに近い値となるように、前記相関度が低い場合には前記処理対象画像について仮決定された前記パラメータに近い値となるように荷重平均が施されることによって、前記使用すべきパラメータが決定される。一般に、人間の目は、複数枚の画像を比較する場合、それら画像の間の色の差異に気づきやすいので、色ヒストグラムに基づくこの決定によれば、人間の目に対し違和感を与えないような差異を複数の画像の間に設けることができる。また、上記のように荷重平均が施されることによって、前記処理対象画像の色、前記比較対象画像の色、及び、それら画像の間の相関度が、適切にパラメータに反映される。
【００１２】
好ましくは、前記ヒストグラム作成手順では、前記色ヒストグラムの作成に当たり、前記画像上の各位置の色はその色の属する色相範囲で評価される。
また、好ましくは、前記ヒストグラム作成手順では、各色相範囲の広さは非均等に採られる。これによって、微妙な色の差異であっても人間の目には大きな差異に写るような色同士が峻別され、また、大きな色の差異であっても人間の目には小さな差異に写るような色同士が同一とみなされるような画像処理が実現する。
【００１３】
また、好ましくは、前記ヒストグラム作成手順では、前記色ヒストグラムの作成に当たり、前記画像上の各位置の色はその色の属する色相範囲及び彩度範囲で評価される。
また、好ましくは、前記ヒストグラム作成手順では、各色相範囲及び／又は各彩度範囲の広さは非均等に採られる。これによって、微妙な色の差異であっても人間の目には大きな差異に写るような色同士が峻別され、また、大きな色の差異であっても人間の目には小さな差異に写るような色同士が同一とみなされるような画像処理が実現する。
【００１４】
また、好ましくは、前記ヒストグラム作成手順では、前記色ヒストグラムを作成するに当たり、前記画像上の各色の出現頻度は複数画素からなる領域毎に評価される。これによって、色ヒストグラムを作成するために必要な時間が短縮する。
【００１５】
また、好ましくは、前記相関度算出手順では、前記相関度の指標として、一方の色ヒストグラムの各色の各頻度が成すベクトルと、他方の色ヒストグラムの各色の各頻度が成すベクトルとの間のユークリッド距離が算出される。これによって、相関度が確実に算出される。
また、好ましくは、前記ヒストグラム作成手順では、前記画像のうち所定の色範囲から外れた色を有した領域は、前記色ヒストグラム作成時の色の評価対象から外される。このようにすれば、仮に、前記処理対象画像と前記比較対照画像の一方にのみ際立った色が存在していたとしても、その色がパラメータに与える影響は、抑えられる。
【００１６】
また、本発明の画像処理プログラムは、撮像素子が取得した記録すべき個々の画像の色ヒストグラムを作成するヒストグラム作成手順と、色に関する画像処理を施すべき処理対象画像の色ヒストグラムを、それに先行して取得された比較対象画像の色ヒストグラムと比較して、それら画像の間の色の相関度を算出する相関度算出手順と、前記色に関する画像処理に使用すべきパラメータを、前記算出した相関度に応じて決定する決定手順と、その決定手順で決定されたパラメータを用いて、記録すべき個々の画像に対して色に関する画像処理を施す画像処理手順と、前記撮像素子が取得した記録すべき個々の画像に適する前記パラメータを、記録すべき個々の画像に応じて仮決定する仮決定手順とを画像処理装置に実行させる。そして、前記決定手順では、前記処理対象画像について仮決定された前記パラメータと前記比較対象画像について仮決定された前記パラメータとに対して、前記相関度が高い場合には前記比較対象画像について仮決定された前記パラメータに近い値となるように、前記相関度が低い場合には前記処理対象画像について仮決定された前記パラメータに近い値となるように荷重平均が施されることによって、前記使用すべきパラメータが決定される。なお、この画像処理プログラムは、本発明の画像処理方法を画像処理装置に実行させることができる。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態の電子カメラの概略構成を示す図である。
電子カメラ本体１には、撮像素子１１、Ａ／Ｄ変換器１２、ホワイトバランス処理回路１４、補間回路１５、階調変換処理回路１６、設定回路１３などが備えられる。
【００１８】
撮像素子１１上に、撮影レンズ２による被写体の像が形成される。撮像素子１１の出力信号は、不図示のアナログゲイン回路を介してＡ／Ｄ変換器１２に入力され、ディジタル信号に変換される。ディジタル信号には、ホワイトバランス処理回路１４においてホワイトバランス処理が施され、補間回路１５において画素補間処理が施され、階調変換処理回路１６において階調変換処理が施される。
【００１９】
ここで、ホワイトバランス処理回路１４がディジタル信号（以下、Ｒ／Ｇ，Ｂ／Ｇとする。）に乗算すべきゲイン（以下、Ｇｒ，Ｇｂとする。）は、設定回路１３により画像毎に設定される。この設定回路１３が、本発明の特徴部分に対応する。
なお、図１の符号１３ａは、設定回路１３における演算回路を示しており、符号１３ｂはその処理に使用されるＲＡＭ、符号１３ｃはその処理に使用されるＲＯＭである。
【００２０】
ＲＯＭ１３ｃには、ホワイトバランス処理回路１４に設定すべきゲイン（Ｇｒ，Ｇｂ）が予め各種格納されている。
例えば、ＲＯＭ１３ｃにおいて、各種のゲイン（Ｇｒ1，Ｇｂ1），（Ｇｒ2，Ｇｂ2），・・・は、図１（１３ｃ−１）のような「色温度−ゲインテーブル」として、画像の色温度毎に予め格納されている。
【００２１】
また、本実施形態のＲＯＭ１３ｃには、図１（１３ｃ−２）のような「乖離度−荷重テーブル」（後述）も予め格納されている。
因みに、従来は、個々の画像の色温度が求められ、その色温度−ゲインテーブルに対応付けられたゲイン（Ｇｒ，Ｇｂ）が、画像毎にホワイトバランス処理回路１４に送られ、設定されるだけであった。
【００２２】
図２は、設定回路１３の動作フローチャートである。
なお、この動作フローチャートでは、ｊ番目（ｊ≧２）に取得された画像Ｉjに対する処理のみを示している。
１番目の画像Ｉ1については、従来と同様にしてゲイン（Ｇｒ，Ｇｂ）が設定される。また、そのゲイン（Ｇｒ1、Ｇｂ1）と、その画像Ｉ1の色ヒストグラムＨ1（取得方法については下記のステップＳ１、Ｓ３を参照）とが、後続する２枚目の画像Ｉ2に対する処理に必要な情報としてＲＡＭ１３ｂに格納される。
【００２３】
本実施形態では、図３に示すように、画像Ｉjについてのゲイン（Ｇｒj，Ｇｂj）は、その画像Ｉj（図３（Ｂ））に応じて決定されるだけでなく、画像Ｉjと画像Ｉj-1（図３（Ａ））との相関度にも応じて決定される。
図２のステップＳ１では、画像Ｉj内の各小領域ｅi（ｉ＝１〜ｎ，図３では、ｎ＝３５）の色（Ｒi，Ｇi，Ｂi）がそれぞれ求められる。ここで、各小領域ｅiは複数画素からなるので、色（Ｒi、Ｇi、Ｂi）は、小領域ｅi内の各画素値の合算値（又は平均値）とすればよい。
【００２４】
また、ステップＳ２では、画像Ｉjの色温度が従来と同様の手法により求められ、ＲＯＭ１３ｃ内の色温度−ゲインテーブルに基づいてゲイン（Ｇｒj，Ｇｂj）が仮決定される。
さらに、ステップＳ３では、ステップＳ１において求められた各小領域ｅiの色（Ｒi，Ｇi，Ｂi）（ｉ＝１〜３５）に基づいて画像Ｉjの色ヒストグラムＨjが作成される。本実施形態では、色ヒストグラムＨjが、画像Ｉjと画像Ｉj-1との相関度を判断するために使用される。
【００２５】
一般に、人間の目は、複数枚の画像を比較する場合、それら画像の間の色の差異に気づきやすいので、色ヒストグラムに基づく判断は、人間の目による判断に近いと考えられる。
図４は、色度図である。
色ヒストグラム作成に当たっては、各小領域ｅiの色（Ｒi，Ｇi，Ｂi）が色度図上のどの色範囲に属するかがそれぞれ峻別され、色範囲毎にその出現頻度が計数される。
【００２６】
ここで、例えば、各色範囲の色度図上の色相方向（つまり（Ｒ／Ｇ，Ｂ／Ｇ）＝（１，１）を中心とする円の周方向）における位置は、異なる。
なお、人間の目は、彩度方向においても或る程度の感度を有しているので、図４に示すように、彩度方向（つまり（Ｒ／Ｇ，Ｂ／Ｇ）＝（１，１）を中心とする円の径方向）においても色範囲を幾つか設けることが好ましい。
【００２７】
しかも、各色範囲の色相方向における広さや、各色範囲の彩度方向における広さは、非均等であることが好ましい。その理由は、微妙な色の差異であっても人間の見た目には大きな差異に写るような色同士は確実に峻別されることが望ましく、また、大きな色の差異であっても人間の見た目には小さな差異にしか写らないような色同士は同一とみなされることが望ましいからである。
【００２８】
例えば、図４に示す例では、緑色に近い色範囲（色度図の左下）は、彩度方向においても複数個、設けられている（このため、彩度方向における広さが比較的狭い）。
このようにすれば、彩度の低い緑色（蛍光灯などの人工色である。）と、彩度の高い緑色（植物などの自然色である。）とが別の色範囲に含まれる。その結果、人工の緑色と自然の緑色とが、峻別される。
【００２９】
図５（Ｂ）は、以上のようにして作成された画像Ｉjの色ヒストグラムＨjである。
なお、この時点では、ＲＡＭ１３ｂには、前の画像Ｉj-1の色ヒストグラムＨj-1と、その画像Ｉj-1に対し仮決定されたゲイン（Ｇｒj-1，Ｇｂj-1）とが格納されている。
【００３０】
図５（Ａ）は、画像Ｉj-1の色ヒストグラムＨj-1である。
図２のステップＳ４においては、ステップＳ３で作成された画像Ｉjの色ヒストグラムＨj（図５（Ｂ））と、ＲＡＭ１３ｂに格納されている画像Ｉj-1の色ヒストグラムＨj-1（図５（Ａ））との相関度が求められる。
相関度の指標は、例えば、色ヒストグラムＨjの各色の各頻度が成すベクトルと、色ヒストグラムＨj-1の各色の各頻度が成すベクトルとの間の、ユークリッド距離（以下、「乖離度」という。）ｄである（式（１））。
【数１】
この乖離度Ｄが小さいほど、画像Ｉjの色と前の画像Ｉj-1の色との相関度が高い。
そして、図２のステップＳ５では、この乖離度Ｄと、ステップＳ２において画像Ｉjに対し仮決定されたゲイン（Ｇｒj，Ｇｂj）と、前の画像Ｉj-1に対し仮決定されたゲイン（Ｇｒj-1，Ｇｂj-1）とに応じて、画像Ｉjに対し使用すべきゲイン（Ｇｒ，Ｇｂ）が決定される。
【００３１】
この際、ゲイン（Ｇｒj，Ｇｂj）及びゲイン（Ｇｒj-1，Ｇｂj-1）に、乖離度Ｄに応じた荷重平均が施される。
このとき、図１（１３ｃ−２）に示した「乖離度−荷重テーブル」が参照される。このテーブルには、荷重平均時のゲイン（Ｇｒj-1，Ｇｂj-1），ゲイン（Ｇｒj，Ｇｂj）に乗算すべき荷重αj-1，αjが、各乖離度Ｄに対応付けられて格納されている。
【００３２】
ここで、乖離度Ｄが小さいときほど平均後のゲイン（Ｇｒ，Ｇｂ）がゲイン（Ｇｒj-1，Ｇｂj-1）に近い値となり、乖離度Ｄが大きいときほど平均後のゲイン（Ｇｒ，Ｇｂ）がゲイン（Ｇｒj，Ｇｂj）に近い値となるよう、このテーブルの内容は予め決定されている。
設定回路１３は、式（２）により荷重平均を施してゲイン（Ｇｒ，Ｇｂ）の値を決定し（以上、ステップＳ５）、その値を、ホワイトバランス処理回路１４に設定する（ステップＳ６）。
【数２】
その後、図１のホワイトバランス処理回路１４において、画像Ｉjには、ゲイン（Ｇｒ，Ｇｂ）を使用したホワイトバランス処理が施される。
【００３３】
以上、本実施形態では、画像Ｉjと画像Ｉj-1との相関度が色ヒストグラムに基づいて判別され、その相関度に応じて画像Ｉjに対するホワイトバランス処理のパラメータ（ゲイン（Ｇｒ，Ｇｂ））が決定される。
上記したように人間の目は色に対して敏感なので、色ヒストグラムに基づくこの決定によれば、画像Ｉj-1と画像Ｉjとの間のホワイトバランスの差異は、人間の目に近い感度で設けられる。
【００３４】
なお、本実施形態の上記ステップＳ１において小領域ｅiの色が評価されるときには、次のようになっていてもよい。
先ず、画像内に際立った色（例えば原色）の画素があった場合、際立った色の画素が色の評価対象から外れる。
具体的には、際立った色の画素が存在する小領域ｅiの色は、際立った色の画素以外の画素の合算値（又は平均値）とみなされる。
【００３５】
このようにすれば、仮に、画像Ｉjと画像Ｉj-1の一方にのみ際立った色が存在していたとしても、その色は無視されるので、相関度が低く（乖離度Ｄが高く）なることはない。
仮に、画像Ｉjと画像Ｉj-1との一方の一部に際立った色が存在していたとしても、画像の殆どの領域で画像Ｉjと画像Ｉj-1とが似ているのであれば、人間の目には同じに見えることが多い。したがって、人間の目に近い感度で相関度が判断される。
【００３６】
［その他］
なお、上記実施形態では、図１（１３ｃ−２）にも示すように、荷重（αj-1，αj）の組み合わせの数が、乖離度Ｄの高さに応じて（１０，０），（８，２），・・・，（０，１０）の５つとされたが、それ以外の数（例えば２）とされてもよい。因みに、２である場合、乖離度Ｄが所定値未満であるときに（αj-1，αj）は（１，０）となり、乖離度Ｄが所定値以上であるときに（αj-1，αj）は（０，１）となる。
【００３７】
また、上記実施形態では、荷重平均の対象を、画像Ｉj-1のゲイン（Ｇｒj-1，Ｇｂj-1）及び画像Ｉjのゲイン（Ｇｒj，Ｇｂj）としたが、画像Ｉj-1の色温度及び画像Ｉjの色温度としてもよい。
この場合、荷重平均後の色温度に対応付けられてゲイン（Ｇｒ，Ｇｂ）が予め「色温度−ゲインテーブル」に格納される。そのゲイン（Ｇｒ，Ｇｂ）が、ホワイトバランス処理回路１４に設定される。
【００３８】
また、上記実施形態では、相関度に応じて設定されるパラメータは、ホワイトバランス処理のパラメータ（ゲイン（Ｇｒ，Ｇｂ））であるが、階調変換処理のパラメータ（階調変換カーブ）や、色変換処理のパラメータ（色変換マトリクス）であってもよい。
また、上記実施形態では、或る画像について仮決定されたゲインが、次の画像のゲインの決定時に使用されているが、実際に設定されたゲインが使用されてもよい。
【００３９】
因みにその場合、特に、電子カメラが連写モードであるときには、連続して取得された画像の相関度が十分に高くなる可能性が高い。つまり、荷重（αj-1，αj）が（１，０）となる（つまり、仮決定したゲイン（Ｇｒj，Ｇｂj）の値が加重平均の演算に不要となる）可能性が高い。よって、必要なときにのみ図２のステップＳ２（（Ｇｒj，Ｇｂj）仮決定する手順）が実行されるよう、図２の動作フローチャートの一部が変更されてもよい。
【００４０】
また、上記実施形態では、本発明が電子カメラに適用された場合について説明したが、画像処理回路が搭載される他の機器、例えばスキャナにも、本発明は同様に適用可能である。
また、上記実施形態で説明した手順（図２）からなる画像処理プログラム（コンピュータなどの画像処理装置により実行可能なプログラム）を構成することもできる。
【００４１】
【発明の効果】
以上説明したとおり本発明によれば、人間の目に対し違和感を与えないような差異を複数の画像の間に設けることのできる画像処理装置、画像処理方法、及び画像処理プログラムが実現する。
【図面の簡単な説明】
【図１】実施形態の電子カメラの概略構成を示す図である。
【図２】設定回路１３の動作フローチャートである。
【図３】実施形態の概要を示す図である。
【図４】色度図である。
【図５】（Ｂ）は、画像Ｉjの色ヒストグラムＨj、（Ａ）は、画像Ｉj-1の色ヒストグラムＨj-1である。
【符号の説明】
１ 電子カメラ本体
２ 撮影レンズ
１１ 撮像素子
１２ Ａ／Ｄ変換器
１３ 設定回路
１３ａ 演算回路
１３ｂ ＲＡＭ
１３ｃ ＲＯＭ
１４ ホワイトバランス処理回路
１５ 補間回路
１６ 階調変換処理回路
Ｉj 画像（処理対象画像）
Ｉj-1 画像（比較対象画像）
Claims (17)
- 撮像素子が取得した記録すべき個々の画像の色ヒストグラムを作成するヒストグラム作成手段と、
色に関する画像処理を施すべき処理対象画像の色ヒストグラムを、それに先行して取得された比較対象画像の色ヒストグラムと比較して、それら画像の間の色の相関度を算出する相関度算出手段と、
前記色に関する画像処理に使用すべきパラメータを、前記算出した相関度に応じて決定する決定手段と、
前記決定手段で決定されたパラメータを用いて、記録すべき個々の画像に対して色に関する画像処理を施す画像処理手段と、
前記撮像素子が取得した記録すべき個々の画像に適する前記パラメータを、記録すべき個々の画像に応じて仮決定する仮決定手段と
を備え、
前記決定手段は、
前記処理対象画像について仮決定された前記パラメータと前記比較対象画像について仮決定された前記パラメータとに対して、前記相関度が高い場合には前記比較対象画像について仮決定された前記パラメータに近い値となるように、前記相関度が低い場合には前記処理対象画像について仮決定された前記パラメータに近い値となるように荷重平均を施すことによって、前記使用すべきパラメータを決定する
ことを特徴とする画像処理装置。 - 請求項１に記載の画像処理装置において、
前記ヒストグラム作成手段は、
前記色ヒストグラムの作成に当たり、前記画像上の各位置の色をその色の属する色相範囲で評価する
ことを特徴とする画像処理装置。 - 請求項２に記載の画像処理装置において、
前記ヒストグラム作成手段は、
各色相範囲の広さを非均等に採る
ことを特徴とする画像処理装置。 - 請求項１に記載の画像処理装置において、
前記ヒストグラム作成手段は、
前記色ヒストグラムの作成に当たり、前記画像上の各位置の色をその色の属する色相範囲及び彩度範囲で評価する
ことを特徴とする画像処理装置。 - 請求項４に記載の画像処理装置において、
前記ヒストグラム作成手段は、
各色相範囲及び／又は各彩度範囲の広さを非均等に採る
ことを特徴とする画像処理装置。 - 請求項１〜請求項５の何れか一項に記載の画像処理装置において、
前記ヒストグラム作成手段は、
前記色ヒストグラムを作成するに当たり、前記画像上の各色の出現頻度を複数画素からなる領域毎に評価する
ことを特徴とする画像処理装置。 - 請求項１〜請求項６の何れか一項に記載の画像処理装置において、
前記相関度算出手段は、
前記相関度の指標として、一方の色ヒストグラムの各色の各頻度が成すベクトルと、他方の色ヒストグラムの各色の各頻度が成すベクトルとの間のユークリッド距離を算出する
ことを特徴とする画像処理装置。 - 請求項１〜請求項７の何れか一項に記載の画像処理装置において、
前記ヒストグラム作成手段は、
前記画像のうち所定の色範囲から外れた色を有した領域を、前記色ヒストグラム作成時の色の評価対象から外す
ことを特徴とする画像処理装置。 - 撮像素子が取得した記録すべき個々の画像の色ヒストグラムを作成するヒストグラム作成手順と、
色に関する画像処理を施すべき処理対象画像の色ヒストグラムを、それに先行して取得された比較対象画像の色ヒストグラムと比較して、それら画像の間の色の相関度を算出する相関度算出手順と、
前記色に関する画像処理に使用すべきパラメータを、前記算出した相関度に応じて決定する決定手順と、
前記決定手順で決定されたパラメータを用いて、記録すべき個々の画像に対して色に関する画像処理を施す画像処理手順と、
前記撮像素子が取得した記録すべき個々の画像に適する前記パラメータを、記録すべき個々の画像に応じて仮決定する仮決定手順と
を有し、
前記決定手順では、
前記処理対象画像について仮決定された前記パラメータと前記比較対象画像について仮決定された前記パラメータとに対して、前記相関度が高い場合には前記比較対象画像について仮決定された前記パラメータに近い値となるように、前記相関度が低い場合には前記処理対象画像について仮決定された前記パラメータに近い値となるように荷重平均が施されることによって、前記使用すべきパラメータが決定される
ことを特徴とする画像処理方法。 - 請求項９に記載の画像処理方法において、
前記ヒストグラム作成手順では、
前記色ヒストグラムの作成に当たり、前記画像上の各位置の色はその色の属する色相範囲で評価される
ことを特徴とする画像処理方法。 - 請求項１０に記載の画像処理方法において、
前記ヒストグラム作成手順では、
各色相範囲の広さは非均等に採られる
ことを特徴とする画像処理方法。 - 請求項９に記載の画像処理方法において、
前記ヒストグラム作成手順では、
前記色ヒストグラムの作成に当たり、前記画像上の各位置の色はその色の属する色相範囲及び彩度範囲で評価される
ことを特徴とする画像処理方法。 - 請求項１２に記載の画像処理方法において、
前記ヒストグラム作成手順では、
各色相範囲及び／又は各彩度範囲の広さは非均等に採られる
ことを特徴とする画像処理方法。 - 請求項９〜請求項１３の何れか一項に記載の画像処理方法において、
前記ヒストグラム作成手順では、
前記色ヒストグラムを作成するに当たり、前記画像上の各色の出現頻度は複数画素からなる領域毎に評価される
ことを特徴とする画像処理方法。 - 請求項９〜請求項１４の何れか一項に記載の画像処理方法において、
前記相関度算出手順では、
前記相関度の指標として、一方の色ヒストグラムの各色の各頻度が成すベクトルと、他方の色ヒストグラムの各色の各頻度が成すベクトルとの間のユークリッド距離が算出される
ことを特徴とする画像処理方法。 - 請求項９〜請求項１５の何れか一項に記載の画像処理方法において、
前記ヒストグラム作成手順では、
前記画像のうち所定の色範囲から外れた色を有した領域は、前記色ヒストグラム作成時の色の評価対象から外される
ことを特徴とする画像処理方法。 - 撮像素子が取得した記録すべき個々の画像の色ヒストグラムを作成するヒストグラム作成手順と、
色に関する画像処理を施すべき処理対象画像の色ヒストグラムを、それに先行して取得された比較対象画像の色ヒストグラムと比較して、それら画像の間の色の相関度を算出する相関度算出手順と、
前記色に関する画像処理に使用すべきパラメータを、前記算出した相関度に応じて決定する決定手順と、
前記決定手順で決定されたパラメータを用いて、記録すべき個々の画像に対して色に関する画像処理を施す画像処理手順と、
前記撮像素子が取得した記録すべき個々の画像に適する前記パラメータを、記録すべき個々の画像に応じて仮決定する仮決定手順と
を画像処理装置に実行させ、
前記決定手順では、
前記処理対象画像について仮決定された前記パラメータと前記比較対象画像について仮決定された前記パラメータとに対して、前記相関度が高い場合には前記比較対象画像について仮決定された前記パラメータに近い値となるように、前記相関度が低い場合には前記処理対象画像について仮決定された前記パラメータに近い値となるように荷重平均が施されることによって、前記使用すべきパラメータが決定される
ことを特徴とする画像処理プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003001752A JP4314822B2 (ja) | 2002-02-13 | 2003-01-08 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US10/354,008 US7283667B2 (en) | 2002-02-13 | 2003-01-30 | Image processing unit, image processing method, and image processing program |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002035986 | 2002-02-13 | ||
| JP2002-35986 | 2002-02-13 | ||
| JP2003001752A JP4314822B2 (ja) | 2002-02-13 | 2003-01-08 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003309859A JP2003309859A (ja) | 2003-10-31 |
| JP4314822B2 true JP4314822B2 (ja) | 2009-08-19 |
Family
ID=27667530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003001752A Expired - Fee Related JP4314822B2 (ja) | 2002-02-13 | 2003-01-08 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7283667B2 (ja) |
| JP (1) | JP4314822B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4314822B2 (ja) * | 2002-02-13 | 2009-08-19 | 株式会社ニコン | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US7525697B2 (en) * | 2002-07-15 | 2009-04-28 | Olympus Corporation | White balance processing apparatus and processing method thereof |
| JP2004200902A (ja) * | 2002-12-17 | 2004-07-15 | Nikon Corp | 画像処理装置、電子カメラ、及び画像処理プログラム |
| US20060126106A1 (en) * | 2004-12-10 | 2006-06-15 | Xerox Corporation | System and method for remote proof printing and verification |
| US7394930B2 (en) * | 2005-01-07 | 2008-07-01 | Nokia Corporation | Automatic white balancing of colour gain values |
| US7848569B2 (en) * | 2005-12-14 | 2010-12-07 | Micron Technology, Inc. | Method and apparatus providing automatic color balancing for digital imaging systems |
| KR100855470B1 (ko) | 2006-09-28 | 2008-09-01 | 삼성전자주식회사 | 광원 추정 방법 및 장치 |
| JP5131431B2 (ja) * | 2007-01-26 | 2013-01-30 | 日本電気株式会社 | 病理画像評価装置、病理画像評価方法、及び病理画像評価プログラム |
| JP5175680B2 (ja) * | 2008-02-15 | 2013-04-03 | パナソニック株式会社 | 撮像装置、波形信号表示方法、プログラムおよび集積回路 |
| JP5693271B2 (ja) * | 2011-02-03 | 2015-04-01 | キヤノン株式会社 | 画像処理装置及び方法 |
| US8928769B2 (en) | 2011-03-31 | 2015-01-06 | Drs Sustainment Systems, Inc. | Method for image processing of high-bit depth sensors |
| US9678999B1 (en) * | 2014-12-31 | 2017-06-13 | Teradata Us, Inc. | Histogram generation on multiple dimensions |
| EP3301910A1 (en) * | 2016-09-29 | 2018-04-04 | Continental Automotive GmbH | Device for white balance correction |
| CN111492653B (zh) * | 2017-09-30 | 2023-06-16 | 深圳传音通讯有限公司 | 相机白平衡快速调整方法、装置及计算机可读存储介质 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5418895A (en) * | 1992-11-25 | 1995-05-23 | Eastman Kodak Company | Method for displaying a high quality digital color image on a limited color display |
| JP2735003B2 (ja) | 1994-09-28 | 1998-04-02 | 松下電器産業株式会社 | ホワイトバランス調整量演算装置 |
| US5727080A (en) * | 1995-05-03 | 1998-03-10 | Nec Research Institute, Inc. | Dynamic histogram warping of image histograms for constant image brightness, histogram matching and histogram specification |
| US5901243A (en) * | 1996-09-30 | 1999-05-04 | Hewlett-Packard Company | Dynamic exposure control in single-scan digital input devices |
| JPH11205812A (ja) | 1998-01-19 | 1999-07-30 | Ricoh Co Ltd | 白バランス制御方法及び装置 |
| US6845176B1 (en) * | 1998-03-17 | 2005-01-18 | Sharp Laboratories Of America, Inc. | System and method for on-line computation and storage of scene histograms in an image acquisition appliance |
| JP2000069251A (ja) * | 1998-08-26 | 2000-03-03 | Asahi Optical Co Ltd | 画像読取装置の露光制御装置 |
| JP2000134466A (ja) * | 1998-10-21 | 2000-05-12 | Murata Mach Ltd | 画像処理装置 |
| WO2003021533A1 (en) * | 2001-08-31 | 2003-03-13 | Massachusetts Institute Of Technology | Color image segmentation in an object recognition system |
| JP4314822B2 (ja) * | 2002-02-13 | 2009-08-19 | 株式会社ニコン | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US6995791B2 (en) * | 2002-04-02 | 2006-02-07 | Freescale Semiconductor, Inc. | Automatic white balance for digital imaging |
-
2003
- 2003-01-08 JP JP2003001752A patent/JP4314822B2/ja not_active Expired - Fee Related
- 2003-01-30 US US10/354,008 patent/US7283667B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003309859A (ja) | 2003-10-31 |
| US7283667B2 (en) | 2007-10-16 |
| US20030151758A1 (en) | 2003-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4314822B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP3668014B2 (ja) | 画像処理方法及び装置 | |
| US7027662B2 (en) | Method and apparatus for the removal of flash artifacts | |
| US6249601B1 (en) | Method for determining color of illuminant and apparatus therefor | |
| JP4707450B2 (ja) | 画像処理装置及びホワイトバランス調整装置 | |
| KR101451982B1 (ko) | 디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법 | |
| EP2426928B1 (en) | Image processing apparatus, image processing method and program | |
| KR100983037B1 (ko) | 자동 화이트 밸런스 조정 방법 | |
| US20070085911A1 (en) | Apparatus for color correction of subject-image data, and method of controlling same | |
| JP2010039758A (ja) | 画像処理装置及び画像処理方法 | |
| JP5901667B2 (ja) | 画像処理装置及び方法、画像処理プログラム、撮像装置 | |
| US20060177127A1 (en) | Spectral normalization using illuminant exposure estimation | |
| US6931152B2 (en) | Method for improved automatic partial color constancy correction | |
| JP2001054014A (ja) | 電子カメラ | |
| JP2000197070A (ja) | ホワイトバランス調整装置 | |
| JP2003061109A (ja) | カラー画像信号処理方法及びそれを用いたカラー画像信号処理装置 | |
| JP2006114006A (ja) | 階調変換装置、プログラム、電子カメラ、およびその方法 | |
| JP4066090B2 (ja) | 画像処理装置、画像処理プログラム、および画像処理方法 | |
| JP4269780B2 (ja) | 画像処理装置、電子カメラ、及び画像処理プログラム | |
| US8160355B1 (en) | Method, device and computer program product for performing white balancing of a digital image | |
| JP4889225B2 (ja) | 電子カメラ | |
| EP1895781B1 (en) | Method of and apparatus for adjusting colour saturation | |
| JP2002142127A (ja) | 分光感度特性の最適化方法 | |
| JP4857856B2 (ja) | 彩度調整機能を有する電子カメラ、および画像処理プログラム | |
| JP2008294969A (ja) | 映像変換装置、映像変換方法、映像変換プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051101 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080602 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080617 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080813 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090406 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090428 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090511 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4314822 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120529 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150529 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150529 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150529 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |