JP2014155167A - 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 - Google Patents

Abstract

【課題】適切に画質を向上させることができる画像処理装置を提供する。
【解決手段】画像処理装置は、入力部、第１色被り補正部、食べ物判定部及び食べ物補正部を備える。入力部は、画像を入力する。第１色被り補正部は、画像の色被りを補正する。食べ物判定部は、第１色被り補正部により補正された後の画像の被写体に食べ物が含まれているか否かを判定する。食べ物補正部は、食べ物判定部により被写体に食べ物が含まれていると判定された場合には、第１色被り補正部により補正された後の画像の色成分を補正する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム及び記録媒体に関するものである。

従来、画像処理装置として、入力画像に対して補正処理を行う装置が知られている（例えば、特許文献１参照。）。特許文献１記載の装置は、入力画像に対して、輝度・彩度補正処理、拡大処理及び色ノイズ低減処理を組み合わせて実行する。該装置では、色ノイズ低減処理を行った後に、輝度・彩度補正処理を行う。

特開２００１−１８６３６６号公報

近年のデジタルカメラやカメラ付き携帯端末の普及に伴い、撮像画像等の画質に対する関心が高まっている。このため、取り直しをすることができない画像を適切に補正して、画質を向上することが望まれている。向上させるべき画質は、特許文献１に記載された輝度に関する画質、彩度に関する画質、エッジに関する画質及びノイズに関する画質のみならず、明度に関する画質及び色被りに関する画質等、多数存在する。そして、複数の画質について同時に向上させる場合、各補正処理を順次行う必要がある。

しかしながら、複数の画質を向上させようとした場合、前段の補正処理が後段の補正処理に悪影響を与え、結果として画質が低下するおそれがある。さらに、被写体によって人が感じる画質の良さには違いがあるため、被写体ごとに適切な補正処理が必要となる。このため、特許文献１記載の装置では十分に満足できる補正を行うことができないおそれがある。
そこで、本技術分野では、適切に画質を向上させることができる画像処理装置、画像処理方法、画像処理プログラム、及び当該プログラムを記録した記録媒体が望まれている。

すなわち本発明の一側面に係る画像処理装置は、画像を補正する装置である。該装置は、入力部、第１色被り補正部、食べ物判定部及び食べ物補正部を備える。入力部は、画像を入力する。第１色被り補正部は、画像の色被りを補正する。食べ物判定部は、第１色被り補正部により補正された後の画像の被写体に食べ物が含まれているか否かを判定する。食べ物補正部は、食べ物判定部により被写体に食べ物が含まれていると判定された場合には、第１色被り補正部により補正された後の画像の色成分を補正する。

この画像処理装置では、第１色被り補正部により、画像の色被りが補正され、食べ物判定部により、色被り補正後の画像の被写体に食べ物が含まれているか否かが判定され、被写体に食べ物が含まれていると判定された場合には、食べ物補正部により、色被り補正後の画像の色成分が補正される。このように、色被りに関する画質と食べ物に関する画質とを同時に向上させる場合には、被写体に食べ物が含まれているか否か判定する必要があるところ、食べ物に関しては色被りしているシーンが一般的に多いため、その判定の前に色被り補正を行うことで、食べ物判定の精度を向上させることができる。よって、食べ物補正をした後に色被り補正をする場合に比べて画質を向上させることが可能となる。

一実施形態では、食べ物判定部は、教師画像を用いた学習によって食べ物の特徴を予め取得し、第１色被り補正部により補正された後の画像の特徴と、学習により得られた食べ物の特徴とを比較することで、第１色被り補正部により補正された後の画像の被写体に食べ物が含まれているか否かを判定してもよい。このように、事前学習により食べ物を定義することで、食べ物か否かを判定することができる。

一実施形態では、食べ物補正部は、各画素の明度を一定の比率で強調してもよい。また、一実施形態では、食べ物補正部は、暖色系の色相の画素の彩度が非暖色系の色相の画素の彩度よりも強調されるように重み付けして各画素の彩度を補正してもよい。このように補正することで、食べ物の見栄えを向上させることができる。

一実施形態では、第１色被り補正部は、輝度値が所定値以上であり、かつ、当該輝度値に対する色差値の比率が所定値以下である画素の色が白であると判定して色被りの度合いを推定してもよい。このように構成することで、本来は白であった画素を適切に判定しつつ、色被り度合いを推定することができる。

一実施形態では、画像処理装置は、入力部により入力された前記画像のノイズを補正する第１ノイズ補正部を更に備え、第１色被り補正部は、第１ノイズ補正部により補正された後の画像の色被りを補正してもよい。一実施形態では、第１ノイズ補正部は、入力部により入力された画像のノイズを補正した後に、各画素のビットを拡張してもよい。ビットを拡張させることで、以降の処理の演算精度を向上させることができる。

一実施形態では、第１ノイズ補正部は、補正対象の画素の色成分と、当該補正対象の画素と隣接する画素の色成分との間の相関に基づいて、ノイズの補正強度を設定してもよい。このように構成することで、過度な補正を回避することができるので、適切に画質を向上させることが可能となる。

一実施形態では、画像処理装置は、第１ノイズ補正部により補正された後の画像の明度又は彩度を補正する明度彩度補正部を更に備え、第１色被り補正部は、明度彩度補正部により補正された後の画像の色被りを補正してもよい。このように、明度彩度補正をした後に色被り補正をすることで、明るい色のグラデーション部分の画素が色被りしている画素であると誤判定することを回避することができるため、色被りに関する画質を向上させること可能となる。

あるいは、一実施形態では、画像処理装置は、食べ物判定部により被写体に食べ物が含まれていないと判定された場合には、第１ノイズ補正部により補正された後の画像の明度又は彩度を補正する明度彩度補正部と、明度彩度補正部により補正された後の画像の色被りを補正する第２色被り補正部と、を更に備えてもよい。明度彩度補正を行った後に食べ物の色を補正すると例えば明るさが強調され過ぎる場合がある。このため、食べ物に関しては明度彩度補正を不要とし、食べ物以外の被写体において明度彩度補正をすることで、食べ物の画像の画質を向上させつつ、食べ物以外の画像についても適切に画質を向上させることができる。この際、食べ物以外の画像の場合には、食べ物判定の精度向上を目的とした色被り補正の結果を用いるのではなく、ノイズ補正の結果を用いることにより、明度彩度補正をした後に色被り補正をすることができるため、明るい色のグラデーション部分の画素が色被りしている画素であると誤判定することを回避することが可能となる。

一実施形態では、明度彩度補正部は、画像の色空間におけるヒストグラムを用いたトーンカーブに基づいて明度を補正してもよい。また、一実施形態では、明度彩度補正部は、明度の補正量を係数として彩度の補正を行ってもよい。また、一実施形態では、明度彩度補正部は、所定の基準値との差分基づいて彩度補正の強度を変更してもよい。このように補正することで、自動かつ適切に明度又は彩度を補正することができる。

一実施形態では、画像処理装置は、食べ物補正部により補正された後の画像のエッジを補正するエッジ補正部を更に備えてもよい。エッジを補正するとざらつきが増加した画像になり、色味の補正が適切にできない場合がある。このため、補正を全体の色味を調整した後にエッジ補正を行うことで、色味を調整しつつエッジを補正することが可能となる。したがって、バランスの良い補正を行うことができる。

一実施形態では、エッジ補正部は、補正対象の画素の輝度値と、当該補正対象の画素を含む所定領域に含まれる画素の輝度値との差に基づいて、エッジ強度を設定してもよい。また、一実施形態では、画像処理装置は、食べ物補正部により補正された後の画像のノイズを補正する第２ノイズ補正部を更に備え、エッジ補正部は、第２ノイズ補正部により補正された後の画像のエッジを補正してもよい。このように補正することで、自動かつ適切にエッジを補正することができる。

また、本発明の他の側面に係る画像処理方法は、画像を補正する方法である。該方法は、入力ステップ、第１色被り補正ステップ、食べ物判定ステップ及び食べ物補正ステップを備える。入力ステップは、画像を入力する。第１色被り補正ステップは、画像の色被りを補正する。食べ物判定ステップは、第１色被り補正ステップにより補正された後の画像の被写体に食べ物が含まれているか否かを判定する。食べ物補正ステップは、食べ物判定ステップにより被写体に食べ物が含まれていると判定された場合には、第１色被り補正ステップにより補正された後の画像の色成分を補正する。

また、本発明の他の側面に係る画像処理プログラムは、画像を補正するようにコンピュータを動作させるプログラムである。該プログラムは、コンピュータを、入力部、第１色被り補正部、食べ物判定部及び食べ物補正部として動作させる。入力部は、画像を入力する。第１色被り補正部は、画像の色被りを補正する。食べ物判定部は、第１色被り補正部により補正された後の画像の被写体に食べ物が含まれているか否かを判定する。食べ物補正部は、食べ物判定部により被写体に食べ物が含まれていると判定された場合には、第１色被り補正部により補正された後の画像の色成分を補正する。

さらに、本発明の他の側面に係る記録媒体は、画像を補正するようにコンピュータを動作させる画像処理プログラムが記録されたコンピュータ読み取り可能な記録媒体である。該プログラムは、コンピュータを、入力部、第１色被り補正部、食べ物判定部及び食べ物補正部として動作させる。入力部は、画像を入力する。第１色被り補正部は、画像の色被りを補正する。食べ物判定部は、第１色被り補正部により補正された後の画像の被写体に食べ物が含まれているか否かを判定する。食べ物補正部は、食べ物判定部により被写体に食べ物が含まれていると判定された場合には、第１色被り補正部により補正された後の画像の色成分を補正する。

本発明に係る画像処理方法、画像処理プログラム及び画像処理ブログラムが記録された記録媒体によれば、上述した本発明に係る画像処理装置と同様の効果を奏する。

以上説明したように、本発明の種々の側面及び実施形態によれば、適切に画質を向上させることができる。

実施形態に係る画像処理装置を搭載した携帯端末の機能ブロック図である。 図１中の画像処理装置が搭載される携帯端末のハードウェア構成図である。 明度の補正処理に用いるトーンカーブである。 彩度の補正強度を説明するグラフである。 エッジ強度の補正を説明するグラフである。 第１実施形態に係る画像処理装置の動作を説明するフローチャートである。 第２実施形態に係る画像処理装置の動作を説明するフローチャートである。

以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

（第１実施形態）
本実施形態に係る画像処理装置は、画像を補正する装置であって、例えば、携帯電話、デジタルカメラ、ＰＤＡ（Personal Digital Assistant）又は通常のコンピュータシステム等に搭載されるものである。なお、以下では、説明理解の容易性を考慮し、本発明に係る画像処理装置の一例として、携帯端末に搭載される画像処理装置を説明する。

図１は、本実施形態に係る画像処理装置１を備える携帯端末２の機能ブロック図である。図１に示す携帯端末２は、例えばユーザにより携帯される移動端末であり、図２に示すハードウェア構成を有する。図２は、携帯端末２のハードウェア構成図である。図２に示すように、携帯端末２は、物理的には、ＣＰＵ（Central Processing Unit）１００、ＲＯＭ（Read Only Memory）１０１及びＲＡＭ（Random Access Memory）１０２等の主記憶装置、カメラ又はキーボード等の入力デバイス１０３、ディスプレイ等の出力デバイス１０４、ハードディスク等の補助記憶装置１０５などを含む通常のコンピュータシステムとして構成される。後述する携帯端末２及び画像処理装置１の各機能は、ＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御の元で入力デバイス１０３及び出力デバイス１０４を動作させるとともに、主記憶装置や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。なお、上記の説明は携帯端末２のハードウェア構成として説明したが、画像処理装置１がＣＰＵ１００、ＲＯＭ１０１及びＲＡＭ１０２等の主記憶装置、入力デバイス１０３、出力デバイス１０４、補助記憶装置１０５などを含む通常のコンピュータシステムとして構成されてもよい。また、携帯端末２は、通信モジュール等を備えてもよい。

図１に示すように、携帯端末２は、カメラ２０、画像記録部２１、画像処理装置１、一時画像記録部２２、表示部２３及び補正画像記録部２４を備えている。

カメラ２０は、画像を撮像する機能を有している。カメラ２０として、例えば撮像素子等が用いられる。カメラ２０は、例えば撮像された画像を撮像の度に画像処理装置１へ出力する機能を有している。

画像記録部２１は、画像を記録する機能を有している。画像記録部２１に格納される画像は、カメラ２０で撮像された画像であってもよいし、インターネット等の通信を介して取得された画像であってもよい。

画像処理装置１は、入力部１０及び画像処理部１１を備えている。入力部１０は、補正対象となる画像を、カメラ２０又は画像記録部２１から入力する。入力された画像は、例えばＲＧＢ色空間で表現された画像である。そして、入力部１０は、画像処理部１１へ画像を出力する。

画像処理部１１は、明度・彩度補正部（明度彩度補正部）１２、色被り補正部（第１色被り補正部）１３、食べ物判定部１４、食べ物補正部１５、エッジ補正部１６及びノイズ補正部（第１ノイズ補正部）１７を備えている。画像処理部１１は、これらの補正部及び判定部を適切に作動させ、かつ、組み合わせて機能させることで、入力部１０により入力された画像を自動かつ適切に補正する。以下、各補正部及び判定部の詳細を説明する。

明度・彩度補正部１２は、画像に含まれる画素の明度又は彩度を補正する。明度・彩度補正部１２は、明度又は彩度を補正することで、適正露出からずれた状態となっている露出ミスを解消する。明度・彩度補正部１２は、例えば、画像の白とび又は黒つぶれ（輝度レベルが著しく高い又は低い部分）といった適正露出からの顕著なずれのみならず、薄暗い・やや明るいような軽度なずれを解消して、画質を向上させる。また、明度・彩度補正部１２は、「空」の青や「草」の緑を人が「空」や「草」として記憶している記憶色に近づけたりすることで、画質を向上させる。なお、記憶色とは、人が一般的にイメージとして記憶している色のことである。記憶色は、実際の色よりも鮮やかな色となる場合が多い。例えば、「空」の場合、実際の色は水色に近い薄めの青であるが、記憶色は真っ青である。このように、実際の色と人がイメージする色とが異なる場合があるため、所定の色に関しては記憶色に近づけることで、画質を向上させることができる。

明度・彩度補正部１２は、画像の露出ミスを解消するために、明度を調整する。なお、暗い画像を明るくするために明度補正の強度を上げ過ぎると、白とびや色ノイズが目立ってしまい、画質が低下するおそれがある。このため、明度・彩度補正部１２は、露出ミスを解消させるためにトーンカーブによる明度の補正を行う。トーンカーブを用いることで、滑らかに輝度とコントラストの補正を行うことができる。トーンカーブは、色空間の色成分の累積ヒストグラムに基づいて生成する。すなわち、補正前の色成分の累積ヒストグラムを作成し、累積ヒストグラムの重心を白とび及び黒つぶれしない程度に中心に移動させるトーンカーブを生成する。また、明度・彩度補正部１２は、画像をＨＳＶ色空間で取り扱う。ＨＳＶ色空間は色相が独立しているため、ＨＳＶ色空間を採用することで、色相を変化させることなく明度と彩度を補正することができる。このため、明度・彩度補正部１２は、処理前の画像がＲＧＢ色空間等である場合には、該画像の色空間をＨＳＶ色空間へ変換する。

図３は、明度・彩度補正部１２によって生成されたトーンカーブの例である。図３の（Ａ）は、白とびの画像を補正するためのトーンカーブである。図３の（Ｂ）は、黒つぶれの画像を補正するためのトーンカーブである。図３の（Ａ），（Ｂ）の横軸は、入力する明度の値、縦軸は出力する明度の値（補正後の明度の値）であり、０〜２５５の範囲となる。図中のＬ１で示す直線が補正していない状態であり、図中のＬ２で示す曲線がトーンカーブである。図３の（Ａ）に示すように、白とび画像の場合には、ＨＶＳ累積ヒストグラムに基づいて、明度を下げるようにトーンカーブを生成する。一方、図３の（Ｂ）に示すように、黒つぶれ画像の場合には、ＨＶＳ累積ヒストグラムに基づいて、明度を上げるようにトーンカーブを生成する。

なお、トーンカーブを用いて明度を補正した際に、明度を下げると人間の感覚では彩度が低く見えてしまうことがある。このため、明度・彩度補正部１２は、明度を下げた場合には彩度を上げる。同様に、明度・彩度補正部１２は、明度を上げた場合には彩度を下げる。このとき、トーンカーブによって補正する明度の変化量を係数として、彩度の補正を行う。係数は、例えば明度の変化量が大きいほど大きく設定される。例えば、彩度を所定値上げる場合には、該所定値に上記係数を乗算あるいは加算して彩度を上げる。同様に、彩度を所定値下げる場合には、該所定値に上記係数を乗算あるいは加算して彩度を下げる。このようにして、明度の変化量に応じて、彩度の上げ幅及び下げ幅を調整することで、露出ミスを適切に解消して画質のよい画像へと補正することができる。

さらに、明度・彩度補正部１２は、明度に応じた彩度補正の他に、「空」「草」「人の肌」等の色が記憶色に近づくように、追加的に彩度補正を行ってもよい。例えば「空」の青であれば、青色の彩度が高いほど記憶色に近づく。しかし、「空」の青を強調するために彩度を強調し過ぎると色ムラが発生するおそれがある。このため、明度・彩度補正部１２は、色ムラが発生しない程度に彩度を強調する。図４は、彩度の補正強度を説明するグラフである。横軸は色相値であり、縦軸が彩度補正強度である。基準値Ｄ１は、記憶色である。図４に示すように、明度・彩度補正部１２は、基準値Ｄ１（あるいは基準値Ｄ１を含む基準領域）からの色相空間上の距離に応じて彩度の補正の強度を変更する。例えば、基準値Ｄ１に近い色相値の画素ほど彩度の補正強度を強くし、基準値Ｄ１に遠い色相値の画素ほど彩度の補正強度を弱くする。このように彩度を補正することで、色ムラが生じることを回避して、記憶色に近い青を再現することができる。さらに、元から色鮮やかな色彩の空では青みが強くなり過ぎる場合もあるため、ガンマ曲線による補正をしてもよい。

以上、明度・彩度補正部１２は、明度に応じた彩度補正を画素ごとに行うとともに、所定の色ごとに領域を判別して彩度を追加的に強調する。なお、所定の色の領域の判別は、所定色のマップ画像を生成することで容易に判別することができる。

色被り補正部１３は、画像の色被りを補正する。色被りとは、画像が照明や環境の影響等によって特定の色に偏っている状態のことである。色被り補正部１３は、例えば画像全体の色味（Ｒ値，Ｇ値，Ｂ値）の補色を加減することで、ホワイトバランスを調整し、本来の色を再現するように補正し、画質を向上させる。例えば、色被り補正部１３は、画像中において本来は白であると予想される画素を判断し、色被りがどの程度発生しているかを推定する。なお、色被り補正部１３は、色被りの判定の際には、ＹＵＶ色空間で表現された画像を用いる。このため、色被り補正部１３は、処理前の画像がＲＧＢ色空間等である場合には、該画像の色空間をＹＵＶ色空間へ変換する。そして、色被り補正部１３は、例えば、輝度値Ｙが所定値以上であり、かつ、輝度値Ｙに対する色差値（ＵＶ成分値）が所定値以下である画素の色が本来は白であると判定する。そして、色被り補正部１３は、画像の色との差分から色被り度合いを推定する。そして、色被り補正部１３は、白だと判定した画素をサンプリングして、当該画素の色が白となるように、かつ、モノトーンとならないようにホワイトバランスを調整する。

食べ物判定部１４は、画像の被写体として食べ物が撮像されているか否かを判定する。ここで、「食べ物」とは、人間や動物が食用にするものであり、ここでは、画像補正前に予め学習によって定義されている。すなわち、食べ物判定部１４は、教師画像を用いた学習によって食べ物の画像特徴を予め取得する。そして、食べ物判定部１４は、画像特徴を用いた物体検出技術によって、被写体に食べ物が含まれているか否かを判定する。例えば、食べ物判定部１４は、画像特徴を比較して被写体に食べ物が含まれているか否かを判定する。

食べ物補正部１５は、画像に含まれる画素の色成分を変更する。食べ物補正部１５は、例えば明度と彩度を変化させることで、食べ物の見栄えを向上させる。例えば、食べ物補正部１５は、被写体に食べ物が含まれる場合には、各画素の明度を一様（一定）の比率で強調する補正を行う。さらに、食べ物補正部１５は、暖色系の色相の画素の彩度が非暖色系の色相の画素の彩度よりも強調されるように重み付けして各画素の彩度を補正する。これにより、食べ物については、全体的に明るく赤味のある画像となる。なお、サラダ等の寒色系に分類される食べ物が画像の一部に含まれている場合には、赤味を帯びさせることによって画質が低下する場合がある。このため、食べ物補正部１５は、暖色系でない領域については、彩度補正を行わないとしてもよい。このように、色領域ごとに異なる彩度補正を行うことで、例えば多種多様な食べ物が複数並んで撮像された場合であっても食べ物の見栄えを向上させることができる。なお、食べ物補正部１５は、例えばＨＳＶ色空間で補正を行う。

エッジ補正部１６は、画像のエッジを強調する。エッジ補正部１６は、例えば一般的なアンシャープマスクに対してエッジの強度を一律とするのではなく、適応的に変動させて補正を行うことで、輪郭のボケ等を適切に補正して、画像の解像感を向上させる。なお、エッジ補正部１６は、例えばＹＵＶ色空間で補正を行う。エッジ補正部１６は、例えば、補正対象の画素の輝度値と、当該補正対象の画素を含む所定領域に含まれる画素の輝度値との差に基づいて、エッジ強度を設定する。例えば、補正対象の画素及び当該画素の周囲を囲む８近傍を所定領域とする。補正対象の画素の画素値をａ、８近傍の平均画素値をｂとすると、補正対象の画素のコントラストｃｏｎｔは、ｃｏｎｔ＝（ａ−ｂ）・（ａ−ｂ）となる。このｃｏｎｔの値に比例して、予め与えられた最小強度から最大強度までエッジ強度が変動させる。図５は、エッジ強度の補正を説明するグラフである。横軸が輝度差であり、縦軸がエッジ強度である。図中のＫ１はエッジ強度（すなわちエッジ補正量）の最小値であり、図中のＫ２はエッジ強度（すなわちエッジ補正量）の最大値である。このように、輝度差がＳ１より小さい場合には、エッジ強度を最小値Ｋ１とし、輝度差がＳ１より大きい場合には、エッジ強度を最大値Ｋ２とする。ここで、輝度差がＳ１以上かつＳ２以下の範囲では、エッジ強度を線形的に変動させる。このように、画素単位で輝度差を算出し、図５に示すグラフに基づいてエッジを設定して補正することで、強弱が適切なエッジが画素単位で設定されるため、輪郭のボケ等を適切に補正して、画像の解像感を向上させることができる。

ノイズ補正部１７は、色ノイズ及び輝度ノイズを除去する。ノイズ補正部１７は、補正の強度を例えば近傍画素の相関を用いて決定する。なお、ノイズ補正部１７は、例えばＲＢＧ色空間で補正を行う。ノイズ補正部１７は、例えば所定の画素のＲ値と、当該画素に隣接する画素のうちの１つの画素のＧ値との相関を利用して、ノイズの補正の強度を設定する。例えば、相関が高ければ補正強度は弱く設定し、相関が低ければ補正強度は強く設定する。そして、全体の平均値を算出する。この平均値に比例するように、ノイズフィルタのカーネルサイズを、設定された最小値から最大値まで変動させる。このようにノイズレベルに応じてノイズを除去することにより、過度なノイズ除去を回避して、適切なディテール感の画像とすることができる。

さらに、ノイズ補正部１７は、結果データのビットを拡張する。ノイズ補正部１７は、例えばノイズ除去した後の画像のビットを拡張する。例えば、ノイズ補正部１７は、画素データを８ビットから１６ビットに拡張する。これにより、ノイズ補正以降の処理において、量子化誤差を軽減させるこができる。

画像処理部１１は、一時画像記録部２２を書き込み可能かつ参照可能に構成されている。上記補正部及び判定部は、処理中の画像を一時画像記録部２２に記録してもよい。そして、画像処理部１１は、補正後の画像を表示部２３へ出力してもよい。表示部２３は、ディスプレイ等の表示装置である。あるいは、画像処理部１１は、補正後の画像を補正画像記録部２４へ出力して記録してもよい。

次に、画像処理装置１の動作について説明する。図６は、画像処理装置１の動作を示すフローチャートである。図６に示す制御処理は、例えばユーザ操作によって開始ボタンがＯＮされたタイミングで実行される。

図６に示すように、最初に、画像入力処理から開始する（Ｓ１０：入力ステップ）。Ｓ１０の処理では、入力部１０が画像を入力する。Ｓ１０の処理が終了すると、ノイズレベル判定処理へ移行する（Ｓ１２）。

Ｓ１２の処理では、ノイズ補正部１７が、Ｓ１０の処理で入力された画像のノイズのレベルを判定する。ノイズ補正部１７は、補正の強度を例えば近傍画素の相関を用いて決定する。Ｓ１２の処理が終了すると、ノイズ補正処理へ移行する（Ｓ１４）。

Ｓ１４の処理では、ノイズ補正部１７がＳ１０の処理で入力された画像のノイズの補正を行う。例えば、ノイズ補正部１７は、Ｓ１２の処理で決定されたノイズの強度に基づいて、Ｓ１０の処理で入力された画像の画像を補正する。さらに、ノイズ補正部１７は、画素データを８ビットから１６ビットに拡張する。Ｓ１４の処理が終了すると、明度・彩度補正処理へ移行する（Ｓ１６）。

Ｓ１６の処理では、明度・彩度補正部１２が、Ｓ１４の処理でノイズ補正された画像の明度及び彩度の補正を行う。例えば、明度・彩度補正部１２は、トーンカーブを用いて明度を補正するとともに、明度の変化量に応じて、上げ幅及び下げ幅を調整しながら、彩度を補正する。さらに、特定色が記憶色に近づくように、追加的に彩度補正を行う。Ｓ１６の処理が終了すると、色被り度合い判定処理へ移行する（Ｓ１８）。

Ｓ１８の処理では、色被り補正部１３が、Ｓ１６の処理で明度・彩度補正された画像の色被りの度合いを判定する。例えば、色被り補正部１３は、Ｓ１６の処理で明度・彩度補正された画像中において本来は白であると予想される画素を判断し、色被りがどの程度発生しているかを推定する。Ｓ１８の処理が終了すると、色被り補正処理へ移行する（Ｓ２０：第１色被り補正ステップ）。

Ｓ２０の処理では、色被り補正部１３が、Ｓ１８の処理で判定された色被り度合いに基づいて、Ｓ１６の処理で明度・彩度補正された画像の色被りを補正する。色被り補正部１３は、白だと判定した画素をサンプリングして、当該画素の色が白となるように、かつ、モノトーンとならないようにホワイトバランスを調整する。Ｓ２０の処理が終了すると、食べ物判定処理へ移行する（Ｓ２２：食べ物判定ステップ）。

Ｓ２２の処理では、食べ物判定部１４が、Ｓ２０の処理で色被り補正された画像を用いて、被写体に食べ物が含まれるか否かを判定する。食べ物判定部１４は、画像特徴を用いた物体検出技術によって、被写体に食べ物が含まれているか否かを判定する。Ｓ２２の処理において、被写体に食べ物が含まれていると判定された場合には、食べ物補正処理へ移行する（Ｓ２４：食べ物補正ステップ）。

Ｓ２４の処理では、食べ物補正部１５が、Ｓ２０の処理で色被り補正された画像を補正する。食べ物補正部１５は、Ｓ２０の処理で色被り補正された画像の各画素の明度を一様（一定）の比率で強調する補正を行うとともに、暖色系の色相の画素の彩度が非暖色系の色相の画素の彩度よりも強調されるように重み付けして各画素の彩度を補正する。Ｓ２４の処理が終了すると、エッジ強度判定処理へ移行する（Ｓ２６）。

Ｓ２６の処理では、エッジ補正部１６が、Ｓ２４の処理で食べ物補正された画像のエッジ強度を判定する。エッジ補正部１６は、例えば、Ｓ２４の処理で食べ物補正された画像の画素の輝度値と、当該画素の８近傍の画素の輝度値との差に基づいて、エッジ強度を設定する。Ｓ２６の処理が終了すると、エッジ強度補正処理へ移行する（Ｓ２８）。

Ｓ２８の処理では、エッジ補正部１６が、Ｓ２６の処理で算出されたエッジ強度に基づいて、Ｓ２４の処理で食べ物補正された画像を補正する。Ｓ２８の処理が終了すると、補正画像出力処理へ移行する（Ｓ３０）。

Ｓ３０の処理では、画像処理部１１が、Ｓ２８の処理でエッジ補正された画像を出力する。例えば、画像処理部１１が、Ｓ２８の処理でエッジ補正された画像を補正画像記録部２４へ記録する。Ｓ３０の処理が終了すると、図６に示す制御処理を終了する。

一方、Ｓ２２の処理において、被写体に食べ物が含まれていないと判定された場合には、エッジ強度判定処理へ移行する（Ｓ２６）。

以上で図６に示す制御処理を終了する。図６に示す制御処理を実行することで、適切な補正を行った画像を自動的に得ることができる。例えば、エッジを強調した後にノイズ補正を行うと、強調されたエッジがノイズ補正により潰れてしまうおそれがある。このため、図６に示すように、ノイズ補正処理（Ｓ１４）の後にエッジ補正処理（Ｓ２８）を行うことで、適切な補正が行える。また、データが８ビットの場合、トーンカーブによる明度補正の際に、入力の明度の変化に対して出力の明度が急激に変化する、いわゆるトーンジャンプが発生しやすい。このため、図６に示すように、ノイズ補正処理（Ｓ１４）で１６ビットに拡張した後に、明度・彩度補正処理（Ｓ１６）や、食べ物補正処理（Ｓ２４）を行うことで、適切な補正が行える。また、空や花弁といった明るい色のグラデーション部分は誤って色被りしている画素であるとしてサンプリングされやすい。このため、図６に示すように、明度・彩度補正処理（Ｓ１６）の後に、色被り補正処理（Ｓ２０）を行うことで、適切な補正が行える。また、食べ物が撮像された画像は、室内照明等の影響により色被りしていることが多い。このため、図６に示すように、色被り補正処理（Ｓ２０）の後に、食べ物判定処理（Ｓ２２）を行うことで、適切な判定が行える。また、エッジ補正を行った後に色味の補正を行うと、ざらつきが増加した画像に対して明度や彩度を強調することになるため、トーンジャンプやノイズの増加が顕著になる場合がある。このため、図６に示すように、エッジ補正処理（Ｓ２８）を全体の色味に関する補正が終わった後に局所的に行うことで、適切な補正が行える。

次に、携帯端末２（コンピュータ）を画像処理装置１として機能させるための画像処理プログラムを説明する。

画像処理プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、入力画像を取得するように携帯端末２を動作させる。演算処理モジュールは、明度・彩度補正モジュール、色被り補正モジュール、食べ物判定モジュール、食べ物補正モジュール、エッジ補正モジュール及びノイズ補正モジュールを備えている。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、上述した画像処理装置１の明度・彩度補正部１２、色被り補正部１３、食べ物判定部１４、食べ物補正部１５、エッジ補正部１６及びノイズ補正部１７の機能とそれぞれ同様である。

画像処理プログラムは、例えば、ＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、画像処理プログラムは、データ信号としてネットワークを介して提供されてもよい。

以上、第１実施形態に係る画像処理装置１によれば、色被り補正部１３により、画像の色被りが補正され、食べ物判定部１４により、色被り補正後の画像の被写体に食べ物が含まれているか否かが判定され、被写体に食べ物が含まれていると判定された場合には、食べ物補正部１５により、色被り補正後の画像の色成分が補正される。このように、色被りに関する画質と食べ物に関する画質とを同時に向上させる場合には、被写体に食べ物が含まれているか否か判定する必要があるところ、食べ物に関しては色被りしているシーンが一般的に多いため、その判定の前に色被り補正を行うことで、食べ物判定の精度を向上させることができる。よって、食べ物補正をした後に色被り補正をする場合に比べて画質を向上させることが可能となる。

（第２実施形態）
第２実施形態に係る画像処理装置１は、第１実施形態に係る画像処理装置と同様に構成されている。すなわち、図１に示すように、画像処理部１１が、明度・彩度補正部（明度彩度補正部）１２、色被り補正部（第１色被り補正部、第２色被り補正部）１３、食べ物判定部１４、食べ物補正部１５、エッジ補正部１６及びノイズ補正部（第１ノイズ補正部、第２ノイズ補正部）１７を備えている。そして、第２実施形態においては、各補正部及び判定部の動作順のみが相違する。このため、以下では、第１実施形態との相違点を中心に説明し、重複する説明は省略する。

図７は、画像処理装置１の動作を示すフローチャートである。図７に示す制御処理は、例えばユーザ操作によって開始ボタンがＯＮされたタイミングで実行される。

図７に示すように、最初に、画像入力処理から開始する（Ｓ４０）。Ｓ４０の処理は、図６のＳ１０の処理と同一である。Ｓ４０の処理が終了すると、ノイズレベル判定処理へ移行する（Ｓ４２）。

Ｓ４２の処理では、ノイズ補正部１７が、Ｓ４０の処理で入力された画像のノイズのレベルを判定する。Ｓ４２の処理は、図６のＳ１２の処理と同一である。Ｓ４２の処理が終了すると、ノイズ補正処理へ移行する（Ｓ４４）。

Ｓ４４の処理では、ノイズ補正部１７がＳ４０の処理で入力された画像のノイズの補正を行う。Ｓ４４の処理は、図６のＳ１４の処理と同一である。Ｓ４４の処理が終了すると、補正結果記録処理へ移行する（Ｓ４６）。

Ｓ４６の処理では、ノイズ補正部１７がＳ４４の処理でノイズ補正された画像を一時画像記録部２２に記録する。Ｓ４６の処理が終了すると、色被り度合い判定処理へ移行する（Ｓ４８）。

Ｓ４８の処理では、色被り補正部１３が、Ｓ４４の処理でノイズ補正された画像の色被りの度合いを判定する。この処理は、図６のＳ１８の処理と同一である。Ｓ４８の処理が終了すると、色被り補正処理へ移行する（Ｓ５０）。

Ｓ５０の処理では、色被り補正部１３が、Ｓ４８の処理で判定された色被り度合いに基づいて、Ｓ４４の処理でノイズ補正された画像の色被りを補正する。この処理は、図６のＳ２０の処理と同一である。Ｓ５０の処理が終了すると、食べ物判定処理へ移行する（Ｓ５２）。

Ｓ５２の処理では、食べ物判定部１４が、Ｓ５０の処理で色被り補正された画像を用いて、被写体に食べ物が含まれるか否かを判定する。Ｓ５２の処理は、図６のＳ２２の処理と同一である。Ｓ５２の処理において、被写体に食べ物が含まれていると判定された場合には、食べ物補正処理へ移行する（Ｓ５４）。

Ｓ５４の処理では、食べ物補正部１５が、Ｓ５０の処理で色被り補正された画像を補正する。Ｓ５４の処理は、図６のＳ２４の処理と同一である。Ｓ５４の処理が終了すると、ノイズレベル判定処理へ移行する（Ｓ５６）。

Ｓ５６の処理では、ノイズ補正部１７が、Ｓ５４の処理で食べ物補正された画像のノイズのレベルを判定する。Ｓ５６の処理は、Ｓ４２の処理と同一である。Ｓ５６の処理が終了すると、ノイズ補正処理へ移行する（Ｓ５８）。

Ｓ５８の処理では、ノイズ補正部１７がＳ５４の処理で食べ物補正された画像のノイズの補正を行う。Ｓ５８の処理は、Ｓ４４の処理と同一である。Ｓ５８の処理が終了すると、エッジ強度判定処理へ移行する（Ｓ６０）。

Ｓ６０の処理では、エッジ補正部１６が、Ｓ５８の処理でノイズ補正された画像のエッジ強度を判定する。この処理は、図６のＳ２６の処理と同一である。Ｓ６０の処理が終了すると、エッジ強度補正処理へ移行する（Ｓ６２）。

Ｓ６２の処理では、エッジ補正部１６が、Ｓ６０の処理で算出されたエッジ強度に基づいて、Ｓ５８の処理でノイズ補正された画像を補正する。Ｓ６２の処理が終了すると、補正画像出力処理へ移行する（Ｓ６４）。

Ｓ６４の処理では、画像処理部１１が、Ｓ６２の処理でエッジ補正された画像を出力する。Ｓ６４の処理が終了すると、図６に示す制御処理を終了する。

一方、Ｓ５２の処理において、被写体に食べ物が含まれていないと判定された場合には、補正結果入力処理へ移行する（Ｓ６６）。Ｓ６６の処理では、画像処理部１１が、一時画像記録部２２を参照し、ノイズ補正された画像を取得する。Ｓ６６の処理が終了すると、明度・彩度補正処理へ移行する（Ｓ６８）。

Ｓ６８の処理では、明度・彩度補正部１２が、Ｓ６６の処理で入力された画像の明度及び彩度の補正を行う。この処理は、図６のＳ１６の処理と同一である。Ｓ６８の処理が終了すると、色被り度合い判定処理へ移行する（Ｓ７０）。

Ｓ７０の処理では、色被り補正部１３が、Ｓ６６の処理で入力された画像の色被りの度合いを判定する。この処理は、Ｓ４８の処理と同一である。Ｓ７０の処理が終了すると、色被り補正処理へ移行する（Ｓ７２）。

Ｓ７２の処理では、色被り補正部１３が、Ｓ７０の処理で判定された色被り度合いに基づいて、Ｓ６６の処理でノイズ補正された画像の色被りを補正する。この処理は、Ｓ５０の処理と同一である。Ｓ７２の処理が終了すると、図６に示す制御処理を終了する。

以上で図７に示す制御処理を終了する。図７に示す制御処理を実行することで、適切な補正を行った画像を自動的に得ることができる。例えば、被写体に食べ物が含まれる場合には、コントラストが上がることにより明るさが強調され過ぎる場合がある。このため、図７に示すように、食べ物補正処理（Ｓ５２）をする場合には、明度・彩度補正処理（Ｓ６８）を行わないようにすることで、食べ物のコントラストを過度に強調することを回避することができる。また、これに伴って、明度・彩度補正処理の後に、色被り補正処理を行うようにするために、食べ物以外の画像の場合に、食べ物判定の精度向上を目的とした色被り補正処理の結果画像は破棄し、ノイズ補正された画像を取得し（Ｓ６６）、明度・彩度補正処理（Ｓ６８）、色被り補正処理（Ｓ７２）を順に行うことで、適切な補正が行える。さらに、色被り補正によって白くすると、元々あったノイズが目立つ場合がある。このため、図７に示すように、色被り補正処理（Ｓ５０）の後に、ノイズ補正処理（Ｓ５８）を再度行うことで、適切な補正が行える。

以上、第２実施形態に係る画像処理装置１によれば、第１実施形態と同様の効果を奏するとともに、補正処理の順番を変更することで、食べ物補正処理や食べ物以外の被写体の補正処理を適切に行うとともに、ノイズを低減させることができる。

なお、上述した実施形態は本発明に係る画像処理装置、画像処理方法、画像処理プログラム及び記録媒体の一例を示すものであり、実施形態に係る装置、方法、プログラム及び記録媒体に限られるものではなく、変形し、又は他のものに適用したものであってもよい。

１…画像処理装置、１０…入力部、１１…画像処理部、１２…明度・彩度補正部（明度彩度補正部）、１３…色被り補正部（第１色被り補正部、第２色被り補正部）、１４…食べ物判定部、１５…食べ物補正部、１６…エッジ補正部、１７…ノイズ補正部（第１ノイズ補正部、第２ノイズ補正部）。

Claims (19)

1. 画像を補正する画像処理装置であって、
   前記画像を入力する入力部と、
   前記画像の色被りを補正する第１色被り補正部と、
   前記第１色被り補正部により補正された後の前記画像の被写体に食べ物が含まれているか否かを判定する食べ物判定部と、
   前記食べ物判定部により被写体に食べ物が含まれていると判定された場合には、前記第１色被り補正部により補正された後の前記画像の色成分を補正する食べ物補正部と、
   を備える画像処理装置。
2. 前記食べ物判定部は、教師画像を用いた学習によって食べ物の特徴を予め取得し、前記第１色被り補正部により補正された後の前記画像の特徴と、学習により得られた食べ物の特徴とを比較することで、前記第１色被り補正部により補正された後の前記画像の被写体に食べ物が含まれているか否かを判定する請求項１に記載の画像処理装置。
3. 前記食べ物補正部は、各画素の明度を一定の比率で強調する請求項１又は２に記載の画像処理装置。
4. 前記食べ物補正部は、暖色系の色相の画素の彩度が非暖色系の色相の画素の彩度よりも強調されるように重み付けして各画素の彩度を補正する請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記第１色被り補正部は、輝度値が所定値以上であり、かつ、当該輝度値に対する色差値の比率が所定値以下である画素の色が白であると判定して色被りの度合いを推定する請求項１〜４の何れか一項に記載の画像処理装置。
6. 前記入力部により入力された前記画像のノイズを補正する第１ノイズ補正部を更に備え、
   前記第１色被り補正部は、前記第１ノイズ補正部により補正された後の前記画像の色被りを補正する請求項１〜５の何れか一項に記載の画像処理装置。
7. 前記第１ノイズ補正部は、前記入力部により入力された前記画像のノイズを補正した後に、各画素のビットを拡張する請求項６に記載の画像処理装置。
8. 前記第１ノイズ補正部は、補正対象の画素の色成分と、当該補正対象の画素と隣接する画素の色成分との間の相関に基づいて、ノイズの補正強度を設定する請求項６又は７に記載の画像処理装置。
9. 前記第１ノイズ補正部により補正された後の前記画像の明度又は彩度を補正する明度彩度補正部を更に備え、
   前記第１色被り補正部は、前記明度彩度補正部により補正された後の前記画像の色被りを補正する請求項６〜８の何れか一項に記載の画像処理装置。
10. 前記食べ物判定部により被写体に食べ物が含まれていないと判定された場合には、前記第１ノイズ補正部により補正された後の前記画像の明度又は彩度を補正する明度彩度補正部と、
    前記明度彩度補正部により補正された後の前記画像の色被りを補正する第２色被り補正部と、
    を更に備える請求項６〜８の何れか一項に記載の画像処理装置。
11. 前記明度彩度補正部は、前記画像の色空間におけるヒストグラムを用いたトーンカーブに基づいて明度を補正する請求項９又は１０に記載の画像処理装置。
12. 前記明度彩度補正部は、明度の補正量を係数として彩度の補正を行う請求項１１に記載の画像処理装置。
13. 前記明度彩度補正部は、所定の基準値との差分基づいて彩度補正の強度を変更する請求項９〜１１の何れか一項に記載の画像処理装置。
14. 前記食べ物補正部により補正された後の前記画像のエッジを補正するエッジ補正部を更に備える請求項１〜１３の何れか一項に記載の画像処理装置。
15. 前記エッジ補正部は、補正対象の画素の輝度値と、当該補正対象の画素を含む所定領域に含まれる画素の輝度値との差に基づいて、エッジ強度を設定する請求項１４に記載の画像処理装置。
16. 前記食べ物補正部により補正された後の前記画像のノイズを補正する第２ノイズ補正部を更に備え、
    前記エッジ補正部は、前記第２ノイズ補正部により補正された後の前記画像のエッジを補正する請求項１４又は１５に記載の画像処理装置。
17. 画像を補正する画像処理方法であって、
    前記画像を入力する入力ステップと、
    前記画像の色被りを補正する第１色被り補正ステップと、
    前記第１色被り補正ステップにより補正された後の前記画像の被写体に食べ物が含まれているか否かを判定する食べ物判定ステップと、
    前記食べ物判定ステップにより被写体に食べ物が含まれていると判定された場合には、前記第１色被り補正ステップにより補正された後の前記画像の色成分を補正する食べ物補正ステップと、
    を備える画像処理方法。
18. 画像を補正するようにコンピュータを動作させる画像処理プログラムであって、
    前記画像を入力する入力部、
    前記画像の色被りを補正する第１色被り補正部、
    前記第１色被り補正部により補正された後の前記画像の被写体に食べ物が含まれているか否かを判定する食べ物判定部、及び、
    前記食べ物判定部により被写体に食べ物が含まれていると判定された場合には、前記第１色被り補正部により補正された後の前記画像の色成分を補正する食べ物補正部
    として前記コンピュータを動作させる画像処理プログラム。
19. 画像を補正するようにコンピュータを動作させる画像処理プログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
    前記画像を入力する入力部、
    前記画像の色被りを補正する第１色被り補正部、
    前記第１色被り補正部により補正された後の前記画像の被写体に食べ物が含まれているか否かを判定する食べ物判定部、及び、
    前記食べ物判定部により被写体に食べ物が含まれていると判定された場合には、前記第１色被り補正部により補正された後の前記画像の色成分を補正する食べ物補正部
    として前記コンピュータを動作させる画像処理プログラムが記録された記録媒体。