JP2019139720A - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】大規模な設備を用いることなく、太陽光などの明るさの影響を受けにくい色評価を行うことが可能な画像処理装置を提供する。【解決手段】画像処理装置（１０）は、画像情報を取得する取得手段（１１）と、画像情報における各画素の画素値を色成分ごとに正規化する正規化手段（１２）と、正規化手段（１２）により正規化された画素値に基づいて各画素を分類する分類手段（１３）とを有する。【選択図】図１

Description

本発明は、色情報に基づいて撮影画像の画素を分類する画像処理装置に関する。

農業従事者は、水稲生育診断やその施肥管理を行う際に、稲の色（葉色）を観察して育成度合いを判定する必要がある。例えば、農業従事者は、植物の葉色と色見本とを比較して稲の色を判定する。このような色見本は、葉色カラースケールと呼ばれ、一般的には７色であり、明るい緑から暗い緑へ順にそれぞれ色番号１〜７が割り振られている。このように農業従事者は、水田などで稲の色と葉色カラースケールの色とを見比べることにより稲の生育状況を判定し、施肥の方法を決定する。しかし、この方法では、稲の生育状況を判定する際の個人差が大きく、客観的な評価が難しい。

そこで特許文献１には、デジタルカメラで葉色カラースケールと植物の葉を日陰で同時に撮影することにより、太陽光の影響を受けにくい色判定を行う方法が開示されている。

特開２０１７−３４９１号公報

しかしながら、特許文献１の方法では、日陰の環境を作る必要があり、また葉色カラースケールの撮影が必要であるため、設備が大規模になる。

そこで本発明は、大規模な設備を用いることなく、太陽光などの明るさの影響を受けにくい色評価を行うことが可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての画像処理装置は、画像情報を取得する取得手段と、前記画像情報における各画素の画素値を色成分ごとに正規化する正規化手段と、前記正規化手段により正規化された画素値に基づいて各画素を分類する分類手段とを有する。

本発明の他の側面としての撮像装置は、撮像素子と前記画像処理装置とを有する。

本発明の他の側面としての画像処理方法は、画像情報を取得するステップと、前記画像情報における各画素の画素値を色成分ごとに正規化するステップと、正規化された画素値に基づいて各画素を分類するステップとを有する。

本発明の他の側面としての画像処理プログラムは、前記画像処理方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、大規模な設備を用いることなく、太陽光などの明るさの影響を受けにくい色評価を行うことが可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

各実施例における画像処理装置のブロック図である。 各実施例における画像処理方法のフローチャートである。 実施例１、２における正規化前の画素値の一例である。 実施例１、２における正規化後の画素値の一例である。 実施例１におけるニューラルネットワークの説明図である。 実施例１におけるニューラルネットワークを学習する際に用いられる葉色スケールの説明図である。 実施例２におけるニューラルネットワークの説明図である。 実施例２、３におけるニューラルネットワークを学習する際に用いられる葉色スケールの説明図である。 実施例２における各画素の分類結果の一例である。 実施例３におけるニューラルネットワークの説明図である。 実施例４における画像処理システムの構成図である。 実施例５における撮像装置のブロック図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、図１および図２を参照して、本発明の実施例１における画像処理装置および画像処理方法について説明する。図１は、本実施例における画像処理装置１０のブロック図である。図２は、本実施例における画像処理方法のフローチャートである。図２の各ステップは、画像処理装置１０の各部により実行される。

図１に示されるように、画像処理装置１０は、画像情報取得部（取得手段）１１、正規化処理部（正規化手段）１２、分類処理部（分類手段）１３、および、出力部（出力手段）１４を有する。図２に示されるように、まずステップＳ１において、画像情報取得部１１は、評価対象の画像情報（撮影画像データを含む情報）を取得（入力）する。画像情報とは、画像データ（撮影画像データ）に加えて、撮影時の種々の条件を含む情報である。撮影時の条件は、撮影の月日や時刻、撮影時の天気に関する情報などであるが、これらに限定されるものではない。

続いてステップＳ２において、正規化処理部１２は、画像データ（色成分）の正規化（正規化処理）を行う。すなわち正規化処理部１２は、ステップＳ１にて取得された画像情報における各画素の画素値を色成分ごとに正規化する。画像データの正規化とは、撮影時の環境の違いにより生じる画像データの値の変動（上下変動）が画素分類の精度に及ぼす影響を低減するための処理である。以下、一例として、画素ごとに色成分の正規化を行う方法について説明する。ここで、画像データ中の各画素の座標（ｉ，ｊ）におけるＲ、Ｇ、Ｂ（色成分）の画素値をそれぞれＲ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）とする。このとき、正規化後のＲ、Ｇ、Ｂの画素値Ｒｎ（ｉ，ｊ）、Ｇｎ（ｉ，ｊ）、Ｂｎ（ｉ，ｊ）はそれぞれ、以下のように表すことができる。

Ｒｎ（ｉ，ｊ）＝Ｒ（ｉ，ｊ）／（Ｒ（ｉ，ｊ）＋Ｇ（ｉ，ｊ）＋Ｂ（ｉ，ｊ））
Ｇｎ（ｉ，ｊ）＝Ｇ（ｉ，ｊ）／（Ｒ（ｉ，ｊ）＋Ｇ（ｉ，ｊ）＋Ｂ（ｉ，ｊ））
Ｂｎ（ｉ，ｊ）＝Ｂ（ｉ，ｊ）／（Ｒ（ｉ，ｊ）＋Ｇ（ｉ，ｊ）＋Ｂ（ｉ，ｊ））
このように本実施例の正規化処理部１２は、各画素に関して、Ｒ、Ｇ、Ｂの色成分のそれぞれをＲ、Ｇ、Ｂの前記色成分の和で除することにより、画素値を正規化する。

図３は、正規化前の画素値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）の一例であり、複数のサンプル点をグラフ化したものである。図３（ａ）〜（ｇ）はそれぞれ葉色番号１〜７に対応しており、図３（ｈ）、（ｉ）はそれぞれ地面および空に対応している。図３において、横軸の１、２、３がそれぞれ画素値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）に対応しており、縦軸は無次元量（画素値、輝度値）である。

図４は、正規化後の画素値Ｒｎ（ｉ，ｊ）、Ｇｎ（ｉ，ｊ）、Ｂｎ（ｉ，ｊ）の一例であり、複数のサンプル点をグラフ化したものである。図３と同様に、図４（ａ）〜（ｇ）はそれぞれ葉色番号１〜７に対応しており、図４（ｈ）、（ｉ）はそれぞれ地面および空に対応している。図４において、横軸の１、２、３がそれぞれＲｎ（ｉ，ｊ）、Ｇｎ（ｉ，ｊ）、Ｂｎ（ｉ，ｊ）に対応しており、縦軸は無次元量（画素値、輝度値）である。なお、正規化処理は各画素の（同一座標の画素に関する）画素値の色成分（Ｒ、Ｇ、Ｂ）の比率を算出する方法であればよく、本実施例にて説明した方法は一例に過ぎず、他の方法を用いて正規化処理を行ってもよい。正規化後の画素値Ｒｎ、Ｇｎ、Ｂｎは、輝度値（縦軸）について狭い範囲に集中し、画像データごとの差異が小さくなる。したがって、画素の分類時における画像データごとの輝度値の上下変動の影響も小さくなる。

続いて、図２のステップＳ３において、分類処理部１３は、ステップＳ２にて正規化処理部１２により正規化された画像データ（各画素の画素値）に基づいて、各画素を分類する。すなわち分類処理部１３は、複数のグループ（色パターン）の中から各画素の画素値に応じて決定される一つのグループ（色パターン）に分類する。本実施例において、色分類は、葉色スケール（色見本）と学習済みのニューラルネットワーク（ＮＮ）とを用いて行われる。ここで、ＮＮは複数の種類の学習済みＮＮの中から選択して用いてもよい。

ここで、図５を参照して、本実施例におけるニューラルネットワークＮＮの一例について説明する。図５は、本実施例におけるニューラルネットワークＮＮの説明図である。ニューラルネットワークＮＮを学習する際において、入力は特定色領域内における任意の画素位置における正規化後の色情報、すなわち画素値Ｒｎ（ｉ，ｊ）、Ｇｎ（ｉ，ｊ）、Ｂｎ（ｉ，ｊ）である。一般的に、デジタル画像を取得する撮像素子は、Ｒ画素、Ｇ画素、Ｂ画素を有するため、画素データはＲ画素値、Ｇ画素値、Ｂ画素値の３つの値（Ｒ画素、Ｇ画素、Ｂ画素を有する撮像素子が用いられる）を含む。このため図５において、最も左側に示される入力層の値「３」は、Ｒ、Ｇ、Ｂのそれぞれの色に関する値を示している。なお、赤外画素（ＩＲ画素）を有する撮像素子が用いられる場合、入力層の値はＩＲｎ（ｉ，ｊ）を加えた４となる。また、図５の最も右側に示される出力層の値「７」は、色見本である葉色スケールの葉色番号１〜７のそれぞれに対応する。

ここで、図６を参照して、本実施例におけるニューラルネットワークＮＮを学習する際に用いられる葉色スケール（色見本）について説明する。図６は、葉色スケールの一例である。一般的な葉色スケールの概形は、図６に示されるように、葉色番号１〜７と各番号に対応する色見本とが配置されている。この葉色スケールは、植物の葉に関するＲ、Ｇ、および、Ｂのそれぞれの反射特性に基づいて作成される。

図５に示されるように、本実施例のニューラルネットワークＮＮは、入力層、３つの中間層、および、出力層を備えて構成されている。各層のユニット数はそれぞれ３、１００、５０、２０、７である。以下、ニューラルネットワークＮＮを用いて画素を分類する方法について説明する。まず、Ｒ、Ｇ、Ｂの３つの値と、３つの値の係数（重み係数、係数データ）α１_Ｎ１、α２_Ｎ１、α３_Ｎ１（Ｎ１＝１〜１００）とを用いて、Ａ_Ｎ１＝α１_Ｎ１Ｒ＋α２_Ｎ１Ｇ＋α３_Ｎ１Ｂを演算する。このとき、係数α１_Ｎ１、α２_Ｎ１、α３_Ｎ１のそれぞれを変化させながら同様の演算を繰り返す。本実施例において、係数α１_Ｎ１、α２_Ｎ１、α３_Ｎ１（Ｎ１＝１〜１００）の組を１００種類用意し、１００種類の係数の組のそれぞれに関して値Ａ_Ｎ１を算出する。入力層の右隣に示される第１の中間層の値「１００」は、前述のように係数の組を変更しながら入力値（Ｒ、Ｇ、Ｂ）と各係数とを用いて演算を行うことにより、１００種類の値を算出することを示している。

第１の中間層の右隣に示される第２の中間層の値「５０」は、第１の中間層の１００種類の値Ａ_Ｎ１を用いて、５０種類の値Ｂ_Ｎ２を算出することを示している。第１の中間層の１００種類の値Ａ_Ｎ１（Ｎ１＝１〜１００）と、値Ａ_Ｎ１の係数（重み係数、係数データ）β１_Ｎ２、β２_Ｎ２、…、β１００_Ｎ２（Ｎ２＝１〜５０）とを用いて、Ｂ_Ｎ２＝β１_Ｎ２Ａ_１＋β２_Ｎ２Ａ_２＋、…、＋β１００_Ｎ２Ａ_１００を演算する。

第２の中間層の右隣に示される第３の中間層の値「２０」は、第２の中間層の５０種類の値Ｂ_Ｎ２を用いて、２０種類の値Ｃ_Ｎ３を算出することを示している。第２の中間層の５０種類の値Ｂ_Ｎ２（Ｎ２＝１〜５０）と、値Ｂ_Ｎ２の係数（重み係数、係数データ）γ１_Ｎ３、γ２_Ｎ３、…、γ５０_Ｎ３（Ｎ３＝１〜２０）とを用いて、Ｃ_Ｎ３＝γ１_Ｎ３Ｂ_１＋γ２_Ｎ３Ｂ_２＋、…、＋γ５０_Ｎ３Ｂ_５０を演算する。

図３において、最も右側に示される出力層の値「７」は、第３の中間層の２０種類の値Ｃ_Ｎ３を用いて、７種類の値Ｄ_Ｎ４を算出することを示している。第３の中間層の２０種類の値Ｃ_Ｎ３（Ｎ３＝１〜２０）と、値Ｃ_Ｎ３の係数（重み係数、係数データ）δ１_Ｎ４、δ２_Ｎ４、…、δ２０_Ｎ４（Ｎ４＝１〜７）とを用いて、Ｄ_Ｎ４＝δ１_Ｎ３Ｃ_１＋δ２_Ｎ４Ｃ_２＋、…、＋δ２０_Ｎ４Ｃ_７を演算する。このようなニューラルネットワーク処理の結果、７種類の値Ｄ_１〜Ｄ_７が得られる。値Ｄ_１〜Ｄ_７は、それぞれ、図３を参照して説明した葉色スケールの葉色番号１〜７に対応する。

本実施例において、ニューラルネットワークＮＮの学習は、前述の各係数α１_Ｎ１、α２_Ｎ１、α３_Ｎ１、β１_Ｎ２、β２_Ｎ２、…、β１００_Ｎ２、γ１_Ｎ３、γ２_Ｎ３、…、γ５０_Ｎ３、δ１_Ｎ４、δ２_Ｎ４、…、δ２０_Ｎ４の値を決定することである。具体的には、任意のＲ、Ｇ、Ｂの値の組で表される画素信号を入力して、色見本である葉色スケールの葉色番号１〜７のうち、入力した画素信号と合致する色に対応する葉色番号が出力されるように、各係数を学習（決定）する。

本実施例において、ニューラルネットワークＮＮの活性化関数としてＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ：正規化線形関数）が用いられるが、これに限定されるものではない。活性化関数として、例えば、Ｓｉｇｍｏｉｄやｔａｎｈなどの関数を用いてもよい。ニューラルネットワークＮＮの学習の際には、デジタルカメラ（撮像装置）で撮影した葉色スケールの画像を用いる。学習に用いる葉色スケール画像は、市販のデジタルカメラで撮影した画像を使用することができる。ニューラルネットワークＮＮは、単一のデジタルカメラを用いて取得された葉色スケール画像のみに基づいて、または、複数種類のデジタルカメラを用いて撮影された葉色スケール画像に基づいて学習することが可能である。

屋外環境で使用する場合、時刻によって太陽の高度変化に伴い照明条件が大きく変化する。このため、時間帯ごとにニューラルネットワークＮＮの学習を行うことで、精度を更に向上させることができる。また、ＧＰＳなどの位置情報に基づいて撮影の月日や時刻情報、太陽の高度や太陽の方向、天気（天候）に関する情報などを画像情報として取得し、複数の学習済みＮＮから所定の時刻に学習されたＮＮを選択して使用することで分類精度を向上させることもできる。また、天気に関する情報などの画像情報を自動に取得し、またはユーザが手動で入力して、ＮＮを選択するように構成してもよい。また、画素数が非常に多いデジタルカメラを用いると、分類処理に時間がかかる場合がある。このような場合には、画像の縮小処理を施してから色分類処理を行ってもよい。撮影時刻の特定は、リアルタイムで行うことができ、または、記憶されたＥｘｉｆ情報を用いてもよい。

続いて、図２のステップＳ４において、出力部１４は、分類処理部１３による分類結果を出力する。分類結果は、様々な方法で出力することが可能である。葉色番号１〜７に割り当てられた画素の数をヒストグラムとして詳細に出力すること、全体に占める割合が最大の葉色番号を出力すること、または、平均値を出力するように構成してもよい。出力結果（分類結果）は画像のヘッダ領域などに付加することや、ファイルに出力してもよい。

次に、本発明の実施例２における画像処理方法について説明する。本実施例は、実施例１と同様に水稲の生育に関する画素分類方法を例として説明する。本実施例は、図２のステップＳ３（画素分類ステップ）において、葉色スケールの葉色番号に対応する色だけでなく、背景に対応する色を加えて画素の分類を行う点で、実施例１とは異なる。その他の構成や方法は実施例１と同様であるため、それらの説明は省略する。

本実施例における背景とは、植物の緑色以外の色を有する領域である。本実施例では、撮影時に画像中に含まれることが多い地面と空の２つを背景とし、葉色番号１〜７に加えて地面の背景番号８および空の背景番号９の合計９つの色パターンに基づく分類を行う（各画素を９つのグループのうち１つのグループに分類する）。

本実施例において、正規化処理部１２は、画像データ中の座標（ｉ，ｊ）における画素値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）を用いて、正規化後のＲ、Ｇ、Ｂの画素値Ｒｎ（ｉ，ｊ）、Ｇｎ（ｉ，ｊ）、Ｂｎ（ｉ，ｊ）をそれぞれ、以下のように算出する。

Ｒｎ（ｉ，ｊ）＝Ｒ（ｉ，ｊ）／Ｇ（ｉ，ｊ）
Ｇｎ（ｉ，ｊ）＝１
Ｂｎ（ｉ，ｊ）＝Ｂ（ｉ，ｊ）／Ｇ（ｉ，ｊ）
このように本実施例の正規化処理部１２は、各画素に関して、Ｇの色成分を１に設定し、Ｒ、Ｂの色成分のそれぞれをＧの色成分で除することにより、画素値を正規化する。本実施例における正規化処理は、リファレンスとなる領域を必要としてないという特徴があり、一般的なデジタルカメラのホワイトバランスとは異なる。

ここで、図７を参照して、本実施例におけるニューラルネットワークＮＮの一例について説明する。図７は、本実施例におけるニューラルネットワークＮＮの説明図である。図７に示されるように、本実施例のニューラルネットワークＮＮは、入力層、３つの中間層、および、出力層を備えて構成されている。各層のユニット数はそれぞれ３、１００、５０、２０、９である。ニューラルネットワークＮＮを学習する際において、入力は特定色領域内における任意の画素位置における正規化後の色情報、すなわち画素値Ｒｎ（ｉ，ｊ）、Ｇｎ（ｉ，ｊ）、Ｂｎ（ｉ，ｊ）である。一般的なデジタル画像において、画素データは、Ｒ、Ｇ、Ｂの３つの値を含む。このため図７において、最も左側に示される入力層の値「３」は、Ｒ、Ｇ、Ｂのそれぞれの色に関する値を示している。これらの点は、図５を参照して説明した実施例１と同様である。

本実施例において、図７の最も右側に示される出力層の値「９」は、色見本である葉色スケールの葉色番号１〜９のそれぞれに対応する。すなわち、本実施例のニューラルネットワーク処理により、葉色スケールの葉色番号１〜７および背景番号８、９に対応する値のいずれかが出力される。

ここで、図８を参照して、本実施例におけるニューラルネットワークＮＮを学習する際に用いられる葉色スケール（色見本）について説明する。図８は、葉色スケールの一例である。一般的な葉色スケールの概形は、図８に示されるように、葉色番号１〜７、地面の背景番号８、および、空の背景番号９と、各番号に対応する色見本とが配置されている。

このように本実施例において、分類処理部１３は、特定色領域（画素）を、植物の葉に対応する色情報と非植物に対応する色情報とを含む複数のグループ（葉色番号１〜９）のうち一つのグループ（葉色番号１〜９の一つ）に分類する。本実施例によれば、複数の種類の背景領域を追加してＮＮで学習しておくことにより、明らかな背景領域を除去し、葉色に対応する領域を抽出分類することができる。

図９は、葉色スケールを撮影することなく、水田の稲画像を画素ごとに分類した分類結果の一例である。図９のグレースケール値のうち、１〜７はそれぞれ葉色番号１〜７に対応し、８、９はそれぞれ地面および空に対応している。

次に、本発明の実施例３における画像処理方法について説明する。本実施例は、実施例１と同様に水稲の生育に関する画素分類方法を例として説明する。本実施例は、Ｒ、Ｇ、Ｂ画素に加えて、近赤外（ＩＲ）画素を用いる点で、Ｒ、Ｇ、Ｂ画素のみを用いる実施例１、２とは異なる。その他の構成や方法は実施例１と同様であるため、それらの説明は省略する。

本実施例では、撮影時に画像中に含まれることが多い地面と空の２つを背景とし、葉色番号１〜７に加えて地面の背景番号８および空の背景番号９の合計９つの色パターンに基づく分類を行う（各画素を９つのグループのうち１つのグループに分類する）。このため本実施例では、図１０に示されるＮＮを用い、図８に示される葉色スケールを用いて学習を行う。本実施例のようにＩＲ画像を取得することが可能である場合、正規化処理部１２は、Ｒ、Ｇ、Ｂの色成分（Ｒ画素、Ｇ画素、Ｂ画素）に加えて、ＩＲの色成分（ＩＲ画素）を考慮した正規化処理を行う。具体的には、正規化処理部１２は、画素値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）、ＩＲ（ｉ，ｊ）を用いて、正規化後のＲ、Ｇ、Ｂ、ＩＲの画素値Ｒｎ（ｉ，ｊ）、Ｇｎ（ｉ，ｊ）、Ｂｎ（ｉ，ｊ）、ＩＲｎ（ｉ，ｊ）をそれぞれ、以下のように算出する。

Ｒｎ（ｉ，ｊ）＝Ｒ（ｉ，ｊ）／（Ｒ（ｉ，ｊ）＋Ｇ（ｉ，ｊ）＋Ｂ（ｉ，ｊ）＋ＩＲ（ｉ，ｊ））
Ｇｎ（ｉ，ｊ）＝Ｇ（ｉ，ｊ）／（Ｒ（ｉ，ｊ）＋Ｇ（ｉ，ｊ）＋Ｂ（ｉ，ｊ）＋ＩＲ（ｉ，ｊ））
Ｂｎ（ｉ，ｊ）＝Ｂ（ｉ，ｊ）／（Ｒ（ｉ，ｊ）＋Ｇ（ｉ，ｊ）＋Ｂ（ｉ，ｊ）＋ＩＲ（ｉ，ｊ））
ＩＲｎ（ｉ，ｊ）＝ＩＲ（ｉ，ｊ）／（Ｒ（ｉ，ｊ）＋Ｇ（ｉ，ｊ）＋Ｂ（ｉ，ｊ）＋ＩＲ（ｉ，ｊ））
このように本実施例の正規化処理部１２は、各画素に関して、Ｒ、Ｇ、Ｂ、ＩＲの色成分のそれぞれをＲ、Ｇ、Ｂ、ＩＲの色成分の和で除することにより、画素値を正規化する。

ここで、図１０を参照して、本実施例におけるニューラルネットワークＮＮの一例について説明する。図１０は、本実施例におけるニューラルネットワークＮＮの説明図である。図１０に示されるように、本実施例のニューラルネットワークＮＮは、入力層、３つの中間層、および、出力層を備えて構成されている。各層のユニット数はそれぞれ４、１００、５０、２０、９である。ニューラルネットワークＮＮを学習する際において、入力は特定色領域内における任意の画素位置における正規化後の色情報、すなわち画素値Ｒｎ（ｉ，ｊ）、Ｇｎ（ｉ，ｊ）、Ｂｎ（ｉ，ｊ）、ＩＲｎ（ｉ，ｊ）である。

次に、図１１を参照して、本発明の実施例４における画像処理システム（画像処理装置）について説明する。図１１は、本実施例における画像処理システム９０の構成図である。画像処理システム９０は、画像処理装置（情報処理装置としてのハードウエア）９１、表示装置（モニタ）９２、および、入力装置（キーボードなどの入力手段）９３を備えて構成される。本実施例は、実施例１〜３のいずれかの画像処理方法を画像処理システム（パソコンのソフトウエア）９０上で動作させる場合について説明する。本実施例の画像処理装置９１は、図１を参照して説明した画像処理装置１０の画像情報取得部１１、正規化処理部１２、分類処理部１３、および、出力部１４の各機能を有する。

まず、実施例１〜３のいずれかの画像処理方法を画像処理装置９１において動作させるため、画像処理方法を実行するソフトウエア（画像処理プログラム）を画像処理装置（パソコン）９１にインストールし、画像処理装置９１の記憶部（不図示）に格納する。また、ニューラルネットワークＮＮに関するデータを、画像処理装置９１に設けられた記憶部の所定のフォルダに格納する。ニューラルネットワークＮＮに関するデータとは、ニューラルネットワークＮＮの構造に関するデータ（構造データ）や重み係数に関するデータ（係数データ）を含む。ソフトウエアおよびニューラルネットワークＮＮに関するデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのメディア（記憶媒体）９４からインストールすることができる。または、ソフトウエアおよびニューラルネットワークＮＮに関するデータを、ネットワーク（インターネット）を介してダウンロードしてインストールしてもよい。

次に、画像処理装置９１は、インストールが完了したソフトウエアを起動し、撮影画像に対して画像処理を行う。画像処理装置９１は、様々な撮影時の条件（撮影条件）に関する情報をＥｘｉｆ情報などから自動的に取得して、画像処理を行う。ソフトウエア上において、画像の所定の対象領域のみに画像処理を行うなどの領域選択や、特定色領域の抽出方法、ニューラルネットワークＮＮの選択などの種々な設定を行うことができるように構成してもよい。ユーザは、表示装置９２上で画像処理後の画像を確認しつつ、種々の設定の変更ができることが好ましい。画像処理の具体的説明については、実施例１〜３にて詳述したため省略する。

次に、図１２を参照して、本発明の実施例５における撮像装置の概略構成について説明する。図１２は、本実施例における撮像装置１００のブロック図である。撮像装置１００は、実施例１〜３のいずれかの画像処理方法を実行可能な画像処理部（画像処理装置）１０４を備えている。

撮像装置１００において、被写体（不図示）は、絞り１０１ａ（または遮光部材）およびフォーカスレンズ１０１ｂを含む撮像光学系１０１（光学系）を介して撮像素子１０２に結像する。本実施例において、撮像光学系１０１は、撮像素子１０２を有する撮像装置本体に着脱可能な交換レンズ（レンズ装置）である。ただし本実施例は、これに限定されるものではなく、撮像装置本体と撮像光学系１０１とが一体的に構成された撮像装置にも適用可能である。

絞り値（Ｆ値）は、絞り１０１ａまたは遮光部材により決定される。撮像素子１０２は、撮像光学系１０１を介して形成された被写体像（光学像）を光電変換して画像データを出力する。撮像素子１０２から出力された画像データ（電気信号）は、Ａ／Ｄ変換器１０３に出力される。Ａ／Ｄ変換器１０３は、撮像素子１０２から入力された電気信号（アナログ信号）をデジタル信号に変換し、デジタル信号（撮影画像）を画像処理部１０４に出力する。なお、撮像素子１０２およびＡ／Ｄ変換器１０３により、撮像光学系１０１を介して形成された光学像（被写体像）を光電変換して撮影画像を出力する撮像手段が構成される。

画像処理部１０４は、Ａ／Ｄ変換器１０３から出力されたデジタル信号（撮像素子１０２から出力された画像データに基づいて生成された画像）に対して、状態検知部１０７および記憶部１０８の各情報を用いて所定の画像処理を行う。画像処理部１０４は、画像情報取得部（取得手段）１０４ａ、正規化処理部（正規化手段）１０４ｂ、分類処理部（分類手段）１０４ｃ、および、出力部（出力手段）１０４ｄを有する。

画像情報取得部１０４ａは、画像（撮像光学系１０１を介して形成された画像データに基づく画像、すなわち撮影画像）を取得する。正規化処理部１０４ｂは、画像情報取得部１０４ａにより取得された画像の正規化処理を行う。分類処理部１０４ｃは、正規化処理部１０４ｂにより正規化された画素を、複数のグループ（色パターン）の中から画素の色情報に応じて決定される一つのグループ（色パターン）に分類する。出力部１０４ｄは、分類処理部１０４ｃによる分類結果を出力する。

記憶部（記憶手段）１０８は、画像処理部１０４が画像処理（画素分類処理）を行う際に用いるニューラルネットワークＮＮに関するデータを記憶している。ニューラルネットワークＮＮに関するデータとは、ニューラルネットワークＮＮの構造に関するデータ（構造データ）や重み係数に関するデータ（係数データ）を含む。ただし本実施例において、ニューラルネットワークＮＮに関するデータを、画像処理部１０４の外部に設けられた記憶部１０８に代えて、画像処理部１０４の内部メモリに記憶させてもよい。記憶部１０８は、ニューラルネットワークに関するデータとして、撮影条件に応じて適用される複数のデータを記憶してもよい。例えば、第１の撮影条件で取得された画像に関して、第１の構造データと第１の係数データとを含む第１のデータを用い、第２の撮影条件で取得された画像に関して、第２の構造データと第２の係数データと含む第２のデータを用いて、画素分類処理を行う。

状態検知部１０７は、撮影時の条件（撮影時刻、焦点距離、Ｆ値、撮影距離、および、像高などの撮影条件）に関する情報を取得する。システムコントローラ１１０は、撮影条件に関する情報を画像（撮影画像）に付加し、記憶部１０８または画像記録媒体１０９に記憶させる。システムコントローラ１１０は、画像処理部１０４、表示部１０５、撮像光学系制御部１０６、状態検知部１０７、および、画像記録媒体１０９を制御する。撮像光学系制御部１０６は、撮像光学系１０１の動作を制御する。状態検知部１０７は、撮像光学系制御部１０６により得られた情報から撮像光学系１０１の状態を検知する。撮影後に画像記録媒体１０９から所望の画像が選択されると、画像処理部１０４はその画像に対して正規化処理を行って画像処理（画素分類処理）を行うことができる。

画像処理部１０４は、状態検知部１０７により取得した撮影時刻などの撮影条件に対応するニューラルネットワークＮＮに関するデータを取得する。そして画像処理部１０４は、記憶部１０８から画像データおよびニューラルネットワークＮＮに関するデータを読み出し、実施例１〜３のいずれかの正規化処理および画素分類処理を実行する。画像処理部１０４から出力される分類結果は、表示部１０５に表示される。なお、画像処理部１０４は、撮影画像のうち一部の画素にのみ正規化処理および画素分類処理を行うなど、種々の設定を行うことが可能である。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、大規模な設備を用いることなく、太陽光などの明るさの影響を受けにくい色評価を行うことが可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０ 画像処理装置
１１ 画像情報取得部（取得手段）
１２ 正規化処理部（正規化手段）
１３ 分類処理部（分類手段）

Claims (19)

1. 画像情報を取得する取得手段と、
   前記画像情報における各画素の画素値を色成分ごとに正規化する正規化手段と、
   前記正規化手段により正規化された画素値に基づいて各画素を分類する分類手段と、を有することを特徴とする画像処理装置。
2. 前記正規化手段は、各画素の前記色成分の比率を求めることにより、前記画素値を正規化することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像情報は、Ｒ、Ｇ、Ｂの前記色成分からなる前記画素値を含むことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記正規化手段は、各画素に関して、Ｒ、Ｇ、Ｂの前記色成分のそれぞれをＲ、Ｇ、Ｂの前記色成分の和で除することにより、前記画素値を正規化することを特徴とする請求項３に記載の画像処理装置。
5. 前記正規化手段は、各画素に関して、Ｇの前記色成分を１に設定し、Ｒ、Ｂの前記色成分のそれぞれをＧの前記色成分で除することにより、前記画素値を正規化することを特徴とする請求項３に記載の画像処理装置。
6. 前記画像情報は、Ｒ、Ｇ、Ｂ、ＩＲの前記色成分からなる前記画素値を含むことを特徴とする請求項１または２に記載の画像処理装置。
7. 前記正規化手段は、各画素に関して、Ｒ、Ｇ、Ｂ、ＩＲの前記色成分のそれぞれをＲ、Ｇ、Ｂ、ＩＲの前記色成分の和で除することにより、前記画素値を正規化することを特徴とする請求項６に記載の画像処理装置。
8. 前記画像情報は、時刻を含む情報であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記画像情報は、太陽の方向を含む情報であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記画像情報は、天候に関する情報を含むことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記画像情報は、ユーザにより入力された情報を含むことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記分類手段は、前記正規化手段により正規化された前記画素値に基づいて、各画素を複数のグループの中から前記画素値に応じて決定される一つのグループに分類することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記分類手段は、前記複数のグループに対応する色見本に基づいて学習されたニューラルネットワークを用いて、前記画素を分類することを特徴とする請求項１２に記載の画像処理装置。
14. 前記分類手段は、前記色見本に基づいて学習された複数のニューラルネットワークの中から前記画像情報に基づいて選択される前記ニューラルネットワークを用いて、前記画素を分類することを特徴とする請求項１３に記載の画像処理方法。
15. 前記分類手段は、前記画素を、植物の葉に対応する色情報と非植物に対応する色情報とを含む前記複数のグループのうち前記一つのグループに分類することを特徴とする請求項１２乃至１４のいずれか１項に記載の画像処理装置。
16. 撮像素子と、
    請求項１乃至１５のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
17. 画像情報を取得するステップと、
    前記画像情報における各画素の画素値を色成分ごとに正規化するステップと、
    正規化された画素値に基づいて各画素を分類するステップと、を有することを特徴とする画像処理方法。
18. 画像情報を取得するステップと、
    前記画像情報における各画素の画素値を色成分ごとに正規化するステップと、
    正規化された画素値に基づいて各画素を分類するステップと、をコンピュータに実行させることを特徴とする画像処理プログラム。
19. 請求項１８に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。