JP7468088B2 - 画像処理システム、及び画像処理プログラム - Google Patents

Description

本発明は、画像から検出対象を見つけ出すなどの画像処理技術に関し、特に画像処理を最適化する画像処理システムに関する。

従来、画像から検出対象を見つけ出すなどの画像処理アルゴリズムの自動生成において、複数の機能単位の実行順序を定義する個体情報を用いて学習用画像に対して画像処理を行い、得られた出力画像を教師画像と比較して評価値を計算し、その結果を個体情報に反映させることにより学習を行って、画像処理を最適化することが行われている。
このような画像処理アルゴリズムの自動生成において、検出対象の種類によっては、学習で使用する画像枚数が多くなり、学習時間が長くなってしまうという問題があった。

具体的には、例えば検出対象がキズなど様々なバリエーションのあるものの場合、これらを網羅する学習用画像が必要になる。このため、このような様々なバリエーションのある検出対象を見つけ出す画像処理アルゴリズムの自動生成にあたっては、数多くの画像を用いて学習が行われ、その最適化に長時間を要するという問題があった。
一方で、バリエーションの網羅が必要となる検出対象の学習用画像を単に減らした場合には、生成する画像処理アルゴリズムの性能が低下するという問題が生じる。このため、画像処理アルゴリズムの性能を維持したままで学習用画像を削減することは、容易ではなかった。

特許第６１０２９４７号公報

ここで、学習用画像の削減に関連する画像処理技術として、特許文献１に記載の画像処理装置を挙げることができる。
この装置では、初期学習時に画像の特徴量にもとづいてクラスタリングを行い、各クラスタから代表的な画像を選択することによって、画像を削減することが記載されている。

しかしながら、この技術では初期学習時にクラスタリングを行うため、選択される画像が固定されるものであった。また、画像の選択を目的として事前に画像の特徴量を計算する必要があるため煩雑であった。さらに、この方法でクラスタリングを正確に行い得る特徴量が分かる場合、画像処理の検出対象が機械学習を実施する必要性の低い簡単なものである。
このため、バリエーションの網羅が必要となる検出対象を見つけ出す画像処理アルゴリズムの自動生成にあたり、画像処理アルゴリズムの性能を維持したままで、学習用画像をより効果的に削減することが可能な画像処理システムが求められていた。

そこで、本発明者らは鋭意研究して、進化的計算を用いた画像処理アルゴリズムの自動生成において、学習用画像に画像処理を行って得られた出力画像を教師画像と比較して計算された評価値にもとづき学習で使用する画像を選択可能にし、生成される画像処理アルゴリズムの性能を維持した状態で学習時間を短縮することに成功して、本発明を完成させた。

すなわち、本発明によれば、学習時に計算される評価値を用いるため、初期に特徴量を設定する必要がない。また、学習が進むにつれて画像に対する評価値が変化するため、学習に使用される画像が固定されない。さらに、評価値は進化的計算により生成された画像処理アルゴリズムの特徴を表すことから、生成される画像処理アルゴリズムの性能向上を期待することも可能となる。

本発明は、上記事情に鑑みてなされたものであり、進化的計算を用いた画像処理アルゴリズムの自動生成において、画像処理アルゴリズムの性能を維持した状態で学習時間を短縮することが可能な画像処理システム、及び画像処理プログラムの提供を目的とする。

上記目的を達成するため、本発明の画像処理システムは、生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像処理を最適化する画像処理システムであって、直線構造、木構造、又はネットワーク状に複数の機能単位の実行順序を定義する複数の個体情報を記憶する個体群記憶部と、複数の学習用画像を記憶する画像記憶部と、前記個体情報にもとづいて前記学習用画像を処理し、前記学習用画像に対応する出力情報を生成する画像処理部と、前記出力情報を評価するための前記学習用画像に対応する教師情報を記憶する教師情報記憶部と、前記出力情報と前記教師情報を比較して、前記個体情報ごと及び前記学習用画像ごとに評価値を計算し、前記個体情報ごとの評価値にもとづき前記個体情報を順位付けする評価値計算部と、前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部と、前記学習用画像ごとの評価値にもとづいて、前記画像処理部により処理される学習用画像を削減する学習用画像削減部とを備えた構成としてある。

また、本発明の画像処理システムを、前記遺伝子操作部が、前記個体群記憶部を更新することにより、新たな世代の複数の個体情報を作成し、前記画像処理部が、前記遺伝子操作部により新たな世代の個体情報が作成されると、当該新たな世代の個体情報を前記個体情報として使用し、学習用画像削減部が、設定された世代後、又は設定された世代ごとに、前記学習用画像ごとの評価値にもとづいて、前記画像記憶部に記憶されている前記学習用画像から一部の画像を選択し、前記画像処理部が、選択された前記一部の画像を前記学習用画像として使用する構成とすることが好ましい。

また、本発明の画像処理システムを、前記学習用画像削減部が、設定された世代後、又は設定された世代ごとに、前記学習用画像の評価値にもとづいて、前記学習用画像をクラスタリングし、各クラスから一部の学習用画像を選択すること構成とすることも好ましい。

また、本発明の画像処理システムを、前記学習用画像削減部が、判別分析法、階層的クラスタ分析、又は非階層クラスタ分析を用いて、前記学習用画像をクラスタリングする構成とすることも好ましい。

また、本発明の画像処理システムを、前記学習用画像削減部が、設定された世代後、又は設定された世代ごとに、前記学習用画像の評価値の順位又は相関係数にもとづいて、一部の学習用画像を選択する構成とすることも好ましい。

また、本発明の画像処理プログラムは、生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像処理を最適化する画像処理システムであって、コンピュータを、直線構造、木構造、又はネットワーク状に複数の機能単位の実行順序を定義する複数の個体情報を記憶する個体群記憶部、複数の学習用画像を記憶する画像記憶部、前記個体情報にもとづいて前記学習用画像を処理し、前記学習用画像に対応する出力情報を生成する画像処理部、前記出力情報を評価するための前記学習用画像に対応する教師情報を記憶する教師情報記憶部、前記出力情報と前記教師情報を比較して、前記個体情報ごと及び前記学習用画像ごとに評価値を計算し、前記個体情報ごとの評価値にもとづき前記個体情報を順位付けする評価値計算部、前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部、及び、前記学習用画像ごとの評価値にもとづいて、前記画像処理部により処理される学習用画像を削減する学習用画像削減部として機能させる構成としてある。

本発明によれば、進化的計算を用いた画像処理アルゴリズムの自動生成において、画像処理アルゴリズムの性能を維持した状態で学習時間を短縮することが可能な画像処理システム、及び画像処理プログラムの提供が可能となる。

本発明の第一実施形態の画像処理装置の構成を示すブロック図である。 本発明の第一実施形態の画像処理装置における学習用画像削減部による定数を用いた選択の説明図である。 本発明の第一実施形態の画像処理装置における学習用画像削減部による一次関数を用いた選択の説明図である。 本発明の第一実施形態の画像処理装置における学習用画像削減部によるシグモイド関数を用いた選択の説明図である。 本発明の第一実施形態の画像処理装置における学習用画像削減部によるルールを用いた選択の説明図である。 本発明の第一実施形態の画像処理装置による処理手順を示すフローチャートである。 本発明の第一実施形態の画像処理装置における評価結果記憶部における評価値データの説明図である。 本発明の第一実施形態の画像処理装置における評価結果記憶部における順位付けデータの説明図である。 本発明の第一実施形態の画像処理装置による処理手順における遺伝子操作の処理手順を示すフローチャートである。 本発明の第一実施形態の画像処理装置における評価結果記憶部における複数世代の評価値データの説明図である。 本発明の第二実施形態の画像処理装置の構成を示すブロック図である。 本発明の第二実施形態の画像処理装置による処理手順を示すフローチャートである。 実施例及び参考例で使用した学習用画像及び検証用画像における背景画像を示す図である。 実施例及び参考例で使用した学習用画像及び検証用画像における背景画像の任意の位置のコピー画像を示す図である。 実施例及び参考例で使用した学習用画像及び検証用画像におけるサンプル画像１（検出対象と非検出対象が共に描画されていない画像）を示す図である。 実施例及び参考例で使用した学習用画像及び検証用画像におけるサンプル画像２（検出対象が描画された画像）を示す図である。 実施例及び参考例で使用した学習用画像及び検証用画像におけるサンプル画像３（非検出対象が描画された画像）を示す図である。 実施例及び参考例で使用した各種パラメータを示す図である。 実施例及び参考例で使用したノードの機能（画像処理：ノイズ除去）を示す説明図である。 実施例及び参考例で使用したノードの機能（画像処理：輝度補正）を示す説明図である。 実施例及び参考例で使用したノードの機能（画像処理：２値化）を示す説明図である。 実施例及び参考例で使用したノードの機能（画像処理：エッジ検出）を示す説明図である。 実施例及び参考例で使用したノードの機能（画像処理：周波数フィルタ）を示す説明図である。 実施例及び参考例で使用したノードの機能（画像処理：演算）を示す説明図である。 実施例及び参考例で使用したノードの機能（画像処理：モフォロジ）を示す説明図である。 実施例及び参考例で使用したノードの機能（画像処理：検出対象判定）を示す説明図である。 実施例及び参考例で使用したノードの機能（画像処理：分岐）を示す説明図である。 実施例（削減率２０％、６０％、８０％、９０％、９５％）及び参考例２（削減率０％）による学習時間、学習結果（評価値）、及び検証結果（評価値）を表すグラフを示す図である。 参考例１（削減率２０％、６０％、８０％、９０％、９５％）及び参考例２（削減率０％）による学習時間、学習結果（評価値）、及び検証結果（評価値）を表すグラフを示す図である。 実施例と参考例による学習結果（評価値）と検証結果（評価値）を比較したグラフを示す図である。

以下、本発明の画像処理システム、及び画像処理プログラムの実施形態について詳細に説明する。ただし、本発明は、以下の実施形態、及び後述する実施例の具体的な内容に限定されるものではない。

［第一実施形態］
まず、本発明の第一実施形態に係る画像処理システム、及び画像処理プログラムについて、図１及び図２Ａ～Ｄを参照して説明する。図１は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図である。図２Ａ～Ｄは、それぞれ当該画像処理装置における学習用画像削減部による定数を用いた選択、一次関数を用いた選択、シグモイド関数を用いた選択、及びルールを用いた選択の説明図である。

本実施形態の画像処理システムは、生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像処理を最適化するものである。この画像処理としては、画像から検出対象を検出する画像処理アルゴリズムや、画像のノイズ除去アルゴリズム、画像の高解像度化アルゴリズム、画像の合成のアルゴリズム等を挙げることができる。

具体的には、本実施形態の画像処理装置１は、図１に示すように、機能単位記憶部１０、個体生成部１１、個体群記憶部１２、画像入力部１３、画像記憶部１４、教師情報入力部１５、教師情報記憶部１６、画像処理部１７、出力情報記憶部１８、評価値計算部１９、評価結果記憶部２０、遺伝子操作部２１、及び学習用画像削減部２２を備えている。
本実施形態の画像処理装置１におけるこれらの各構成は、図１に示すように一個の情報処理装置に全て備えることができる。また、これらの各構成は、複数の情報処理装置からなる画像処理システムの各装置に分散して備えてもよい。これは、後述する第二実施形態についても同様である。

機能単位記憶部１０は、ある処理を実行する機能単位であるノード（遺伝子に相当する）をノード番号ごとに記憶する。本実施形態において、このノードとして、画像処理を行うための様々なものを用いることができ、後述する実施例では、図１３Ａ～Ｉに示すものを用いている。
また、これらのノードは、それぞれの処理の実行に用いるパラメータが存在する場合には、そのパラメータと共に機能単位記憶部１０に記憶される。

さらに、ノードとして、何ら処理を実行しないものを用いてもよく、複数の処理を実行する機能単位をまとめたものを１個のノード（ノードセット）として用いてもよい。ノードとして何ら処理を実行しないものを含めて用いることにより、例えば個体情報を生成するための初期ノード数の設定値が多すぎた場合などに、実質的なノード数を減らすことができる。

本明細書において、「画像処理」には、ノイズ除去のための各種フィルタ処理や、輝度補正などの補正処理、２値化処理、エッジ検出処理、周波数フィルタ処理、四則演算などの演算処理、モフォロジ処理、検出対象判定処理、分岐処理等が含まれる。

個体生成部１１は、機能単位記憶部１０に記憶されているノードを用いて、複数のノードの配列からなる個体情報を生成する。このとき、個体生成部１１は、複数のノードにもとづいて、複数の個体情報をランダムに生成することができる。この個体情報が、画像処理アルゴリズムを構成する。
またこのとき、個体生成部１１は、個体情報において、直線構造、木構造、又はネットワーク状に複数のノードの実行順序を定義することができる。ネットワークは、向きが付いたリンクにより構成される有向ネットワークであり、フィードバックを含むものとすることができる。

なお、ネットワーク状の個体情報を用いれば、直線構造や木構造のみからなる個体情報を用いる場合に比較して、より柔軟な表現力を持つネットワーク構造を含めて学習を行うことができるため、最適解（実用上の最適解，実用解）を導き出す上で優位性がある。すなわち、問題に対してどの構造体が最適解になるかは人が事前に把握することができないため、機械学習の前に構造体の条件を決定することは難しい。このため、個体情報として、有閉路を含み得るネットワーク状に複数のノードの実行順序を定義するものを使用して、幅広い条件で最適解を探索することは、真の最適解を導き出せる可能性を高める上で有効と考えられる。

個体群記憶部１２は、個体生成部１１によって生成された複数の個体情報からなる個体群を記憶する。この個体群として、１つの世代又は複数の世代を個体群記憶部１２に記憶させることができ、世代番号ごとに個体情報を個体群記憶部１２に記憶させることができる。
なお、後述する評価値計算部１９は、世代ごと又は設定された世代ごとに個体情報を順位付けして、順位付け情報を評価結果記憶部２０に記憶させることができる。

画像入力部１３は、複数の学習用画像及び複数の検証用画像を画像処理装置１に入力して、画像の識別情報ごとに画像記憶部１４に記憶させる。
学習用画像は、全ての個体情報（画像処理アルゴリズム）により処理して出力情報を得るため、またその出力情報と教師情報を比較して評価値を計算するため、及び評価値を用いて個体の順位付けを実施するために用いることができる。
検証用画像は、所定の個体情報の中で一番良い個体情報により処理して出力情報を得るため、またその出力情報と教師情報を比較して評価値を計算するため、及びその評価値を用いて解析モデルの妥当性や過学習が発していなかなどを検証するために用いることができる。

なお、検証用画像は、人が結果を分析するために使用されるため、基本的に進化的計算に影響は及ぼさないが、終了判定に検証用画像の評価値を用いる場合、例えば検証用画像の評価値が閾値に達した場合に終了する場合や学習用画像と検証用画像の評価値に大きな差が発生した場合に早期終了する場合には、進化的計算に自動的に影響を及ぼすことになる。

教師情報入力部１５は、出力情報を評価するための教師情報を入力し、対応する画像の識別情報ごとに教師情報記憶部１６に記憶させる。
この教師情報としては、複数の学習用画像に対応する教師画像、及び複数の検証用画像に対応する教師画像などを用いることができる。
なお、本実施形態の画像処理システムにおいて、教師情報は、画像に限定されず、画像における検出対象の個数や位置、あるいは検出対象が存在する範囲などを教師情報として用いることもできる。

画像処理部１７は、画像記憶部１４から画像を入力すると共に、個体群記憶部１２から個体情報を入力して、その個体情報にもとづき当該個体情報に含まれる複数のノードを順次実行する。なお、画像処理部１７は、画像の入力処理、及び出力画像の保存処理を行うために、それぞれを実行するためのノードも実行する。

このとき、各ノードは、画像から得られる情報を用いて、それぞれの機能に対応する処理を実行する。また、各ノードは、その処理結果にもとづいて、処理結果に対応する次のノードを選択的に実行し得る。したがって、個体情報に含まれるノードであっても、画像処理において、必ずしも全てのノードが実行される訳ではない。勿論、個体情報における全てのノードが実行される場合はある。また、フィードバックが行われることによって、一つの個体情報において１つのみ定義されているノードが、複数回実行されることもあり得る。

また、ノードの機能としては、上述したように、ノイズ除去のための各種フィルタ処理や、輝度補正などの補正処理、２値化処理、エッジ検出処理、周波数フィルタ処理、四則演算などの演算処理、モフォロジ処理、分岐処理等の狭義の画像処理がある。

また、ノードの機能としての検出対象判定処理は、画像処理部１７によって、画像における一定範囲の検出対象候補をラベリングしてその特徴量を計算し、閾値などにもとづいて、その特徴量を備えた検出対象候補が、正しい検出対象であるか否かを判定する処理として行われる。
なお、検出対象判定処理において、非検出対象候補をラベリングしてその特徴量を計算し、閾値などにもとづきその特徴量を備えていないことにより、検出対象でないことを判定する処理を行うこともできる。

さらに、画像処理部１７は、学習用画像と検証用画像ごとに出力情報としての画像などを作成して、個体情報（の識別情報）ごと且つ画像（の識別情報）ごとに出力情報記憶部１８に記憶させることができる。なお、教師情報が、画像における検出対象の個数、位置、又は検出対象が存在する範囲である場合は、出力情報として、それぞれ検出対象の個数、位置、又は検出対象が存在する範囲が出力情報として作成され、出力情報記憶部１８に記憶される。

画像から検出対象を見つけ出すことを目的とし、画像処理部１７が出力情報としての画像を作成する場合、学習用画像と検証用画像のそれぞれについて、検出対象が検出された場合は、検出対象が存在する領域を示す情報が付加された画像を作成し、検出対象が検出されなかった場合は、当該情報が付加されていない画像を作成する。
そして、この出力情報を個体情報ごと且つ画像ごとに出力情報記憶部１８に記憶させることができる。

なお、学習用画像と検証用画像において検出対象が存在する場合に、その領域を示す情報を付加した画像などを生成する機能を評価値計算部１９に行わせることもできる。すなわち、画像処理部１７により画像処理を行った後、評価値計算部１９が検出対象の領域を示す情報を付加した画像を生成して出力情報記憶部１８に記憶させ、これを用いて評価値を計算する構成とすることも可能である。

評価値計算部１９は、出力情報記憶部１８から出力情報を入力すると共に、教師情報記憶部１６からその出力情報に対応する教師情報を入力する。
そして、出力情報と教師情報を比較して評価値を計算し、得られた評価値を個体情報ごと且つ画像ごとに評価結果記憶部２０に記憶させることができる。

評価値計算部１９による評価値の計算は、例えば平均二乗誤差を用いて、以下の式により行うことができる。

また、評価値計算部１９は、個体群記憶部１２に記憶されている全ての個体情報（又は１世代分の個体情報）につき評価値を計算し終えて評価結果記憶部２０に記憶させたタイミングなどで、それらの評価値にもとづき個体情報を順位付け（ランキング）して、得られた順位付け情報を評価結果記憶部２０に記憶させることができる。
また、評価値計算部１９は、評価値にもとづき個体情報ごとに学習用画像を順位付け（ランキング）して、得られた順位付け情報を評価結果記憶部２０に記憶させることもできる。

さらに、評価値計算部１９は、画像処理部１７による画像処理を終了するか否かを判定するための終了判定を行うことができる。終了判定は、終了条件を満たすか否かにもとづき行うことができ、終了条件を満たす場合、画像処理部１７による画像の処理を終了させて、画像処理装置１による処理を終了させることができる。そして、評価結果記憶部２０に記憶された最も評価値の高い個体情報が、画像処理を行うための最適化された個体情報として得られる。

終了条件としては、予め設定した全ての世代の個体群について画像処理を完了した場合や、一定の世代数以上で進化が発生していない場合などを挙げることができる。
進化が発生していない場合とは、評価値が、比較対象の時点よりも改善されていない場合である。
なお、評価値計算部１９からこの終了判定の機能を分離して、本実施形態の画像処理装置１において終了判定を行うための終了判定部を備えてもよい。

遺伝子操作部２１は、評価結果記憶部２０における個体情報の順位付け情報にもとづいて、個体情報の選択又は変更を行って、個体群記憶部１２を更新する。
これによって、個体群記憶部１２に新たな世代の個体群の個体情報を順次追加することができる。

具体的には、遺伝子操作部２１は、評価値が高い個体情報を次世代に残すエリート個体保存部と、評価値にもとづいて、一定の確率で個体情報を次世代に残す個体選択部と、２つの個体情報の一部を相互に交換する交叉部と、選択された１つの個体情報の一部又は全部やノードのパラメータをランダムに書き換える突然変異部とを有するものとすることができる。

エリート個体保存部は、各世代の個体群において、一番評価値の良い個体情報などを、無条件で次世代に残す処理を行うことができる。
個体選択部は、各世代の個体群において、評価値の順位の高い個体情報を高い確率で選択して、次世代に残す処理等を行うことができる。

交叉部は、交叉処理として、複数の個体情報の各ノードの配列における同一（ノード番号）の並びについて、ある確率で入れ替える１様交叉を行うことができる。また、交叉部は、交叉処理として、各ノードの配列における同一の並びの１点を境として、一方の配列を相互に入れ替える１点交叉や、同一の並びの複数点を境として配列を相互に入れ替える複数点交叉を行うこともできる。交叉部は、このような交叉処理を、個体選択部により選択された個体情報に対して行うことができる。

突然変異部は、突然変異処理として、機能単位記憶部１０に記憶されているノードを用いて、個体情報ごとに一定の確率でその個体情報の一部を書き換えたり、その個体情報の全てを書き換えることができる。突然変異部は、このような突然変異処理を、個体選択部により選択された個体情報に対して行うことができる。また、突然変異部は、突然変異処理として、機能単位記憶部１０に記憶されているノードを用いて、新しい個体情報を生成することもできる。さらに、突然変異部に、突然変異処理として、選択された親個体情報のノードのパラメータの一部又は全部をランダムに書き換えることなどによって、パラメータ変異を行わせることもできる。

なお、同じ個体情報にもとづいて生成された同系列個体が増えると、多様性が失われて進化が袋小路（数学的に局所解に陥った状態）に入ってしまう。一方、同系列以外の個体を増やしすぎると、ランダム探索に近づき、効率的な進化が行われない。
そこで、学習初期では多様性を持たせるために、同系列以外の個体を増やすように突然変異部による処理を行い、学習中期では効率的な進化を実施するために、個体選択部により同系列を増やすことが好ましい。また、進化が止まった場合には、再度多様性を持たせるために突然変異部により同系列以外を増やすことなどを好適に行うことができる。

そして、遺伝子操作部２１は、新たな世代の個体群を生成して、個体群記憶部１２に記憶させる。このとき、遺伝子操作部２１は、前の世代の個体群を上書きすることにより、個体群記憶部１２を更新することができる。また、複数世代の個体群を世代ごとに記憶させることにより、個体群記憶部１２を更新することもできる。

学習用画像削減部２２は、学習用画像の削減処理を実行するか否かを判定する。この判断基準は、適宜設定することができ、所定の設定値を設定し、その設定値以降の全ての世代（設定された世代後）について、学習用画像の削減処理を実行することができる。また、一定の設定された世代数ごとに、削減処理を実行することもできる。

また、学習用画像削減部２２は、削減処理を実行すると判定すると、評価結果記憶部２０に記憶されている各学習用画像の評価値にもとづいて、画像処理部１７により画像処画される学習用画像を削減する。
学習用画像削減部２２は、学習用画像の削減処理において、各学習用画像の評価値にもとづいて、各種方法により学習用画像を選択することができる。
具体的には、学習用画像の削減方法として、「１．評価値の順位による削減」、「２．評価値の相関係数を用いた削減」、「３．クラスタリングによる削減」を挙げることができる。

１．評価値の順位による削減
（１）定数による削減
次式及び図２Ａに示す定数により表現された選択確率を用いて、評価値の順位に対して選択する。この場合、順位に対して均等に削減することができる。

（２）1次関数による削減
次式及び図２Ｂに示すように、評価値の順位に対して重みを付けて選択する。この場合、直線の傾きが＋の場合は悪い画像が多く削減され、－の場合には評価値の良い画像が多く削減される。また、定数bにより選択しない順位を設定することもできる。

（３）シグモイド関数を用いた削減
次式及び図２Ｃに示すように、評価値の順位に対してシグモイド関数による重みを用いて削減する。１次関数による選択と同様に、評価値の良い画像、又は評価値の悪い画像を有意に選択することができる。

（３）その他
その他にも指数関数、対数関数などを使用することもできる。また、図２Ｄに示すように、所定のルールを用いて、ある順位以上又は以下、その間などを任意に選択可能にすることもできる。

２．評価値の相関係数を用いた削減
画像の評価値に対して相関係数を計算し、相関係数が高い画像の一方を削減することによって、学習に使用する画像枚数を削減する。
画像の評価値に対して相関係数を計算するためには、各画像に複数の評価値が必要となるが、各世代又は複数世代の全個体若しくは上位個体による画像の評価値を用いることによって、相関係数を計算することができる。例えば、所定の世代及び個体を設定することにより相関行列を計算して、各相関係数が閾値以上の画像を選択し、他方を選択しないようにすることができる。

３．クラスタリングによる削減
評価値をクラスタリングして、各クラスより設定した枚数だけ画像を選択する。クラスに属する画像枚数に偏りが発生した場合は、少ない枚数に合わせることなどもできる。
クラスタリングの手法としては、判別分析法や、ウォード法，群平均法，最短距離法などの階層的クラスタ分析、又はk-means法などの非階層クラスタ分析などを用いることができる。

２分類する判別分析法は、以下の手順で実施することができる。なお、後述する実施例では、この判別分析法に従って、学習用画像の削減を行った。
（１）評価値のヒストグラムを計算する
（２）ヒストグラムから最小値、最大値、平均値を計算する
（３）最小値～最大値の範囲で、ある閾値Ｔを選択する
（４）閾値Ｔにてヒストストグラムを２つのクラスに分ける
（５）クラス１の分散、平均値、画素数を計算する
（６）クラス２の分散、平均値、画素数を計算する
（７）クラス内の分散、クラス間の分散を計算する

（８）分離度Ｓを計算する

（９）上記（３）～（８）を繰り返して、最小値～最大値の範囲内の全ての閾値Ｔに対して分離度Ｓを計算する
（１０）分離度Ｓが最大となる閾値Ｔを最終的に用いる閾値とする
（１１）各クラスから設定した削減率になるように学習に用いる画像の選択を行う

学習用画像の削減処理において、削減する画像の割合は、適宜設定することができる。例えば、画像記憶部１４に記憶されている学習用画像の削減率２０％、６０％、８０％、９０％、９５％などを設定することができる。

また、学習用画像削減部２２は、画像記憶部１４に記憶されている学習用画像から削減する画像を識別するフラグなどを画像記憶部１４に設定する。そして、画像処理部１７と評価値計算部１９が、当該フラグにもとつき画像記憶部１４における選択された学習用画像のみに対して、それぞれ画像処理と評価値の計算を実行することができる。

次に、本実施形態の画像処理装置による処理手順について、図３～図７を参照して説明する。図３は、本実施形態の画像処理装置による処理手順を示すフローチャートである。図４は、本実施形態の画像処理装置における評価結果記憶部における評価値データの説明図であり、図５は、同評価結果記憶部における順位付けデータの説明図である。図６は、本画像処理装置による処理手順における遺伝子操作の処理手順を示すフローチャートである。図７は、同評価結果記憶部における複数世代の評価値データの説明図である。

まず、画像処理装置１における画像入力部１３が、画像を入力して、画像記憶部１４に記憶させる（ステップ１０）。また、教師情報入力部１５が、教師情報としての教師画像を入力して、教師情報記憶部１６に記憶させる（ステップ１１）。
具体例として、１５０枚の学習用画像と１５０枚の検証用画像が画像記憶部１４に記憶され、これらに対応する教師画像がそれぞれ１５０枚ずつ教師情報記憶部１６に記憶されたとする。

次に、個体生成部１１が、初期個体群を生成する（ステップ１２）。
具体的には、個体生成部１１は、機能単位記憶部１０からノードをランダムに選択して配列することにより個体情報を生成し、識別情報ごとに個体群記憶部１２に記憶させることができる。
具体例として、初期個体群として個体情報を１００個生成したとする。
なお、ステップ１０～１２の各ステップの実行順序は、入れ替えてもよい。

このとき、個体生成部１１は、複数の個体情報からなる個体群を一つの世代として、世代番号ごとに個体群を個体群記憶部１２に記憶させることができる。
なお、新たな世代の個体群は、個体群記憶部１２に記憶されている個体情報に対して、遺伝子操作部２１が遺伝子操作を行うことによって作成することができる。すなわち、新たな世代の個体群は、遺伝子操作部２１により個体情報の選択又は変更が行われ、個体群記憶部１２が更新されることによって作成することができる。
このように、個体群記憶部１２における世代は、ステップ１３に示す世代ループの実行に従って順次追加されるようにすることができる。

世代ループは、予め設定された世代数分について実行される。なお、後述する終了判定で終了条件が満たされる場合、設定された世代数分の実行前に世代ループが終了することがある。
具体例として、世代ループの世代数を５０００世代に設定したとする。

世代ループにおいて、学習用画像削減部２２は、学習用画像の削減処理を実行するか否かを判定する（ステップ１４）。
この判断基準は、適宜設定することができる。例えば、所定の設定値を設定し、その設定値以降の全ての世代について、学習用画像の削減処理を実行することができる。また、一定の世代数ごとに、削減処理を実行することもできる。

具体例として、設定値を１０とし、１～１０世代のループが終了した後、１１世代目以降の各世代について、学習用画像の削減処理を実行することとする。
この場合、１世代目の第１回目のループにおいて、学習用画像削減部２２により、学習用画像の削減処理を実行しないと判定される（ステップ１４のＮＯ）。

次に、個体群ループが、個体群記憶部１２における当該世代の個体群の全ての個体情報について実行される（ステップ１６）。
具体例では、第１回目の個体群ループにおいて、１００個の個体情報のそれぞれについて、ステップ１７とステップ１８が繰り返して実行される。

すなわち、画像処理部１７は、個体群記憶部１２における当該世代の個体群の各個体情報について、それぞれ画像処理を実行する（ステップ１７）。
具体例では、画像処理部１７は、１５０枚の学習用画像の各々に対して、個体情報を構成する複数の機能単位をそれぞれ順次実行し、各学習用画像に対応する出力情報としての画像等を作成して、出力情報記憶部１８に記憶させることができる。

次に、評価値計算部１９は、出力情報記憶部１８における当該世代の個体群の個体情報ごと及び学習用画像ごとに、出力情報と教師情報とを比較して、評価値を計算する（ステップ１８）。
このとき、評価値計算部１９は、出力情報と教師情報とを用いて、例えば最小二乗法により、平均二乗誤差を評価値として算出することができる。
そして、評価値計算部１９は、得られた評価値を評価結果記憶部２０に個体情報ごと及び学習用画像ごとに記憶させることができる。

図４に、評価結果記憶部２０に記憶された評価値データの例を示す。同図に示すように、評価値計算部１９により算出された評価値は、当該世代について、個体情報ごと及び学習用画像ごとに記憶させることができる。
なお、評価値計算部１９により、個体情報ごとに評価値の統計値を計算して記憶させることもできる。評価値の統計値としては、例えば平均値や標準偏差などを用いることができる。

次に、評価値計算部１９は、評価結果記憶部２０に記憶されている評価値にもとづいて、個体情報の順位付けを行い、その結果を評価結果記憶部２０に記憶する（ステップ１９）。
図５に、評価結果記憶部２０に記憶された順位付けデータの例を示す。同図に示すように、個体情報の順位付けは、評価値の統計値などにもとづいて行うことができる。

また、評価値計算部１９は、終了条件が満たされているか否かの判定処理を行う（ステップ２０）。終了条件が満たされている場合は、画像処理装置１による処理を終了する。
終了条件が満たされていない場合、遺伝子操作部２１は、遺伝子操作処理を実行する（ステップ２１）。
これにより、遺伝子操作部２１は、個体群記憶部１２に新たな世代の個体群を追加更新することができる。

具体的には、図６に示すように、遺伝子操作部２１におけるエリート個体保存部は、最も評価値の高い個体情報を次世代の個体群の個体情報として選択する（ステップ３０）。
また、遺伝子操作部２１における個体選択部は、評価値の順位の高い個体情報ほど高い確率で次世代の個体群の個体情報として選択する（ステップ３１）。

さらに、遺伝子操作部２１における交叉部は、個体選択部により選択された個体情報に対して、交叉処理を実行して、新たな個体情報を生成する（ステップ３２）。
また、遺伝子操作部２１における突然変異部は、個体選択部により選択された個体情報にもとづいて、またはこれらの個体情報を用いることなく、突然変異処理等を行い、新たな個体情報を生成する（ステップ３３）。
なお、エリート個体保存部、個体選択部、交叉部、突然変異部による各処理の順序を、各処理を実行可能な順序の範囲で入れ替えて実行してもよい。

この遺伝子操作処理によって、個体群記憶部１２に第２世代の個体群の個体情報を追加することができる。
このように、世代ループを繰り返すことで、個体群記憶部１２において、新たな世代の個体群の個体情報を順次追加することができる。
そして、第１０世代目の世代ループが終了すると、図７に示すように、評価結果記憶部２０において、個体情報ごと及び学習用画像ごとに、評価値データが１０世代分記憶されている。

次に、第１１世代目の世代ループが実行される。
具体例では、設定値を１０としているため、学習用画像削減部２２は、学習用画像の削減処理を実行すると判定し（ステップ１４のＹＥＳ）、学習用画像の削減処理を実行する（ステップ１５）。
すなわち、学習用画像削減部２２は、評価結果記憶部２０に記憶されている各学習用画像の評価値にもとづいて、画像処理部１７により画像処画される学習用画像を削減する。
具体的には、学習用画像削減部２２は、上述した「１．評価値の順位による削減」、「２．評価値の相関係数を用いた削減」、又は「３．クラスタリングによる削減」にしたがって、学習用画像を削減することができる。

この際、学習用画像削減部２２は、「各学習用画像の評価値」として、当該世代の一番良い個体情報の評価値を用いることができる。また、当該世代の全個体の評価値に対する統計値にもとづく順位付け情報を用いたり、所定の上位の評価値の統計値などを用いることもできる。さらに、複数世代の評価値の統計値（例えば、１０世代分の一番良い個体情報の評価値の平均値）を用いることなども可能である。
なお、世代間の評価値を用いる場合は、評価値の範囲（最小値～最大値）が異なるため、最小値０、最大値１などとして、評価値を正規化してから順位を計算することもできる。

学習用画像の削減処理において、削減する画像の割合は、適宜設定することができる。例えば、画像記憶部１４に記憶されている学習用画像の削減率２０％、６０％、８０％、９０％、９５％などを設定することができる。
具体例として、削減率を８０％とする場合、１５０枚の学習用画像から３０枚が選択されて、当該世代ループにおいて、３０枚の学習用画像が個体群ループで使用され、これら選択された学習用画像に対してのみ画像処理と評価値の計算が繰り返して実行される。

このとき、学習用画像削減部２２は、画像記憶部１４に記憶されている学習用画像から削減する画像を識別するフラグを画像記憶部１４に設定する。そして、画像処理部１７と評価値計算部１９が、当該フラグにもとつき画像記憶部１４における選択された学習用画像のみに対して、それぞれ画像処理と評価値の計算を実行することができる。

学習用画像削減部２２は、評価結果記憶部２０に記憶されている各学習用画像の評価値にもとづいて、画像処理と評価値の計算が実行される学習用画像を選択するが、この評価値は、個体群ループにおいて変化する。
すなわち、本実施形態の画像処理システムでは、学習が進むにつれて学習用画像の評価値が変化し、その評価値にもとづいて学習用画像削減部２２により学習用画像が削減されるため、学習に使用される学習用画像が固定されず、世代ループにより進化する画像処理アルゴリズム（個体情報）に応じて変化するという特徴がある。

また、具体例に示した画像記憶部１４に記憶された１５０枚の検証用画像については、画像処理部１７が、所定のタイミングで、特定の個体情報にもとづき画像処理を実行し、各検証用画像に対応する出力情報を生成する。そして、評価値計算部１９が、各検証用画像に対応する出力情報と教師情報を比較して、当該特定の個体情報ごと及び検証用画像ごとに評価値を計算し、評価結果記憶部２０に記憶させる。

上記の所定のタイミングとしては、例えば１世代ごととすることができる。具体的には、ステップ１９の個体情報の順位付け後、各世代における一番良い個体情報を用いて、各検証用画像に対する画像処理を実行し、それぞれに対応する出力情報を生成することができる。
また、上記の所定のタイミングとして、設定世代ごと（例えば１０世代ごと）とすることもでき、ステップ１９の個体情報の順位付け後、一番良い個体情報を用いて、同様に行うこともできる。

さらに、上記の所定のタイミングを、一番良い個体情報の評価値が向上したタイミング（学習用画像を用いた評価値が改善されたタイミング）や、最終世代（世代ループ完了後（進化的計算終了後））として最終的に得られた個体情報を用いて、同様に行うこともできる。このように、検証用画像を処理するタイミングは任意に設定することが可能である。
なお、第二実施形態においても、検証用画像についての処理を、同様のタイミングで行うことができる。

このような本実施形態の画像処理システムによれば、学習用画像に画像処理を行って得られた出力画像を教師画像と比較して計算された評価値を用いて、学習で使用する画像を削減でき、生成される画像処理アルゴリズムの性能を維持した状態で学習時間を短縮することが可能である。

また、学習用画像の削減において、学習時に計算される評価値を用いるため、初期に学習用画像の削減のために特徴量を設定する必要がない。さらに、学習が進むにつれて画像に対する評価値が変化するため、学習に使用される画像が固定されない。さらにまた、評価値は進化的計算により生成された画像処理アルゴリズムの特徴を表すため、生成される画像処理アルゴリズムの性能向上を期待することも可能となる。

［第二実施形態］
次に、本発明の第二実施形態に係る画像処理システム、及び画像処理プログラムについて、図８を参照して説明する。図８は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図である。

本実施形態の画像処理装置１ａは、図８に示すように、機能単位記憶部１０ａ、個体生成部１１ａ、個体群記憶部１２ａ、画像入力部１３ａ、画像記憶部１４ａ、教師情報入力部１５ａ、教師情報記憶部１６ａ、画像処理部１７ａ、出力情報記憶部１８ａ、評価値計算部１９ａ、評価結果記憶部２０ａ、遺伝子操作部２１ａ、及び学習用画像削減部２２ａを備えている。また、個体群記憶部１２ａは、親個体群記憶部１２１ａと子個体群記憶部１２２ａを備えている。

本実施形態の画像処理装置１ａにおける機能単位記憶部１０ａ、画像入力部１３ａ、画像記憶部１４ａ、教師情報入力部１５ａ、教師情報記憶部１６ａ、出力情報記憶部１８ａ、及び評価結果記憶部２０ａは、第一実施形態と同様のものとすることができる。また、本実施形態の画像処理装置１ａにおけるその他の構成についても、以下に説明する点を除いて、第一実施形態と同様のものとすることができる。

個体生成部１１ａは、機能単位記憶部１０ａに記憶されているノードを用いて、複数のノードの配列からなる個体情報を生成する。このとき、個体生成部１１ａは、第一実施形態と同様に、個体情報において、有閉路を含み得るネットワーク状に複数のノードの実行順序を定義することができる。

個体生成部１１ａは、個体情報として複数の親個体情報をランダムに生成し、これら親個体情報からなる初期の親個体群を親個体群記憶部１２１ａに記憶させる。なお、親個体群は、世代番号ごとに親個体群記憶部１２１ａに記憶させることができる。

個体群記憶部１２ａは、親個体群記憶部１２１ａと子個体群記憶部１２２ａを備えている。
親個体群記憶部１２１ａは、個体生成部１１ａによって生成された複数の個体情報からなる親個体群を記憶する。また、１つの世代又は複数の世代の親個体群を記憶させることができ、世代番号ごとに各個体情報を記憶させることができる。
子個体群記憶部１２２ａは、遺伝子操作部２１ａによって生成された複数の個体情報からなる子個体群を記憶する。また、親個体群に対応する１つの世代又は複数の世代の子個体群を記憶させることができ、世代番号ごとに各個体情報を記憶させることができる。

本実施形態では、親個体群と子個体群のセットが１つの世代に含められ、これらのセットが複数の世代分生成されて、それぞれ親個体群記憶部１２１ａと子個体群記憶部１２２ａに記憶される。
なお、後述する評価値計算部１９ａは、世代ごと又は設定された世代ごとに子個体情報を順位付けして、順位付け情報を評価結果記憶部２０ａに記憶させることができる。

画像処理部１７ａは、画像記憶部１４ａから画像を入力すると共に、子個体群記憶部１２２ａから子個体情報を入力して、その子個体情報にもとづき当該子個体情報に含まれる複数のノードを順次実行する。そして、画像処理部１７ａは、学習用画像と検証用画像ごとに出力情報としての画像などを作成し、この出力情報を子個体情報ごと且つ画像ごとに出力情報記憶部１８ａに記憶させることができる。

評価値計算部１９ａは、出力情報記憶部１８ａから出力情報を入力すると共に、教師情報記憶部１６ａからその出力情報に対応する教師情報を入力する。
そして、出力情報と教師情報を比較して評価値を計算し、得られた評価値を子個体情報ごと且つ画像ごとに評価結果記憶部２０ａに記憶させることができる。

また、評価値計算部１９ａは、個体群記憶部１２ａにおける子個体群記憶部１２２ａに記憶されている全ての子個体情報（又は１世代分の子個体情報）につき評価値を計算し終えて評価結果記憶部２０ａに記憶させたタイミングなどで、それらの評価値にもとづき子個体情報を順位付けして、得られた順位付け情報を評価結果記憶部２０ａに記憶させることができる。
さらに、評価値計算部１９ａは、画像処理部１７ａによる画像処理を終了するか否かを判定するための終了判定を行うことができる。

遺伝子操作部２１ａは、親個体群記憶部１２１ａにおける親個体情報に対して遺伝子操作を実行し、親個体群に対応する複数の個体情報からなる子個体群を生成して、子個体群記憶部１２２ａに記憶させることができる。
具体的には、遺伝子操作部２１ａは、まず、親個体群記憶部１２１ａにおける親個体群からランダムに、子個体情報を生成する親個体情報を選択する。次に、選択した親個体情報と同一の子個体情報からなる子個体群を子個体群記憶部１２２ａに記憶させる。また、選択された親個体情報に対して交叉処理を実行して複数の子個体情報を生成し、これら子個体情報からなる子個体群を子個体群記憶部１２２ａに記憶させる。

また、遺伝子操作部２１ａは、機能単位記憶部１０ａに記憶されているノードを用いて、選択された親個体情報に対して突然変異処理を実行し、一定の確率で親個体情報の一部又は全部を書き換えることによって得られた子個体情報からなる子個体群を子個体群記憶部１２２ａに記憶させることもできる。さらに、突然変異処理として、機能単位記憶部１０ａに記憶されているノードを用いて、新しい個体情報を生成することもでき、選択された親個体情報のノードのパラメータの一部又は全部をランダムに書き換えることなどによりパラメータ変異を行わせることもできる。

このように、遺伝子操作部２１ａは、親個体群記憶部１２１ａにおける親個体情報に対して遺伝子操作を実行することにより、複数の個体情報からなる子個体群を生成して、これらを子個体群記憶部１２２ａに記憶させる。

また、遺伝子操作部２１ａは、評価結果記憶部２０ａにおける子個体情報の順位付け情報にもとづいて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、親個体群からランダムに選択された上記の親個体情報と入れ替えることなどによって、親個体群記憶部１２１ａにおける親個体情報を更新することができる。
これにより、遺伝子操作部２１ａは、個体群記憶部１２ａにおける親個体群記憶部１２１ａに新たな親個体群の個体情報を追加することができる。
そして、後述する世代ループを繰り返すことで、個体群記憶部１２ａにおいて、新たな世代の親個体群の個体情報を順次追加することができる。

学習用画像削減部２２ａは、学習用画像の削減処理を実行するか否かを判定する。
また、学習用画像削減部２２ａは、削減処理を実行すると判定すると、評価結果記憶部２０ａに記憶されている各学習用画像の評価値にもとづいて、画像処理部１７ａにより画像処画される学習用画像を削減する。
学習用画像削減部２２ａは、学習用画像の削減処理において、各学習用画像の評価値にもとづいて、第一実施形態と同様の各種方法により学習用画像を減率することができる。

学習用画像の削減処理において、削減する画像の割合は、適宜設定することができる。例えば、画像記憶部１４ａに記憶されている学習用画像の削減率２０％、６０％、８０％、９０％、９５％などを設定することができる。

また、学習用画像削減部２２ａは、画像記憶部１４ａに記憶されている学習用画像から削減する画像を識別するフラグなどを画像記憶部１４ａに設定する。そして、画像処理部１７ａと評価値計算部１９ａが、当該フラグにもとつき画像記憶部１４ａにおける選択された学習用画像のみに対して、それぞれ画像処理と評価値の計算を実行することができる。

次に、本実施形態の画像処理システムに対応する画像処理装置の処理手順について、図９を参照して説明する。図９は、本実施形態の画像処理システムに対応する画像処理装置による処理手順を示すフローチャートである。

まず、画像処理装置１ａにおける画像入力部１３ａが、画像を入力して、画像記憶部１４ａに記憶させる（ステップ４０）。また、教師情報入力部１５ａが、教師情報としての教師画像を入力して、教師情報記憶部１６ａに記憶させる（ステップ４１）。
次に、個体生成部１１ａが、初期の親個体群を生成する（ステップ４２）。
なお、ステップ４０～４２の各ステップの実行順序は、入れ替えてもよい。

このとき、個体生成部１１ａは、機能単位記憶部１０ａからノードをランダムに選択して配列することにより親個体情報を生成して、識別情報ごとに個体群記憶部１２ａにおける親個体群記憶部１２１ａに記憶させることができる。
この親個体群記憶部１２１ａにおける親個体群は、後述する親個体群の更新処理によって更新され、世代ループにおいて、設定された世代について以下の処理が繰り返し行われる（ステップ４３）。

世代ループにおいて、学習用画像削減部２２ａは、学習用画像の削減処理を実行するか否かを判定する（ステップ４４）。
この判断基準は、適宜設定することができる。例えば、所定の設定値を設定し、その設定値以降の全ての世代について、学習用画像の削減処理を実行することができる。また、一定の世代数ごとに、削減処理を実行することもできる。

学習用画像削減部２２ａは、学習用画像の削減処理を実行すると判定すると（ステップ４４のＹＥＳ）、学習用画像の削減処理を実行する（ステップ４５）。
すなわち、学習用画像削減部２２ａは、評価結果記憶部２０ａに記憶されている各学習用画像の評価値にもとづいて、画像処理部１７ａにより画像処画される学習用画像を削減する。

具体的には、学習用画像削減部２２ａは、上述した「１．評価値の順位による削減」、「２．評価値の相関係数を用いた削減」、又は「３．クラスタリングによる削減」にしたがって、学習用画像を削減することができる。
また、学習用画像削減部２２ａは、学習用画像の削減処理を実行しないと判定すると（ステップ４４のＮＯ）、学習用画像の削減処理を実行せずに、ステップ４６を実行する。

次に、遺伝子操作部２１ａは、親個体群記憶部１２１ａにおける親個体群からランダムに、子個体情報を生成する親個体情報を選択する。（ステップ４６）。そして、選択された親個体情報に対して遺伝子操作を実行する（ステップ４７）。なお、ステップ４６の親個体情報の選択を、ステップ４７の遺伝子操作の一部として、実行してもよい。
そして、遺伝子操作部２１ａは、ランダムに選択された親個体情報に対して交叉処理や突然変異処理を実行して、複数の子個体情報を生成し、これら子個体情報からなる子個体群を子個体群記憶部１２２ａに記憶させる。

次に、子個体群ループにおいて（ステップ４８）、画像処理部１７ａは、子個体群記憶部１２２ａにおける当該世代の全ての子個体情報について画像処理を実行する（ステップ４９）。
このとき、画像処理部１７ａは、出力情報としての画像などを作成して、子個体情報ごと且つ画像ごとに出力情報記憶部１８ａに記憶させることができる。またこのとき、画像処理部１７ａは、学習用画像と検証用画像において検出対象が存在する場合、検出対象が存在する領域を示す情報を付加した画像を作成して、出力情報記憶部１８ａに記憶させることができる。

次に、評価値計算部１９ａは、出力情報と教師情報を比較して評価値を計算し（ステップ５０）、得られた評価値を評価結果記憶部２０ａに子個体情報ごと且つ画像ごとに記憶させる。
そして、子個体群記憶部１２２ａにおける全ての子個体情報について、画像処理から評価値の計算及び記憶までの処理を繰り返し実行する。

次に、評価値計算部１９ａは、評価結果記憶部２０ａに記憶されている評価値にもとづいて、子個体情報の順位付けを行い、その結果を評価結果記憶部２０ａに記憶する（ステップ５１）。個体情報の順位付けは、評価値の統計値などにもとづいて行うことができる。

そして、遺伝子操作部２１ａは、評価結果記憶部２０ａにおける子個体情報の順位付け情報にもとづいて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、ステップ４６において親個体群からランダムに選択された上記の親個体情報と入れ替えることなどによって、個体群記憶部１２ａにおける親個体群記憶部１２１ａの親個体情報を更新することができる（ステップ５２）。

遺伝子操作部２１ａのこのような処理によって、個体群記憶部１２ａにおける親個体群記憶部１２１ａに新たな世代としての親個体群の個体情報を追加することができる。
そして、世代ループを繰り返すことで、個体群記憶部１２ａにおいて、新たな世代の親個体群の個体情報を順次追加することができる。

また、評価値計算部１９ａは、終了条件が満たされているか否かの判定処理を行い（ステップ５３）、終了条件が満たされている場合、画像処理装置１ａによる処理を終了する。

画像処理装置１ａによる処理を終了させる場合、評価値計算部１９ａは、最終世代における全ての個体情報につき評価値を計算し、評価値にもとづき個体情報を順位付けして、得られた順位付け情報を評価結果記憶部２０ａに記憶させることができる。

このような本実施形態の画像処理装置によれば、親個体群から親を選択して子個体情報を生成する時に遺伝子操作が実行されると共に、特定の子個体情報を親個体群における親個体情報と入れ替えることにより親個体群を更新して、新たな世代の個体情報を追加することができる。これにより、第一実施形態に比較して、進化の多様性をより保った状態で、最適な個体情報を探すことが可能となっている。
また、このような進化の多様性をより保った状態において、生成される画像処理アルゴリズムの性能を維持し、学習時間を短縮することが可能となっている。

上記実施形態の画像処理装置は、本発明の画像処理プログラムに制御されたコンピュータを用いて実現することができる。コンピュータのＣＰＵは、画像処理プログラムにもとづいてコンピュータの各構成要素に指令を送り、画像処理装置の動作に必要となる所定の処理、例えば、個体生成処理、学習用画像削減処理、画像処理、評価値計算処理、遺伝子操作処理等を行わせる。このように、本発明の画像処理装置における各処理、動作は、プログラムとコンピュータとが協働した具体的手段により実現できるものである。

プログラムは予めＲＯＭ，ＲＡＭ等の記録媒体に格納され、コンピュータに実装された記録媒体から当該コンピュータにプログラムを読み込ませて実行されるが、例えば通信回線を介してコンピュータに読み込ませることもできる。
また、プログラムを格納する記録媒体は、例えば半導体メモリ、磁気ディスク、光ディスク、その他任意のコンピュータで読取り可能な任意の記録手段により構成できる。

以上説明したように、本発明の実施形態に係る画像処理システム、及び画像処理プログラムによれば、学習用画像に画像処理を行って得られた出力画像を教師画像と比較して計算された評価値を用いて学習で使用する画像を選択可能にすることで、生成される画像処理アルゴリズムの性能を維持した状態で学習時間を短縮することが可能である。
また、学習が進むにつれて画像に対する評価値が変化するため、学習に使用される画像が固定されず、評価値は進化的計算により生成された画像処理アルゴリズムの特徴を表すことから、生成される画像処理アルゴリズムの性能向上を期待することも可能である。

以下、本発明の実施形態に係る画像処理システムを用いて、画像から検出対象を検出する画像処理を最適化した試験について、図１０Ａ，Ｂ～図１５を用いて説明する。
実施例として、本発明の第二実施形態に係る画像処理システムに対応する画像処理装置を使用した。
また、参考例として、実施例の画像処理装置の一部を変更したものを使用した。具体的には、参考例１では学習用画像削減部により、世代ループに先立って、学習用画像を一定の割合でランダムに選択するように変更し、参考例２では学習用画像削減部による処理を実行せず、学習用画像の削減率０％とした。

まず、以下の手順と設定値にもとづいて、本試験で使用する画像をプログラムにより作成した。サンプル画像として、サンプル画像１（検出対象と非検出対象が共に描かれていない）、サンプル画像２（検出対象が描かれている）、サンプル画像３（非検出対象が描かれている）の３種類をそれぞれ２００枚作成した。そして、各２００枚のうち、５０枚を学習用画像（合計１５０枚）、１５０枚を検証用画像（合計４５０枚）として使用した。なお、どれを学習用画像と検証用画像として使用するかの区分はランダムで行った。

（手順１）背景画像の作成
256pixel×256pixel，8bit，輝度0の画像（真っ黒の画像）を準備し、この画像に対して直径22～24，幅3～5，輝度71～149の円を10個描画した。そして、得られた画像の各ピクセルに輝度0～20をランダムに決定して足し合わせ、背景画像とした。

（手順２）600枚の背景画像のコピー画像の作成
背景画像の任意の位置を、64pixel×64pixel，8bitの画像にコピーして、600枚の背景画像のコピー画像を作成した。
実施例及び参考例で使用した学習用画像及び検証用画像における背景画像を図１０Ａに、及びその背景画像の任意の位置のコピー画像を図１０Ｂに示す。

（手順３）サンプル画像1の作成（背景画像と同様，検出対象と非検出対象が共に描画されていない）
手順２で作成した画像No.1～200のコピー画像をサンプル画像１とした。また、各画像に対応する教師画像を作成した。サンプル画像１には検出対象が描かれていないため、各教師画像は真っ黒となる。
実施例及び参考例で使用した学習用画像又は検証用画像としてのサンプル画像１を図１１Ａに示す。

（手順４）サンプル画像２の作成（検出対象が描画された画像）
手順２で作成した画像No.201～400のコピー画像に検出対象を描画して、サンプル画像２とした。このとき、各画像の任意の位置に、太さ：2～4pixel，枠線：0～2pixel，輝度：125～275，長さ32～64pixelの直線を１本描き、これを検出対象とした。また、各画像に対応する教師画像を、検出対象に対応する箇所を白く塗り潰すことにより作成した。
実施例及び参考例で使用した学習用画像又は検証用画像としてのサンプル画像２を図１１Ｂに示す。

（手順５）サンプル画像３の作成（非検出対象が描画された画像）
手順２で作成した画像No.401～600のコピー画像に非検出対象を描画して、サンプル画像３とした。このとき、各画像の任意の位置に、直径：8～16，輝度：155～205の円を描画して、これを非検出対象とした。サンプル画像３には検出対象が描かれていない（非検出対象物を描画した）ため、各教師画像は真っ黒となる。
実施例及び参考例で使用した学習用画像又は検証用画像としてのサンプル画像３を図１１Ｃに示す。

実施例及び参考例における進化的計算は、図１２に示す各種パラメータを用いて、第二実施形態であるＭＧＧ（Minimal Generation Gap）により行った。画像は、上記のとおり、それぞれ64pixel×64pixelの学習用画像１５０枚と検証用画像４５０枚を使用した。ネットワークは、入力ノードを１ノード、出力ノードを１ノード、処理ノードを７ノードとした。進化的計算は、世代数を５０００世代、親個体数を１００個、子個体数を６２個体（エリート２個体、一様交叉２０個体、突然変異３０個体、パラメータ変異１０個体）、変化率を一様交叉２０％、突然変異２０％、パラメータ変異２０％とした。

親個体群からの親選択では、個体生成部により生成した初期の親個体群における１００個の親個体情報から２個の親個体情報をランダムに選択して、親個体群から削除した。
そして、これらの親個体情報に対して遺伝子操作を実行し、６２個の子個体情報を生成した（親と同一：２個、一様交叉：２０個、突然変異個体：３０個体情報、パラメータ変異１０個）。

また、画像処理の実行後、子個体情報の評価結果にもとづいて評価値が一番よい子個体情報を選択すると共に、確率で選択した子個体情報の合計２個の子個体情報を親個体情報として親個体群に戻して、親個体群の更新を行った。

画像処理の実行は、図１３Ａ～図１３Ｉに示すノードを使用した。図１３Ａに示すノードは、画像処理（ノイズ除去）を行うものであり、図１３Ｂに示すノードは、画像処理（輝度補正）を行うものであり、図１３Ｃに示すノードは、画像処理（２値化）を行うものであり、図１３Ｄに示すノードは、画像処理（エッジ検出）を行うものであり、図１３Ｅに示すノードは、画像処理（周波数フィルタ）を行うものであり、図１３Ｆに示すノードは、画像処理（演算）を行うものであり、図１３Ｇに示すノードは、画像処理（モフォロジ）を行うものであり、図１３Ｈに示すノードは、画像処理（検出対象判定）を行うものであり、図１３Ｉに示すノードは、画像処理（分岐）を行うものである。

評価値の計算は、実施例と参考例共に、平均二乗誤差を用いて、以下の式により行った。なお、この評価値では、数値が低いほど良い評価となる。

ここで、学習画像の削減は、実施例では５種類の削減率（２０％、６０％、８０％、９０％、９５％）を設定して、それぞれにつき試験を行った。
また、参考例１でも５種類の削減率（２０％、６０％、８０％、９０％、９５％）を設定して、世代ループの実行に先立ってランダムに学習用画像の削減を行い、学習画像の削減以外については実施例と同様にして、それぞれにつき試験を行った。
また、参考例２は、削減率を０％として、学習用画像の削減を行うことなく、学習画像の削減以外については実施例と同様にして試験を行った。

学習画像の削減では、最初の１００世代では削減処理を実施せず、１００世代以降において１００世代ごとに評価値が最も高い個体情報にもとづき算出された各学習用画像の評価値を用いて、判別分析法により使用する学習用画像を選択した。
このとき、判別分析法により評価値にもとづき学習用画像を２クラスに分け、学習用画像が設定した削減率になり、かつ各クラスから選択される学習用画像が同数になるように選択した。
一方のクラスに画像がない場合には、評価値の順位に対して均等に選択を行い、一方のクラスの画像が少なく同数を選択すると設定した削減率を満たさない場合は、特に操作せずにそのまま学習を行った。
なお、検証用画像を用いた画像処理の実行、評価値の計算は、学習用画像を用いた学習が終了したタイミングで、評価値が一番良い個体情報を用いて行った。

そして、実施例と参考例について、以上の処理を５０００世代分繰り返して実行して、処理を終了した。さらに、これらを３回繰り返して、５０００世代の学習にかかった時間と評価値が最も高かった個体情報の評価値の平均値を算出した。
その結果を、図１４Ａ、図１４Ｂ、及び図１５に示す。図１４Ａは、実施例（削減率２０％、６０％、８０％、９０％、９５％）と参考例２（削減率０％）による学習時間、学習結果（評価値）、及び検証結果（評価値）を表すグラフを示す図であり、図１４Ｂは、参考例１（削減率２０％、６０％、８０％、９０％、９５％）及び参考例２（削減率０％）による学習時間、学習結果（評価値）、及び検証結果（評価値）を表すグラフを示す図である。また、図１５は、実施例と参考例による学習結果（評価値）と検証結果（評価値）を比較したグラフを示す図である。

これらの図において、左縦軸は、５０００世代の学習にかかった時間［min（分）］である。右縦軸は、学習用画像と検証用画像についてそれぞれ得られた、学習終了後の最良の個体情報を用いて算出された評価値である。なお、横軸の０％における各プロットは、全ての学習画像を選択した場合（削減率０％）であり、参考例２の結果を示すものである。

図１４Ａと図１４Ｂの結果から、学習用画像の一部を削減した実施例と参考例１は、削減しなかった参考例２と比較して、学習時間を大幅に短縮できている。
また、実施例と参考例１を比較すると、学習用画像の選択率が同一のものについては、概ね同程度の学習時間となっている。

次に、生成された画像処理アルゴリズムの性能に関し、実施例では、学習結果と検証結果共に削減率８０％の場合に、参考例２と同等の性能が得られている。また、削減率６０％場合に、一番良い性能が得られており、参考例２よりも良い結果となっている。
これに対して、参考例１では、学習結果において削減率６０％で参考例２と同等の性能が得られているが、検証結果では削減率が２０％になっても、参考例２と同等の性能が得られていない。
このことから、削減する学習用画像を実施例のように評価値を用いて選択するのではなく、参考例１のようにランダムに選択すると、画像処理アルゴリズムの性能を維持して時間を短縮することが、難しいことが示唆された。

また、実施例では、参考例１と比較して、学習結果と検証結果の両方において、より良い性能を示している。特に、削減率６０％と８０％の検証結果において、その差が顕著である。その理由は、学習用画像を評価値を用いて削減することで、効率的に学習できる画像が選択されたことが、原因であると推測される。

さらに、実施例では、学習用画像を削減しなかった参考例２と比較して、一部の選択率（削減率６０％の学習結果と検証結果）でさらに性能が良かった。その原因は、実施例では、画像を選択して学習することによって選ばれた画像に特化した画像処理アルゴリズムが生成され、さらに選ばれる画像が変化するため、様々な特徴を持った画像処理アルゴリズムが生成され、それらが交叉することによって性能が向上したと推測される。

以上のとおり、本実施形態の画像処理システム及び画像検査プログラムを用いることによって、性能の維持された画像処理アルゴリズムを、約７７％短縮された学習時間で得ることができた。
さらに、性能のより良い画像処理アルゴリズムを、約６３％短縮された学習時間で得ることができた。
このように、学習用画像の評価値にもとづいて、各世代の画像処理において使用する学習用画像を選択することによって、画像処理アルゴリズムの性能を維持又は改善した状態で、学習時間を大幅に低減できることが分かった。

本発明は、以上の実施形態に限定されるものではなく、本発明の範囲内において、種々の変更実施が可能であることは言うまでもない。
例えば、画像処理装置における各構成を複数の情報処理装置に分散して持たせたり、ノードとして実施例で用いたもの以外のものを含めて使用したりすることができる。
また、評価値を用いて削減する画像を選択する方法として、均等に削減する方法や、シグモイド関数を用いて削減する確率を変化させる方法など適宜変更することが可能である。

さらに、上記の画像処理装置を画像検査用に用い、画像処理装置を、画像入力部が検査用の画像を入力し、最も評価値の高い個体情報にもとづき画像処理部によって検査用の画像を処理して得られた処理結果情報を記憶する処理結果記憶部を備えた構成とすることなども可能である。

本発明は、設備や製品などの画像データにもとづき検査などを行う場合であって、画像処理が最適化された画像検査用の情報処理装置を得るために、好適に利用することが可能である。

１，１ａ 画像処理装置
１０，１０ａ 機能単位記憶部
１１，１１ａ 個体生成部
１２，１２ａ 個体群記憶部
１２１ａ 親個体群記憶部
１２２ａ 子個体群記憶部
１３，１３ａ 画像入力部
１４，１４ａ 画像記憶部
１５，１５ａ 教師情報入力部
１６，１６ａ 教師情報記憶部
１７，１７ａ 画像判定部
１８，１８ａ 出力情報記憶部
１９，１９ａ 評価値計算部
２０，２０ａ 評価結果記憶部
２１，２１ａ 遺伝子操作部
２２，２２ａ 学習用画像削減部

Claims (10)

1. 生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像処理を最適化する画像処理システムであって、
   直線構造、木構造、又はネットワーク状に複数の機能単位の実行順序を定義する複数の個体情報を記憶する個体群記憶部と、
   複数の学習用画像を記憶する画像記憶部と、
   前記個体情報にもとづいて前記学習用画像を処理し、前記学習用画像に対応する出力情報を生成する画像処理部と、
   前記出力情報を評価するための前記学習用画像に対応する教師情報を記憶する教師情報記憶部と、
   前記出力情報と前記教師情報を比較して、前記個体情報ごと及び前記学習用画像ごとに評価値を計算し、前記個体情報ごとの評価値にもとづき前記個体情報を順位付けする評価値計算部と、
   前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部と、
   前記学習用画像ごとの評価値にもとづいて、前記画像処理部により処理される学習用画像を削減する学習用画像削減部と、を備えた
   ことを特徴とする画像処理システム。
2. 前記遺伝子操作部が、前記個体群記憶部を更新することにより、新たな世代の複数の個体情報を作成し、
   前記画像処理部が、前記遺伝子操作部により新たな世代の個体情報が作成されると、当該新たな世代の個体情報を前記個体情報として使用し、
   学習用画像削減部が、設定された世代後、又は設定された世代ごとに、前記学習用画像ごとの評価値にもとづいて、前記画像記憶部に記憶されている前記学習用画像から一部の画像を選択し、
   前記画像処理部が、選択された前記一部の画像を前記学習用画像として使用する
   ことを特徴とする請求項１記載の画像処理システム。
3. 前記学習用画像削減部が、設定された世代後、又は設定された世代ごとに、前記学習用画像の評価値にもとづいて、前記学習用画像をクラスタリングし、各クラスから一部の学習用画像を選択することを特徴とする請求項１又は２記載の画像処理システム。
4. 前記学習用画像削減部が、判別分析法、階層的クラスタ分析、又は非階層クラスタ分析を用いて、前記学習用画像を分類することを特徴とする請求項３記載の画像処理システム。
5. 前記学習用画像削減部が、設定された世代後、又は設定された世代ごとに、前記学習用画像の評価値の順位又は相関係数にもとづいて、一部の学習用画像を選択することを特徴とする請求項１又は２記載の画像処理システム。
6. 前記画像記憶部が、前記学習用画像と共に、複数の検証用画像を記憶し、
   教師情報記憶部が、前記出力情報を評価するための前記検証用画像に対応する教師情報を記憶し、
   前記画像処理部が、所定のタイミングで、特定の個体情報にもとづいて前記検証用画像を処理し、前記検証用画像に対応する出力情報を生成し、
   前記評価値計算部が、前記検証用画像に対応する前記出力情報と前記教師情報を比較して、前記特定の個体情報ごと及び前記検証用画像ごとに評価値を計算する
   ことを特徴とする請求項１～５のいずれかに記載の画像処理システム。
7. 検査用の画像を記憶する検査用画像記憶部と、
   最も評価値の高い個体情報にもとづき前記画像処理部によって前記検査用の画像を処理して得られた処理結果情報を記憶する処理結果記憶部と、をさらに備えた
   ことを特徴とする請求項１～６のいずれかに記載の画像処理システム。
8. 生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像処理を最適化する画像処理プログラムであって、
   コンピュータを、
   直線構造、木構造、又はネットワーク状に複数の機能単位の実行順序を定義する複数の個体情報を記憶する個体群記憶部、
   複数の学習用画像を記憶する画像記憶部、
   前記個体情報にもとづいて前記学習用画像を処理し、前記学習用画像に対応する出力情報を生成する画像処理部、
   前記出力情報を評価するための前記学習用画像に対応する教師情報を記憶する教師情報記憶部、
   前記出力情報と前記教師情報を比較して、前記個体情報ごと及び前記学習用画像ごとに評価値を計算し、前記個体情報ごとの評価値にもとづき前記個体情報を順位付けする評価値計算部、
   前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部、及び、
   前記学習用画像ごとの評価値にもとづいて、前記画像処理部により処理される学習用画像を削減する学習用画像削減部として機能させる
   ことを特徴とする画像処理プログラム。
9. 前記遺伝子操作部に、前記個体群記憶部を更新することにより、新たな世代の複数の個体情報を作成させ、
   前記画像処理部に、前記遺伝子操作部により新たな世代の個体情報が作成されると、当該新たな世代の個体情報を前記個体情報として使用させ、
   学習用画像削減部に、設定された世代後、又は設定された世代ごとに、前記学習用画像ごとの評価値にもとづいて、前記画像記憶部に記憶されている前記学習用画像から一部の画像を選択させ、
   前記画像処理部に、選択された前記一部の画像を前記学習用画像として使用させる
   ことを特徴とする請求項８記載の画像処理プログラム。
10. 前記学習用画像削減部に、設定された世代後、又は設定された世代ごとに、前記学習用画像の評価値にもとづいて、前記学習用画像をクラスタリングさせ、各クラスから一部の学習用画像を選択させる
    ことを特徴とする請求項８又は９記載の画像処理プログラム。
    

Images