JP2011014051A - 生成装置、生成方法、および生成プログラム - Google Patents

Abstract

【課題】遺伝的処理において、特徴的な画像に対する目標画像への変換処理のフィルタが、より効率的に生成することができる
【解決手段】学習用入力画像から目標画像への変換に適応させる適応画像フィルタを生成する生成装置であって、学習用入力画像における一部の指定領域を含む指定入力画像と、目標画像とを受け付ける受付部と、複数の画像フィルタを生成する生成部と、複数の画像フィルタのそれぞれにより指定入力画像を変換した複数の出力画像に対して、目標画像との適合度をそれぞれ算出する算出部と、複数の出力画像のそれぞれの適合度に基づいて、複数の画像フィルタの中から適応画像フィルタを選択する選択部と、を備える生成装置を提供する。
【選択図】図１

Description

本発明は、生成装置、生成方法、および生成プログラムに関する。

遺伝的アルゴリズムまたは遺伝的プログラミングといった進化的計算を用いたフィルタまたは変換器の生成方法が知られている（非特許文献１参照）。このような進化的計算を用いたフィルタまたは変換器の生成方法によれば、それぞれの事例に対して最適であって解析的に得ることが困難な複雑な構造のフィルタまたは変換器を、より少ない労力と時間で設計することができる。

前薗正宜 他２名、「遺伝的アルゴリズムによる画像フィルタ設計の研究」、［ｏｎｌｉｎｅ］、コンピュータ利用教育協議会、［２００８年３月２０日検索］、インターネット＜URL：http://www.ciec.or.jp/event/2003/papers/pdf/E00086.pdf＞

ところで、このような進化的計算により画像フィルタを生成する方法は、目的の画像フィルタが得られるまでに、膨大な世代数を必要とする。従って、このような方法は、目的の画像フィルタを得るまでの演算コストが膨大となってしまっていた。また、目的の画像へ変換できる画像フィルタを効率よく生成するためには、学習用の目標画像を用意しなければならず、目標画像の作成に手間がかかる場合があった。

そこで本発明は、上記の課題を解決することのできる生成装置、生成方法、および生成プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の態様においては、学習用入力画像から目標画像への変換に適応させる適応画像フィルタを生成する生成装置であって、学習用入力画像における一部の指定領域を含む指定入力画像と、目標画像とを受け付ける受付部と、複数の画像フィルタを生成する生成部と、複数の画像フィルタのそれぞれにより指定入力画像を変換した複数の出力画像に対して、目標画像との適合度をそれぞれ算出する算出部と、複数の出力画像のそれぞれの適合度に基づいて、複数の画像フィルタの中から適応画像フィルタを選択する選択部と、を備える生成装置、並びに当該生成装置に関する生成方法、および生成プログラムを提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る生成装置１０の構成を示す。 本実施形態に係るフィルタ部品２２を直列に組み合わせた画像フィルタ２０の一例を示す。 本実施形態に係るフィルタ部品２２を木構造に組み合わせた画像フィルタ２０の一例を示す。 本実施形態に係るフィルタ部品２２を直列に組み合わせた画像フィルタ２０に対して行われる遺伝的な操作の一例を示す。 本実施形態に係るフィルタ部品２２を木構造に組み合わせた画像フィルタ２０に対して行われる交叉操作の一例を示す。 本実施形態に係るフィルタ部品２２を木構造に組み合わせた画像フィルタ２０に対して行われる突然変異操作の一例を示す。 本実施形態に係る画像フィルタ２０の適合度を表わすパラメータの一例である類似度の算出方法の一例を示す。 本実施形態に係る生成装置１０の処理フローの一例を示す。 図８のステップＳ１４において画像フィルタ２０を選択するまでの処理フローの一例を示す。 図９のステップＳ２１における重み生成部４３による重み画像の更新処理フローの一例を示す。 本実施形態に係るユーザが指定する場合の指定領域についての一例を示す。 本実施形態に係る形状による自動指定の場合の指定領域についての一例を示す。 本実施形態に係る輝度による自動指定の場合の指定領域についての一例を示す。 本実施形態に係る大きさによる自動指定の場合の指定領域についての一例を示す。 本実施形態に係る数量による自動指定の場合の指定領域についての一例を示す。 本実施形態に係る指定領域内における画像から抽出する場合について、特性の選択ウィンドウの一例を示す。 本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る生成装置１０の構成を示す。生成装置１０は、少なくとも１つの画像フィルタ２０を含む画像フィルタ群を、進化的計算に基づいて複数世代にわたり進化させる。本実施形態において、各画像フィルタ２０は、学習用入力画像を処理して処理結果を出力画像として出力する複数のフィルタ部品の入出力間を組み合わせた構造である。そして、生成装置１０は、学習用入力画像を目標画像へ変換するのに適した画像フィルタ２０を生成する。生成装置１０は、一例として、コンピュータにより実現される。

生成装置１０は、フィルタ格納部３４と、学習用入力画像格納部３６と、入力画像表示部５６と、特定部５４と、受付部５８と、フィルタ処理部３８と、出力画像格納部４０と、目標画像格納部４２と、重み生成部４３と、算出部４４と、選択部４６と、更新部４８と、生成部５０とを備える。フィルタ格納部３４は、互いに異なる構成の複数の画像フィルタ２０を格納する。

学習用入力画像格納部３６は、画像フィルタ２０の変換対象である複数の学習用入力画像を格納する。学習用入力画像は、一例として、ユーザによって予め撮像された画像および予め生成された画像とする。

入力画像表示部５６は、学習用入力画像格納部３６に格納された１または複数の学習用入力画像を順次に取得する。入力画像表示部５６は、取得したそれぞれの学習用入力画像をユーザに対して表示する。

特定部５４は、学習用入力画像から受付部５８が受付けた指定領域を特定する。特定部５４は、一例として、学習用入力画像における予め定められた特性を満たす一部の領域を、指定領域とする。ここで、特定部５４は、学習用入力画像における形状、大きさ、数量、輝度値等を、領域を指定する特性として特定してよい。これに代えて、特定部５４は、学習用入力画像におけるユーザに選択された少なくとも１つの特性を満たす一部の領域を、指定領域としてもよい。

受付部５８は、学習用入力画像における一部の指定領域を含む指定入力画像と、目標画像とを受け付ける。ここで、受付部５８は、一例として、学習用入力画像を画像フィルタ２０により変換させた変換画像の一部を含む領域を指定領域とした指定入力画像および目標画像を受け付ける。また、受付部５８は、予め設定された複数の領域枠の少なくとも１つの領域枠、または特定部５４によって特定された少なくとも１つの領域を指定領域とした指定入力画像を受け付けてもよい。

また、受付部５８は、入力画像表示部５６により表示された学習用入力画像をユーザにより変更させて、目標画像を作成させてもよい。この場合、受付部５８は、一例として、学習用入力画像内でユーザが自由に指定した領域を受け付けて、目標画像を作成させる。

フィルタ処理部３８は、フィルタ格納部３４に格納された１または複数の画像フィルタ２０を順次に取得する。フィルタ処理部３８は、取得したそれぞれの画像フィルタ２０により、学習用入力画像格納部３６に格納された学習用入力画像を変換させて、出力画像のそれぞれを生成する。

出力画像格納部４０は、フィルタ処理部３８において生成された出力画像を格納する。出力画像格納部４０は、一例として、出力画像のそれぞれを、変換した画像フィルタ２０に対応付けて格納する。

目標画像格納部４２は、学習用入力画像を変換して生成される出力画像の目標となる目標画像を格納する。目標画像は、一例として、学習用入力画像から目標とする画像を抽出すべく、受付部５８により受け付けられ、またはユーザにより予め生成され、若しくは準備された画像であってよい。

重み生成部４３は、出力画像と目標画像との比較におけるデータ領域毎の重みを表わす重み画像を生成する。重み生成部４３は、一例として、出力画像および目標画像と同様にデータが配置された重み画像を生成する。重み生成部４３は、出力画像と目標画像との各ピクセルの値（例えば輝度値）によって当該ピクセル位置の重みを表わす重み画像を生成してよい。ここで、重み生成部４３は、一例として、出力画像および目標画像のうち少なくとも一組の画像同士についての画像毎の差分がより大きい画像に対する重みを、当該差分がより小さい画像に対する重みより大きくした重み画像を生成する。

重み生成部４３は、一例として、重み記憶部６０と、重み更新部６２とを有する。重み記憶部６０は、重み画像を記憶する。重み更新部６２は、重み画像更新用として抽出された少なくとも１つの出力画像と目標画像との例えばピクセル毎の差分を算出し、当該ピクセル毎の差分がより大きい領域の重みを差分がより小さい領域の重みより大きくすべく、重み記憶部６０に記憶された重み画像を更新する。

重み更新部６２は、重み画像の更新を世代毎に行ってよい。ここで、重み更新部６２は、一例として、現世代の重み画像における目標画像との差分が閾値より大きいデータに対応する重みに所定値を加算して、現世代の重み画像における目標画像との差分が閾値以下のデータに対応する重みに所定値より小さい値を加算する。

このようにして、重み更新部６２は、次世代の重み画像を生成する。これに代えて、重み更新部６２は、現世代の重み画像における、目標画像との差分が閾値より大きいデータに対応する重みに所定値を加算して、目標画像との差分が閾値以下のデータに対応する重みから所定値を減算してもよい。なお、重み記憶部６０は、例えば重み更新部６２によって重み画像が更新される毎に、更新される前の重み画像を更新された重み画像と区別して記憶してもよい。

算出部４４は、フィルタ格納部３４に格納された複数の画像フィルタ２０のそれぞれにより指定入力画像を変換した複数の出力画像に対して、目標画像との適合度をそれぞれ算出する。ここで、適合度は、学習用入力画像を目標画像へと変換するのに適しているかどうかを表す指標値であり、値が高いほど学習用入力画像を目標画像へと変換するのに適していることを表す。算出部４４は、一例として、それぞれの現世代の画像フィルタ２０について、学習用入力画像から目標画像への変換に対する適合度を、重み画像により重み付けをして算出する。

選択部４６は、複数の出力画像のそれぞれの適合度に基づいて、フィルタ格納部３４に格納された複数の画像フィルタ２０の中から少なくとも１つの適応画像フィルタ２０を選択する。ここで、選択部４６は、一例として、適合度がより高い出力画像を変換した画像フィルタ２０を優先的に選択する。より具体的には、選択部４６は、生物の自然淘汰をモデル化した手法により、残存させる少なくとも１つの画像フィルタ２０を選択する。また、選択部４６は、一例として、フィルタ格納部３４に格納された複数の画像フィルタ２０のそれぞれの適合度に基づき、エリート選択およびルーレット選択といった遺伝的計算により少なくとも１つの画像フィルタ２０を選択する。また、選択部４６は、画像フィルタ群が有する複数の画像フィルタ２０の中から、適合度に基づいて、適応画像フィルタ２０を選択してもよい。

更新部４８は、フィルタ格納部３４に格納された複数の画像フィルタ２０のうち、選択部４６により選択された画像フィルタ２０を残存させ、選択部４６により選択されなかった画像フィルタ２０を淘汰する。更新部４８は、一例として、画像フィルタ２０をフィルタ格納部３４から削除することにより淘汰する。

生成部５０は、学習用入力画像を処理して処理結果を出力画像として出力する複数の画像フィルタ２０を生成する。生成部５０は、更新部４８による更新処理において残存した少なくとも１つの画像フィルタ２０を、フィルタ格納部３４から取得する。続いて、生成部５０は、一例として、取得した少なくとも１つの画像フィルタ２０に対して交叉および突然変異等の遺伝的な操作をして、新たな画像フィルタ２０を生成する。そして、生成部５０は、一例として、生成した新たな画像フィルタ２０をフィルタ格納部３４に書き込む。これにより、フィルタ格納部３４は、更新処理において残存した少なくとも１つの画像フィルタ２０および生成部５０が生成した新たな画像フィルタ２０を、格納することができる。

このような生成装置１０は、フィルタ処理部３８による変換処理、算出部４４による適合度の算出処理、選択部４６による画像フィルタ２０の選択処理、更新部４８による更新処理および生成部５０による新たな画像フィルタ２０の生成処理を、複数回（例えば複数世代）繰り返す。これにより、生成装置１０は、学習用入力画像から指定した範囲をより鮮明とする目標画像へ変換するのに適した画像フィルタ２０を、進化的計算を用いて生成することができる。

図２は、本実施形態に係るフィルタ部品２２を直列に組み合わせた画像フィルタ２０の一例を示す。図３は、本実施形態に係るフィルタ部品２２を木構造に組み合わせた画像フィルタ２０の一例を示す。

画像フィルタ２０は、図２に示されるような、複数のフィルタ部品２２を直列に組み合わせた構成であってよい。また、画像フィルタ２０は、図３に示されるような、複数のフィルタ部品２２を木構造に組み合わせた構成であってもよい。また、画像フィルタ２０は、１つの入力端に対して、複数の出力端を有する構成であってもよい。また、画像フィルタ２０は、複数の入力端および複数の出力端を有する構成であってもよい。

画像フィルタ２０は、受け取った学習用入力画像に対してフィルタ演算処理を施して、出力画像を出力する。画像フィルタ２０は、一例として、画像データに対して演算を施すプログラムとする。また、画像フィルタ２０は、画像データに対して施すべき演算内容を表わす演算式であってもよい。

なお、フィルタ部品２２が木構造に組み合わされた構成の画像フィルタ２０は、木構造の末端（最下位）のフィルタ部品２２のそれぞれに、同一の学習用入力画像が与えられ、木構造の最上位のフィルタ部品２２から出力画像を出力する。これに代えて、このような画像フィルタ２０は、複数の末端のフィルタ部品２２のそれぞれに互いに異なる学習用入力画像が与えられてもよい。

本実施形態において、生成部５０は、入力画像を出力画像にそれぞれ変換する複数のフィルタ部品２２を含む少なくとも１つの画像フィルタ２０を有する画像フィルタ群から、遺伝的処理により新たな画像フィルタ２０を生成して画像フィルタ群に加えて複数の画像フィルタ２０を生成する。ここで、画像フィルタ２０は、画像データに対して演算を施すプログラムであるフィルタ部品２２を組み合わせた構成であってもよい。また、画像フィルタ２０は、画像データに対して施すべき演算内容を表わす演算式であるフィルタ部品２２を組み合わせた構成であってもよい。

複数のフィルタ部品２２のそれぞれは、前段に配置されたフィルタ部品２２から出力された画像データを受け取り、受け取った画像データに演算を施して後段に配置されたフィルタ部品２２に与える。複数のフィルタ部品２２のそれぞれは、プログラムモジュールおよび演算式等であってよく、受け取った画像データに対して２値化演算、ヒストグラム演算、平滑化演算、エッジ検出演算、モルフォロジ演算、及び／または周波数空間での演算（例えば、ローパスフィルタリング演算およびハイパスフィルタリング演算）等の単項演算を施してもよい。

また、複数のフィルタ部品２２のそれぞれは、受け取った画像データに対して平均演算、差分演算及び／またはファジー演算（例えば論理和演算、論理積演算、代数和、代数積、限界和、限界積、激烈和および激烈積等）等の二項演算を施してもよい。

図４は、本実施形態に係るフィルタ部品２２を直列に組み合わせた画像フィルタ２０に対して行われる遺伝的な操作の一例を示す。図５は、本実施形態に係るフィルタ部品２２を木構造に組み合わせた画像フィルタ２０に対して行われる交叉操作の一例を示す。図６は、本実施形態に係るフィルタ部品２２を木構造に組み合わせた画像フィルタ２０に対して行われる突然変異操作の一例を示す。

生成部５０は、一例として、２個またはそれ以上の画像フィルタ２０に対して、遺伝的な操作の一例である交叉操作を行って新たな２個またはそれ以上の画像フィルタ２０を生成する。生成部５０は、一例として、図４および図５に示されるように、既に生成された少なくとも１つの一の画像フィルタ２０Ａの一部のフィルタ部品群２４Ａを、既に生成された他の画像フィルタ２０Ｂの少なくとも一部のフィルタ部品群２４Ｂと置換して、新たな画像フィルタ２０Ｅおよび２０Ｆを生成する。なお、フィルタ部品群２４は、１または複数のフィルタ部品２２を組み合わせた部材であってもよい。

また、生成部５０は、一例として、一の画像フィルタ２０に対して、遺伝的な操作の一例である突然変異操作を行って新たな一の画像フィルタ２０を生成する。生成部５０は、一例として、図４および図６に示されるように、既に生成された一の画像フィルタ２０Ｃの一部のフィルタ部品群２４Ｃを、ランダムに選択された他のフィルタ部品群２４Ｇに置換して、新たな画像フィルタ２０Ｇを生成する。

また、生成部５０は、現世代の画像フィルタ２０をそのまま次世代の画像フィルタ２０として残してもよい。生成部５０は、一例として、図４に示されるように、画像フィルタ２０Ｄのフィルタ部品２２の構成をそのまま含む次世代の画像フィルタ２０Ｈを生成する。

選択部４６は、一例として、複数の出力画像のそれぞれの適合度がより高い少なくとも１つの画像フィルタ２０を優先的に選択する。続いて、更新部４８は、選択された画像フィルタ２０を次世代へ生存させるべく当該画像フィルタ２０をフィルタ格納部３４内に保存し、選択されなかった画像フィルタ２０を死滅させるべくフィルタ格納部３４内から削除する。

図７は、本実施形態に係る画像フィルタ２０の適合度を表わすパラメータの一例である類似度の算出方法の一例を示す。本実施形態において、算出部４４は、当該画像フィルタ２０により学習用入力画像を変換させることにより生成された出力画像と、目標画像とがどれだけ類似しているかを表わす類似度を算出する。この類似度は、画像フィルタ２０の適合度を表わすパラメータの一例であって、値がより大きいほど、当該出力画像を生成した画像フィルタ２０がより適切であることを示す評価値または指標として用いられる。

算出部４４は、出力画像の各領域の値と目標画像の対応する各領域の値とを比較した比較値を算出し、領域毎の比較値に対して重み画像により指定される重みを乗じる。そして、算出部４４は、重みが乗じられた領域毎の比較値を全領域について平均または合計した値を算出し、算出した値を当該出力画像の類似度として出力する。

算出部４４は、一例として、出力画像のピクセル毎の輝度値と、目標画像の対応するピクセルの輝度値との差分または比率を算出する。そして、算出部４４は、一例として、算出したピクセル毎の差分または比率のそれぞれに、重み画像により指定される対応する重みを乗じ、重みが乗じられたピクセル毎の差分または比率を合計または平均して、類似度を算出する。なお、この場合において、出力画像、目標画像および重み画像のサイズは、同一とされる。

式（１）において、ｆは、類似度を表わす。Ｙ_ｍａｘは、輝度の最大値を表わす。また、ｘは、画像の水平方向のピクセル位置を示す変数である。ｙは、画像の垂直方向のピクセル位置を示す変数である。ｘｍａｘは、画像の水平方向のピクセル数を示す定数である。ｙｍａｘは、画像の垂直方向のピクセル数を示す定数である。

Ｉ_{ｗｅｉｇｈｔ}（ｘ，ｙ）は、重み画像における（ｘ，ｙ）位置のピクセルの輝度値を表わす。Ｉ_{ｔａｒｇｅｔ}（ｘ，ｙ）は、目標画像における（ｘ，ｙ）位置のピクセルの輝度値を表わす。Ｉ_{ｆｉｌｔｅｒ}（ｘ，ｙ）は、出力画像における（ｘ，ｙ）位置のピクセルの輝度値を表わす。

すなわち、式（１）の中カッコ内の分子部分に示されるように、算出部４４は、目標画像の輝度値から出力画像の輝度値の差の絶対値に対して、重み画像の輝度値を乗じた重み付き差分値を、画面内の全てのピクセル毎に算出し、算出した重み付き差分値を全ピクセルについて合計した合計重み付け差分値を算出する。さらに、式（１）の中カッコ内の分母部分に示されるように、算出部４４は、重み画像の輝度値を全ピクセルについて合計した合計重みを算出する。

さらに、算出部４４は、合計重み付け差分値を合計重みで除算した除算値（式（１）の中カッコ内）に、輝度値の最大値の逆数（１／Ｙｍａｘ）を乗じて正規化値（式（１）の２番目の項）を算出する。そして、算出部４４は、１から、正規化値を減じた値を、類似度ｆとして算出する。このようにして、算出部４４は、出力画像と目標画像との差分を領域毎に重み付けして類似度を算出することができる。

図８は、本実施形態に係る生成装置１０の処理フローの一例を示す。まず、生成装置１０は、特定部５４によって指定領域を特定して、受付部５８によって受け付けた指定領域に基づいた目標画像を生成する（Ｓ１８）。また、受付部５８は、入力画像表示部５６においてユーザが指定した座標情報等を、指定領域として受け付けてもよい。

そして、生成装置１０は、ステップＳ１２〜ステップＳ１５の各処理を、複数回（例えば複数世代）繰返して実行する（Ｓ１１、Ｓ１６）。なお、生成装置１０は、与えられた学習用入力データを目標データに変換する画像フィルタ２０を生成するための初期の画像フィルタ２０として、ランダムに生成したまたは既に生成した画像フィルタ２０を、予めフィルタ格納部３４に格納しておく。

各世代の処理において、生成部５０は、前世代から残存した複数の画像フィルタ２０に対して、交叉操作および突然変異操作等の遺伝的な操作を行って、少なくとも一部のフィルタ部品２２を他のフィルタ部品２２に置換した新たな複数の画像フィルタ２０を生成する（Ｓ１２）。なお、生成部５０は、一例として、学習用入力画像を出力画像に変換する画像フィルタ２０を生成するための初期の画像フィルタ２０として、ランダムに生成したまたは既に生成した画像フィルタ２０を、予めフィルタ格納部３４に格納しておく。

続いて、フィルタ処理部３８は、前世代から残存した複数の画像フィルタ２０およびステップＳ１２で新たに生成された複数の画像フィルタ２０のそれぞれにより、学習用入力画像をフィルタ処理して出力画像を生成する（Ｓ１３）。これにより、フィルタ処理部３８は、複数の画像フィルタ２０に対応した複数の出力画像を生成することができる。

続いて、算出部４４は、学習用入力画像を画像フィルタ２０により変換した出力画像および目標画像を重み生成部４３が生成した重み画像により重み付けして比較する。ここで、算出部４４は、複数の出力画像のそれぞれと目標画像との類似度または近似度を適合度として算出する。なお、算出部４４は、類似度または近似度に加え、フィルタ部品２２の数の少なさ、処理負荷の低さ、および並列度の大きさ等に応じて評価を高めた適合度を算出してもよい。

そして、選択部４６は、一例として、現世代の画像フィルタ群に含まれる複数の画像フィルタ２０のうち、適合度がより高い１または複数の画像フィルタ２０を選択する（Ｓ１４）。また、選択部４６は、一例として、適合度がより高い画像フィルタ２０がより高い確率で選択されるように設定がされている条件下で、ランダムに画像フィルタ２０を選択してもよい。なお、選択部４６は、最後の世代においては、適合度の最も高い１個の画像フィルタ２０を選択してよい。

また、選択部４６は、複数の画像フィルタ２０のうち適合度が基準値以上の２以上の画像フィルタ２０を選択してもよい。この場合、選択部４６は、一例として、適合度が基準値以上の画像フィルタ２０のうち最上位から２以上の画像フィルタ２０を優先的に選択する。これに代えて、選択部４６は、基準値以上の画像フィルタ２０のうちランダムに２以上の画像フィルタ２０を選択してもよい。また、生成装置１０は、学習用入力画像を２以上の画像フィルタ２０のそれぞれにより変換した２以上の出力画像のそれぞれを入力画像表示部５６等を介して表示して、出力画像からユーザにより、選択部４６が選択した２以上の画像フィルタ２０の中から適応画像フィルタ２０を選択させてもよい。

さらに、更新部４８は、ステップＳ１４において選択された１または複数の画像フィルタ２０を次世代に残存させ、ステップＳ１４において選択されなかった出力画像を生成した画像フィルタ２０を、フィルタ格納部３４内における画像フィルタ群から削除することにより淘汰する（Ｓ１５）。また、生成部５０は、新たに生成した複数の画像フィルタ２０をフィルタ格納部３４に戻して、既に生成された複数の画像フィルタ２０に加えて格納させてもよい。

生成装置１０は、以上の処理を複数の世代（例えば数十世代または数百世代以上）繰り返して実行して、最後の世代（例えば第Ｎ世代、Ｎは２以上の自然数）まで処理を実行した後に、当該フローを抜ける（Ｓ１６）。このようにして、生成装置１０は、学習用入力画像を目標画像へ変換するのに適した画像フィルタ２０を、進化的計算を用いて生成することができる。

図９は、図８のステップＳ１４において画像フィルタ２０を選択するまでの処理フローの一例を示す。生成装置１０は、図８に示されるステップＳ１４において、以下の処理を実行する。

まず、重み生成部４３は、世代毎に適切な重み画像を発生させるべく、重み画像を自動更新する（ステップＳ２１）。なお、重み生成部４３による重み画像の更新処理については、後述の図１０において詳細を説明する。

続いて、算出部４４は、フィルタ格納部３４に格納された複数の画像フィルタ２０のそれぞれにより生成された複数の出力画像のそれぞれ毎に、以下のステップＳ２３の処理を実行する（Ｓ２２、Ｓ２４）。ステップＳ２３において、算出部４４は、当該出力画像と目標画像とを重み画像に応じた重み付けをした比較をして、当該出力画像と目標画像との類似度または近似度を適合度として算出する。算出部４４は、複数の出力画像のすべてについて処理を終えると、処理をステップＳ２５に進める（Ｓ２４）。

続いて、選択部４６は、複数の出力画像のそれぞれの適合度に基づき、複数の出力画像の中から目標画像により近い出力画像を選択する（Ｓ２５）。選択部４６は、一例として、複数の画像フィルタ２０により変換された複数の出力画像のうち、適合度がより高い出力画像を優先的に選択する。選択部４６は、一例として、適合度が基準適合度より高い出力画像を選択する。また、選択部４６は、適合度が上位から予め定められた範囲の選択対象画像を選択してもよい。また、選択部４６は、適合度がより高い出力画像がより高い確率で選択されるように設定がされている条件下で、ランダムに出力画像を選択してもよい。

そして、選択部４６は、選択された出力画像を生成する画像フィルタ２０を、学習用入力画像を目標画像により類似する画像に変換する画像フィルタ２０として選択する（Ｓ２６）。このステップＳ２６の処理を終えると、生成装置１０は、当該フローを終了する。このように本実施形態においては、学習用入力画像における一部の指定領域を含む指定入力画像をもとに生成された複数の画像フィルタ２０のうち、選択部４６によって選択された画像フィルタ２０を学習用入力画像に適用させることができる。したがって、指定入力画像に適用済みで、かつ目標画像に対する適合度の高い出力画像に変換する画像フィルタ２０を学習用入力画像に適用することによって、演算コスト（例、効率化や時間短縮、など）を低減することができる。

図１０は、図９のステップＳ２１における重み生成部４３による重み画像の更新処理フローの一例を示す。重み生成部４３は、図９に示されたステップＳ２１における重み画像の更新処理において、以下のステップＳ３１〜Ｓ３３の処理を実行する。

まず、重み更新部６２は、前世代から残存した複数の画像フィルタ２０および図８のステップＳ１２において新たに生成された複数の画像フィルタ２０のそれぞれにより生成された複数の出力画像のうち、少なくとも１つの出力画像を、重み画像更新用の出力画像として抽出する（Ｓ３１）。重み更新部６２は、一例として、複数の画像フィルタ２０のうち、前世代において算出された適合度が最も高かった画像フィルタ２０により生成された出力画像を抽出する。また、重み更新部６２は、前世代において算出された適合度が所定値以上の画像フィルタ２０により生成された１または複数の出力画像を抽出してもよい。また、重み更新部６２は、一例として、複数の画像フィルタ２０のうち任意の一個の画像フィルタ２０により生成された出力画像を抽出する。

続いて、重み更新部６２は、ステップＳ３１において選択された少なくとも１つの出力画像と目標画像との領域毎の差分を算出する（Ｓ３２）。重み更新部６２は、一例として、ステップＳ３１において選択された少なくとも１つの出力画像と、目標画像とのピクセル毎の差分を算出する。なお、ステップＳ３１において複数の出力画像を選択した場合には、重み更新部６２は、一例として、選択された複数の出力画像のそれぞれと一の目標画像との複数個の差分のうち、最も大きい１個の差分またはこれら複数個の差分の平均値を、領域毎（例えばピクセル毎）に選択する。

続いて、重み更新部６２は、重み記憶部６０に記憶された重み画像、すなわち、前世代の処理において用いられた重み画像を、ステップＳ３２において算出された領域毎の差分に基づき変更する（Ｓ３３）。より具体的には、重み更新部６２は、差分がより大きい領域の重みを当該差分がより小さい領域の重みより大きくするべく、重み記憶部６０に記憶された重み画像を更新する。なお、重み記憶部６０は、一例として、初期の世代の重み画像として、領域毎の重みが同一として生成した、または既に生成した重み画像を、予め記憶しておく。

以上において、重み生成部４３は、学習用入力画像を、学習用目標画像に、より類似する画像に変換する重み画像を生成して、更新することができる。

図１１Ａは、本実施形態に係るユーザが指定する場合の指定領域についての一例を示す。図１１Ｂは、本実施形態に係る形状による自動指定の場合の指定領域についての一例を示す。図１１Ｃは、本実施形態に係る輝度による自動指定の場合の指定領域についての一例を示す。図１１Ｄは、本実施形態に係る大きさによる自動指定の場合の指定領域についての一例を示す。図１１Ｅは、本実施形態に係る数量による自動指定の場合の指定領域についての一例を示す。

受付部５８は、手動領域指定画面１１００のとおり、入力画像表示部５６により表示された学習用入力画像においてユーザにより指定領域を少なくとも１つ指定させる。この場合、受付部５８は、予め設定されている範囲の枠、またはマウスによる範囲入力等により範囲を指定する。

自動領域指定（形状）画面１１１０は、生成装置１０に予め設定された形状を検索して、範囲を自動的に指定する場合の一例である。また、受付部５８は、２以上の形状を同時に検索して、指定範囲を抽出してもよい。自動領域指定（輝度値）画面１１２０は、出力画像に対し、生成装置１０に予め設定された輝度値から範囲を自動的に指定する場合の一例である。この場合、受付部５８は、出力画像内において、設定された範囲の輝度値に該当する対象物の全てを自動指定の対象とする。また、受付部５８は、画像領域全体の輝度値の平均値となる領域を範囲指定してもよい。

自動領域指定（大きさ）画面１１３０は、生成装置１０に予め設定された大きさの図形を自動的に範囲指定する場合の一例である。ここで、受付部５８は、一例として、指定した大きさ（例えば面積や画素）以上の図形全てを自動指定の対象とする。これに代えて、受付部５８は、ユーザによって指定した範囲の大きさ（例えば面積や画素）の少なくとも１つの図形を指定の対象としてもよい。自動領域指定（数量）画面１１４０は、出力画像内の対象物が指定数量存在した場合の自動指定の一例である。ここで、受付部５８は、出力画像内において同一の図形が一定数量を満たした場合に領域を指定するので、複数の領域を指定する。

また、受付部５８は、以上の複数の特徴を組み合わせて範囲を指定してもよい。これによって、生成装置１０は、指定した領域において複数の特徴をより抽出するのに適した画像フィルタ２０を効率よく生成することができる。

図１２は、指定領域内における画像から抽出する場合について、特性の選択ウィンドウの一例を示す。本図のように、受付部５８は、指定した特徴をフィルタ変換によって抽出する画像フィルタ２０を生成するために、ユーザが設定した特性となるパラメータを記憶しておく。一例として、受付部５８は、入力画像表示部５６の画面上に設定ウィンドウを表示して、複数用意した設定値をユーザが選択する。

ここで、受付部５８は、指定対象物に対する形状、数量、大きさおよび平均輝度値の範囲等の複数種類の特性のうちの少なくとも１つの特性をユーザに選択させる。また、受付部５８は、学習用入力画像における異なる２以上の特性をそれぞれ複数組み合わせた２以上の領域のそれぞれを、指定領域としてもよい。これに代えて、受付部５８は、入力画像表示部５６を介してユーザの手動によって範囲指定できる設定に切り替えてもよい。

以上より、生成装置１０は、ユーザによって指定した範囲および特徴を抽出するのに適した画像フィルタ２０を生成することができる。

図１３は、本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスク・ドライブ２０４０、及びＤＶＤドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスク・ドライブ２０４０、ＤＶＤドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。ハードディスク・ドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＤＶＤドライブ２０６０は、ＤＶＤ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスク・ドライブ２０４０に提供する。

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスク・ドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。

ＲＡＭ２０２０を介してハードディスク・ドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＤＶＤ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスク・ドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。

コンピュータ１９００にインストールされ、コンピュータ１９００を生成装置１０として機能させるプログラムは、フィルタ処理モジュールと、重み生成モジュールと、算出モジュールと、選択モジュールと、更新モジュールと、生成モジュールと、特定モジュールと、受付モジュールと、入力画像表示モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、フィルタ処理部３８と、重み生成部４３と、算出部４４と、選択部４６と、更新部４８と、生成部５０と、特定部５４と、入力画像表示部５６と、受付部５８としてそれぞれ機能させる。

これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段であるフィルタ処理部３８と、重み生成部４３と、算出部４４と、選択部４６と、更新部４８と、生成部５０と、特定部５４と、入力画像表示部５６と、受付部５８として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の生成装置１０が構築される。

一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスク・ドライブ２０４０、フレキシブルディスク２０９０、又はＤＶＤ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

また、ＣＰＵ２０００は、ハードディスク・ドライブ２０４０、ＤＶＤドライブ２０６０（ＤＶＤ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＤＶＤ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 生成装置、２０ 画像フィルタ、２２ フィルタ部品、２４ フィルタ部品群、３４ フィルタ格納部、３６ 学習用入力画像格納部、３８ フィルタ処理部、４０ 出力画像格納部、４２ 目標画像格納部、４３ 重み生成部、４４ 算出部、４６ 選択部、４８ 更新部、５０ 生成部、５４ 特定部、５６ 入力画像表示部、５８ 受付部、６０ 重み記憶部、６２ 重み更新部、１１００ 手動領域指定画面、１１１０ 自動領域指定（形状）画面、１１２０ 自動領域指定（輝度値）画面、１１３０ 自動領域指定（大きさ）画面、１１４０ 自動領域指定（数量）画面、１９００ コンピュータ、２０００ ＣＰＵ、２０１０ ＲＯＭ、２０２０ ＲＡＭ、２０３０ 通信インターフェイス、２０４０ ハードディスク・ドライブ、２０５０ フレキシブルディスク・ドライブ、２０６０ ＤＶＤドライブ、２０７０ 入出力チップ、２０７５ グラフィック・コントローラ、２０８０ 表示装置、２０８２ ホスト・コントローラ、２０８４ 入出力コントローラ、２０９０ フレキシブルディスク、２０９５ ＤＶＤ

Claims (12)

1. 学習用入力画像から目標画像への変換に適応させる適応画像フィルタを生成する生成装置であって、
   前記学習用入力画像における一部の指定領域を含む指定入力画像と、前記目標画像とを受け付ける受付部と、
   複数の画像フィルタを生成する生成部と、
   前記複数の画像フィルタのそれぞれにより前記指定入力画像を変換した複数の出力画像に対して、前記目標画像との適合度をそれぞれ算出する算出部と、
   前記複数の出力画像のそれぞれの前記適合度に基づいて、前記複数の画像フィルタの中から前記適応画像フィルタを選択する選択部と、
   を備える生成装置。
2. 前記指定領域は、前記学習用入力画像を前記画像フィルタにより変換させた変換画像の一部を含む請求項１に記載の生成装置。
3. 前記学習用入力画像を表示する入力画像表示部を備え、
   前記受付部は、前記入力画像表示部により表示された前記学習用入力画像をユーザにより変更させて、前記目標画像を作成させる
   請求項１に記載の生成装置。
4. 前記受付部は、前記入力画像表示部により表示された前記学習用入力画像においてユーザにより前記指定領域を指定させる
   請求項３に記載の生成装置。
5. 前記学習用入力画像から前記指定領域を特定する特定部を備える
   請求項１から４のいずれかに記載の生成装置。
6. 前記特定部は、前記学習用入力画像における予め定められた特性を満たす一部の領域を、前記指定領域とする
   請求項５に記載の生成装置。
7. 前記受付部は、複数種類の特性のうちの少なくとも１つの特性をユーザに選択させ、
   前記特定部は、前記学習用入力画像におけるユーザに選択された前記少なくとも１つの特性を満たす一部の領域を、前記指定領域とする
   請求項６に記載の生成装置。
8. 前記特定部は、前記学習用入力画像における異なる２以上の特性をそれぞれ満たす２以上の領域のそれぞれを、前記指定領域とする
   請求項６または７に記載の生成装置。
9. 前記選択部は、
   前記複数の画像フィルタのうち前記適合度が基準値以上の２以上の画像フィルタを選択し、
   前記学習用入力画像を前記２以上の画像フィルタのそれぞれにより変換した２以上の前記出力画像のそれぞれを表示し、
   ユーザにより、前記選択部が選択した前記２以上の画像フィルタの中から前記適応画像フィルタを選択させる、
   請求項１から８のいずれかに記載の生成装置。
10. 前記生成部は、入力画像を出力画像にそれぞれ変換する複数のフィルタ部品を含む少なくとも１つの前記画像フィルタを有する画像フィルタ群から、遺伝的処理により新たな前記画像フィルタを生成して前記画像フィルタ群に加えて前記複数の画像フィルタを生成し、
    前記選択部は、前記画像フィルタ群が有する前記複数の画像フィルタの中から、前記適合度に基づいて、前記適応画像フィルタを選択する
    請求項１から９のいずれかに記載の生成装置。
11. 学習用入力画像から目標画像への変換に適応させる適応画像フィルタを生成する生成方法であって、
    前記学習用入力画像における一部の指定領域を含む指定入力画像と、前記目標画像とを受け付ける受付ステップと、
    複数の画像フィルタを生成する生成ステップと、
    前記複数の画像フィルタのそれぞれにより前記指定入力画像を変換した複数の出力画像に対して、前記目標画像との適合度をそれぞれ算出する算出ステップと、
    前記複数の出力画像のそれぞれの前記適合度に基づいて、前記複数の画像フィルタの中から前記適応画像フィルタを選択する選択ステップと、
    を備える生成方法。
12. 学習用入力画像から目標画像への変換に適応させる適応画像フィルタを生成する生成装置として、コンピュータを機能させる生成プログラムであって、
    前記コンピュータを、
    前記学習用入力画像における一部の指定領域を含む指定入力画像と、前記目標画像とを受け付ける受付部と、
    複数の画像フィルタを生成する生成部と、
    前記複数の画像フィルタのそれぞれにより前記指定入力画像を変換した複数の出力画像に対して、前記目標画像との適合度をそれぞれ算出する算出部と、
    前記複数の出力画像のそれぞれの前記適合度に基づいて、前記複数の画像フィルタの中から前記適応画像フィルタを選択する選択部と、
    を備える生成装置
    として機能させる生成プログラム。

Images