JP5253835B2 - 画像生成装置、画像生成方法及びコンピュータプログラム - Google Patents

Description

本発明は、多値画像から不要なノイズ部分を除去し、必要なエッジ部分を残した画像を生成する画像生成装置、画像生成方法及びコンピュータプログラムに関する。

従来、画像にエッジ部分以外のノイズ部分が含まれている場合、この画像からエッジ情報を抽出して画像処理を行う場合には、ノイズ部分の影響を避けることができない。ノイズ部分を多く含む画像に対して、例えばエッジ情報を利用した画像マッチング処理を実行した場合、マッチング処理に多くの時間を要する、あるいはマッチング精度が向上しない等の問題があった。

斯かる問題を解決するために、例えば平均化フィルタ、ガウシアンフィルタ等を用いて平滑化処理を行うことでノイズ部分を消去することが多い（非特許文献１参照）。しかし、平滑化処理を行うことにより、ノイズ部分を消去することはできるが、エッジ部分はいっそう不鮮明になってしまう。

そこで非特許文献１では、周辺の中央値によって輝度値を置き換えるメディアン（Ｍｅｄｉａｎ）フィルタを用いることが開示されている。メディアンフィルタを用いることで、エッジ部分の鮮明さを失うことなくドット状のノイズを効果的に除去することができる。

また非特許文献２に開示されているように、画像を正方領域で区分した場合に、所定の領域の周辺の８領域の中で最も分散が小さい領域の輝度値の平均値で置き換えることで、エッジ部分の鮮明さを失うことなく、平滑化処理することができる。

さらに特許文献１では、輝度値の差分が所定の閾値以内の画素のみを用いて平滑化処理を実行するノイズ除去方法が開示されている。特許文献１でも、エッジ部分の鮮明さを失うことなく平滑化処理することができる。
特開２００６−０１４０２４号公報 高木幹雄、下田陽久、「画像解析ハンドブック」、東京大学出版会、１９９１年、ｐ．５３９−５４３ 長尾真（Ｍ．Ｎａｇａｏ）、松山隆司（Ｔ．Ｍａｔｓｕｙａｍａ）、「エッジ保存円滑化処理（Edge Preserving Smoothing）」、コンピュータグラフィックスとイメージ処理（Computer Graphics and Image Processing）、第９巻、第４号、１９７９年、ｐ．３９４−４０７

しかし、非特許文献１に開示されているメディアンフィルタを用いた場合、大きなサイズのノイズ部分を除去しようとしたときには、ノイズ部分を確実に除去することはできても、該ノイズ部分よりも細い線分等を併せて消去し、元の画像中で必要な部分も含めて間引いてしまうという問題点があった。

また非特許文献２に開示されている方法では、エッジ部分の鮮明さを失うことはないものの、局所的な範囲での処理であることから、一定サイズ以上のノイズ部分を消去することができないという問題点があった。

さらに特許文献１に開示されている方法でも、エッジ部分の鮮明さを失うことはないが、ノイズ部分の輝度値の差分がエッジ部分の輝度値の差分と大差ない場合には、適切な閾値を設定することができず、ノイズ部分を確実に消去できないおそれがあるという問題点があった。

本発明は上記事情に鑑みてなされたものであり、エッジ部分の鮮明さを失うことなく、ノイズ部分のみを確実に消去した画像を生成することができる画像生成装置、画像生成方法及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するために第１発明に係る画像生成装置は、撮像手段で撮像された多値画像から平滑化処理された画像を生成する画像生成装置において、前記撮像手段で撮像された多値画像を複数の異なる縮小率で縮小した縮小画像を生成する画像縮小手段と、該画像縮小手段で生成された縮小画像に対して平滑化処理を実行する平滑化手段と、前記画像縮小手段で生成された縮小画像に対応するエッジ画像をそれぞれ生成するエッジ画像生成手段と、該エッジ画像生成手段で生成されたエッジ画像からエッジ角度に関するエッジ角度情報を画素単位で生成するエッジ角度情報生成手段と、該エッジ角度情報生成手段で生成されたエッジ角度情報に基づいてエッジ画像におけるエッジ角度のばらつき度合を算出し、算出されたエッジ角度のばらつき度合に基づいて、ばらつき度合が大きいほど平滑化された前記縮小画像の比率を高め、ばらつき度合が小さいほど前記多値画像の比率を高めるように、前記多値画像と平滑化された前記縮小画像との合成割合を前記縮小画像の画素単位で算出する割合算出手段と、平滑化された前記縮小画像から前記多値画像と同一スケールまで拡大した拡大画像を生成する画像拡大手段と、前記縮小画像の画素単位で算出された合成割合を、前記拡大画像の画素単位の合成割合に変換する割合変換手段と、変換された合成割合に基づいて、前記多値画像と前記拡大画像とを合成する画像合成手段とを備えることを特徴とする。

また、第２発明に係る画像生成装置は、第１発明において、前記エッジ画像生成手段で生成されたエッジ画像からエッジ強度に関するエッジ強度情報を画素単位で生成するエッジ強度情報生成手段を備え、前記エッジ角度情報生成手段は、生成されたエッジ強度情報に基づいて、前記エッジ画像におけるエッジ角度のばらつき度合を画素単位で算出し、前記エッジ角度情報を生成するようにしてあることを特徴とする。

また、第３発明に係る画像生成装置は、第１又は第２発明において、前記平滑化手段は、前記多値画像に対しても平滑化処理を実行するようにしてあり、前記割合算出手段は、前記多値画像と平滑化された多値画像との合成割合も画素単位で算出するようにしてあり、前記画像合成手段は、前記多値画像と平滑化された多値画像とを合成した後、前記多値画像と平滑化された前記縮小画像との変換された合成割合に基づいて前記拡大画像も合成するようにしてあることを特徴とする。

また、第４発明に係る画像生成装置は、第１又は第２発明において、前記画像縮小手段における縮小率の選択を受け付ける縮小率選択受付手段を備え、前記画像縮小手段は、選択を受け付けた縮小率の大小に応じて、縮小率が小さい順に縮小画像を階層的に生成するようにしてあることを特徴とする。

また、第５発明に係る画像生成装置は、第４発明において、前記割合算出手段は、前記多値画像と複数の平滑化された前記縮小画像との合成割合を、それぞれの前記縮小画像の画素単位で算出するようにしてあり、前記割合変換手段は、それぞれの前記縮小画像の画素単位で算出された複数の合成割合を、前記拡大画像の画素単位の合成割合に変換するようにしてあることを特徴とする。

また、第６発明に係る画像生成装置は、第４発明において、前記割合算出手段は、縮小率の小さい順に、順次、次に縮小率が大きい縮小画像と、前記多値画像と同一スケールにて前記画像合成手段で合成された、前記縮小画像に基づく合成画像との合成割合を画素単位で算出するようにしてあり、前記割合変換手段は、それぞれの前記縮小画像の画素単位で算出された合成割合を、順次、前記多値画像と同一スケールの画素単位の合成割合に変換するようにしてあり、前記画像合成手段は、最も縮小率の小さい縮小画像から順次、算出された画素単位の合成割合に基づいて、平滑化された縮小画像と前記合成画像とを合成するようにしてあることを特徴とする。

次に上記問題を解決するために第７発明に係る画像生成方法は、撮像手段で撮像された多値画像から平滑化処理された画像を生成する画像生成装置で実行することが可能な画像生成方法において、撮像された多値画像を複数の異なる縮小率で縮小した縮小画像を生成し、生成された縮小画像に対して平滑化処理を実行し、生成された縮小画像に対応するエッジ画像をそれぞれ生成し、生成されたエッジ画像からエッジ角度に関するエッジ角度情報を画素単位で生成し、生成されたエッジ角度情報に基づいてエッジ画像におけるエッジ角度のばらつき度合を算出し、算出されたエッジ角度のばらつき度合に基づいて、ばらつき度合が大きいほど平滑化された前記縮小画像の比率を高め、ばらつき度合が小さいほど前記多値画像の比率を高めるように、前記多値画像と平滑化された前記縮小画像との合成割合を前記縮小画像の画素単位で算出し、平滑化された前記縮小画像から前記多値画像と同一スケールまで拡大した拡大画像を生成し、前記縮小画像の画素単位で算出された合成割合を、前記拡大画像の画素単位の合成割合に変換し、変換された合成割合に基づいて、前記多値画像と前記拡大画像とを合成することを特徴とする。

また、第８発明に係る画像生成方法は、第７発明において、生成されたエッジ画像からエッジ強度に関するエッジ強度情報を画素単位で生成し、生成されたエッジ強度情報に基づいて、前記エッジ画像におけるエッジ角度のばらつき度合を画素単位で算出し、前記エッジ角度情報を生成することを特徴とする。

また、第９発明に係る画像生成方法は、第７又は第８発明において、前記多値画像に対しても平滑化処理を実行し、前記多値画像と平滑化された多値画像との合成割合も画素単位で算出し、前記多値画像と平滑化された多値画像とを合成した後、前記多値画像と平滑化された前記縮小画像との変換された合成割合に基づいて前記拡大画像も合成することを特徴とする。

また、第１０発明に係る画像生成方法は、第７又は第８発明において、縮小率の選択を受け付け、選択を受け付けた縮小率の大小に応じて、縮小率が小さい順に縮小画像を階層的に生成することを特徴とする。

また、第１１発明に係る画像生成方法は、第１０発明において、前記多値画像と複数の平滑化された前記縮小画像との合成割合を、それぞれの前記縮小画像の画素単位で算出し、それぞれの前記縮小画像の画素単位で算出された複数の合成割合を、前記拡大画像の画素単位の合成割合に変換することを特徴とする。

また、第１２発明に係る画像生成方法は、第１０発明において、縮小率の小さい順に、順次、次に縮小率が大きい縮小画像と、前記多値画像と同一スケールにて合成された、前記縮小画像に基づく合成画像との合成割合を画素単位で算出し、それぞれの前記縮小画像の画素単位で算出された合成割合を、順次、前記多値画像と同一スケールの画素単位の合成割合に変換し、最も縮小率の小さい縮小画像から順次、算出された画素単位の合成割合に基づいて、平滑化された縮小画像と前記合成画像とを合成することを特徴とする。

次に上記問題を解決するために第１３発明に係るコンピュータプログラムは、撮像手段で撮像された多値画像から平滑化処理された画像を生成する画像生成装置で実行することが可能なコンピュータプログラムにおいて、前記画像生成装置を、前記撮像手段で撮像された多値画像を複数の異なる縮小率で縮小した縮小画像を生成する画像縮小手段、該画像縮小手段で生成された縮小画像に対して平滑化処理を実行する平滑化手段、前記画像縮小手段で生成された縮小画像に対応するエッジ画像をそれぞれ生成するエッジ画像生成手段、該エッジ画像生成手段で生成されたエッジ画像からエッジ角度に関するエッジ角度情報を画素単位で生成するエッジ角度情報生成手段、該エッジ角度情報生成手段で生成されたエッジ角度情報に基づいてエッジ画像におけるエッジ角度のばらつき度合を算出し、算出されたエッジ角度のばらつき度合に基づいて、ばらつき度合が大きいほど平滑化された前記縮小画像の比率を高め、ばらつき度合が小さいほど前記多値画像の比率を高めるように、前記多値画像と平滑化された前記縮小画像との合成割合を前記縮小画像の画素単位で算出する割合算出手段、平滑化された前記縮小画像から前記多値画像と同一スケールまで拡大した拡大画像を生成する画像拡大手段、前記縮小画像の画素単位で算出された合成割合を、前記拡大画像の画素単位の合成割合に変換する割合変換手段、及び変換された合成割合に基づいて、前記多値画像と前記拡大画像とを合成する画像合成手段として機能させることを特徴とする。

第１発明、第７発明及び第１３発明では、撮像手段で撮像された多値画像を複数の異なる縮小率で縮小した縮小画像を生成し、生成された縮小画像に対して平滑化処理を実行し、生成された縮小画像に対応するエッジ画像をそれぞれ生成する。生成されたエッジ画像からエッジ角度に関するエッジ角度情報を画素単位で生成し、生成されたエッジ角度情報に基づいてエッジ画像におけるエッジ角度のばらつき度合を算出し、算出されたエッジ角度のばらつき度合に基づいて、ばらつき度合が大きいほど平滑化された縮小画像の比率を高め、ばらつき度合が小さいほど多値画像の比率を高めるように、多値画像と平滑化された縮小画像との合成割合を縮小画像の画素単位で算出する。平滑化された縮小画像から多値画像と同一スケールまで拡大した拡大画像を生成し、縮小画像の画素単位で算出された合成割合を、拡大画像の画素単位の合成割合に変換し、変換された合成割合に基づいて、多値画像と拡大画像とを合成する。複数の異なる縮小率で縮小した縮小画像に対して平滑化処理を実行することにより、局所的なノイズ部分を拾いにくく、エッジ角度情報によりエッジ部分である可能性が高い部分と低い部分とを区別することができる。したがって、エッジ部分である可能性が低い部分ほど平滑化処理された画像との合成割合が高くなるよう合成割合を算出することにより、エッジ部分は鮮明さを維持した状態でノイズ部分を確実に消去することができる。また、エッジ角度のばらつき度合に基づいて、多値画像と平滑化された縮小画像との合成割合を算出することにより、大きなノイズ部分を消去しようとした場合であっても、例えばノイズ部分ではない該ノイズ部分より細い線分等を同時に消去することを回避することが可能となる。さらに、ノイズ部分の輝度値の差分がエッジ部分の輝度値の差分と大差ない場合であっても、エッジ角度のばらつき度合により確実にノイズ部分を検出して消去することができる。

第２発明及び第８発明では、生成されたエッジ画像からエッジ強度に関するエッジ強度情報を画素単位で生成し、生成されたエッジ強度情報に基づいて、エッジ画像におけるエッジ角度のばらつき度合を画素単位で算出する。エッジ強度情報を用いて正規化してエッジ角度のばらつき度合を算出することにより、エッジ強度に影響を受けることのない純粋なエッジ角度のばらつき度合を算出することができる。

第３発明及び第９発明では、多値画像に対しても平滑化処理を実行し、多値画像と平滑化された多値画像との合成割合も画素単位で算出し、多値画像と平滑化された多値画像とを合成した後、多値画像と平滑化された縮小画像との変換された合成割合に基づいて拡大画像も合成する。元になる多値画像について、エッジ部分である可能性が高い部分はより鮮明に、エッジ部分である可能性が低い部分は消去するよう前処理しておくことにより、エッジ部分とそうでない部分とをより明確に区別することが可能となる。

第４発明及び第１０発明では、縮小率の選択を受け付け、選択を受け付けた縮小率の大小に応じて、縮小率が小さい順に縮小画像を階層的に生成することにより、ノイズ部分の大きさに依存することなくより確実にノイズ部分を消去することが可能となる。

第５発明及び第１１発明では、多値画像と複数の平滑化された縮小画像との合成割合を、それぞれの縮小画像の画素単位で算出し、それぞれの縮小画像の画素単位で算出された複数の合成割合を、拡大画像の画素単位の合成割合に変換する。すべての縮小画像で算出された合成割合を、拡大画像をベースに統合することにより、画像合成処理を１回実行するだけですべての縮小率におけるノイズ部分の消去処理の効果を、合成画像に反映させることができる。

第６発明及び第１２発明では、縮小率の小さい順に、順次、次に縮小率が大きい縮小画像と、多値画像と同一スケールにて合成された、縮小画像に基づく合成画像との合成割合を画素単位で算出する。それぞれの縮小画像の画素単位で算出された合成割合を、順次、多値画像と同一スケールの画素単位の合成割合に変換し、最も縮小率の小さい縮小画像から順次、算出された画素単位の合成割合に基づいて、平滑化された縮小画像と合成画像とを合成する。最も縮小率の小さい縮小画像、例えば元の多値画像から、順次、縮小画像と元の多値画像と同一スケールであって、平滑化された次に縮小率が大きい縮小画像と合成された合成画像との合成割合を算出して画像を合成し、以下順次合成割合を算出して画像の合成を繰り返すことにより、あらゆる縮小率でノイズ部分であると判断される部分を確実に消去することができ、ノイズ部分の大きさに依存することなく確実にノイズ部分を消去することが可能となる。

なお、後述する実施の形態では、画像縮小手段は、主制御部２１のステップＳ２０２、ステップＳ１２０２、ステップＳ１３０２の処理が、平滑化手段は、主制御部２１のステップＳ２０３、ステップＳ６０２、ステップＳ１２０３、ステップＳ１３０３の処理が、それぞれ該当する。また、エッジ画像生成手段は、主制御部２１のステップＳ２０４、ステップＳ６０３、ステップＳ１２０４の処理が、エッジ角度情報生成手段は、主制御部２１のステップＳ２０５、ステップＳ６０４の処理が、エッジ強度情報生成手段は、主制御部２１のステップＳ１２０５の処理が、分散算出手段は、主制御部２１のステップＳ１３０４の処理が、それぞれ該当する。

さらに、割合算出手段は、主制御部２１のステップＳ２０６、ステップＳ６０５、ステップＳ８０４、ステップＳ１２０６、ステップＳ１３０５の処理が、画像拡大手段は、主制御部２１のステップＳ２０７、ステップＳ８０５、ステップＳ１２０７、ステップＳ１３０６の処理が、割合変換手段は、主制御部２１のステップＳ２０８、ステップＳ８０６、ステップＳ１２０８、ステップＳ１３０７の処理が、画像合成手段は、主制御部２１のステップＳ２０９、ステップＳ６０６、ステップＳ８０７、ステップＳ１２０９、ステップＳ１３０８の処理が、それぞれ該当する。

本発明によれば、縮小画像に対して平滑化処理をすることにより、局所的なノイズ部分を拾いにくく、エッジ角度情報、エッジ強度情報、輝度情報等の特徴量によりエッジ部分である可能性が高い部分と低い部分とを区別することができる。したがって、エッジ部分である可能性が低い部分ほど平滑化処理された画像の合成割合が高くなるよう合成割合を算出することにより、エッジ部分は鮮明さを維持した状態でノイズ部分を確実に消去することができる。

以下、本発明の実施の形態について、図面を参照して説明する。なお、各実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像生成装置の構成を模式的に示すブロック図である。図１に示すように本実施の形態１に係る画像生成装置２は、多値画像を撮像する撮像手段であるカメラ１及び撮像された多値画像又は生成された画像を表示する表示装置３に接続されている。

画像生成装置２は、少なくともＣＰＵ（中央演算装置）、ＬＳＩ等で構成された主制御部２１、ＲＡＭ２２、記憶手段２３、入力手段２４、出力手段２５、通信手段２６、補助記憶手段２７及び上述したハードウェアを接続する内部バス２８で構成されている。主制御部２１は、内部バス２８を介して画像生成装置２の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶手段２３に記憶されているコンピュータプログラム５に従って、種々のソフトウェア的機能を実行する。ＲＡＭ２２は、ＳＲＡＭ、ＳＤＲＡＭ等の不揮発性メモリである。コンピュータプログラム５の実行時にロードモジュールが展開され、コンピュータプログラム５の実行時に発生する一時的なデータ等を記憶する。

記憶手段２３は、内蔵される固定型記憶装置（ハードディスク、フラッシュメモリ等の揮発性メモリ）、ＲＯＭ等で構成されている。記憶手段２３に記憶されているコンピュータプログラム５は、プログラム及びデータ等の情報を記録したＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ等の可搬型記録媒体４から、補助記憶手段２７によりダウンロードされ、実行時には記憶手段２３からＲＡＭ２２へ展開して実行される。もちろん、通信手段２６を介して外部コンピュータからダウンロードされたコンピュータプログラムであっても良い。

通信手段２６は内部バス２８に接続されており、インターネット、ＬＡＮ、ＷＡＮ等の外部のネットワークに接続されることにより、外部のコンピュータ等とデータ送受信を行うことが可能となっている。すなわち、上述した記憶手段２３は、画像生成装置２に内蔵される構成に限定されるものではなく、通信手段２６を介して接続されている外部のサーバコンピュータ等に設置されているハードディスク等の外部記録媒体であっても良い。

入力手段２４は、キーボード及びマウス等のデータ入力媒体の他、液晶パネル等と一体となったタッチパネル等の入力情報を取得する装置全般を含む広い概念である。出力手段２５は、レーザプリンタ、ドットプリンタ等の印刷装置等を意味する。

カメラ１は、ＣＣＤ撮像素子を備えたＣＣＤカメラ等である。表示装置３は、ＣＲＴ、液晶パネル等を有する表示装置である。カメラ１、表示装置３等は、画像生成装置２と一体化されても良いし、分離されていても良い。

上述した構成の画像生成装置２の処理の流れについて説明する。本実施の形態１に係る画像生成装置２では、縮小された縮小画像での所定の特徴量に応じて、元の多値画像と平滑化処理された画像との合成割合を算出して、ノイズ部分を消去した画像を生成する。実施の形態１では、合成割合算出の基礎となる特徴量をエッジ角度のばらつき度合とした場合について説明する。図２は、本発明の実施の形態１に係る画像生成装置２の主制御部２１の処理手順を示すフローチャートである。

図２に示すように、本実施の形態１に係る画像生成装置２の主制御部２１は、カメラ１で撮像された多値画像を取得し（ステップＳ２０１）、取得した多値画像を所定の縮小率で縮小した縮小画像を生成する（ステップＳ２０２）。主制御部２１は、縮小された縮小画像に対して平滑化処理を実行する（ステップＳ２０３）。なお、ステップＳ２０２にて設定される縮小率は、グラフィカルユーザインタフェースを介してユーザによる選択を受け付けて設定する。例えば元の多値画像に対して縮小率１／２、１／４、１／６、１／８等を準備しておき、ユーザの選択を受け付ける。

画像縮小処理の内容は特に限定されるものではない。例えば周知である面積平均法を用いれば良い。また、平滑化処理の内容も特に限定されるものではない。例えば従来と同様、平均化フィルタ、ガウシアンフィルタ等を用いても良いし、メディアンフィルタを用いる、あるいは非特許文献２で開示されている平滑化処理を実行しても良い。

一方、主制御部２１は、縮小画像に基づいてエッジ画像を生成し（ステップＳ２０４）、生成されたエッジ画像から、エッジ角度に関するエッジ角度情報を画素単位で生成する（ステップＳ２０５）。

図３は、エッジ角度を説明するための模式図である。図３（ａ）に示すように、エッジ部分についてはエッジの法線方向にエッジ角度を求めることができることから、エッジの変化度合とエッジ角度のばらつき度合とが略一致している。それに対して、図３（ｂ）に示すように、ノイズ部分についてはノイズの法線方向にエッジ角度を求めることから、求められたエッジ角度のばらつき度合が図３（ａ）に比べてはるかに大きくなる。したがって、所定の領域内でエッジ角度のばらつき度合が所定の範囲内に収束している場合にはノイズ部分ではないと判断することができ、エッジ角度のばらつき度合が大きい場合にはノイズ部分であると判断することができる。

図２に戻って、画像生成装置２の主制御部２１は、生成されたエッジ角度情報に基づいて、多値画像と平滑化された縮小画像との合成割合を縮小画像の画素単位に算出する（ステップＳ２０６）。すなわち、エッジ角度のばらつき度合が大きい画素ほど、平滑化処理された画像の比率を高めて画像合成することにより、ノイズ部分を消去することができる。

特徴量として例示したエッジ角度のばらつき度合は、例えば以下のような方法で算出する。図４は、エッジ角度のばらつき度合の算出方法を説明するための例示図である。図４の例では３×３の範囲内でのエッジ角度のばらつきを求める方法を示している。

例えばＳｏｂｅｌフィルタ等の微分フィルタを用いてＸ方向及びＹ方向のエッジ成分４０、４０、・・・を画素ごとに算出しておき、３×３の範囲内でのエッジ成分４０、４０、・・・の分布を最小二乗法により直線近似する。このとき、近似直線４１は、原点（０、０）を通るよう直線近似する。この場合、近似直線４１は式（１）で表すことができる。

ａｘ＋ｂｙ＝０ ・・・ （１）
ただし、ａ2 ＋ｂ2 ＝１

そして、ｉ番目の画素でのＸ方向のエッジ成分をｘi 、Ｙ方向のエッジ成分をｙi とした場合、それぞれの画素のエッジ成分４０、４０、・・・と近似直線４１との誤差４２の二乗和Ｅは、式（２）によって算出できる。

誤差４２の二乗和Ｅを最小にするａ、ｂをａ2 ＋ｂ2 ＝１を満たす条件下で求めるためには、ラグランジェの未定乗数法を用いて、式（３）の固有値問題を解く必要がある。

式（３）に示す固有値問題を解いて、最小値であるλを算出した場合、式（４）に示すように求めることができる。

式（４）で算出された誤差４２の二乗和Ｅの最小値λは、誤差４２の総和に基づいて算出しているのでエッジ強度も含まれた状態で算出されている。したがって、エッジ角度のばらつき度合として、エッジ強度の総和で除算して正規化した値Ｖａｒを用いることが好ましい。正規化することで、エッジ強度に依存しないエッジ角度のばらつき度合を求めることができるからである。すなわち、同程度のばらつき度合である場合には、エッジ強度の強弱に関係なく同程度の値を得ることができる。式（５）は正規化されたばらつき度合Ｖａｒを求める式である。

多値画像と平滑化された縮小画像との合成割合Ｒａｔｅは、式（５）で算出されたエッジ角度のばらつき度合Ｖａｒを用いて、式（６）にて算出する。なお、合成割合Ｒａｔｅは画素単位で算出され、平滑化された縮小画像における重み（０〜１）を表している。Ｒａｔｅの値が大きいほど平滑化された縮小画像の影響が大きく、小さいほど多値画像の影響が大きくなる。

式（６）において、Ｏｆｆｓｅｔは、一定値以下のばらつき度合を無視するためのパラメータであり、Ｇａｉｎは、平滑化処理された画像の影響度合を調整するためのパラメータである。そして、合成割合Ｒａｔｅは、０（ゼロ）以下の値をとる場合には０（ゼロ）に、１以上の値となる場合には１にクリッピング処理される。

図２に戻って、画像生成装置２の主制御部２１は、平滑化された縮小画像を多値画像と同一スケールまで拡大した拡大画像を生成する（ステップＳ２０７）。斯かる拡大画像が、元の多値画像と合成する直接の対象となる。

主制御部２１は、縮小画像の画素単位で算出された合成割合を、生成された拡大画像の画素単位の合成割合に変換する（ステップＳ２０８）。具体的には、例えばバイリニア補間方法を用い、拡大前の最寄の４点の重み付け平均により拡大されて新たに生じた画素の輝度値を補間すれば良い。

主制御部２１は、変換された合成割合に基づいて、多値画像と拡大された拡大画像とを合成し（ステップＳ２０９）、合成された画像を表示装置３に表示出力する（ステップＳ２１０）。多値画像と拡大された拡大画像とを合成する場合、例えば式（７）に従って合成画像の画素ごとの輝度値を算出する。

式（７）において、Ｃijは合成画像の任意の画素（ｉ、ｊ）での輝度値を、Ａijは元の多値画像の任意の画素（ｉ、ｊ）での輝度値を、Ｂijは平滑化された縮小画像の任意の画素（ｉ、ｊ）の輝度値を、Ｒａｔｅijは任意の画素（ｉ、ｊ）での合成割合を、それぞれ示している。

図５は、本実施の形態１に係る画像生成装置２での元の多値画像と合成画像との比較図である。図５（ａ）は元の多値画像及び多値画像のＡ−Ａ部での輝度値分布を示しており、図５（ｂ）は合成画像及び合成画像のＢ−Ｂ部での輝度値分布を示している。

図５（ａ）と図５（ｂ）とを比較、特に輝度値分布を見ればわかるように、一定サイズより小さいノイズ部分についてはエッジ部分が不鮮明になることなく消去されている。ただし、図５の縮小率では、一定サイズ以上のノイズ部分５１、５２についてはエッジ部分と同様であると判断され、鮮明に残存していることがわかる。縮小画像を生成する縮小率を大きくすることで、ノイズ部分５１、５２が一定サイズより小さくなった場合には、他のノイズ部分と同様に消去されることは言うまでもない。

なお、上述のように平滑化処理された縮小画像と元の多値画像との合成割合を算出するだけではなく、元の多値画像に対して平滑化処理を実行し、元の多値画像との合成割合を算出しても良い。図６は、元の多値画像に対して平滑化処理を実行する場合の画像生成装置２の主制御部２１の処理手順を示すフローチャートである。

図６に示すように、画像生成装置２の主制御部２１は、カメラ１で撮像された多値画像を取得し（ステップＳ６０１）、取得した多値画像に対して平滑化処理を実行する（ステップＳ６０２）。一方、主制御部２１は、元の多値画像に基づいてエッジ画像を生成し（ステップＳ６０３）、生成されたエッジ画像から、エッジ角度に関するエッジ角度情報を画素単位で生成する（ステップＳ６０４）。

主制御部２１は、生成されたエッジ角度情報に基づいて、元の多値画像と平滑化された多値画像との合成割合を多値画像の画素単位に算出する（ステップＳ６０５）。すなわち、エッジ角度のばらつき度合が大きい画素ほど、平滑化処理された画像の比率を高めて画像合成することにより、ノイズ部分を消去することができる。

主制御部２１は、算出された合成割合に基づいて、元の多値画像と平滑化された多値画像とを合成し（ステップＳ６０６）、合成された画像を表示装置３に表示出力する（ステップＳ６０７）。

図７は、本実施の形態１に係る画像生成装置２での元の多値画像と平滑化された多値画像と合成画像との比較図である。図７（ａ）は元の多値画像及び多値画像のＡ−Ａ部での輝度値分布を示しており、図７（ｂ）は合成画像及び合成画像のＢ−Ｂ部での輝度値分布を示している。

図７（ａ）と図７（ｂ）とを比較、特に輝度値分布を比較すればわかるように、一定サイズより小さい微小なノイズ部分は、エッジ部分が不鮮明になることなく消去されている。したがって、元になる多値画像について、エッジ部分である可能性が高い部分はより鮮明に、エッジ部分である可能性が低い部分は消去しておく前処理を実行することになる。

また、元の多値画像と平滑化された多値画像との合成、及び平滑化された縮小画像との合成を連続的に実行しても良い。すなわち合成画像としては、元の多値画像と平滑化された多値画像とを算出された合成割合に基づいて第１の合成画像を生成した後、該第１の合成画像に対して、さらに上述した処理により変換された多値画像と平滑化された縮小画像との合成割合に基づいて拡大画像も合成する。このようにすることで、エッジ部分とそうでない部分との区別をより明確にした状態で合成画像を生成することができ、エッジ部分はより鮮明に、ノイズ部分はより確実に消去することが可能となる。

また、多値画像を縮小した縮小画像は、一の縮小率で縮小された縮小画像に限定されるものではなく、複数の縮小率で縮小された縮小画像を用いても良い。この場合、複数の縮小率を事前に記憶手段２３に記憶しておいても良いし、縮小率を複数選択できるように事前に記憶しておき、ユーザによる選択を例えば縮小率選択受付手段にて受け付けても良い。

複数の縮小率を用いる場合、以下に示すような画像の階層化の概念を用いる。例えば縮小率１／１、１／２、１／４、１／６の４種類の縮小率を用いる場合、階層０を縮小率１／１での処理とし、以下、階層１を縮小率１／２での処理、階層２を縮小率１／４での処理、階層３を縮小率１／６での処理とする。このように、縮小率が小さい場合（縮小率１／１）から順次縮小率が大きくなるにつれ、階層番号を順番に割り当てる。

なお、縮小率１／１での処理とは、縮小を行わない元の多値画像での処理を意味する。また、図示しないユーザインタフェースを介して、ユーザによる縮小率１／８の選択を受け付けた場合、本実施例では、事前に定められた縮小率順位に基づき、縮小率１／１、１／２、１／４、１／６、１／８ごとに処理を行う。

主制御部２１は、受け付けた縮小率を元に、階層化の概念に従って縮小画像を階層的に生成し、それぞれの縮小画像に対して上述した画像の合成処理を実行する。画像の合成処理は、階層０から上位の階層に向かって順次実行され、各階層での合成に用いる多値画像として、１つ下の階層での合成画像を用いるようにする。なお、階層０は最下層であることから、合成に用いる多値画像として元の多値画像を用いる。

複数の縮小画像を用いることで、大きなサイズのノイズ部分については縮小率の大きな（例えば、縮小率１／２よりも縮小率１／６の方が縮小率が大きいと定義）縮小画像で、小さなサイズのノイズ部分については縮小率の小さな（例えば、縮小率１／６よりも縮小率１／２の方が縮小率が小さいと定義）縮小画像で、それぞれの縮小率に応じた判断に基づいて画像の合成処理を実行することにより、縮小率に応じた様々な大きさのノイズ部分を、エッジ部分を維持しながら消去することが可能となる。

具体的には、以下の処理を実行する。ｎ階層目の合成画像をＲｓｌｔ［ｎ］（ｉ、ｊ）、ｎ階層目の合成割合をＲａｔｅ［ｎ］（ｉ、ｊ）、ｎ階層目の平滑化画像（拡大画像）をＳｍｔｈ［ｎ］（ｉ、ｊ）とした場合、求める合成画像は、式（８）の漸化式により計算される。

Ｒｓｌｔ［ｎ］（ｉ、ｊ）
＝Ｒｓｌｔ［ｎ−１］（ｉ、ｊ）×（１−Ｒａｔｅ［ｎ］（ｉ、ｊ））
＋Ｓｍｔｈ［ｎ］（ｉ、ｊ）×Ｒａｔｅ［ｎ］（ｉ、ｊ） ・・・ （８）

ただし、式（８）において、ｉ、ｊは画素のＸ座標及びＹ座標を示している。また、ｎ＝０の場合のＲｓｌｔ［ｎ−１］、すなわちＲｓｌｔ［−１］（階層−１の合成画像）は、元の多値画像を表すものとする。

ある階層（階層ｎ）での画像の合成処理は、１つ下の階層（階層ｎ−１）での合成画像と、当該階層（階層ｎ）での平滑化され拡大された画像（拡大画像）とを、当該階層（階層ｎ）での縮小率に応じて算出された合成割合に基づいて合成処理を実行する。当該階層（階層ｎ）で生成された合成画像は、１つ上の階層（階層ｎ＋１）での合成処理に用いられるため、下位階層から上位階層へ向かって順次画像の合成処理を実行している。これら一連の合成処理によって、ある特定の階層だけでは判断することができない、より局所的な判断については、下位階層の結果を利用し、より大局的な判断については上位階層の結果に一任することになる。

なお、画像の合成処理は必ずしも式（８）の漸化式通りに順次合成処理を実行することに限定されるものではなく、合成処理に用いる全ての画像（Ｒｓｌｔ［−１］、Ｓｍｔｈ［０］、Ｓｍｔｈ［１］、・・・、Ｓｍｔｈ［ｎ］）を予め生成しておき、各画像に対する合成割合も一括して算出しておき、一度に画像の合成処理を実行しても良い。

図８は、本実施の形態１に係る画像生成装置２の主制御部２１の複数の階層を用いて順次合成画像を生成する場合の画像合成処理手順を示すフローチャートである。図８に示すように、本実施の形態１に係る画像生成装置２の主制御部２１は、カメラ１で撮像された多値画像を取得する。次に主制御部２１は、縮小率が小さい順に、縮小率ごとに階層番号ｎ（ｎ＝０、１、２、・・・）を設定し（ステップＳ８０１）、階層を識別する階層番号ｎの初期値を０に設定する（ステップＳ８０２）。例えば縮小率が１／１、１／２、１／４、１／６である場合、縮小率１／１から順に階層０、階層１、階層２、階層３と設定される。

主制御部２１は、階層ｎの縮小率に基づいて、図２のステップＳ２０２乃至Ｓ２０５の処理を実行する（ステップＳ８０３）。画像縮小処理の内容は特に限定されるものではない。例えば周知である面積平均法を用いれば良い。また、平滑化処理の内容も特に限定されるものではない。例えば従来と同様、平均化フィルタ、ガウシアンフィルタ等を用いても良いし、メディアンフィルタを用いる、あるいは非特許文献２で開示されている平滑化処理を実行しても良い。

主制御部２１は、生成されたエッジ角度情報に基づいて、階層ｎ−１の縮小画像に基づき生成された合成画像と、平滑化された次に縮小率が大きい階層ｎの縮小画像との合成割合を画素単位に算出する（ステップＳ８０４）。すなわち、エッジ角度のばらつき度合が大きい画素ほど、平滑化処理された画像の比率を高めて画像を合成することにより、ノイズ部分を消去することができる。

なお、ｎ＝０の場合、すなわち階層０（縮小率１／１）での処理は、階層−１で生成された合成画像を用いることになるが、階層−１での合成画像は、元の多値画像を用いる（式（８）でのＲｓｌｔ［−１］に相当）。また、縮小率１／１の縮小画像とは、縮小しない元の多値画像そのものと等しい。つまり、階層０での処理は、元の多値画像（Ｒｓｌｔ［−１］）と、元の多値画像（縮小率１／１）を平滑化した画像との合成画像を生成することになる。

主制御部２１は、平滑化された階層ｎの縮小画像を、階層ｎ−１の縮小画像に基づいて生成された合成画像と同一スケールまで拡大した予備画像を生成する（ステップＳ８０５）。主制御部２１は、階層ｎの縮小画像に基づいて算出された合成割合を、生成された予備画像の画素単位の合成割合に変換する（ステップＳ８０６）。具体的には、例えばバイリニア補間方法を用い、拡大前の最寄の４点の重み付け平均により拡大されて新たに生じた画素の輝度値を補間すれば良い。

主制御部２１は、変換された合成割合に基づいて、階層ｎ−１の縮小画像に基づいて生成された合成画像と予備画像とを、変換された合成割合にて合成して新たな合成画像を生成し（ステップＳ８０７）、階層番号ｎを１インクリメントする（ステップＳ８０８）。主制御部２１は、階層番号ｎが、ステップＳ８０１で設定された階層番号の最大値を超えたか否かを判断し（ステップＳ８０９）、主制御部２１が、超えていないと判断した場合（ステップＳ８０９：ＮＯ）、主制御部２１は、処理をステップＳ８０３へ戻して上述した処理を繰り返す。

主制御部２１が、階層番号ｎが、ステップＳ８０１で設定された階層番号の最大値を超えたと判断した場合（ステップＳ８０９：ＹＥＳ）、主制御部２１は、合成された画像が最終的な合成画像であると判断し、生成された合成画像を表示装置３に表示出力する（ステップＳ２１０）。

上述の処理では、縮小率が一定の比率で大きくなっていても良いし、ランダムに大きくなっていても良い。また、必ずしも、縮小率１／１を含める必要もない。いずれの場合であっても、縮小率の小さい縮小画像から順次合成画像を生成すれば良い。

このように、最も縮小率の小さい縮小画像から、次に縮小率の大きい縮小画像との合成割合を算出して合成し、以下順次合成割合を算出して画像の合成処理を繰り返すことにより、それぞれの縮小率に応じた判断に基づいて画像の合成処理を実行することで、縮小率に応じた様々の大きさのノイズ部分を、エッジ部分を維持しつつ消去することが可能となる。

図９は、本実施の形態１に係る画像生成装置２で３つの異なる縮小率で縮小された複数の縮小画像に基づき生成された合成画像の例示図である。図９（ａ）は合成画像を、図９（ｂ）は合成画像のＡ−Ａ部での輝度値分布を示している。

図９（ａ）、図９（ｂ）の輝度値分布を見ればわかるように、図５では残存していたノイズ部分５１、５２のうち、サイズの小さいノイズ部分５１は消去されている。そして、縮小率の階層を増やすことで、サイズの大きいノイズ部分５２についても消去することができる。

図１０は、本実施の形態１に係る画像生成装置２で５つの異なる縮小率で縮小された複数の縮小画像に基づき生成された合成画像の例示図である。図１０（ａ）は合成画像を、図１０（ｂ）は合成画像のＡ−Ａ部での輝度値分布を示している。

図１０（ａ）、特に図１０（ｂ）の輝度値分布を見ればわかるように、図５、図９では残存していたノイズ部分５１、５２の両方が確実に消去されている。このように、縮小率の階層を増大させることにより、一定サイズ以下のノイズ部分を除去することが可能となる。

以上のように本実施の形態１によれば、縮小画像に対して平滑化処理をすることにより、局所的なノイズを拾いにくく、縮小画像中の特徴量情報、例えばエッジ角度情報によりエッジ部分である可能性が高い部分と低い部分とを区別することができる。したがって、エッジ部分である可能性が低い部分ほど平滑化処理された画像の合成割合が高くなるよう合成割合を算出することにより、エッジ部分は鮮明さを維持した状態でノイズ部分を確実に消去することができる。

なお、式（６）における２つのパラメータＯｆｆｓｅｔ及びＧａｉｎは、事前に設定して記憶手段２３に記憶させておいても良いし、ユーザにより適切な値を入力するようにしても良い。図１１は、表示装置３で表示されるユーザインタフェースの例示図である。

図１１に示すように、画像表示領域１１１には、合成画像又は元の多値画像を表示する。図１１の例では、複数の縮小画像を用いた場合の合成画像を表示している。また、表示画像選択領域１１２では、処理の状態を確認するために用いる画像を選択する。例えば、事前に記憶手段２３に登録してある画像を用いる場合には「登録画像」を、任意のタイミングで取り込む画像を用いる場合には「入力画像」を選択する。

階層入力領域１１３では、縮小画像を何階層準備するのか、すなわちいくつの縮小率を指定するのかを入力する。平滑化度合い領域１１４では、平滑化処理された画像の影響度合を調整するためのパラメータであるＧａｉｎの値を入力する。エッジ保存度合い領域１１５では、一定値以下のばらつき度合を無視するためのパラメータであり、そし処理された画像の影響度合を調整するためのパラメータであるＯｆｆｓｅｔを入力する。２つのパラメータの入力値が変動する都度、合成画像を再計算して、画像表示領域１１１に表示出力する。このようにすることで、不要なノイズ部分を効果的に消去することができるパラメータを試行錯誤しつつ特定することができる。

（実施の形態２）
本発明の実施の形態２に係る画像生成装置２の構成は、実施の形態１と同様であることから、同一の符号を付することにより詳細な説明は省略する。本実施の形態２では、縮小された縮小画像での輝度値の変動度合に応じて算出されるエッジ強度に基づいて、元の多値画像と平滑化処理された画像との合成割合を算出して、ノイズ部分を消去した画像を生成する点で実施の形態１と相違する。

図１２は、本発明の実施の形態２に係る画像生成装置２の主制御部２１の処理手順を示すフローチャートである。図１２に示すように、本実施の形態２に係る画像生成装置２の主制御部２１は、カメラ１で撮像された多値画像を取得し（ステップＳ１２０１）、取得した多値画像を所定の縮小率で縮小した縮小画像を生成する（ステップＳ１２０２）。主制御部２１は、縮小された縮小画像に対して平滑化処理を実行する（ステップＳ１２０３）。

画像縮小処理の内容は特に限定されるものではない。例えば周知である面積平均法を用いれば良い。また、平滑化処理の内容も特に限定されるものではない。例えば従来と同様、平均化フィルタ、ガウシアンフィルタ等を用いても良いし、メディアンフィルタを用いる、あるいは非特許文献２で開示されている平滑化処理を実行しても良い。

一方、主制御部２１は、縮小された縮小画像に基づいて、エッジ画像を生成し（ステップＳ１２０４）、生成されたエッジ画像から、エッジ強度に関するエッジ強度情報を画素単位で生成する（ステップＳ１２０５）。

エッジ強度は、輝度値の変動度合に応じて算出される。すなわち、画素ごとの輝度値及び周辺の画素の輝度値に基づいて微分値を算出し、算出された微分値に基づいてエッジ強度を算出する。エッジ強度が大きい部分では、ノイズ部分ではない可能性が高いことから多値画像の合成割合を高め、エッジ強度が小さい部分では、ノイズ部分である可能性が高いことから、平滑化処理後の拡大画像の合成割合を高めることにより、エッジ部分は明確に残したまま、ノイズ部分のみを確実に消去することができる。

主制御部２１は、生成されたエッジ強度情報に基づいて、多値画像と平滑化された縮小画像との合成割合を縮小画像の画素単位に算出する（ステップＳ１２０６）。主制御部２１は、平滑化された縮小画像を多値画像と同一スケールまで拡大した拡大画像を生成する（ステップＳ１２０７）。斯かる拡大画像が、元の多値画像と合成する直接の対象となる。

主制御部２１は、縮小画像の画素単位で算出された合成割合を、生成された拡大画像の画素単位の合成割合に変換する（ステップＳ１２０８）。具体的には、例えばバイリニア補間方法を用い、拡大前の最寄の４点の重み付け平均により拡大されて新たに生じた画素の輝度値を補間すれば良い。

主制御部２１は、変換された合成割合に基づいて、多値画像と拡大画像とを合成し（ステップＳ１２０９）、合成された画像を表示装置３に表示出力する（ステップＳ１２１０）。

なお、実施の形態１と同様に、平滑化処理された縮小画像と元の多値画像との合成割合を算出するだけではなく、元の多値画像に対して平滑化処理を実行し、元の多値画像との合成割合を算出しても良い。

また、元の多値画像と平滑化された多値画像との合成、及び平滑化された縮小画像との合成を連続的に実行しても良い。すなわち合成画像としては、元の多値画像と平滑化された多値画像とを算出された合成割合に基づいて第１の合成画像を生成した後、該第１の合成画像に対して、さらに上述した処理により変換された多値画像と平滑化された縮小画像との合成割合に基づいて拡大画像も合成する。このようにすることで、エッジ部分とそうでない部分との区別をより明確にした状態で合成画像を生成することができ、エッジ部分はより鮮明に、ノイズ部分はより確実に消去することが可能となる。

さらに、多値画像を縮小した縮小画像は、一の縮小率で縮小された縮小画像に限定されるものではなく、複数の縮小率で縮小された縮小画像を用いても良い。この場合、複数の縮小率を事前に記憶手段２３に記憶しておいても良いし、縮小率を複数選択できるように事前に記憶しておき、ユーザによる選択を例えば縮小率選択受付手段にて受け付けても良い。

複数の縮小画像を用いることで、大きなサイズのノイズ部分については縮小率の大きな（縮小率１／２よりも縮小率１／６を、等）縮小画像で、小さなサイズのノイズ部分については縮小率の小さな（縮小率１／６よりも縮小率１／２を、等）縮小画像で、それぞれの縮小率に応じた判断に基づいて画像の合成処理を実行することにより、縮小率に応じた様々な大きさのノイズ部分を、エッジ部分を維持しながら消去することが可能となる。

なお、画像の合成処理は必ずしも式（８）の漸化式通りに順次合成処理を実行することに限定されるものではなく、合成処理に用いる全ての画像（Ｒｓｌｔ［−１］、Ｓｍｔｈ［０］、Ｓｍｔｈ［１］、・・・、Ｓｍｔｈ［ｎ］）を予め生成しておき、各画像に対する合成割合も一括して算出しておき、一度に画像の合成処理を実行しても良い。

また、縮小率が一定の比率で大きくなっていても良いし、ランダムに大きくなっていても良い。また、必ずしも、縮小率１／１を含める必要もない。いずれの場合であっても、縮小率の小さい縮小画像から順次合成画像を生成すれば良い。

このように、最も縮小率の小さい縮小画像から、次に縮小率の大きい縮小画像との合成割合を算出して合成し、以下順次合成割合を算出して画像の合成処理を繰り返すことにより、それぞれの縮小率に応じた判断に基づいて画像の合成処理を実行することで、縮小率に応じた様々の大きさのノイズ部分を、エッジ部分を維持しつつ消去することが可能となる。

以上のように本実施の形態２によれば、縮小画像に対して平滑化処理をすることにより、局所的なノイズを拾いにくく、エッジ強度情報によりエッジ部分である可能性が高い部分と低い部分とを区別することができる。したがって、エッジ部分である可能性が低い部分ほど平滑化処理された画像の合成割合が高くなるよう合成割合を算出することにより、エッジ部分は鮮明さを維持した状態でノイズ部分を確実に消去することができる。

なお、式（６）における２つのパラメータＯｆｆｓｅｔ及びＧａｉｎは、実施の形態１と同様、事前に設定して記憶手段２３に記憶させておいても良いし、ユーザにより適切な値を入力するようにしても良い。ユーザインタフェースについても実施の形態１と同様であることから、詳細な説明は省略する。

（実施の形態３）
本発明の実施の形態３に係る画像生成装置の構成は、実施の形態１と同様であることから、同一の符号を付することにより詳細な説明は省略する。本実施の形態３では、縮小された縮小画像での所定の領域における輝度値の分散に基づいて、元の多値画像と平滑化処理された画像との合成割合を算出して、ノイズ部分を消去した画像を生成する点で実施の形態１及び２と相違する。

図１３は、本発明の実施の形態３に係る画像生成装置２の主制御部２１の処理手順を示すフローチャートである。図１３に示すように、本実施の形態３に係る画像生成装置２の主制御部２１は、カメラ１で撮像された多値画像を取得し（ステップＳ１３０１）、取得した多値画像を所定の縮小率で縮小した縮小画像を生成する（ステップＳ１３０２）。主制御部２１は、縮小された縮小画像に対して平滑化処理を実行する（ステップＳ１３０３）。

画像縮小処理の内容は特に限定されるものではない。例えば周知である面積平均法を用いれば良い。また、平滑化処理の内容も特に限定されるものではない。例えば従来と同様、平均化フィルタ、ガウシアンフィルタ等を用いても良いし、メディアンフィルタを用いる、あるいは非特許文献２で開示されている平滑化処理を実行しても良い。

一方、主制御部２１は、縮小された縮小画像に基づいて、所定の画素及び該画素に隣接する画素で形成された領域での輝度値の分散を算出する（ステップＳ１３０４）。例えば３×３画素の領域で輝度値の分散を、縮小画像すべての領域について算出する。輝度値の分散が大きい部分では、ノイズ部分ではない可能性が高いことから多値画像の合成割合を高め、輝度値の分散が小さい部分では、ノイズ部分である可能性が高いことから、平滑化処理後の拡大画像の合成割合を高めることにより、エッジ部分は明確に残したまま、ノイズ部分のみを確実に消去することができる。

主制御部２１は、算出された輝度値の分散に基づいて、多値画像と平滑化された縮小画像との合成割合を縮小画像の画素単位に算出する（ステップＳ１３０５）。主制御部２１は、平滑化された縮小画像を多値画像と同一スケールまで拡大した拡大画像を生成する（ステップＳ１３０６）。斯かる拡大画像が、元の多値画像と合成する直接の対象となる。

主制御部２１は、縮小画像の画素単位で算出された合成割合を、生成された拡大画像の画素単位の合成割合に変換する（ステップＳ１３０７）。具体的には、例えばバイリニア補間方法を用い、拡大前の最寄の４点の重み付け平均により拡大されて新たに生じた画素の輝度値を補間すれば良い。

主制御部２１は、変換された合成割合に基づいて、多値画像と拡大された拡大画像とを合成し（ステップＳ１３０８）、合成された画像を表示装置３に表示出力する（ステップＳ１３０９）。

なお、実施の形態１及び２と同様に、平滑化処理された縮小画像と元の多値画像との合成割合を算出するだけではなく、元の多値画像に対して平滑化処理を実行し、元の多値画像との合成割合を算出しても良い。

また、元の多値画像と平滑化された多値画像との合成、及び平滑化された縮小画像との合成を連続的に実行しても良い。すなわち合成画像としては、元の多値画像と平滑化された多値画像とを算出された合成割合に基づいて第１の合成画像を生成した後、該第１の合成画像に対して、さらに上述した処理により変換された多値画像と平滑化された縮小画像との合成割合に基づいて拡大画像も合成する。このようにすることで、エッジ部分とそうでない部分との区別をより明確にした状態で合成画像を生成することができ、エッジ部分はより鮮明に、ノイズ部分はより確実に消去することが可能となる。

さらに、多値画像を縮小した縮小画像は、一の縮小率で縮小された縮小画像に限定されるものではなく、複数の縮小率で縮小された縮小画像を用いても良い。この場合、複数の縮小率を事前に記憶手段２３に記憶しておいても良いし、縮小率を複数選択できるように事前に記憶しておき、ユーザによる選択を例えば縮小率選択受付手段にて受け付けても良い。

複数の縮小画像を用いることで、大きなサイズのノイズ部分については縮小率の大きな（縮小率１／２よりも縮小率１／６を、等）縮小画像で、小さなサイズのノイズ部分については縮小率の小さな（縮小率１／６よりも縮小率１／２を、等）縮小画像で、それぞれの縮小率に応じた判断に基づいて画像の合成処理を実行することにより、縮小率に応じた様々な大きさのノイズ部分を、エッジ部分を維持しながら消去することが可能となる。

なお、画像の合成処理は必ずしも式（８）の漸化式通りに順次合成処理を実行することに限定されるものではなく、合成処理に用いる全ての画像（Ｒｓｌｔ［−１］、Ｓｍｔｈ［０］、Ｓｍｔｈ［１］、・・・、Ｓｍｔｈ［ｎ］）を予め生成しておき、各画像に対する合成割合も一括して算出しておき、一度に画像の合成処理を実行しても良い。

また、縮小率が一定の比率で大きくなっていても良いし、ランダムに大きくなっていても良い。また、必ずしも、縮小率１／１を含める必要もない。いずれの場合であっても、縮小率の小さい縮小画像から順次合成画像を生成すれば良い。

このように、最も縮小率の小さい縮小画像から、次に縮小率の大きい縮小画像との合成割合を算出して合成し、以下順次合成割合を算出して画像の合成処理を繰り返すことにより、それぞれの縮小率に応じた判断に基づいて画像の合成処理を実行することで、縮小率に応じた様々の大きさのノイズ部分を、エッジ部分を維持しつつ消去することが可能となる。

以上のように本実施の形態３によれば、縮小画像に対して平滑化処理をすることにより、局所的なノイズを拾いにくく、輝度値の分散によりエッジ部分である可能性が高い部分と低い部分とを区別することができる。したがって、輝度値の分散が高い部分、すなわちノイズ部分である可能性が高い部分ほど平滑化処理された画像の合成割合が高くなるよう合成割合を算出することにより、エッジ部分は鮮明さを維持した状態でノイズ部分を確実に消去することができる。

なお、式（６）における２つのパラメータＯｆｆｓｅｔ及びＧａｉｎは、実施の形態１及び２と同様、事前に設定して記憶手段２３に記憶させておいても良いし、ユーザにより適切な値を入力するようにしても良い。ユーザインタフェースについても実施の形態１及び２と同様であることから、詳細な説明は省略する。

また、多値画像と、平滑化された縮小画像（多値画像）との合成割合を算出する基礎となる特徴量は、上述の実施の形態１乃至３に示すエッジ角度のばらつき度合、エッジ強度、輝度値の分散に限定されるものではなく、エッジ部分とエッジ部分でない部分とを区別することが可能な特徴量であれば限定されるものではない。

本発明の実施の形態１に係る画像生成装置の構成を模式的に示すブロック図である。 本発明の実施の形態１に係る画像生成装置の主制御部の処理手順を示すフローチャートである。 エッジ角度を説明するための模式図である。 エッジ角度のばらつき度合の算出方法を説明するための例示図である。 本実施の形態１に係る画像生成装置での元画像と合成画像との比較図である。 元の多値画像に対して平滑化処理を実行する場合の画像生成装置の主制御部の処理手順を示すフローチャートである。 本実施の形態１に係る画像生成装置での元の多値画像と平滑化された多値画像と合成画像との比較図である。 本実施の形態１に係る画像生成装置の主制御部の複数の階層を用いて順次合成画像を生成する場合の画像合成処理手順を示すフローチャートである。 本実施の形態１に係る画像生成装置で３つの異なる縮小率で縮小された複数の縮小画像に基づき生成された合成画像の例示図である。 本実施の形態１に係る画像生成装置で５つの異なる縮小率で縮小された複数の縮小画像に基づき生成された合成画像の例示図である。 表示装置で表示されるユーザインタフェースの例示図である。 本発明の実施の形態２に係る画像生成装置の主制御部の処理手順を示すフローチャートである。 本発明の実施の形態３に係る画像生成装置の主制御部の処理手順を示すフローチャートである。

符号の説明

１ カメラ（撮像手段）
２ 画像生成装置
３ 表示装置
４ 可搬型記録媒体
５ コンピュータプログラム
２１ 主制御部
２２ ＲＡＭ
２３ 記憶手段
２４ 入力手段
２５ 出力手段
２６ 通信手段
２７ 補助記憶手段
２８ 内部バス

Claims (13)

1. 撮像手段で撮像された多値画像から平滑化処理された画像を生成する画像生成装置において、
   前記撮像手段で撮像された多値画像を複数の異なる縮小率で縮小した縮小画像を生成する画像縮小手段と、
   該画像縮小手段で生成された縮小画像に対して平滑化処理を実行する平滑化手段と、
   前記画像縮小手段で生成された縮小画像に対応するエッジ画像をそれぞれ生成するエッジ画像生成手段と、
   該エッジ画像生成手段で生成されたエッジ画像からエッジ角度に関するエッジ角度情報を画素単位で生成するエッジ角度情報生成手段と、
   該エッジ角度情報生成手段で生成されたエッジ角度情報に基づいてエッジ画像におけるエッジ角度のばらつき度合を算出し、算出されたエッジ角度のばらつき度合に基づいて、ばらつき度合が大きいほど平滑化された前記縮小画像の比率を高め、ばらつき度合が小さいほど前記多値画像の比率を高めるように、前記多値画像と平滑化された前記縮小画像との合成割合を前記縮小画像の画素単位で算出する割合算出手段と、
   平滑化された前記縮小画像から前記多値画像と同一スケールまで拡大した拡大画像を生成する画像拡大手段と、
   前記縮小画像の画素単位で算出された合成割合を、前記拡大画像の画素単位の合成割合に変換する割合変換手段と、
   変換された合成割合に基づいて、前記多値画像と前記拡大画像とを合成する画像合成手段と
   を備えることを特徴とする画像生成装置。
2. 前記エッジ画像生成手段で生成されたエッジ画像からエッジ強度に関するエッジ強度情報を画素単位で生成するエッジ強度情報生成手段を備え、
   前記エッジ角度情報生成手段は、生成されたエッジ強度情報に基づいて、前記エッジ画像におけるエッジ角度のばらつき度合を画素単位で算出し、前記エッジ角度情報を生成するようにしてあることを特徴とする請求項１に記載の画像生成装置。
3. 前記平滑化手段は、前記多値画像に対しても平滑化処理を実行するようにしてあり、
   前記割合算出手段は、前記多値画像と平滑化された多値画像との合成割合も画素単位で算出するようにしてあり、
   前記画像合成手段は、前記多値画像と平滑化された多値画像とを合成した後、前記多値画像と平滑化された前記縮小画像との変換された合成割合に基づいて前記拡大画像も合成するようにしてあることを特徴とする請求項１又は２に記載の画像生成装置。
4. 前記画像縮小手段における縮小率の選択を受け付ける縮小率選択受付手段を備え、
   前記画像縮小手段は、選択を受け付けた縮小率の大小に応じて、縮小率が小さい順に縮小画像を階層的に生成するようにしてあることを特徴とする請求項１又は２に記載の画像生成装置。
5. 前記割合算出手段は、前記多値画像と複数の平滑化された前記縮小画像との合成割合を、それぞれの前記縮小画像の画素単位で算出するようにしてあり、
   前記割合変換手段は、それぞれの前記縮小画像の画素単位で算出された複数の合成割合を、前記拡大画像の画素単位の合成割合に変換するようにしてあることを特徴とする請求項４に記載の画像生成装置。
6. 前記割合算出手段は、縮小率の小さい順に、順次、次に縮小率が大きい縮小画像と、前記多値画像と同一スケールにて前記画像合成手段で合成された、前記縮小画像に基づく合成画像との合成割合を画素単位で算出するようにしてあり、
   前記割合変換手段は、それぞれの前記縮小画像の画素単位で算出された合成割合を、順次、前記多値画像と同一スケールの画素単位の合成割合に変換するようにしてあり、
   前記画像合成手段は、最も縮小率の小さい縮小画像から順次、算出された画素単位の合成割合に基づいて、平滑化された縮小画像と前記合成画像とを合成するようにしてあることを特徴とする請求項４に記載の画像生成装置。
7. 撮像手段で撮像された多値画像から平滑化処理された画像を生成する画像生成装置で実行することが可能な画像生成方法において、
   撮像された多値画像を複数の異なる縮小率で縮小した縮小画像を生成し、
   生成された縮小画像に対して平滑化処理を実行し、
   生成された縮小画像に対応するエッジ画像をそれぞれ生成し、
   生成されたエッジ画像からエッジ角度に関するエッジ角度情報を画素単位で生成し、
   生成されたエッジ角度情報に基づいてエッジ画像におけるエッジ角度のばらつき度合を算出し、算出されたエッジ角度のばらつき度合に基づいて、ばらつき度合が大きいほど平滑化された前記縮小画像の比率を高め、ばらつき度合が小さいほど前記多値画像の比率を高めるように、前記多値画像と平滑化された前記縮小画像との合成割合を前記縮小画像の画素単位で算出し、
   平滑化された前記縮小画像から前記多値画像と同一スケールまで拡大した拡大画像を生成し、
   前記縮小画像の画素単位で算出された合成割合を、前記拡大画像の画素単位の合成割合に変換し、
   変換された合成割合に基づいて、前記多値画像と前記拡大画像とを合成することを特徴とする画像生成方法。
8. 生成されたエッジ画像からエッジ強度に関するエッジ強度情報を画素単位で生成し、
   生成されたエッジ強度情報に基づいて、前記エッジ画像におけるエッジ角度のばらつき度合を画素単位で算出し、前記エッジ角度情報を生成することを特徴とする請求項７に記載の画像生成方法。
9. 前記多値画像に対しても平滑化処理を実行し、
   前記多値画像と平滑化された多値画像との合成割合も画素単位で算出し、
   前記多値画像と平滑化された多値画像とを合成した後、前記多値画像と平滑化された前記縮小画像との変換された合成割合に基づいて前記拡大画像も合成することを特徴とする請求項７又は８に記載の画像生成方法。
10. 縮小率の選択を受け付け、
    選択を受け付けた縮小率の大小に応じて、縮小率が小さい順に縮小画像を階層的に生成することを特徴とする請求項７又は８に記載の画像生成方法。
11. 前記多値画像と複数の平滑化された前記縮小画像との合成割合を、それぞれの前記縮小画像の画素単位で算出し、
    それぞれの前記縮小画像の画素単位で算出された複数の合成割合を、前記拡大画像の画素単位の合成割合に変換することを特徴とする請求項１０に記載の画像生成方法。
12. 縮小率の小さい順に、順次、次に縮小率が大きい縮小画像と、前記多値画像と同一スケールにて合成された、前記縮小画像に基づく合成画像との合成割合を画素単位で算出し、
    それぞれの前記縮小画像の画素単位で算出された合成割合を、順次、前記多値画像と同一スケールの画素単位の合成割合に変換し、
    最も縮小率の小さい縮小画像から順次、算出された画素単位の合成割合に基づいて、平滑化された縮小画像と前記合成画像とを合成することを特徴とする請求項１０に記載の画像生成方法。
13. 撮像手段で撮像された多値画像から平滑化処理された画像を生成する画像生成装置で実行することが可能なコンピュータプログラムにおいて、
    前記画像生成装置を、
    前記撮像手段で撮像された多値画像を複数の異なる縮小率で縮小した縮小画像を生成する画像縮小手段、
    該画像縮小手段で生成された縮小画像に対して平滑化処理を実行する平滑化手段、
    前記画像縮小手段で生成された縮小画像に対応するエッジ画像をそれぞれ生成するエッジ画像生成手段、
    該エッジ画像生成手段で生成されたエッジ画像からエッジ角度に関するエッジ角度情報を画素単位で生成するエッジ角度情報生成手段、
    該エッジ角度情報生成手段で生成されたエッジ角度情報に基づいてエッジ画像におけるエッジ角度のばらつき度合を算出し、算出されたエッジ角度のばらつき度合に基づいて、ばらつき度合が大きいほど平滑化された前記縮小画像の比率を高め、ばらつき度合が小さいほど前記多値画像の比率を高めるように、前記多値画像と平滑化された前記縮小画像との合成割合を前記縮小画像の画素単位で算出する割合算出手段、
    平滑化された前記縮小画像から前記多値画像と同一スケールまで拡大した拡大画像を生成する画像拡大手段、
    前記縮小画像の画素単位で算出された合成割合を、前記拡大画像の画素単位の合成割合に変換する割合変換手段、及び
    変換された合成割合に基づいて、前記多値画像と前記拡大画像とを合成する画像合成手段
    として機能させることを特徴とするコンピュータプログラム。

Images