JP2005151387A

JP2005151387A - 正立等倍レンズアレイにより結像された画像の処理方法および装置

Info

Publication number: JP2005151387A
Application number: JP2003388824A
Authority: JP
Inventors: Makoto Ikeda; 誠池田; Hiroyuki Nemoto; 浩之根本
Original assignee: Nippon Sheet Glass Co Ltd
Current assignee: Nippon Sheet Glass Co Ltd
Priority date: 2003-11-19
Filing date: 2003-11-19
Publication date: 2005-06-09

Abstract

【課題】イメージセンサの出力信号から、信号処理技術でそのゴースト像やフレアノイズを抑制する方法を提供する。
【解決手段】点光源を正規位置に配置し、正立等倍レンズアレイによって結像されたパターン像の光強度分布であるインパルス応答ｒを測定するステップと、インパルス応答ｒをフーリエ変換して、フーリエ変換成分Ｒを得るステップと、正立等倍レンズアレイによって結像された物体面の元画像ｍの画像ｄを読取るステップと、画像ｄをフーリエ変換して、フーリエ変換成分Ｄを得るステップと、フーリエ変換成分Ｄをフーリエ変換成分Ｒで除算するステップと、除算により得られた値Ｄ／Ｒを逆フーリエ変換して、元画像を復元するステップとを含む。
【選択図】図１２

Description

本発明は、正立等倍レンズアレイにより結像された画像の処理方法および装置、特にゴースト像，フレアノイズを低減する画像処理方法および装置に関する。

正立等倍レンズ（Unit Magnification Planer Lens：ＵＭＰＬ）は、複写機やスキャナのイメージセンサに用いられている。このような正立等倍レンズアレイは、樹脂成形やエンボス加工技術によって透明樹脂平板の表裏面に凸レンズをアレイ状に形成し、得られたその平板レンズアレイを２〜３枚、積層することにより構成される。

このように正立等倍レンズアレイは、視野角の狭いレンズが密に配列されることにより、明るさと深い被写界深度との両立が可能であるという特徴を有している。

正立等倍レンズアレイは、２層４面あるいは３層６面に形成されており、光がレンズアレイ中を通る際の迷光や散乱光のために、レンズアレイを通して得られる像は、ゴースト像が生じたりフレアノイズが生じるという問題がある。

なお、以下の説明において、ゴースト像およびフレアノイズを区別する必要のない場合は、ゴースト像等と言うものとする。

図１Ａ，図１Ｂ，図１Ｃは、２層４面の正立等倍レンズアレイを示す。平板レンズアレイ１０，１２が２枚重ね合わされている。図１Ａは平面を、図１Ｂは正面を、図１Ｃは側面を示す。正立等倍レンズアレイの結像面には、ＣＣＤが設けられている。

物体面１４の物点１６からの光線１８が平板レンズアレイ１０に入射し、平板レンズアレイ１２を通過、ＣＣＤ面２０上に点像（メイン像）２２が結像する。その際、光線２４の様な経路でもＣＣＤ面２０に点像２６（ゴースト像）が結像するため問題になる。メイン像２２からゴースト像２６までの距離を＋Δとすると、メイン像２２から−Δの位置にもゴースト像２８が結像する。

このようなゴースト像は、ｘ軸方向だけでなく、ｙ軸方向にも発生する。図１Ｃには、ｙ軸方向のゴースト像を、２７，２９で示している。

ゴーストの他にも、フレアによるノイズが生じる。

このようなゴースト像やフレアノイズの発生の問題を解決するために、従来では、遮光材料を塗布したり、アレイの構成体中に遮光部位を設けたりしている。

しかし、遮光部分を構成する製造工程が煩雑となり、製造コストがアップする、また遮光するためにメイン像の光量や解像度が低下するという新たな問題が生じる。

本発明の目的は、イメージセンサの出力信号から、信号処理技術でそのゴースト像やフレアノイズを抑制する方法および装置を提供することにある。

正立等倍レンズアレイで得られる画像は、物体面上の元画像に対し、正立等倍レンズアレイ固有のインパルス応答特性（すなわち、物体面の点像に対して、結像面に発生する結像点、ゴースト像やフレアノイズを含んだ特性）を畳み込んだ画像となる。したがって、そのインパルス応答特性を解析、あるいは、計算や実測で求め、畳み込み演算（コンボリューション演算）の逆演算（デコンボリューション）を施せば、元画像が得られる。これにより、ゴースト像，フレアノイズの抑制を行うことが可能となる。

本発明によれば、正規位置に置かれた点像である光源の光がレンズアレイを通って結像した場合に、メインの像とゴースト像等の位置や強度分布を測定して結果情報を記憶しておく。次に実際の物体が作る像（ゴースト像等を含む）の位置や強度分布の情報と、記憶されている結果情報とを用いてデコンボリューション演算処理を行うことによって、ゴースト等が低減された像の位置と強度分布情報を得る。

本発明によれば、レンズアレイが凸レンズが規則的に配列された正立等倍レンズアレイであるため、メインの像に対するゴースト像等の出現位置や強度分布に規則性が見られる。このため、インパルス応答が正確に求まる。したがって、出力画像に対し、正確にデコンボリューション演算を実施でき、イメージセンサ出力信号からゴースト像やフレアノイズを信号処理技術で除去できる。このように、演算処理によってゴースト像等を低減しているので、メインの像の光強度を低下させず、さらには、煩雑な工程を要する遮光部分の構成を簡略化することができる。

本発明は、原理的には、ゴースト像，フレアノイズのみならず、その光学系固有の特性（各種の収差，ＭＴＦ低下，ブレ，歪み）等も改善できる。

本発明の原理を、１次元（ｘ軸）モデルで説明する。まず、図１に示した光学系において物体面の正規位置に点光源を設け、正立等倍レンズアレイによって結像面の位置ｘに形成される光強度分布（インパルス応答特性）を測定し、これを点光源に対応したパターン像ｒ（ｘ）とし、記憶しておく。パターン像には、ゴースト像による点像も含まれる。

次に、物体面にｍ（ｘ）の物体（元画像）をおいたとする。すると結像面には、ｒ（ｘ）とｍ（ｘ）の畳込み演算結果である画像
ｄ（ｘ）＝∫∞_-∞ ｍ（ｘ）ｒ（ｘ−Ｌ）ｄＬ
が形成される。得られた画像ｄ（ｘ）のフーリエ変換成分（空間周波数スペクトラム）をＤ（ｆ）、ｒ（ｘ）とｍ（ｘ）のフーリエ変換成分を、それぞれＲ（ｆ），Ｍ（ｆ）とすると、
Ｄ（ｆ）＝∫∞_-∞ ｄ（ｘ）ｅ^-j2π^fxｄｘ（ただし、ｊ＝√−１とする）
＝∫∞_-∞ ∫∞_-∞ ｍ（ｘ）ｒ（ｘ−Ｌ）ｅ^-j2π^fxｄＬｄｘ
＝∫∞_-∞ ∫∞_-∞ ｍ（Ｌ）ｅ^-j2π^fL・ｒ（ｘ−Ｌ）ｅ^-j2π^f(x-L)ｄＬｄｘ
＝Ｍ（ｆ）Ｒ（ｆ）
∴Ｍ（ｆ）＝Ｄ（ｆ）／Ｒ（ｆ）
したがって、元画像のフーリエ変換成分Ｍ（ｆ）は、結像面の画像のフーリエ変換成分Ｄ（ｆ）をパターン像のフーリエ変換成分Ｒ（ｆ）で除算することから求まることがわかる。

求められたＭ（ｆ）を逆フーリエ変換すると、元画像
ｍ（ｘ）＝∫∞_-∞ ｍ（ｆ）ｅ^j2π^fxｄｆ
が復元される。

一例として、点光源による正立等倍レンズアレイのパターン像ｒ（ｘ）を、
ｒ（ｘ）＝ａδ（ｘ）＋ｂ［δ（ｘ＋Δ）＋δ（ｘ−Δ）］
とする。ｂ［］項はゴースト像、Δはゴースト像の出現座標である。ここでは説明のため、各変数に次の値を設定した。

ａ＝０．７２，ｂ＝０．１４（ａ＋２ｂ＝１，ａ：ｂ＝１：０．２）
Δ＝７．０ｍｍ
図２に、パターン像ｒ（ｘ）の光強度分布グラフを示す。横軸は、ｘ軸方向（主走査方向）座標（ｍｍ）を、縦軸は相対光強度（任意単位）を示す。３０はメイン像の光強度を、３２，３４はゴースト像の光強度をそれぞれ示している。

この場合、ｒ（ｘ）のフーリエ変換は、
Ｒ（ｆ）＝[ａ＋２ｂcos（２πｆΔ）] （１）
となる。これを実数部と虚数部に分けて示したのが図３と図４である。
ここで、物体面の座標ｘ＝ｘ₀ に、
ｍ（ｘ）＝δ（ｘ−ｘ₀ ）
の物体（元画像）を、図５に示す様にｘ₀ ＝０．３に設定した場合、結像面にあるＣＣＤ面では、ｒ（ｘ）とｍ（ｘ）の畳込み演算で表される画像
ｄ（ｘ）＝ａδ（ｘ−ｘ₀ ）＋ｂ［δ（ｘ−ｘ₀ ＋Δ）＋δ（ｘ−ｘ₀ −Δ）
が観測され、その光強度が収集される（図６）。そのフーリエ変換は、
Ｄ（ｆ）＝[ａ＋２ｂcos（２πｆΔ）][cos（２πｆｘ₀ ）−ｊsin（２πｆｘ₀ ）] （２）
となる。図７と図８に、これを実数部と虚数部に分けて示す。

この（２）式を（１）式で除算すると
Ｍ（ｆ）＝Ｄ（ｆ）／Ｒ（ｆ）＝[cos（２πｆｘ₀ ）−ｊsin（２πｆｘ₀ ）] （３）
となる。図９と図１０に、これを実数部と虚数部に分けて示す。逆に、図３のＲ（ｆ）と、図９，図１０のＭ（ｆ）との積が、図７，図８のＤ（ｆ）になっていることが視覚的に理解できる。

（３）式を逆フーリエ変換すると元画像
ｍ（ｘ）＝δ（ｘ−ｘ₀ ）
が求まる（図５に相当）。

以上は、本発明の原理を１次元モデルで説明したが、実際のゴースト像は、ｘ軸（主走査）方向だけではなく、図１Ｃのゴースト像２７，２９の様にｙ軸（副走査）方向にも発生するので、２次元モデルｒ（ｘ，ｙ），ｄ（ｘ，ｙ），ｍ（ｘ，ｙ），Ｒ（ｆｘ，ｆｙ），Ｄ（ｆｘ，ｆｙ），Ｍ（ｆｘ，ｆｙ）への拡張も必要になる。

更に、前記の説明では、インパルス応答ｒ（ｘ，ｙ）が物点の座標（ｘ₀ ，ｙ₀ ）に依存しない（スペースインバリアント）としたが、実際は、インパルス応答ｒ（ｘ，ｙ）が物点の座標（ｘ₀ ，ｙ₀ ）に依存する（スペースバリアントである）。つまり、点光源がレンズアレイのあるレンズ光軸上にある場合とレンズが隣り合う境界上にある場合、またその中間にある場合ではゴースト像の出方が異なる。

したがって、インパルス応答ｒ（ｘ，ｙ）も物点の座標（ｘ₀ ，ｙ₀ ）に依存する４変数関数ｒ（ｘ，ｙ，ｘ₀ ，ｙ₀）への拡張が必要となる。

また、デコンボリューションの手法には、先に示した周波数領域での演算手法のほか、（同じく画像データを離散データとして扱った）連立一次方程式を解く手法もある。

次に、本発明の正立等倍レンズアレイの信号処理方法および信号処理装置の実施例について説明する。

図１１は、信号処理装置の機能ブロック図である。この信号処理装置は、ライン（１次元）ＣＣＤ４０と、ＣＣＤ４０からの出力画像をフーリエ変換するフーリエ変換部４２と、インパルス応答を記憶するメモリ部４４と、除算部４６と、逆フーリエ変換部４８とを備えている。

これらフーリエ変換部４２と、メモリ部４４と、除算部４６と、逆フーリエ変換部４８とは、コンピュータで実現されるものである。

図１に示したような正立等倍レンズアレイがラインＣＣＤ４０と共に、画像スキャナの密着イメージセンサに搭載されているものとする。密着イメージセンサは、例えば原稿に対し副走査方向（ｙ軸方向）に移動され、ラインＣＣＤ４０では正立等倍レンズアレイにより結像された像を主走査方向（ｘ軸方向）に走査し、画像を読取る。

以下、出力画像の信号処理を、図１２に示したフローチャートをも参照しながら説明する。

点光源を正規位置、この場合には、図１Ａに示したｘｙ座標の原点、すなわち中央の凸レンズの光軸上に配置し、正立等倍レンズアレイで結像されたパターン像ｒ（ｘ）を、イメージセンサで読取る。すなわち、イメージセンサをｙ軸方向（副走査方向）に移動し、同時にラインＣＣＤをｘ軸方向（主走査方向）に走査し、パターン像の光強度分布を読取る（ステップＳ１）。読取られたパターン像ｒ（ｘ）は、フーリエ変換部４２に送られる。

フーリエ変換部４２でパターン像ｒ（ｘ）をフーリエ変換して（ステップＳ２）、フーリエ変換成分Ｒ（ｆ）を得て、Ｒ（ｆ）をメモリ部４４に記憶する（ステップＳ３）。

次に、実際の原稿上の元画像ｍ（ｘ）をＣＣＤ面上に結像させる。結像された画像ｄ（ｘ）を、主走査方向および副走査方向に走査し、画像ｄ（ｘ）を読取る、すなわち画像の光強度分布を読取る（ステップＳ４）。ラインＣＣＤ４０からは、画像ｄ（ｘ）がフーリエ変換部４２に送られる。

フーリエ変換部４２で画像ｄ（ｘ）をフーリエ変換して、フーリエ変換成分Ｄ（ｆ）を得る（ステップＳ５）。得られたＤ（ｆ）は、除算部４６に送られる。

除算部４６では、メモリ部４４からＲ（ｆ）を読出し、Ｄ（ｆ）／Ｒ（ｆ）の除算を行い（ステップＳ６）、除算結果Ｍ（ｆ）を、逆フーリエ変換部４８へ送る。

逆フーリエ変換部４８では、Ｍ（ｆ）を逆フーリエ変換し、元画像ｍ（ｘ）を復元する（ステップＳ７）。

２層４面の正立等倍レンズアレイの平面図である。２層４面の正立等倍レンズアレイの正面図である。２層４面の正立等倍レンズアレイの側面図である。パターン像ｒ（ｘ）の光強度分布グラフを示す図である。パターン像ｒ（ｘ）のフーリエ変換の実数部を示す図である。パターン像ｒ（ｘ）のフーリエ変換の虚数部を示す図である。ｘ＝ｘ₀ における物体の画像の光強度を示す図である。ｘ＝ｘ₀ における物体の画像およびゴースト像の光強度を示す図である。図６の光強度分布のフーリエ変換の実数部を示す図である。図６の光強度分布のフーリエ変換の虚数部を示す図である。Ｍ（ｆ）の実数部を示す図である。Ｍ（ｆ）の虚数部を示す図である。信号処理装置の機能ブロック図である。出力画像の信号処理を示すフローチャートである。

符号の説明

１０，１２平板レンズアレイ
１４物体面
１６物点
１８，２４光線
２０ＣＣＤ面
２２，３０メイン像
２６，２８，３２，３４ゴースト像
４０ラインＣＣＤ
４２フーリエ変換部
４４メモリ部
４６除算部
４８逆フーリエ変換部

Claims

少なくとも２枚の平板レンズアレイを重ね合わせて構成された正立等倍レンズアレイによって結像された画像の処理方法であって、
前記正立等倍レンズアレイのインパルス応答を測定し、記憶するステップと、
前記正立等倍レンズアレイによって結像された物体の画像を、前記インパルス応答を用いてデコンボリューション処理を行って、前記物体の元画像を復元するステップと、
を含む、画像の処理方法。
少なくとも２枚の平板レンズアレイを重ね合わせて構成された正立等倍レンズアレイによって結像された画像の処理方法であって、
点光源を正規位置に配置し、前記正立等倍レンズアレイによって結像されたパターン像の光強度分布であるインパルス応答ｒを測定するステップと、
前記インパルス応答ｒをフーリエ変換して、フーリエ変換成分Ｒを得るステップと、
前記正立等倍レンズアレイによって結像された物体面の元画像ｍの画像ｄを読取るステップと、
前記画像ｄをフーリエ変換して、フーリエ変換成分Ｄを得るステップと、
前記フーリエ変換成分Ｄを前記フーリエ変換成分Ｒで除算するステップと、
前記除算により得られた値Ｄ／Ｒを逆フーリエ変換して、前記元画像を復元するステップと、
を含む、画像の処理方法。
前記インパルス応答には、少なくともゴースト像の光強度分布を含む、請求項２に記載の画像の処理方法。
前記インパルス応答には、少なくともゴースト像およびフレアノイズの光強度分布を含む、請求項２に記載の画像の処理方法。
少なくとも２枚の平板レンズアレイを重ね合わせて構成された正立等倍レンズアレイによって結像された画像の処理装置であって、
前記正立等倍レンズアレイによって結像された画像を画像信号に変換する光電変換部と、
前記光電変換部の出力する画像信号をフーリエ変換するフーリエ変換部と、
前記正立等倍レンズアレイのインパルス応答を、前記フーリエ変換部で変換して得られたフーリエ変換成分を記憶するメモリ部と、
前記正立等倍レンズアレイによって結像された物体の画像を、前記光電変換部で画像信号に変換し、さらに前記フーリエ変換部でフーリエ変換したフーリエ変換成分を、前記メモリ部から読出した前記インパルス応答のフーリエ変換成分で除算する除算部と、
前記除算部で除算された値を、逆フーリエ変換する逆フーリエ変換部と、
を備える画像処理装置。
前記インパルス応答には、少なくともゴースト像の光強度分布を含む、請求項５に記載の画像処理装置。
前記インパルス応答には、少なくともゴースト像およびフレアノイズの光強度分布を含む、請求項５に記載の画像処理装置。