JP6033673B2 - 撮像装置 - Google Patents

Description

本発明は、光学位相フィルタにより光学像の光学伝達関数に変調させて焦点深度を増大させ、画像処理によって上記変調分を取り除いて鮮鋭な画像を得るように構成された撮像装置に関する。

本技術分野の背景技術として、例えば米国特許第５，７４８，３７１号（特許文献１）に記載のものが知られている。特許文献１には、光の位相を変調する光学マスクを光学系の中に配置して光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を合焦点位置からある距離の範囲内で本質的に一定にさせ、被写界深度を増大させること、そして、光学マスクで変調したＯＴＦに起因する変調中間画像を信号処理し、光学マスクによる変調分を取り除くことにより、被写界深度を拡大する技術が開示されている（要約参照）。

米国特許第５，７４８，３７１号公報

上記従来技術において、光学マスク等の光学位相フィルタによる光学的な変調分を取り除く、すなわち光学位相フィルタによりぼやけた状態にされた画像を復元して鮮鋭な画像にするための画像処理（以下、これを「復元画像処理」と呼ぶ場合もある）として、例えば二次元空間フィルタ処理が用いられる。かかる二次元空間フィルタ処理は、例えば、フィルタ処理の対象となる画素を含む所定の水平範囲及び垂直範囲内にある画素それぞれに、画素位置に応じて個別に設定された係数を乗算して互いに加算する、いわゆる畳み込み演算処理を含んでいる。このような二次元空間フィルタ処理は、例えば次のようにして行われる。まず、光学位相フィルタを通して変調されて撮像素子により撮像された画像データは、シフトレジスタに格納される。該シフトレジスタには、水平方向の画像データのうち上記所定の水平範囲内の画素が順次格納される。この画素に該所定の水平範囲における各水平位置に対応した係数をそれぞれ乗算して互いに加算する。これにより水平フィルタ処理が行なわれる。水平フィルタ処理された画像データは、垂直方向の空間フィルタサイズ（すなわち所定の垂直範囲）と同数のラインメモリにそれぞれ格納される。すべてのラインメモリにデータが格納され、有効になった時点で、ラインメモリからの出力に対して、所定の垂直範囲における各垂直位置に対応する係数を乗算して加算する。これにより垂直フィルタ処理が行われる。

このように、二次元空間フィルタ処理を行うためには、一つのラインメモリには１ライン分の画像データまたはそれに相当する記憶容量を必要とし、ラインメモリは垂直方向の空間フィルタサイズと同じ数が必要になる。このため、回路規模の観点からは、水平方向よりも垂直方向のフィルタサイズを低減し、ラインメモリ数を減らすことが好ましい。

一方、前記特許文献１では、三次関数特性を持った光学マスクが用いられ、合焦点位置から光軸上のある距離の範囲内において光学伝達関数を不感にできるが、得られる中間画像は画像の広い画素範囲に亘ってぼけた画像になる。そのため復元画像処理に用いる空間フィルタのサイズは非常に大きくなる。このとき、光学マスクによる光学的な変調特性が水平・垂直方向ともに同じとなるように設計されると、垂直フィルタ処理のためのラインメモリの数が多く必要となる。このように、従来技術では、二次元空間フィルタ処理などの復元画像処理を行うための画像処理回路の回路規模が大きくなり、コストが増大する。

また、二次元空間フィルタ処理は、対象画素を基準にして水平及び垂直方向ともに例えば±２０〜５０の範囲内の画素を畳み込み演算して行われる。ここで、畳み込み演算の範囲の画素は、水平と垂直方向で同じである。よって、ある１画素について二次元空間フィルタ処理を行う場合、その画素の周囲にある数百〜数千画素の畳み込み演算を行うことになるため、膨大な処理時間が必要となる。このため、従来の技術は静止画に適用することしかできず、動画の撮像に適用することは困難であった。

本発明は、上記従来技術の課題に鑑みて為されたものであって、光学像を変調して焦点深度を増大させ、該変調を復元画像処理によって取り除くように構成された撮像装置において、当該復元画像処理に係る回路規模を低減し、また動画の撮像にも適用可能にするための技術を提供するものである。

上記課題を解決するために、本発明は、特許請求の範囲に記載の構成を採用する。その構成の一例は、例えば、撮像面を有する撮像素子と、物体の光学像の光学伝達関数を変調する光学位相フィルタを含み、該光学位相フィルタを通して変調された光学像を前記撮像素子の撮像面上に結像させるための光学系と、前記撮像素子の撮像面上の結像画像に対して二次元空間フィルタ処理を施して前記光学位相フィルタによる変調を取り除くための復元画像処理を行う信号処理部とを備えた撮像装置において、前記光学位相フィルタによって前記光学像に付与される変調特性が、光軸と垂直な撮像面平面上の互いに直行する水平及び垂直の二方向において、互いに異なることを特徴とする。

上記光学位相フィルタは、水平方向の波面収差と垂直方向の波面収差が異なる位相板で構成されてもよく、水平方向の波面収差と垂直方向の波面収差がほぼ等しい位相板と、水平方向の開口寸法が垂直方向の開口寸法よりも大きい絞りとで構成されてもよい。

本発明によれば、撮像した光学像について水平及び垂直方向に異なる光学伝達特性を与え、二次元空間フィルタ処理等の復元画像処理の性能劣化を低減しながらも、復元画像処理に用いる空間フィルタの水平、垂直サイズを変更することができる。これによって、例えば空間フィルタ処理を担う回路内のラインメモリの数を削減し、画像処理回路規模を低減できる。よって、本発明によれば、コストを低減した撮像装置を提供できる。また本発明によれば、光学像を変調して焦点深度を増大させ、該変調を復元画像処理によって取り除くように構成された撮像装置を動画の撮影に使用することができる。

上記した以外の課題、構成および効果は以下の実施形態の説明により明らかにされる。

本発明の第１実施例に係る撮像装置の一構成例を示す図。 本発明の第１実施例に適用される位相板２１の一例を示す図。 第１実施例に位相板２１の断面形状を示す図。 実施例１に掛かる撮像システムの空間フィルタ処理部６の一構成例を示すブロック図。 実施例１による焦点深度拡大効果のシミュレーション結果を示す図。 本発明の第２実施例を示す図。 絞り２２の開口形状が矩形および円形について対角方向のＯＴＦの計算結果を示す図。 絞り２２の開口形状が矩形および円形の場合の、それぞれの絞り形状におけるＰＳＦの測定結果を示す図。

以下、本発明の実施形態について、図面を参照しながら説明する。尚、同様な機能又は構成を有する要素には同一の符号を付し、重複した説明は省略するものとする。

まず図１を用いて本発明の第１実施例に係る撮像装置の一構成例を説明する。本実施例に係る撮像装置は、例えばＡＶカメラ、携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等に適用することができる。

物体１の光学像は光学系２により取り込まれて撮像素子３によって撮像される。ここで、光学系２は、物体１の光学像を取り込むための要素であって、物体１側に位置する複数のレンズ素子を備えた前玉レンズ群２３、撮像素子３側に位置する複数のレンズ素子を備えた後玉レンズ群２４、前玉レンズ群２３と後玉レンズ群２４との間に配置された光学系２に応じた矩形（正方形）開口または円形開口を有する絞り２２、及び絞り２２近傍で前玉レンズ群２３側に配置された、物体１の光学像を空間的に変調して所定の光学伝達関数を付与するための光学位相フィルタとしての位相板２１を有している。この位相板２１は、例えばアクリルやポリカーボネイト等の透明樹脂で構成された光学部品である。その光学的特性の詳細については後述する。

上記位相板２１を含む光学系２を通して得られた物体１の光学像は、撮像素子３の撮像面３１上に結像されて取り込まれる。ここで、撮像素子３は、例えばＣＣＤやＣＭＯＳセンサなどで構成され、例えば１／６０秒周期または１／３０秒周期で画像を取り込む。すなわち、本実施例に掛かる撮像装置は、動画の撮影にも適用できる。

この撮像素子３の撮像面３１上に結像されて取り込まれた光学像は、撮像素子３によりアナログ信号に変換され、更にＡ／Ｄコンバータ４によりデジタル信号に変換されて光学像に対応した画像データが生成される。

Ａ／Ｄコンバータ４からの画像データは、中間画像としてＲＡＷバッファメモリ５に格納される。ＲＡＷバッファメモリ５に格納された画像データは、二次元空間フィルタ処理を行うための信号処理部である空間フィルタ処理部６により読み出される。

空間フィルタ処理部６では、上記光学系２に含まれている位相板２１の光学的な変調特性により定まる光学伝達関数に応じて、復元画像処理としての二次元空間フィルタ処理を実施する。すなわち、空間フィルタ処理部６では、位相板２１により光学像に付与された光学伝達関数を補正するように復元画像処理を行うものである。例えば位相板２１が、光軸Ｌ（例えば図１の点線Ｌ）上の所定距離範囲の各位置において物体１の光学像をほぼ一定にぼけさせるような光学伝達関数を光学像に付与するものである場合、空間フィルタ処理部６は、このような光学伝達関数を持つ光学像の特定の周波成分を強調或いは増加・減少することで、上記のぼけを取り除き、鮮鋭な画像に復元する処理を行う。

このような二次元空間フィルタ処理を行うために、空間フィルタ処理部６は、予め設定された空間フィルタ係数などのフィルタ情報を格納する記憶部としてのＲＯＭ（図示せず）を有している。そして空間フィルタ処理部６は、このＲＯＭに格納されているフィルタ情報を読み出して、画像データに対して復元画像処理としての二次元空間フィルタ処理を施す。

空間フィルタ処理部６から出力された画像データは、図示しない別の画像処理部によって、必要に応じて、例えばコントラスト調整、明るさ調整、色調整、更には拡大縮小等のスケーリング処理、また必要に応じてフレームレート変換処理等が施される。このような処理が施された画像データは、記録媒体７１に記録され、及び／又は表示部７２に表示される。

本実施例は、上記のような構成の撮像装置或いは撮像システムにおいて、光学系２に含まれる位相板２１として、水平方向と垂直方向とで異なる光学伝達関数を与え、更にこの光学伝達関数に対応させて空間フィルタ処理部６を構成したことを特徴とするものである。以下、この詳細について説明する。

まず図２（ａ）〜（ｃ）を参照して本実施例の撮像装置に用いられる位相板２１について説明する。図２（ａ）は、本実施例の光学としての位相フィルタ位相板２１によって与えられる波面収差の等高線図である。図２（ａ）の正面が物体側、背面が撮像面３１側とする。図２（ｂ）は図２（ａ）に示される位相板２１のｙ方向と平行でｘ方向と直交する断面を示し、図２（ｃ）は図２（ａ）に示される位相板２１のｘ方向と平行なｙ方向と直交する断面を示している。ここで、図中のｘは、光学系２の光軸Ｌと垂直な撮像面３１上での水平方向を示しており、ｙはこの水平方向ｘと直交する垂直方向を示している。図２に示されるように、本実施例に係る位相板２１は、垂直方向ｙの波面収差は水平方向ｘの波面収差よりも小さくされている。すなわち、本実施例に係る位相板２１は、水平方向の位相変化に対し、垂直方向の位相変化が小さい。

ここで、位相板２１の透明樹脂材料の屈折率をｎとすると、位相板２１の表面形状は、波面収差に１／（ｎ−１）を乗じた形で表されるため、図２（ａ）の等高線図のプロファイルがそのまま位相板２１の表面形状を表わしている。従って、図２（ｂ）及び（ｃ）は、それぞれ位相板２１のｙ方向の断面形状とｘ方向の断面形状を表すことになる。そして本実施例に係る位相板２１は、図２（ｂ）及び（ｃ）に示されるように、ｙ方向の断面形状とｘ方向の断面形状が互いに異なっている。例えば、位相板２１のｙ方向中心（０）を通るｘ方向の右側端部は物体側に大きく突出しており、左側端部は撮像素子３の撮像面側に大きく後退或いは落ち込むような形状となっている。一方、位相板２１のｘ方向中心（０）を通るｙ方向の上側端部は物体側に大きく突出しており、下側端部は撮像面側に大きく後退或いは落ち込むような形状となっているが、物体側への突出量及び撮像面側への落ち込み量は、それぞれ、ｘ方向の右側端部の突出量及び左側端部の落ち込み量よりも小さくなっている。

これにより、位相板２１のｘ方向線を通る光束が光軸と交わる位置よりも、ｙ方向線を通る光束が光軸と交わる位置の方が遠く（物体側）となる。この結果、本実施例に係る位相板２１は、ｘ方向の焦点深度とｙ方向の焦点深度が互いに異なるようになり、物体の光学像に対し、ｘ方向については光軸上の所定の距離範囲においてほぼ一定の「ぼけ」が生じるような光学伝達関数（光学的な変調）を与えるが、ｙ方向については、そのような光学伝達関数は与えないか、或いはｘ方向に比べて光学的な変調の度合いを小さくする。

本実施例に係る位相板２１の全体的な断面形状を図３に示している。図３はｙ方向の断面図のみを示している。図示されるように、光軸方向に所定の厚みを持ち、物体側の面が図２に示されるような表面形状を持ち、結像側の面がフラットとなっている。位相板２１の形状はあくまでも一例であり、これに限定されるものではない。

位相板２１の表面形状（断面）は例えば三次関数で表される。この三次関数の係数をα１、α２とし、かつα１＞α２としたとき、本実施例に係る位相板２１は、下記数１に従い設計される。
（数１）ｆ(ｘ,ｙ)＝α１・ｘ＾３＋α２・ｙ＾３
これにより、水平方向の位相変化に対し、図２に示されるように、垂直方向の位相変化が小さくなるように設計することができる。

ここで、位相板２１の光軸方向をｚ方向（図２では紙面と垂直な方向）とし、ｚ軸と垂直な平面上にある撮像面において、第一の方向を撮像素子の水平方向としてｘ方向に対応させ、第一の方向と直交する撮像面上の第二の方向を撮像素子の垂直方向としてｙ方向に対応させた。また絞り２２の瞳形状を正方形とし、この正方形の瞳の一辺の長さで規格化した座標を（ｘ，ｙ）とした。

上記三次関数の係数α１，α２の値は、それぞれ必要とされる被写界深度と回路規模とに合わせて最適化されるものであるが、ここでは、後に示す結像光学系及び空間フィルタ処理部の実例に合わせてα１＝１２０λ，α２＝３０λとした（λは結像させる光の中心波長）。

また位相板２１の表面形状（断面）を以下の数２に基づき形成してもよい。尚、数２においてβ１、β２はそれぞれ係数であり、β１＞β２の関係を有している。
（数２）ｆ(ｘ，ｙ)＝α１・ｘ＾３＋α２・ｙ＾３＋β１・ｘ＋β２・ｙ
尚、本実施例では、絞り２２として正方形の開口を持ち正方形の瞳形状を有する絞りを採用したが、円形の開口を持ち、円形の瞳形状を有するものを採用しても構わない。しかしながら、絞り２２としては、円形開口を持つものよりも矩形の開口をもつものの方が好ましい。これを図７及び図８を用いて以下に説明する。

上記のように三次関数型位相を用いる場合において、一般的な円形絞りを使用すると、対角方向のＯＴＦにゼロ点が発生しアーチファクトが出現した。この現象について図７を参照して説明する。図７は、絞り２２の開口形状が矩形および円形について対角方向のＯＴＦの計算結果を示している。図示されるように、矩形の開口の場合はゼロ点を取らないのに対し、円形の開口ではバウンシングし、ゼロクロスする。図８は、それぞれの絞り形状におけるＰＳＦの測定結果である。矩形絞りのＰＳＦは図８（ａ）に示されるように矩形に拡がるのに対し、円形絞りのＰＳＦは図８（ｂ）に示されるように略三角形になり、対角方向への拡がりが制限される。この対角方向の拡がり制限のため、円形絞りのＯＴＦがゼロ点を取るようになる。従って、本実施例のように３次関数型の位相板２１を用いたWavefront Codingでは矩形絞りを用いる方が有利である。

上述のように、図２や図３に示された形状の位相板２１によって、物体の光学像に対して、ｘ方向については光軸上の所定の距離範囲においてほぼ一定の「ぼけ」が生じるような光学伝達関数を与えるが、ｙ方向については、そのような光学伝達関数を与えないか、或いはｘ方向に比べて光学的な変調の度合いを小さくしている。換言すれば、物体の光学像について、ｘ方向については光軸上の所定の距離範囲においてほぼ一定のＰＳＦ（点広がり関数：Point Spread Function）の広がりを与えるが、ｙ方向においてはｘ方向よりも小さいＰＳＦとなっている。

そして本実施例では、このような位相板２１で取り込んだ光学像について復元画像処理を行う場合に、垂直（ｙ）方向のフィルタ処理の範囲と垂直（ｘ）方向のフィルタ処理の範囲とを異ならせている。従来では、ｙ方向とｘ方向でほぼ同じ広がりのＰＳＦを与えていたため垂直方向のフィルタ処理の範囲及び水平方向のフィルタ処理の範囲ともに同じとする必要があり、復元画像処理における演算回数、処理時間及びフィルタ処理のためのメモリが多大となっていた。これに対し本実施例では、物体の光学像のｙ方向についてはｘ方向よりも小さいＰＳＦを与えているため、垂直方向のフィルタ処理の範囲を狭くすることができ、復元画像処理における演算回数、処理時間及びフィルタ処理のためのメモリを低減することができる。以下、本実施例に係る空間フィルタ処理部６の一例について図４を参照しながら説明する。

図４は、本実施例による撮像システムの空間フィルタ処理部６の一構成例を示すブロック図である。この例では、垂直方向のフィルタサイズ分のラインメモリ用いた空間フィルタ処理部６の構成が示されている。そして、本実施例に係る空間フィルタ処理部６は、垂直方向の空間フィルタ処理を担うラインメモリの数が水平方向の空間フィルタ処理を担うシフトレジスタのタップ数よりも少ないことを特徴としている。本実施例では、瞳径１．８ｍｍ、λ＝５９０ｎｍ、α=１２０、焦点距離ｆ＝５０ｍｍ、物点距離７２０ｍｍ、像点距離５４ｍｍ、撮像素子３の画素ピッチ６．５ｕｍとした撮像光学系を有するもとし、このときの空間フィルタサイズを２０×５と見積った。これに対応して、本例の空間フィルタ処理部６は、水平方向に２０個、垂直方向に５個の画素を用いた２０×５の空間フィルタ処理を行うものとした。すなわち、本例の空間フィルタ処理部６は、水平フィルタ処理の範囲を２０画素分、垂直フィルタ処理の範囲を５画素分としている。

ＲＡＷバッファメモリ５（図４では図示せず）に格納された画像データは、まず水平スキャン順序で空間フィルタ処理部６（或いは図示しないＣＰＵ等の制御回路）により読み出され、空間フィルタ処理部６内のシフトレジスタ７に格納される。シフトレジスタ７は、２０個のタップを有しており、各タップに水平１ラインのうち所定個数（ここでは２０個）の画素のデータが順次格納される。各タップに格納された画素のデータは、水平フィルタ処理部８に出力される。水平フィルタ処理部８には、フィルタ係数格納メモリ（ＲＯＭ）１１に記憶された、シフトレジスタの各タップに対応して予め設定された水平フィルタ係数も供給される。水平フィルタ処理部８は、２０個の各タップから出力された画素データとフィルタ係数格納メモリ１１からの水平フィルタ係数をそれぞれ乗算して互いに加算する、いわゆる畳み込み演算を行う。

ここで、各タップの画素データを例えばＶ_１、Ｖ_２…Ｖ_２０、各タップに対応する水平フィルタ係数を例えばｋ_ｈ１，ｋ_ｈ２…ｋ_ｈ２０とすると、畳み込み演算は、例えば下記数２で表される。
（数２）ｋ_ｈ１・Ｖ_１＋ｋ_ｈ２・Ｖ_１…＋ｋ_ｈ２０・Ｖ_２０
これにより、水平フィルタ処理部８において画像データに対する水平フィルタ処理が施される。

水平フィルタ処理部８は、１フレームの各ラインについて、上記ようにして水平フィルタ処理を行う。水平フィルタ処理された画像データは、ラインメモリ９０〜９４に格納される。この例では、５ライン分の水平フィルタ処理された画像データを格納するために５つのラインメモリ９０〜９４を私用している。各ラインメモリはＦＩＦＯ（First In-First Out）で動作し、ラインメモリのすべての出力データが有効になった時点で、垂直フィルタ処理部１０により垂直フィルタ処理が施される。ここで、ラインメモリ９０〜９４からは、水平方向位置が同一の各ラインの画素データが順次垂直フィルタ処理部１０に出力される。また垂直フィルタ処理部１０には、フィルタ係数格納メモリ１１に記憶された、各ラインメモリに対応して予め設定された垂直フィルタ係数も供給される。垂直フィルタ処理部６は、５個のラインメモリ９０〜９４から各々出力された同一水平位置の画素データとフィルタ係数格納メモリ１１からの垂直フィルタ係数をそれぞれ乗算して互いに加算する、いわゆる畳み込み演算を行う。畳み込み演算の一例は水平フィルタ処理と同様なためここでは省略する。これにより、垂直フィルタ処理部１０において画像データに対する垂直フィルタ処理が施される。

このようにして、撮像素子３により取り込まれた画像データについて、空間フィルタ処理部６により水平方向及び垂直方向の両方向のフィルタ処理が施される。これにより、位相板２１により所定の「ぼけ」が与えられた光学像の「ぼけ」を除去する復元画像処理が行われ、デフォーカスに依存せず、至る所でフォーカスがきちんと合わさったような画像を得ることができる。このとき、光学像には垂直方向には小さいＰＳＦの広がりが与えられているため、空間フィルタ処理部６における垂直方向のフィルタ処理の範囲を狭めることができ、ラインメモリの数を少なくすることができる。

図４は、図２の位相板２１を用いた場合の焦点深度拡大効果のシミュレーション結果を示している。この図では、あるモデルを入力画像とし、撮像面３１上の焦点ずれ（デフォーカス）に対する入力画像と復元画像とのＰＳＮＲ（Peak Signal-to-Noise Ratio）をプロットしてある。

図中曲線（ａ）は、所望の焦点深度を得るために必要な水平及び垂直方向の三次関数係数がそれぞれα１＝α２＝６０の場合のデフォーカス−ＰＳＮＲ特性を示している。この場合、垂直フィルタの範囲が大きくなり、ラインメモリ数も増加する。ハードウェアの規模やコスト等の制約上、この三次関数係数に対応した空間フィルタ処理部６を構成することは難しい。

水平及び垂直方向の三次関数係数α１及びα２が互いに同じであるが、いずれも（ａ）よりも小さくした（α１＝α２＝３０）場合のデフォーカス−ＰＳＮＲ特性を曲線（ｂ）に示す。この場合、（ａ）の場合に比べ回路規模は小さくできるが、図示されるようにＰＳＮＲが（ａ）の場合に比べて大きく低下する。

一方、本実施例のように、垂直方向の三次関数係数α２を水平方向の三次関数係数α１よりも小さくし、かつα２を（ａ）の場合に比べ小さくした（α１＝１２０，α２＝３０）場合のデフォーカス−ＰＳＮＲ特性を曲線（ｃ）に示す。この例によれば、ラインメモリの数を少なくしつつも、図示されるように（ａ）と同様なＰＳＮＲを得ることができる。参考のため、図４では無収差光学系の結果を曲線（ｄ）として示してある。

ここで、（ａ）〜（ｃ）の各構成がＰＳＮＲ＝４０ｄＢ以上を確保できる範囲について説明する。尚、無収差光学系である（ｄ）の場合、デフォーカスが０．０３のときにＰＳＮＲが４０ｄＢとなる。水平及び垂直方向の三次関数係数がともに同じで小さい（ｂ）の場合、はＰＳＮＲを４０ｄＢ以上確保しようとすると、デフォーカスが０．１５までの拡大しか得られない。一方、（ａ）及び（ｃ）ではデフォーカスが０．２１までの焦点深度の拡大が得られる。そして、垂直方向の三次関数係数α２を水平方向の三次関数係数α１よりも小さくした（ｃ）の場合は、水平及び垂直方向の三次関数係数がともに同じで大きい（ａ）の場合と同レベルまでＰＳＮＲが回復している。

このように、本実施例では、撮像した光学像について水平及び垂直方向に異なる光学伝達特性が与えられ、二次元空間フィルタ処理等の復元画像処理の性能劣化を低減しながらも、復元画像処理に用いる空間フィルタの水平、垂直サイズを変更することができる。これによって、例えば空間フィルタ処理を担う回路内のラインメモリの数を削減し、画像処理回路規模を低減できる。よって、本実施例によれば、コストを低減した撮像装置を提供できる。また本実施例によれば、空間フィルタ処理の演算量や演算時間を低減することができ、光学像を変調して焦点深度を増大させ、該変調を復元画像処理によって取り除くように構成された撮像装置を動画の撮影に使用することができる。

本実施例では、垂直フィルタ処理の範囲を水平フィルタ処理の範囲よりも狭めるように構成したが、水平フィルタ処理の範囲を垂直フィルタ処理の範囲よりも狭めるように構成してもよい。但し、この場合は容量が大きいラインメモリの数の削減には寄与しないので、垂直フィルタ処理の範囲を狭めることが好ましい。

実施例１では、光学位相フィルタとしての位相板２１により、撮像した光学像について水平及び垂直方向に異なる光学伝達特性を与えた。しかしながら、絞り２７の形状によっても同様の効果が得られることができる。すなわち、本実施例は、絞りも光学位相フィルタとして利用することを特徴としている。これを実施例２として以下に明する。尚、光学位相フィルタの構成以外は、図４に示した空間フィルタ処理６の内部構成も含めて実施例１と同じであり、その詳細な説明はここでは省略する。

図６は、本発明の実施例２を説明するための図であり、図６（ａ）は、実施例２に用いられる水平及び垂直の波面収差が同じ位相板２６の一例を示し、図６（ｂ）は、縦横比３：４の長方形の開口を持つ絞り２７を通して見た位相板２６を示している。位相板２６は従来のものと同じである。また絞り２７の開口は、垂直方向の開口寸法が水平方向の開口寸法よりも小さくされている。

本実施例では、位相板２６が水向及び垂直方向の両方とも同一の波面収差を持ち、水平及び垂直方向にほぼ同じ光学的な変調を与える場合でも、図６（ｂ）に示されるように、絞り２７形状を通して見られる位相板２６の波面収差（位相板２６によって与えられる位相板２６の波面収差）の等高線を、水平方向の位相変化に対し、垂直方向の位相変化が小さくすることができる。これは、図２に示される実施例１に係る位相板２１と同じである。すなわち、実施例１では光学位相フィルタを位相板２１で構成したが、実施例２では、光学位相フィルタを水平及び垂直方向にほぼ同じ光学的な変調を与える位相板２６と水平方向を長手方向とした長方形の開口を有する絞り２７で構成したものである。本実施例において、数１に示した三次関数におけるｘ，ｙ座標は、絞り２７の長方形の開口瞳の長手方向の長さで規格化すればよい。

本実施例では絞り２７の開口形状を上述した長方形で固定としたが、この長方形の縦横比を可変としてもよい。また、可変された開口形状に応じて、復元信号処理を行う空間フィルタ処理部６の水平方向及び／または垂直方向のフィルタサイズを可変にしてもよい。このとき、可変比率を横１に対して、縦１から０．５としてもよい。

このように、本実施例によれば、位相板を加工しなくとも、すなわち従来の位相板を用いても絞りの開口形状を変更することで容易に実施例１と同じ効果を得ることができる。本実施例では絞り形状を長方形としたが、絞り形状を楕円形状にしても構わない。

また、実施例１では位相板の形状を変更することで水平と垂直方向で異なる光学伝達関数を与える例を説明し、実施例２では絞りの開口形状を変更することで水平と垂直方向で異なる光学伝達関数を与える例を説明した。しかしながら、位相板および絞りの開口形状を同時に変えても構わない。

上述した本発明の各実施例によれば、復元画像処理のための回路規模や演算量、演算時間を大幅に縮小或いは低減することができる。このため、特許文献１等に記載の従来技術では静止画の撮影のみに利用できるが、本発明では静止画のみならず動画の撮影にも利用することができる。このため、本発明は、様々な用途の撮像装置、例えば、ＡＶカメラ、監視用カメラ、携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等の撮像装置に適用することができる。

１…物体
２…光学系
２１，２６…位相板（光学位相フィルタ）
２２，２７…絞り
２３…前玉レンズ群２３
２４…後玉レンズ群２３
３…撮像素子
４…ＡＤコンバータ
５…ＲＡＷバッファメモリ
６…空間フィルタ処理部
７…シフトレジスタ
８…水平フィルタ処理部
９０〜９４…ラインメモリ
１０…垂直フィルタ処理部
１１…フィルタ係数格納メモリ

Claims (9)

1. 撮像面を有する撮像素子と、物体の光学像の光学伝達関数を変調する光学位相フィルタを含み、該光学位相フィルタを通して変調された光学像を前記撮像素子の撮像面上に結像させるための光学系と、
   前記撮像素子の撮像面上の結像画像に対して二次元空間フィルタ処理を施して前記光学位相フィルタによる変調を取り除くための復元画像処理を行う信号処理部とを備えた撮像装置において、
   前記光学位相フィルタによって前記光学像に付与される変調特性が、光軸と垂直な撮像面平面上の互いに直交する水平及び垂直の二方向において、互いに異なることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、前記光学位相フィルタは、水平方向の波面収差と垂直方向の波面収差が異なる位相板で構成されることを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、前記位相板は、垂直方向の波面収差が垂直方向の波面収差よりも小さいことを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、前記位相板の波面収差が、
   ｆ(ｘ，ｙ)＝α１・ｘ^３＋α２・ｙ^３
   （ただし、α１及びα２は係数を示し、α１＞α２であり、ｘ，ｙは光軸に直交する前記位相板面内の規格化座標を示す）
   で表されることを特徴とする撮像装置。
5. 請求項３に記載の撮像装置において、前記信号処理部は、
   水平フィルタ処理を行うために用いられ、前記位相板で光学的に変調された１ライン中の所定個数の画素のデータをそれぞれ格納する複数のタップを含むシフトレジスタと、
   垂直フィルタ処理を行うために用いられ、水平フィルタ処理された画像データにおける複数のラインの画像データを格納するラインメモリと、
   前記水平フィルタ処理及び垂直フィルタ処理を行うための、前記シフトレジスタ及び前記ラインメモリに格納された各画素のデータに乗算される係数を記憶するフィルタ係数格納メモリと、を備え、
   前記シフトレジスタのタップの数よりも、前記ラインメモリの数の方が小さいことを特徴とする撮像装置。
6. 請求項１に記載の撮像装置において、前記光学位相フィルタは、水平方向の波面収差と垂直方向の波面収差がほぼ等しい位相板と、垂直方向の開口寸法が水平方向の開口寸法よりも小さくされた絞りと有することを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、前記信号処理部は、
   水平フィルタ処理を行うために用いられ、前記位相板及び前記絞りにより光学的に変調された１ライン中の所定個数の画素のデータをそれぞれ格納する複数のタップを含むシフトレジスタと、
   垂直フィルタ処理を行うために用いられ、水平フィルタ処理された画像データにおける複数のラインの画像データを格納するラインメモリと、
   前記水平フィルタ処理及び垂直フィルタ処理を行うための、前記シフトレジスタ及び前記ラインメモリに格納された各画素のデータに乗算される係数を記憶するフィルタ係数格納メモリと、を備え、
   前記シフトレジスタのタップの数よりも、前記ラインメモリの数の方が小さいことを特徴とする撮像装置。
8. 請求項６に記載の撮像装置において、前記絞りの開口形状を可変にしたことを特徴とする撮像装置。
9. 撮像装置において、
   撮像面を有する撮像素子と、物体の光学像の光学伝達関数を変調する光学位相フィルタを含み、該光学位相フィルタを通して変調された光学像を前記撮像素子の撮像面上に結像させるための光学系と、
   前記光学位相フィルタによる変調を復元するために、前記撮像素子の撮像面上の結像画像に対して、所定範囲の画素を用いた水平フィルタ処理及び垂直フィルタ処理を行う空間フィルタ処理部と、を備え、
   前記光学位相フィルタによって前記光学像に付与される変調特性が、光軸と垂直な撮像面平面上の互いに直行する水平及び垂直の二方向において互いに異なっており、
   前記垂直フィルタ処理の範囲が前記水平方向のフィルタ処理の範囲よりも小さいことを特徴とする撮像装置。

Images