JP5390046B2 - 焦点拡張光学系及びＥＤｏＦ撮像システム - Google Patents

Description

本発明は、光学レンズの焦点深度を拡張する光学系（以下、焦点拡張光学系という）と、この焦点拡張光学系を通して撮像した画像に復元処理（デコンボリューション処理）を施して鮮鋭化するＥＤｏＦ撮像システムに関する。

携帯電話機やＰＤＡ、小型ノート型パソコン等には、デジタルカメラが標準的に搭載されるようになってきている。従来、こうした携帯電話機等に搭載されるデジタルカメラは、小型かつ安価に製造するために、例えば固定焦点光学レンズを用いることが一般的であり、高画質の撮影画像は求められていなかった。しかし、近年では、こうした簡易なデジタルカメラにも撮影画像の画質向上が求められるようになっている。

また、携帯電話機等に搭載されるデジタルカメラは、数ｍ先の人物や風景の撮影等、数ｍ先の被写体の撮像から、文字や二次元コード等の読み取りのために数十ｃｍ先の像の撮像にも用いられる。広範囲な被写体距離での撮影を行うためには撮影距離に応じてピント合わせをすることが必要であるが、携帯電話等に搭載されるデジタルカメラでは、小型かつ安価であることが必須であるため、ピント調節機構を設けることは難しい。

こうしたことから、近年では、コスト等の面から携帯電話機等の装置では、数十ｃｍ程度のマクロ撮影域からほぼ無限遠までの撮像距離範囲をピント合わせなしでカバーできるデジタルカメラとしてＥＤｏＦ（Extended Depth of Field）撮像システムが用いられるようになってきている（特許文献１〜３）。ＥＤｏＦ撮像システムは、位相板等によって光軸からの距離（入射高）に応じて焦点距離が異なる焦点拡張光学系を用いて撮像し、得られたピンぼけ画像を復元処理によって鮮鋭化し、被写界深度が広い光学レンズで撮像したと同等な画像を得る撮像システムである。

特開２０１０−２１３２７４号公報 特開２００７−２０６７３８号公報 特開２００６−０９４４７１号公報

ＥＤｏＦ撮像システムによって、近景として撮像される文字や二次元コード等を被写体とする場合には、単に人の目で見て文字等として認識可能であれば良いだけでなく、ＯＣＲ（Optical Character Recognition）アプリケーションやデコードアプリケーション等のソフトウェアによって撮像した画像から文字等を正しく認識できる画像を取得することが求められる。人による認識と、ＯＣＲ等によるソフトウェアによる文字等の認識は異なり、人の目で見て文字等と認識できる画像であっても、ソフトウェアでは正確に認識できない場合もある。

しかし、従来のＥＤｏＦ撮像システムでは、被写界深度が拡張されているため、近景を撮像した画像（以下、近景画像という）に写し出された文字等を人が認識することはできる。しかしながら、従来のＥＤｏＦ撮像システムでは、ＯＣＲ等のソフトウェアによって文字等を正確に認識可能な画像が得られ難いという問題がある。

近景画像に写し出された文字等を、ＯＣＲ等のソフトウェアによって正確に認識するには、コントラストや解像度等のいわゆる画質を向上させれば良い。しかし、ＥＤｏＦ撮像システムにおいては、画質と被写界深度がトレード・オフの関係にある。したがって、ソフトウェアによる文字認識率を向上させようとすると被写界深度を狭くせざるを得ず、逆に被写界深度を拡張するというＥＤｏＦ撮像システムとしての本来の機能を損なってしまうという問題がある。

本発明は、被写界深度を損なわず、近景画像からＯＣＲ等による文字等の認識率を向上させた焦点拡張光学系及びＥＤｏＦ撮像システムを提供することを目的とする。

本発明の焦点拡張光学系は、被写体からの光を撮像素子に結像させる光学レンズと、この光学レンズによる結像位置を、光軸からの距離に応じて変化させるように波面を調節し、焦点範囲を拡張させる焦点拡張素子とを備えている。さらに、撮像素子のナイキスト周波数の１／２の空間周波数におけるＭＴＦを第１ＭＴＦと、１／４の空間周波数におけるＭＴＦを第２ＭＴＦとするときに、第２ＭＴＦが第１ＭＴＦに対して３倍以下の値であるという条件を満たす。

透過波面ψをツェルニケ多項式Ｚ _ｊ （ｎ，ｍ）及び係数Ｋ _ｊ を用いてψ＝ΣＫ _ｊ ・Ｚ _ｊ で表し、デフォーカスを示す第４項Ｚ_４（ｎ＝２，ｍ＝０）の係数Ｋ_４とするときに、第２ＭＴＦが第１ＭＴＦに対して３倍以下である係数Ｋ_４の範囲が０を含み、０．６以上の大きさであることが好ましい。

第２ＭＴＦが第１ＭＴＦに対して３倍以下である係数Ｋ_４の範囲が０を含み、０．９以上の大きさであることが好ましい。

第２ＭＴＦが第１ＭＴＦに対して３倍以下である係数Ｋ_４の範囲が０を含み、負側の範囲の大きさが０．３以上の大きさであることが好ましい。

第２ＭＴＦが第１ＭＴＦに対して３倍以下である係数Ｋ_４の範囲が０を含み、負側の範囲の大きさが０．６以上の大きさであることが好ましい。

第２ＭＴＦが、０．４以上であることが好ましい。

第２ＭＴＦが、０．５以上であることが好ましい。

光学レンズ及び前記焦点拡張素子は光軸方向に動かないように固定されていることが好ましい。

本発明のＥＤｏＦ撮像システムは、被写体の像を撮像する撮像素子と、焦点拡張光学系とを備えている。焦点拡張光学系は、被写体からの光を撮像素子に結像させる光学レンズと、この光学レンズによる結像位置を、光軸からの距離に応じて変化させるように波面を調節し、光学レンズの焦点範囲を拡張する焦点拡張素子とを有する。さらに、撮像素子のナイキスト周波数の１／２の空間周波数におけるＭＴＦを第１ＭＴＦと、１／４の空間周波数におけるＭＴＦを第２ＭＴＦとするときに、第２ＭＴＦが前記第１ＭＴＦに対して３倍以下の値であるという条件を満たす。

撮像素子が出力するデータに復元処理を施すことにより、被写界深度が拡張された画像を生成する画像処理部を備えることが好ましい。

本発明によれば、被写界深度を損なわず、近景画像に写し出された文字等のソフトウェアによる認識率を向上させることができる。

ＥＤｏＦ撮像システムの構成を示すブロック図である。 焦点拡張光学系の構成を示す説明図である。 被写体の任意の点の像を表すＲＡＷデータを模式的に示す図である。 ＲＡＷデータにおける点像の画素値の分布を模式的に表すグラフである。 ＲＡＷデータの周波数ＭＴＦを模式的に表すグラフである。 復元処理後の点像の画像データを模式的に示す図である。 復元処理後における点像の画素値の分布を模式的に表すグラフである。 復元処理後の周波数ＭＴＦを模式的に表すグラフである。 通常光学レンズと焦点拡張光学系のデフォーカスＭＴＦを示すグラフである。 焦点拡張光学系＃１，＃２の周波数ＭＴＦを示すグラフである。 焦点拡張光学系＃１を用いて得られる画像である。 焦点拡張光学系＃２を用いて得られる画像である。 焦点拡張光学系＃３の周波数ＭＴＦを示すグラフである。 焦点拡張光学系＃３で撮影したチャート画像を模式的に示す図である。 焦点拡張光学系＃３で撮影した画像の波形を示すグラフである。 焦点拡張光学系＃４の周波数ＭＴＦを示すグラフである。 焦点拡張光学系＃４で撮影したチャート画像を模式的に示す図である。 焦点拡張光学系＃４で撮影した画像の波形を示すグラフである。 焦点拡張光学系＃５の周波数ＭＴＦを示すグラフである。 焦点拡張光学系＃５で撮影したチャート画像を模式的に示す図である。 焦点拡張光学系＃５で撮影した画像の波形を示すグラフである。 通常光学レンズのデフォーカスＭＴＦを示すグラフである。 通常光学レンズのデフォーカス範囲を示すグラフである。 焦点拡張光学系＃６のデフォーカスＭＴＦを示すグラフである。 焦点拡張光学系＃６のデフォーカス範囲を示すグラフである。 焦点拡張光学系＃７のデフォーカスＭＴＦを示すグラフである。 焦点拡張光学系＃７のデフォーカス範囲を示すグラフである。 焦点拡張光学系＃８のデフォーカスＭＴＦを示すグラフである。 焦点拡張光学系＃８のデフォーカス範囲を示すグラフである。 通常光学レンズ画像の例である。 焦点拡張光学系＃６で得られる画像の例である。 焦点拡張光学系＃７で得られる画像の例である。 焦点拡張光学系＃８で得られる画像の例である。

図１に示すように、ＥＤｏＦ撮像システム１０は、焦点拡張光学系１１，撮像素子１２，画像処理部１３を備える。ＥＤｏＦ撮像システム１０は、風景や人物等、数ｍ先の〜無限遠の遠景の撮像と、文字や２次元コード等、数十ｃｍ程度の距離で撮像する近景の撮像の主として２種類の用途で使用される。

焦点拡張光学系１１は、被写体１４から入射する光を撮像素子１２に結像させるためのものであり、後述するように複数の光学レンズと、光学レンズの焦点を拡張させるための焦点拡張素子を含む。例えば、焦点拡張光学系１１は、光軸を含む中心近傍の光束を手前側（被写体１４側）に収束させ、外側を通る光束を奥側（撮像素子１２側）に収束させる。これにより、焦点拡張光学系１１は、入射高に応じて焦点が変化する。

焦点拡張光学系１１の光学的性能は、具体的なＥＤｏＦ撮像ステム１０で用いられる性能に設計されるが、この実施形態では、Ｆナンバー（Ｆｎ）が２．２９の固定焦点光学レンズが用いられている。また、光学レンズの解像力δは、Ｆナンバー（Ｆｎ）に反比例し、参照波長をλ（ｎｍ）とすれば、δ＝１／Ｆｎ／λである。したがって、参照波長λ＝５４６ｎｍとすれば、焦点拡張光学系１１の解像力δは約８００本／ｍｍである。これは、後述する撮像素子１２のサンプリング周波数ｆｓとほぼ等しく、ナイキスト周波数Ｎｙの２倍程度である。

また、後述するように、焦点拡張光学系１１は、ナイキスト周波数Ｎｙの１／４の低周波数におけるＭＴＦ値が、ナイキスト周波数Ｎｙの１／２の高周波数におけるＭＴＦ値の３倍以下になるように形成されている。さらに、焦点拡張光学系１１は、デフォーカスＭＴＦにおいて、ナイキスト周波数Ｎｙの１／４の低周波数におけるＭＴＦ値が、ナイキスト周波数Ｎｙの１／２の高周波数におけるＭＴＦ値の３倍以下となる範囲が、球面光学レンズのよりも大きく、１．５倍以上になるように形成されている。

撮像素子１２は、焦点拡張光学系１１によって結像された被写体１４の像を画素毎に光電変換することにより撮像し、得られたＲＡＷデータを画像処理部１３に出力する。撮像素子１２は、焦点拡張光学系１１の焦点範囲内に複数の画素が配列された撮像面が位置するように配置される。

なお、撮像素子１２としては、具体的なＥＤｏＦ撮像システム１０で求められる性能を満たす撮像素子が用いられるが、以下では、画素ピッチｐが１．２５μｍである。すなわち、撮像素子１２のサンプリング周波数ｆｓは、ｆｓ＝１／ｐ＝８００本／ｍｍであるとする。したがって、ナイキスト周波数Ｎｙは、４００本／ｍｍである。

画像処理部１３は、ＤＳＰやＤＩＰ等からなり、撮像素子１２が出力するＲＡＷデータに、各種画像処理を施して、全体が鮮明な画像１５に変換する。具体的には、画像処理部１３は、ＲＡＷデータに対して、復元処理、ノイズリダクション処理、混色補正処理、シェーディング補正処理、ホワイトバランス調整処理、同時化処理、カラーマトリックス補正処理、ＹＣ変換処理、γ補正処理、エッジ強調処理をこの順で施して、所定フォーマット（例えばｊｐｅｇ）の画像１５を生成する。

図２に示すように、焦点拡張光学系１１は、例えば複数の光学レンズ１１ａ，１１ｂと、焦点拡張素子１６を備える。光学レンズ１１ａは、被写体１４の点１４ａから球面波として出射される光を平面波に整え、焦点拡張素子１６に入射させる。光学レンズ１１ｂは、焦点拡張素子１６から入射する光を収束させる。焦点拡張素子１６は、光学レンズ１１ａから入射する平面波を、光軸Ｌ０を含む中心部分を通る光束（以下、内光束という）Ｌ１と、内光束Ｌ１の周囲を通る光束（以下、外光束という）Ｌ２とで、光学レンズ１１ｂによって収束されるまでの距離が異なるように波面を調節する。具体的には、焦点拡張光学系１１は、入射高が小さい内光束Ｌ１を短距離の焦点Ｆ１に、入射高が大きい外光束Ｌ２を遠距離の焦点Ｆ２に収束させる。したがって、焦点拡張光学系１１は、焦点が一点から、短距離焦点Ｆ１から遠距離焦点Ｆ２の間の焦点範囲Ｅに拡大されている。前述のように、撮像素子１２は、焦点範囲Ｅ内の所定位置に配置されるので、撮像素子１２が出力するＲＡＷデータは、焦点Ｆ１に収束する像や焦点Ｆ２に収束する像、あるいはこれらの間に収束する像がボケた状態で畳み込まれたデータとなる。以下では、無限遠の遠景がベストピントとなるように、撮像素子１２は焦点Ｆ２に配置されているとする。

図３Ａに示すように、撮像素子１２から出力されるＲＡＷデータ２１においては、被写体１４のある点１４ａの像は、撮像素子１２の配置に応じてボケた像となる。このため、例えば、図３Ｂに示すように、点１４ａの像は、画素値として、ＲＡＷデータ２１のラインＡ−Ｂ方向にブロードに分布する。このため、図３Ｃに示すように、ＲＡＷデータ２１のままでは、空間周波数Ｆｑに対するＭＴＦ（以下、周波数ＭＴＦという）が、空間周波数Ｆｑの増大とともに急峻に減少し、解像度は低い。

しかし、画像処理部１３によって復元処理（いわゆるデコンボリューション処理）を施すことにより、図３Ｄに示す復元処理後の画像データ２２のように、点１４ａはボケのない点像となる。すなわち、復元処理ではブロードであった画素値の分布（図３Ｂ）から、図３Ｅに示すような急峻なピークを持つように鮮鋭化される。これにより、図３Ｆに示すように、周波数ＭＴＦは、通常の固定焦点光学レンズで撮像した場合と同程度に回復し、所定の解像度を得る。また、復元処理は、ここで例示した点１４ａの像と同様に、ＲＡＷデータ２１に畳み込まれている焦点Ｆ１や焦点Ｆ２（あるいはその間）に結像される像を、その焦点位置に応じて各々に鮮鋭化するので、固定焦点光学レンズで撮影した画像よりも、被写界深度が深化された画像１５が得られる。

焦点拡張光学系１１と同様に携帯電話機等に用いられる一般的な固定焦点光学レンズ（以下、通常光学レンズという）と、焦点拡張光学系１１とを、デフォーカスに対するＭＴＦの変化（以下、デフォーカスＭＴＦという）について比較すると、図４に示すように、通常光学レンズは、ベストピント位置（デフォーカス＝０．０ｍｍの位置）では、焦点拡張光学系１１よりもＭＴＦ値が大きいものの、フォーカス位置がシフトすると、焦点拡張光学系１１よりも急峻にＭＴＦが減少する。これはベストピント位置からわずかにズレた被写体でも像のボケが大きいことを示す。また、撮像素子１２を焦点範囲Ｅのうち、焦点Ｆ２に置く場合、ベストピント位置のＭＴＦは、例えば無限遠等、遠景を撮像した場合の解像度を表し、−０．３〜−０．５ｍｍ程度、デフォーカスさせた位置は近景を撮像した場合の解像度を表す。このため、通常光学レンズは、遠景である風景や人物を高解像度に撮像することができるが、近景を撮像した場合には解像度は低く、例えば紙面やモニタの文字等を撮像した場合、人の目でも文字等を読み取ることは難しい。

一方、焦点拡張光学系１１の場合、遠景のＭＴＦと近景のＭＴＦはトレード・オフの関係にあるため、ベストピント位置のＭＴＦが通常光学レンズよりも小さくなる。しかし、焦点拡張光学系１１はベストピント位置からずれてもＭＴＦの減少は緩やかであり、復元処理によって像を鮮鋭化できる程度に、一定以上のＭＴＦ値が得られるようになっている。このため、焦点拡張光学系１１で撮像したＲＡＷデータは、復元処理を施し、画像１５とすることによって、近景画像に写し出された文字等を、少なくとも人の目で読み取ることができる。

また、通常光学レンズのデフォーカスＭＴＦは、ベストピント位置に対してデフォーカスの方向（正負）によらず、ベストピント位置に対して対称な曲線形状である。一方、焦点拡張光学系１１は、近景のＭＴＦを向上させるために、フォーカス位置を負方向にシフトさせた場合に所定以上の解像度が得られるようになっているため、焦点拡張光学系１１のデフォーカスＭＴＦは、ベストピント位置に対して非対称な曲線形状となる。

上述のように、人の目で文字等を読み取ることができる近景画像を得る焦点拡張光学系は、様々な特性に作製し得るが、人の目で文字等を認識できるだけでは、ＯＣＲ等のソフトウェアによって文字等を正しく認識できるとは限らない。これは、人の目とソフトウェアによる文字等の認識の仕方の相違によるものである。

人の目による場合、ある程度の解像度があればコントラストが高いほうが文字等を読みやすい。一方、ＯＣＲ等のソフトウェアによる場合、像のコントラストよりも像の波形が重要である。例えば、文字等の像の波形が矩形波に近いほど正しく認識できる率が高いが、コントラストが高く、人の目で見て読みやすい文字等でも、像の波形が三角波に近いほど正しく認識できる率は低くなる傾向にある。前述のように、解像度（ＭＴＦ）を上げれば、ソフトウェアによる文字等の認識率を向上させることができるが、焦点拡張光学系の場合、遠景画像の画質も一定以上に保たなければならず、遠景画像用であるベストピント位置における周波数ＭＴＦと、近景画像用である負にデフォーカスした位置での周波数ＭＴＦとはトレード・オフの関係にあるため、近景画像から文字等をソフトウェアで正確に認識するために、負側にデフォーカスした位置での周波数ＭＴＦを向上させると、遠景画像での周波数ＭＴＦが犠牲となる。

こうしたことから、ＥＤｏＦ撮像システム１０を構成する焦点拡張光学系１１は、少なくともベストピント位置において、ナイキスト周波数Ｎｙの１／４の低周波数（以下、１／４Ｎｙという）における周波数ＭＴＦの値が、ナイキスト周波数Ｎｙの１／２の高周波数（以下、１／２Ｎｙという）における周波数ＭＴＦの値の３倍以下となるように、１／４Ｎｙにおける周波数ＭＴＦと１／２Ｎｙにおける周波数ＭＴＦの比率が定められている。これにより、ＥＤｏＦ撮像システム１０では、遠景画像及び近景画像の画質を損なわずに、人の目で見ても近景画像から文字等を認識しやすく、かつ、ＯＣＲ等によるソフトウェアによっても近景画像から正確に文字等を認識できるようになる。

以下、１／２Ｎｙにおける周波数ＭＴＦと１／４Ｎｙの周波数ＭＴＦの比率を調節することによる作用を説明する。なお、焦点拡張光学系１１の解像力δは撮像素子１２のサンプリング周波数ｆｓとほぼ等しいので（約８００本／ｍｍ）、ＥＤｏＦ撮像システム１０の解像度は、サンプリング周波数は撮像素子１２のサンプリング周波数ｆｓ（８００本／ｍｍ）によるものとする。このため、ＥＤｏＦ撮像システム１０では、１／２Ｎｙが４００本／ｍｍであり、１／４Ｎｙは２００本／ｍｍである。また、近景画像に写し出される文字等の幅（文字の線幅）は、撮影距離等の条件によって異なるものであるが、以下、簡単のため文字等の幅は２〜３画素程度であり、文字等は１／２Ｎｙ程度の高周波数の像であるとする。

図５に示すように、一例として、ベストピント位置（デフォーカス０．０ｍｍ）において２種類の焦点拡張光学系を比較する。焦点拡張光学系＃１は、１／２Ｎｙにおける周波数ＭＴＦが０．１、１／４Ｎｙにおける周波数ＭＴＦが０．２である。したがって、焦点拡張光学系＃１は、１／２Ｎｙにおける周波数ＭＴＦと１／４Ｎｙにおける周波数ＭＴＦの比が１：２であり、１／４Ｎｙにおける周波数ＭＴＦが１／２Ｎｙにおける周波数ＭＴＦの３倍以下という焦点拡張光学系１１に課される条件を満たす。

焦点拡張光学系＃２は、焦点拡張光学系＃１と同様に１／２Ｎｙにおける周波数ＭＴＦが０．１であるが、１／４Ｎｙにおける周波数ＭＴＦが０．５であり、焦点拡張光学系＃１よりも大きい。焦点拡張光学系＃２は、１／２Ｎｙにおける周波数ＭＴＦと１／４Ｎｙにおける周波数ＭＴＦの比が１：５であり、１／４Ｎｙにおける周波数ＭＴＦが１／２Ｎｙにおける周波数ＭＴＦの３倍以下という焦点拡張光学系１１に課される条件を満たさない。

上述の焦点拡張光学系＃１，＃２によって、一定の撮影条件のもと、「ｆｉｌｍ」の文字を撮像した場合に得られる画像を図６Ａと図６Ｂに示す。図６Ａ、図６Ｂはいずれもシミュレーションによって得られた画像である。

図６Ａに示す焦点拡張光学系＃１によって得られる画像３１と、図６Ｂに示す焦点拡張光学系＃２によって得られる画像３２を比較すると、いずれも人の目によって「ｆｉｌｍ」の文字を十分に認識することができる。但し、焦点拡張光学系＃１による画像３１は、焦点拡張光学系＃２による画像３２に比べてコントラストが低いため、両者を比較すると、焦点拡張光学系＃２による画像３２の方がより「ｆｉｌｍ」の文字を認識しやすい。

しかし、ＯＣＲソフトウェアで「ｆｉｌｍ」の文字を認識しようとすると、図６Ａの焦点拡張光学系＃１による画像３１は、正しく「ｆｉｌｍ」の文字を認識することができるが、図６Ｂの焦点拡張光学系＃２による画像３２からは正しく「ｆｉｌｍ」の文字を認識することができない。これは、焦点拡張光学系＃１による画像３１はコントラストが低いものの、文字部分の濃度分布の波形が矩形波に近く、焦点拡張光学系＃２による画像３２はコントラストが高いが、文字部分の濃度分布の波形が三角波に近いためである。

撮像した像の波形は、１／２Ｎｙにおける周波数ＭＴＦと、１／４Ｎｙにおける周波数ＭＴＦの比率を調節することによって変更することができる。

例えば、図７Ａに示すように、１／２Ｎｙにおける周波数ＭＴＦが０．２、１／４Ｎｙにおける周波数ＭＴＦが０．４の焦点拡張光学系＃３の場合、１／２Ｎｙにおける周波数ＭＴＦと１／４Ｎｙにおける周波数ＭＴＦの比は１：２である。この焦点拡張光学系＃３によって、１／２Ｎｙ程度の高周波チャートを撮像すると、図７Ｂに示すようにコントラストが高く、かつ、図７Ｃに示すように像の波形がほぼ完全な矩形波のチャート画像４１を得ることができる。

一方、図８Ａに示すように、１／２Ｎｙにおける周波数ＭＴＦが０．１、１／４Ｎｙにおける周波数ＭＴＦが０．４の焦点拡張光学系＃４の場合、１／２Ｎｙにおける周波数ＭＴＦと１／４Ｎｙにおける周波数ＭＴＦの比は１：４である。焦点拡張光学系＃４は、焦点拡張光学系＃３と比較すれば、１／２Ｎｙにおける周波数ＭＴＦが半減し、１／４Ｎｙにおける周波数ＭＴＦが変わらない焦点拡張光学系である。この焦点拡張光学系＃４によって、１／２Ｎｙ程度の高周波チャートを撮像すると、図８Ｂに示すように、コントラストは焦点拡張光学系＃３によるものとほぼ同じだが、図８Ｃに示すように、像の波形は三角波に近づいたチャート画像４２が得られる。

さらに、図９Ａに示すように、１／２Ｎｙにおける周波数ＭＴＦが０．１、１／４Ｎｙにおける周波数ＭＴＦが０．２の焦点拡張光学系＃５の場合、１／２Ｎｙにおける周波数ＭＴＦと１／４Ｎｙにおける周波数ＭＴＦの比は１：２である。焦点拡張光学系＃５は、図７Ａの焦点拡張光学系＃３と比較すれば、１／２Ｎｙにおける周波数ＭＴＦと１／４Ｎｙにおける周波数ＭＴＦの比は同じであるが、１／２Ｎｙにおける周波数ＭＴＦも１／４Ｎｙにおける周波数ＭＴＦも半減した焦点拡張光学系である。また、焦点拡張光学系＃５は、図８Ａの焦点拡張光学系＃４と比較すると、１／２Ｎｙにおける周波数ＭＴＦは等しく、１／４Ｎｙにおける周波数ＭＴＦが半減した焦点拡張光学系であり、１／２Ｎｙにおける周波数ＭＴＦと１／４Ｎｙにおける周波数ＭＴＦの比も異なる。

この焦点拡張光学系＃５によって、１／２Ｎｙ程度の高周波チャートを撮像すると、図９Ｂに示すように、コントラストは焦点拡張光学系＃３，＃４のいずれよりも低いが、図９Ｃに示すように、像の波形が矩形波に近いチャート画像４３が得られる。

図７Ａ，図８Ａ，図９Ａの焦点拡張光学系＃３〜＃５を比較すれば分かるように、１／２Ｎｙにおける周波数ＭＴＦに対する１／４Ｎｙにおける周波数ＭＴＦの比が小さい方が、同じ高周波のチャートを撮像しても像の波形が矩形波に近づくことが分かる。

このため、１／２Ｎｙと１／４Ｎｙにおける周波数ＭＴＦの比を変えながら、上述と同様のチャート画像をシミュレーションによって作成し、得られたチャート画像の像の波形と、三角波及び矩形波との相関をとった。すると、１／２Ｎｙにおける周波数ＭＴＦと１／４Ｎｙにおける周波数ＭＴＦの比（１／２Ｎｙにおける周波数ＭＴＦ：１／４Ｎｙにおける周波数ＭＴＦ）が１：３よりも大きい場合、すなわち、１／４Ｎｙにおける周波数ＭＴＦが１／２Ｎｙにおける周波数ＭＴＦの３倍よりも大きい場合には、チャート画像の波形は矩形波よりも三角波との相関が高かった。一方、１／２Ｎｙにおける周波数ＭＴＦと１／４Ｎｙにおける周波数ＭＴＦの比が１：３以下の場合、すなわち、１／４Ｎｙにおける周波数ＭＴＦが１／２Ｎｙにおける周波数ＭＴＦの３倍以下の場合には、チャート画像の波形は三角波よりも矩形波との相関が高かった。こうしたことから、ＥＤｏＦ撮像システム１０に搭載される焦点拡張光学系１１は、１／２Ｎｙにおける周波数ＭＴＦと１／４Ｎｙにおける周波数ＭＴＦの比が１：３以下という条件をみたすように形成されている。

なお、ベストピント位置（デフォーカス±０．０ｍｍ）における、１／２Ｎｙ及び１／４Ｎｙの周波数ＭＴＦと像の波形の関係を説明したが、ＥＤｏＦ撮像システム１０は、ベストピント位置以外でボケた状態で撮像された像を画像処理によって復元することにより被写界深度を深化させる撮像システムである。このため、焦点拡張光学系１１は、少なくともベストピント位置において上述の条件を満たす必要があるが、ベストピント位置近傍の極狭いにおいてだけ上述の条件を満たしていても、ＯＣＲ等のソフトウェアで文字等の認識率が高い近景画像が得られ易いとは言えない。

したがって、デフォーカスに対してある程度の範囲で上述の条件をみたすことが好ましい。こうしたことから、焦点拡張光学系１１は、デフォーカスＭＴＦにおいて、ベストピント位置を含み、１／２Ｎｙにおける周波数ＭＴＦと１／４Ｎｙにおける周波数ＭＴＦの比が１：３以下となる、ツェルニケ多項式第４項Ｚ_４の係数Ｋ_４（後述）範囲が、０．６（通常光学レンズと同じ）以上であることが好ましく、０．７５（通常光学レンズの１．２５倍）以上であることがより好ましく、０．９（通常光学レンズの１．５倍）以上であることが特に好ましい。

以下、係数Ｋ_４に対するデフォーカスＭＴＦと、１／２Ｎｙと１／４ＮｙにおけるＭＴＦの比が３以下となる範囲について説明する。なお、ツェルニケ多項式Ｚは、光軸からの距離ρ（ρ＜１）と所定方向（例えばＳ方向）からの角度θ、整数ｍ，ｎ，ｓを用いて、下記数１で表され、焦点拡張光学系１１の波面ψは、係数Ｋ _ｊ を用いて、ψ＝ΣＫ _ｊ ・Ｚ _ｊ で表すことができる。第４項Ｚ_４（ｎ＝２，ｍ＝０）は波面のデフォーカスを表す項であり、その係数Ｋ_４は、デフォーカスの大きさを表す。また、係数Ｋ_４とデフォーカス量Δは、下記数２の関係にある。Ｄは口径（ｍｍ）、ｆは焦点距離（ｍｍ）、波長λ（ｎｍ）である。

図１０に示すように、通常光学レンズの係数Ｋ_４に対するデフォーカスＭＴＦは、ベストピント位置（Ｋ_４＝０．０）に対して対称な曲線形状であり、ベストピント位置における、１／２Ｎｙの高周波像のＭＴＦは０．６９、１／４Ｎｙの低周波像のＭＴＦは０．８５である。したがって、通常光学レンズの場合、ベストピント位置では、１／２Ｎｙの高周波像のＭＴＦに対する１／４Ｎｙの低周波像のＭＴＦの比は約１．２３である。

１／２Ｎｙの高周波像デフォーカスＭＴＦに対する１／４Ｎｙの低周波像デフォーカスＭＴＦの比が３以下となり、かつ、ベストピント位置（Ｋ_４＝０．０）を含む係数Ｋ_４の範囲が、文字等をソフトウェアによって正確に認識可能なままデフォーカス可能な範囲である。このため、以下、この範囲をデフォーカス範囲という。

図１１に示すように、通常光学レンズの場合、デフォーカス範囲ｄ（Ｎ）は、−０．３０≦Ｋ_４≦＋０．３０であり、その幅Ｗ（Ｎ）は０．６である。また、デフォーカス範囲ｄ（Ｎ）の、ベストピント位置（Ｋ_４＝０．０）から負側の範囲の大きさは０．３である。

ＥＤｏＦ撮像システム１０は、上述の通常光学レンズよりも被写界深度を拡張することを目的とした撮像システムであるため、焦点拡張光学系１１は少なくとも通常光学レンズ以上の大きさのデフォーカス範囲を有することが好ましい。特に、撮像素子１２をベストピント位置に配置し、近景画像を負側のデフォーカスＭＴＦの値に頼って復元する場合には、ベストピント位置から負側のデフォーカス範囲の大きさが、通常光学レンズよりも大きいことが望まれる。

すなわち、焦点拡張光学系１１は、デフォーカス範囲が０．６以上であることが好ましく、デフォーカス範囲の負側の範囲が０．３以上の大きさを有することが好ましい。

こうした要件を満たす焦点拡張光学系の例を、３例、焦点拡張光学系＃６〜＃８として、以下に示す。

図１２に示すように、焦点拡張光学系＃６は、ベストピント位置において、１／２Ｎｙの高周波像のＭＴＦが０．４３、１／４Ｎｙの低周波像のＭＴＦは０．６８である。したがって、焦点拡張光学系＃６の場合、ベストピント位置では、１／２Ｎｙの高周波像のＭＴＦに対する１／４Ｎｙの低周波像のＭＴＦの比は約１．５８である。

図１３に示すように、焦点拡張光学系＃６のデフォーカス範囲ｄ（＃６）は、−０．９０≦Ｋ_４≦＋０．２０であり、その幅Ｗ（＃６）は１．１である。したがって、幅Ｗ（＃６）は、通常光学レンズの場合の幅Ｗ（Ｎ）よりも大きい。また、デフォーカス範囲ｄ（＃６）の負側の範囲の大きさは０．９０であり、これも通常光学レンズの場合よりも大きい。

図１４に示すように、焦点拡張光学系＃７は、ベストピント位置において、１／２Ｎｙの高周波像のＭＴＦが０．２９、１／４Ｎｙの低周波像のＭＴＦは０．４９である。したがって、焦点拡張光学系＃７の場合、ベストピント位置では、１／２Ｎｙの高周波像のＭＴＦに対する１／４Ｎｙの低周波像のＭＴＦの比は約１．６９である。

図１５に示すように、焦点拡張光学系＃７のデフォーカス範囲ｄ（＃７）は、−０．９０≦Ｋ_４≦＋０．２０であり、その幅Ｗ（＃７）は１．１である。したがって、幅Ｗ（＃７）は、通常光学レンズの場合の幅Ｗ（Ｎ）よりも大きい。また、デフォーカス範囲ｄ（＃７）の負側の範囲の大きさは０．９０であり、これも通常光学レンズの場合よりも大きい。

図１６に示すように、焦点拡張光学系＃８は、ベストピント位置において、１／２Ｎｙの高周波像のＭＴＦが０．２３、１／４Ｎｙの低周波像のＭＴＦは０．３５である。したがって、焦点拡張光学系＃８の場合、ベストピント位置では、１／２Ｎｙの高周波像のＭＴＦに対する１／４Ｎｙの低周波像のＭＴＦの比は約１．５２である。

図１７に示すように、焦点拡張光学系＃８のデフォーカス範囲ｄ（＃８）は、−０．７５≦Ｋ_４≦＋０．３０であり、その幅Ｗ_＃７は１．０５である。したがって、幅Ｗ（＃８）は、通常光学レンズの場合の幅Ｗ（Ｎ）よりも大きい。また、デフォーカス範囲ｄ（＃８）の負側の範囲の大きさは０．７５であり、これも通常光学レンズの場合よりも大きい。

なお、デフォーカス範囲の負側の範囲の大きさは、通常光学レンズと等しい０．３以上であれば良く、通常光学レンズに対して２倍の０．６以上であれば好ましく、焦点拡張光学系＃６，＃７のように０．９以上であればより好ましい。

なお、図１８Ａは、図１０及び図１１で示した通常光学レンズによって得られる近景画像である。また図１８Ｂ，図１８Ｃ，図１８Ｄは、それぞれ、図１２〜図１７で示した焦点拡張光学系＃６〜＃８によって得られる近景画像である。図１０〜図１７のグラフと、図１８の各画像を比較すれば分かるように、１／４ＮｙにおけるＭＴＦが低下するほど、「ｆｉｌｍ」の文字のコントラストは下がるが、これらの近景画像は、１／２ＮｙにおけるＭＴＦに対する１／４ＮｙにおけるＭＴＦが３倍以下という条件を満たしている範囲内で得られる画像であるため、いずれもソフトウェアによって正確に「ｆｉｌｍ」の文字を認識可能である。しかし、人の目とソフトウェアによって認識可能であるだけで、図１８Ｄに示す焦点拡張光学系＃８で得られる画像のように、明らかに色づきが見られ、不自然な画像となってしまうことは好ましくない。

こうした色づきは、１／４ＮｙにおけるＭＴＦ等の低下によって光学レンズフレア等の影響が増大することによるものである。この色づきは、近景画像だけでなく、遠景画像にも同様にあらわれる。したがって、焦点拡張光学系１１は、１／２Ｎｙと１／４ＮｙのＭＴＦの比やデフォーカス範囲が上述の条件を満たしつつ、さらに、少なくともベストピント位置における１／４ＮｙのＭＴＦがある程度の大きさとなっていることが好ましい。

具体的には、少なくともベストピント位置における１／４ＮｙのＭＴＦが、０．４以上であることが好ましく０．５以上であることがより好ましい。少なくともベストピント位置における１／４ＮｙのＭＴＦが０．４以上であるとする条件は、概ね図１８Ｂ及び図１８Ｃを許容し、図１８Ｄを除外する条件である。

なお、上述の実施形態では、画像処理部１３で復元処理を施すことにより、被写界深度が拡張された画像１５を得る構成である。ところで、焦点拡張光学系１１のＭＴＦ性能によっては、焦点拡張光学系１１だけで被写界深度が拡張することができる。こうした場合には、必ずしも復元処理を施す必要はない。また、焦点拡張光学系１１のＭＴＦ性能によっては、復元処理を行わず、代わりにエッジ強調処理やコントラスト強調処理を施すことによって、簡易的に被写界深度を深化した条件で撮影された画像を得ることもできる。これらの場合には、復元処理を行わない分、高速に得られるので、動画を撮像する場合に有効である。もちろん、復元処理機能を有するＥＤｏＦ撮像システム１０においても、動画撮像時には復元処理を行わないようにしても良い。

なお、撮像素子１２は、ＣＣＤ型撮像素子でも、ＣＭＯＳ型撮像素子でも良い。また、その他の構造の撮像素子であっても良い。

なお、上述の実施形態では、焦点拡張光学系１１が光軸を含む中心近傍の光束を手前（被写体１４）側に収束させ、外側を通る光束を奥（撮像素子１２）側に収束させているが、光軸を含む中心近傍の光束を奥（撮像素子１２）側に、外側を通る光束を手前（被写体１４）側に収束させるようにしても良い。

なお、焦点拡張光学系１１に２個の光学レンズ１１ａ，１１ｂを備えているが、焦点拡張素子１６以外の光学レンズは１枚でも良く、３枚以上でも良い。また、光学レンズ１１ａ，１１ｂの面形状は任意であり、球面を含んでいても良いが、焦点拡張光学系１１には少なくとも１枚の非球面が含まれる。また、焦点拡張素子１６は複数枚の光学レンズから構成しても良い。

また、焦点拡張光学系１１は、光学レンズ１１ａ，１１ｂと焦点拡張素子１６の実質的に３個の光学レンズからなる例を説明したが、さらに、実質的にパワーを有さない光学レンズ、絞りやカバーガラス等の光学レンズ以外の光学要素、光学レンズフランジ、光学レンズバレル、手ブレ補正機構等の機構部分、等を含んでも良い。

１０ ＥＤｏＦ撮像システム
１１ 焦点拡張光学系
１２ 撮像素子
１３ 画像処理部
１４ 被写体
１５，３１，３２ 画像
１１ａ，１１ｂ 光学レンズ
１６ 焦点拡張素子
２１ ＲＡＷデータ
２２ 画像データ
４１，４２，４３ チャート画像

Claims (10)

1. 被写体からの光を撮像素子に結像させる少なくとも１個の光学レンズと、
   前記光学レンズによる結像位置を、光軸からの距離に応じて変化させるように波面を調節し、焦点範囲を拡張させる焦点拡張素子とを備え、
   前記撮像素子のナイキスト周波数の１／２の空間周波数におけるＭＴＦを第１ＭＴＦと、１／４の空間周波数におけるＭＴＦを第２ＭＴＦとするときに、前記第２ＭＴＦが前記第１ＭＴＦに対して３倍以下の値であるという条件を満たすこと、
   を特徴とする焦点拡張光学系。
2. 透過波面ψをツェルニケ多項式Ｚｊ（ｎ，ｍ）及び係数Ｋｊを用いてψ＝ΣＫｊ・Ｚｊで表し、デフォーカスを示す第４項Ｚ_４（ｎ＝２，ｍ＝０）の係数Ｋ_４とするときに、前記第２ＭＴＦが前記第１ＭＴＦに対して３倍以下である前記係数Ｋ_４の範囲が０を含み、０．６以上の大きさであることを特徴とする請求の範囲第１項記載の焦点拡張光学系。
3. 前記第２ＭＴＦが前記第１ＭＴＦに対して３倍以下である前記係数Ｋ_４の範囲が０を含み、０．９以上の大きさであることを特徴とする請求の範囲第２項記載の焦点拡張光学系。
4. 前記第２ＭＴＦが前記第１ＭＴＦに対して３倍以下である前記係数Ｋ_４の範囲が０を含み、負側の範囲の大きさが０．３以上の大きさであることを特徴とする請求の範囲第２項または第３項記載の焦点拡張光学系。
5. 前記第２ＭＴＦが前記第１ＭＴＦに対して３倍以下である前記係数Ｋ_４の範囲が０を含み、負側の範囲の大きさが０．６以上の大きさであることを特徴とする請求の範囲第２項〜第４項のいずれか１項に記載の焦点拡張光学系。
6. 前記第２ＭＴＦが、０．４以上であることを特徴とする請求の範囲第１項〜第５項のいずれか１項に記載の焦点拡張光学系。
7. 前記第２ＭＴＦが、０．５以上であることを特徴とする請求の範囲第１項〜第６項のいずれか１項に記載の焦点拡張光学系。
8. 前記光学レンズ及び前記焦点拡張素子は光軸方向に動かないように固定されていることを特徴とする請求の範囲第１項〜第７項のいずれか１項に記載の焦点拡張光学系。
9. 被写体の像を撮像する撮像素子と、
   被写体からの光を前記撮像素子に結像させる少なくとも１個の光学レンズと、前記光学レンズによる結像位置を、光軸からの距離に応じて変化させるように波面を調節し、焦点範囲を拡張させる焦点拡張素子とを有する焦点拡張光学系とを備え、
   前記撮像素子のナイキスト周波数の１／２の空間周波数におけるＭＴＦを第１ＭＴＦと、１／４の空間周波数におけるＭＴＦを第２ＭＴＦとするときに、前記第２ＭＴＦが前記第１ＭＴＦに対して３倍以下の値であるという条件を満たすこと、
   を特徴とするＥＤｏＦ撮像システム。
10. 前記撮像素子が出力するデータに復元処理を施すことにより、被写界深度が拡張された画像を生成する画像処理部を備えることを特徴とする請求の範囲第９項記載のＥＤｏＦ撮像システム。