JP2006311473A - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP2006311473A
JP2006311473A JP2005217804A JP2005217804A JP2006311473A JP 2006311473 A JP2006311473 A JP 2006311473A JP 2005217804 A JP2005217804 A JP 2005217804A JP 2005217804 A JP2005217804 A JP 2005217804A JP 2006311473 A JP2006311473 A JP 2006311473A
Authority
JP
Japan
Prior art keywords
image
imaging
conversion coefficient
optical
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005217804A
Other languages
English (en)
Inventor
Yusuke Hayashi
佑介 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2005217804A priority Critical patent/JP2006311473A/ja
Priority to PCT/JP2006/306478 priority patent/WO2006106737A1/ja
Priority to US11/910,225 priority patent/US7812296B2/en
Publication of JP2006311473A publication Critical patent/JP2006311473A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/009—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras having zoom function
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G02B13/002—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface
    • G02B13/0045—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface having five or more lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/006—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element at least one element being a compound optical element, e.g. cemented elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/125—Wavefront coding

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)

Abstract

【課題】ズーム位置またはズーム量を気にすることなく、レンズ設計を行うことができ、かつ精度の高い演算による画像復元が可能な撮像装置およびその方法を提供する。
【解決手段】１次画像を形成する倍率の異なる複数の光学系１１０−１，２を含む光学ユニット１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１５０とを含み、画像処理装置１５０において、光学系の倍率に応じて、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１９０等の入力により知り、その光学系の倍率に応じた適性となるカーネルサイズや上述した係数を対応させる。
【選択図】図１

Description

本発明は、撮像素子を用い、ズーム光学系を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等の撮像装置および撮像方法に関するものである。
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。
このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。
図１３は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。
撮像レンズ装置１においては、図１３に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図１４（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。
また、位相板（Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ ｏｐｔｉｃａｌ ｅｌｅｍｅｎｔ）により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama. "Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson. ＵＳＰ６，０２１，００５ ＵＳＰ６，６４２，５０４ ＵＳＰ６，５２５，３０２ ＵＳＰ６，０６９，７３８ 特開２００３−２３５７９４号公報
上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のＰＳＦ（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）が一定になっていることが前提であり、ＰＳＦが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズではともかく、ズーム系やＡＦ系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド（Ｗｉｄｅ）時やテレ（Ｔｅｌｅ）時のスポット（ＳＰＯＴ）像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
また、たとえば画像検査装置や自動制御装置等のような光学系システムにおいては、検査、制御するため、光学系を切替えた時にフォーカス合わせをすることが必要になるが、測定物自体の高さのバラツキ、測定物の置き方のバラツキ、測定物を運ぶ運送部のバラツキ、温度によるバラツキなどの影響により、常に合焦しているようにすることは困難である。
したがって、複数の光学系を備えた光学系システムにおいて、上述した位相板とその後の信号処理によって被写界深度を拡大する等の技術を適用する場合、その光学設計においてＰＳＦがそれぞれの光学系で同じ大きさ、形状になるように設計しなければならないが、そのためには設計の難度が増し、またレンズの精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
本発明の目的は、複数の光学系を交換可能な撮像装置において、いずれの光学系を用いた場合であっても、適切な画像復元が可能な撮像装置やその撮像方法を提供することにある。
本発明の第１の観点の撮像装置は、複数のレンズを交換可能である撮像装置であって、前記複数のレンズの内少なくともーのレンズおよび光波面変調素子を通過した被写体収差像を撮像可能な撮像素子と、前記撮像素子からの収差画像信号より収差のない画像信号を生成する変換手段と、前記一のレンズに応じた変換係数を取得する変換係数取得手段と、を備え、前記変換手段は、前記変換係数取得手段から得られた変換係数によって、画像信号の変換を行う。
好適には、前記複数のレンズに応じた変換係数をそれぞれ記憶する変換係数記憶手段を更に備え、前記変換係数取得手段は、前記変換係数記憶手段より前記一のレンズに応じた変換係数を取得する。
好適には、前記変換係数取得手段は、撮像装置に装着された前記一のレンズより変換係数を取得する。
好適には、被写体までの距離に相当する情報を生成する被写体距離情報生成手段をさらに備え、前記変換係数は、被写体までの距離の応じた複数の係数を有すると共に、前記変換係数取得手段は、前記被写体距離情報生成手段から得られた被写体までの距離に相当する情報より当該複数の係数より一の係数を選択し、前記変換手段は、該変換係数取得手段により選択されたーの係数によって、画像信号の変換を行う。
好適には、前記変換係数は前記被写体収差像のカーネルイズを変数として含む。
本発明の第２の観点の撮像方法は、前記複数のレンズの内少なくともーのレンズおよび光波面変調素子を通過した被写体収差像を撮像素子により撮像するステップと、前記一のレンズに応じた変換係数を取得するステップと、前記取得した変換係数によって、前記撮像素子からの収差画像信号より収差のない画像信号を生成するステップと、を含む。
本発明によれば、光学系を交換しても適切な画像復元が可能な利点がある。
以下、本発明の実施形態を添付図面に関連付けて説明する。
図１は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。
本実施形態に係る撮像装置１００は、光学ユニット１１０、撮像素子１２０、アナログフロントエンド部（ＡＦＥ）１３０、光学系切替制御部１４０、画像処理装置１５０、カメラ信号処理部１６０、画像表示メモリ１７０、画像モニタリング装置１８０、操作部１９０、およびシステム制御装置２００を有している。
光学ユニット１１０は、複数（本実施形態では２）の光学系１１０−１，１１０−２を有し、光学系切替制御部１４０の切り替え処理に応じて被写体物体ＯＢＪを撮影した像を順番に撮像素子１２０に供給する。
各光学系１１０−１，１１０−２は、光学倍率が異なり、撮像対象物体（被写体）ＯＢＪの映像を光学的に取り込む。
撮像装置１２０は、光学系１１０−１，１１０−２で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、アナログフロントエンド部１３０を介して画像処理装置１５０に出力するＣＣＤやＣＭＯＳセンサからなる。
図１においては、撮像素子１２０を一例としてＣＣＤとして記載している。
アナログフロントエンド部１３０は、タイミングジェネレータ１３１、アナログ／ディジタル（Ａ／Ｄ）コンバータ１３２とを有する。
タイミングジェネレータ１３１では、撮像素子１２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ１３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置１５０に出力する。
画像処理装置（二次元コンボリューション手段）は、前段のＡＦＥ１３０からくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段のカメラ信号処理部（ＤＳＰ）１６０に渡す。
カメラ信号処理部（ＤＳＰ）１６０は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行い、メモリ１７０への格納や画像モニタリング装置１８０への画像表示等を行う。
システム制御装置２００は、操作部１９０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、光学系切替制御部１４０、ＡＦＥ１３０、画像処理装置１５０、ＤＳＰ１６０等を制御し、システム全体の調停制御を司るものである。
以下、本実施形態の光学系、画像処理装置の構成および機能について具体的には説明する。
図２は、本実施形態に係るズーム光学系１１０−１，１１０−２の構成例を模式的に示す図である。この図は広角側を示している。
図２のズーム光学系１１０は、物体側ＯＢＪＳに配置された物体側レンズ１１１と、撮像素子１２０に結像させるための結像レンズ１１２と、物体側レンズ１１１と結像レンズ１１２間に配置され、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる、たとえば３次元的曲面を有する位相板（Ｃｕｂｉｃ Ｐｈａｓｅ Ｐｌａｔｅ）からなる光波面変調素子（波面形成用光学素子：Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）群１１３を有する。また、物体側レンズ１１１と結像レンズ１１２間には図示しない絞りが配置される。
なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等の光波面変調素子であればよい。
図２のズーム光学系１１０は、デジタルカメラに用いられる３倍ズームに光学位相板１１３ａを挿入した例である。
図で示された位相板１１３ａは、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
この規則的に分光した画像をデジタル処理により、ピントの合った画像に復元する手段を波面収差制御光学系システム（ＷＦＣＯ：Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ Ｏｐｔｉｃａｌ ｓｙｓｔｅｍ）といい、この処理を画像処理装置１５０において行う。
ここで、ＷＦＣＯの基本原理について説明する。
図３に示すように、被写体の画像ｆがＷＦＣＯ光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表される。
（数１）
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。
生成された画像から被写体を求めるためには、次の処理を要する。
（数２）
ｆ＝Ｈ-−１＊ｇ
ここで、Ｈに関するカーネルサイズと演算係数について説明する。
ズームポジションをＺＰｎ，ＺＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。
Figure 2006311473
この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。
ところが、図４に示すような画角２０度程度の望遠レンズに位相板を挿入した光学系を通った光のスポット形状は図５および図６に示されるように、その広角側と望遠側では、異なったスポット形状を示す。ここで、ＳＰＯＴ形状はＰＳＦの簡易的な表示方法であり、ＳＰＯＴ形状が異なることは、ＰＳＦが異なることを表す。このような、光学系の光学倍率切替えによって異なるスポット像を持つ光学系においては（図３のＨが異なる）。
従来の撮像装置では適正なコンポルーション演算を行う事ができず、このスポット形状のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求された。しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し，設計工数の増大、コストアップ、レンズの大型化の問題を引き起こしていた。
そこで、本実施形態においては、図１に示すように、倍率の異なる光学系１１０−１，１１０−２からの像を撮像素子１２０で受像して、画像処理装置１５０に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子１２０からの分散画像信号より分散のない画像信号を生成するように構成している。
この図1に示す光学系システムは、主に画像検査装置や自動制御用産業カメラ等で有用であり、例えば様々な寸法の物体を検査できるようにズームレンズではなく、光学系自体を切換えることで光学倍率を切換できるシステムになっている。
なお、本実施形態において、分散とは、上述したように、位相板１１３ａを挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を形成し、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。
次に、画像処理装置１５０の構成および処理について説明する。
画像処理装置１５０は、図１に示すように、生（ＲＡＷ）バッファメモリ１５１、コンボリューション演算器１５２、記憶手段としてのカーネルデータ格納ＲＯＭ１５３、およびコンボリューション制御部１５４を有する。
コンボリューション制御部１５４は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、システム制御装置２００により制御される。
また、カーネルデータ格納ＲＯＭ１５３には、図７に示すように予め用意されたそれぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータが格納されており、システム制御装置２００によって光学系設定時に光学系切替制御部１４０から使用される光学系情報を取得し、コンボリューション制御部１５４を通じてカーネルデータを選択制御する。
図７の例では、カーネルデータＡは光学倍率（×１．５）、カーネルデータＢは光学倍率（×５）、カーネルデータＣは光学倍率（×１０）に対応したデータとなっている。
図８は、システム制御装置２００の光学系設定処理の概要を示すフローチャートである。
まず、光学系を確認し（ＳＴ１）、カーネルデータをセットする（ＳＴ２）。
そして、操作部１９０の操作により光学系の切り替え指示がなされると（ＳＴ３）、光学系切替制御部１４０により光学ユニット１１０の光学系の出力を切り替え、ステップＳＴ１の処理を行う（ＳＴ４）。
なお、図２や図４の光学系は一例であり、本発明は図２や図４の光学系に対して用いられるものとは限らない。また、スポット形状についても図５および図６は一例であり、本実施形態のスポット形状は、図５および図６に示すものとは限らない。
また、図７のカーネルデータ格納ＲＯＭに関しても、光学倍率やそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
なお、上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本実施形態においては、ＷＦＣＯを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。
図９（Ａ）〜（Ｃ）は、撮像素子１２０の受光面でのスポット像を示している。
図９（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図９（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、図９（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図９（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像装置１００においては、位相板１１３ａを含む波面形成用光学素子群１１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。
このように、本実施形態の撮像装置１００において形成された１次画像ＦＩＭは、深度が非常に深い光束条件にしている。
図１０（Ａ），（Ｂ）は、本実施形態に係る撮像レンズ装置により形成される１次画像の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）について説明するための図であって、図１０（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図１０（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）からなる画像処理装置１５０の補正処理に任せるため、図１０（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。
画像処理装置１５０は、上述したように、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。
画像処理装置１５０のＭＴＦ補正処理は、たとえば図１３の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図１１中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図１１中曲線Ｂで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
本実施形態においては、図１１に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、エッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図１１のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図１２に示すようになる。
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。
このように、実施形態に係る撮像装置１００は、基本的に、１次画像を形成する倍率の異なる複数の光学系１１０−１，２を含む光学ユニット１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１５０からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子１２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置１５０を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子１２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置１５０で行う。
ここで、本実施形態における撮像装置１００における結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系１１０−１，２を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。
したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図９（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置１５０でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。
以上説明したように、本実施形態によれば、１次画像を形成する倍率の異なる複数の光学系１１０−１，２を含む光学ユニット１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１５０とを含み、画像処理装置１５０において、光学系の倍率に応じて、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１９０等の入力により知り、その光学系の倍率に応じた適性となるカーネルサイズや上述した係数を対応させることにより、倍率やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズのＷＦＣＯに使用することが可能である。
また、本実施形態においては、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する画像処理装置１５０とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、光学系１１０−１，２の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
また、図１に示したような交換レンズ式の実施形態によれば、異なる光学系に切換した場合であっても適切なコンボリューション演算が行え、適切な画像復元を実現することができ、結果として、たとえば画像検査装置などに用いた場合、測定物自体の寸法のバラツキ、測定物の設置位置のバラツキ等があっても、より適切に合焦した画像を得ることができる。
なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても上記と同様の作用効果を得ることができる。
また、図２や図４の光学系は一例であり、本発明は図２や図４の光学系に対して用いられるものとは限らない。また、スポット形状についても図５および図６は一例であり、本実施形態のスポット形状は、図５および図６に示すものとは限らない。
また、図７のカーネルデータ格納ＲＯＭに関しても、光学倍率やそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
本発明に係る撮像装置の一実施形態を示すブロック構成図である。 本実施形態に係る撮像レンズ装置の広角側のズーム光学系の構成例を模式的に示す図である。 ＷＦＣＯの原理を説明するための図である。 本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例を模式的に示す図である。 広角側の像高中心のスポット形状を示す図である。 望遠側の像高中心のスポット形状を示す図である。 カーネルデータＲＯＭの格納データの一例を示す図である。 システム制御装置の光学系設定処理の概要を示すフローチャートである。 本実施形態に係る撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。 本実施形態に係る撮像素子により形成される１次画像のＭＴＦについて説明するための図であって、（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、（Ｂ）が空間周波数に対するＭＴＦ特性を示している。 本実施形態に係る画像処理装置におけるＭＴＦ補正処理を説明するための図である。 本実施形態に係る画像処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。 一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。 図１３の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。
符号の説明
１００…撮像装置、１１０…光学ユニット、１１０−１，１１０−２…光学系、１２０…撮像素子、１３０…アナログフロントエンド部（ＡＦＥ）、１４０…光学系切替制御部、１５０…画像処理装置、１６０…カメラ信号処理部、１９０…操作部、２００…システム制御装置、１１１…物体側レンズ、１１２…結像レンズ、１１３…波面形成用光学素子、１１３ａ…位相板（光波面変調素子）、１５２…コンボリューション演算器、１５３…カーネルデータＲＯＭ、１５４…コンボリューション制御部。

Claims (6)

  1. 複数のレンズを交換可能である撮像装置であって、
    前記複数のレンズの内少なくともーのレンズおよび光波面変調素子を通過した被写体収差像を撮像可能な撮像素子と、
    前記撮像素子からの収差画像信号より収差のない画像信号を生成する変換手段と、
    前記一のレンズに応じた変換係数を取得する変換係数取得手段と、を備え、
    前記変換手段は、前記変換係数取得手段から得られた変換係数によって、画像信号の変換を行う
    撮像装置。
  2. 前記複数のレンズに応じた変換係数をそれぞれ記憶する変換係数記憶手段を更に備え、
    前記変換係数取得手段は、前記変換係数記憶手段より前記一のレンズに応じた変換係数を取得する
    請求項１に記載の撮像装置。
  3. 前記変換係数取得手段は、撮像装置に装着された前記一のレンズより変換係数を取得する
    請求項１に記載の撮像装置。
  4. 被写体までの距離に相当する情報を生成する被写体距離情報生成手段をさらに備え、
    前記変換係数は、被写体までの距離の応じた複数の係数を有すると共に、
    前記変換係数取得手段は、前記被写体距離情報生成手段から得られた被写体までの距離に相当する情報より当該複数の係数より一の係数を選択し、
    前記変換手段は、該変換係数取得手段により選択されたーの係数によって、画像信号の変換を行う
    請求項１から３のいずれか一に記載の撮像装置。
  5. 前記変換係数は前記被写体収差像のカーネルサイズを変数として含む
    請求項１から４のいずれか一に記載の撮像装置。
  6. 前記複数のレンズの内少なくともーのレンズおよび光波面変調素子を通過した被写体収差像を撮像素子により撮像するステップと、
    前記一のレンズに応じた変換係数を取得するステップと、
    前記取得した変換係数によって、前記撮像素子からの収差画像信号より収差のない画像信号を生成するステップと、
    を含む撮像方法。
JP2005217804A 2005-03-30 2005-07-27 撮像装置および撮像方法 Pending JP2006311473A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005217804A JP2006311473A (ja) 2005-03-30 2005-07-27 撮像装置および撮像方法
PCT/JP2006/306478 WO2006106737A1 (ja) 2005-03-30 2006-03-29 撮像装置および撮像方法
US11/910,225 US7812296B2 (en) 2005-03-30 2006-03-29 Imaging apparatus and method for generating an aberration free image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005100128 2005-03-30
JP2005217804A JP2006311473A (ja) 2005-03-30 2005-07-27 撮像装置および撮像方法

Publications (1)

Publication Number Publication Date
JP2006311473A true JP2006311473A (ja) 2006-11-09

Family

ID=37073300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005217804A Pending JP2006311473A (ja) 2005-03-30 2005-07-27 撮像装置および撮像方法

Country Status (3)

Country Link
US (1) US7812296B2 (ja)
JP (1) JP2006311473A (ja)
WO (1) WO2006106737A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016010096A1 (ja) * 2014-07-16 2016-01-21 オリンパス株式会社 位相変調素子調整システムおよび位相変調素子調整方法
WO2016056148A1 (ja) * 2014-10-08 2016-04-14 オリンパス株式会社 結像光学系、照明装置および観察装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009188894A (ja) * 2008-02-08 2009-08-20 Mitsubishi Electric Corp 撮像装置
JP5103637B2 (ja) * 2008-09-30 2012-12-19 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
US9124797B2 (en) * 2011-06-28 2015-09-01 Microsoft Technology Licensing, Llc Image enhancement via lens simulation
US9137526B2 (en) 2012-05-07 2015-09-15 Microsoft Technology Licensing, Llc Image enhancement via calibrated lens simulation
US10007098B2 (en) 2013-10-09 2018-06-26 Northrop Grumman Systems Corporation Optical systems and methods

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000005127A (ja) * 1998-01-23 2000-01-11 Olympus Optical Co Ltd 内視鏡システム
JP2000101845A (ja) * 1998-09-23 2000-04-07 Seiko Epson Corp 階層的エッジ検出及び適応的長さの平均化フィルタを用いたスクリ―ンされた画像におけるモアレの改善された低減
JP2000098301A (ja) * 1998-09-21 2000-04-07 Olympus Optical Co Ltd 拡大被写界深度光学系
JP2001281554A (ja) * 2000-03-29 2001-10-10 Nikon Corp 顕微鏡用デジタルカメラ及び該カメラを備える顕微鏡システム
JP2003235794A (ja) * 2002-02-21 2003-08-26 Olympus Optical Co Ltd 電子内視鏡システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6911638B2 (en) * 1995-02-03 2005-06-28 The Regents Of The University Of Colorado, A Body Corporate Wavefront coding zoom lens imaging systems
US6021005A (en) 1998-01-09 2000-02-01 University Technology Corporation Anti-aliasing apparatus and methods for optical imaging
US6069738A (en) 1998-05-27 2000-05-30 University Technology Corporation Apparatus and methods for extending depth of field in image projection systems
US6421656B1 (en) * 1998-10-08 2002-07-16 International Business Machines Corporation Method and apparatus for creating structure indexes for a data base extender
JP2000275582A (ja) 1999-03-24 2000-10-06 Olympus Optical Co Ltd 被写界深度拡大システム
US6642504B2 (en) 2001-03-21 2003-11-04 The Regents Of The University Of Colorado High speed confocal microscope
US6525302B2 (en) 2001-06-06 2003-02-25 The Regents Of The University Of Colorado Wavefront coding phase contrast imaging systems
JP3950707B2 (ja) * 2002-02-22 2007-08-01 キヤノン株式会社 光学機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000005127A (ja) * 1998-01-23 2000-01-11 Olympus Optical Co Ltd 内視鏡システム
JP2000098301A (ja) * 1998-09-21 2000-04-07 Olympus Optical Co Ltd 拡大被写界深度光学系
JP2000101845A (ja) * 1998-09-23 2000-04-07 Seiko Epson Corp 階層的エッジ検出及び適応的長さの平均化フィルタを用いたスクリ―ンされた画像におけるモアレの改善された低減
JP2001281554A (ja) * 2000-03-29 2001-10-10 Nikon Corp 顕微鏡用デジタルカメラ及び該カメラを備える顕微鏡システム
JP2003235794A (ja) * 2002-02-21 2003-08-26 Olympus Optical Co Ltd 電子内視鏡システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016010096A1 (ja) * 2014-07-16 2016-01-21 オリンパス株式会社 位相変調素子調整システムおよび位相変調素子調整方法
JP2016024210A (ja) * 2014-07-16 2016-02-08 オリンパス株式会社 位相変調素子調整システムおよび位相変調素子調整方法
US10437050B2 (en) 2014-07-16 2019-10-08 Olympus Corporation Phase-modulation-element adjustment system and method for decreasing wavefront aberration
WO2016056148A1 (ja) * 2014-10-08 2016-04-14 オリンパス株式会社 結像光学系、照明装置および観察装置

Also Published As

Publication number Publication date
US20090251588A1 (en) 2009-10-08
WO2006106737A1 (ja) 2006-10-12
US7812296B2 (en) 2010-10-12

Similar Documents

Publication Publication Date Title
JP4712631B2 (ja) 撮像装置
JP4663737B2 (ja) 撮像装置およびその画像処理方法
JP4749959B2 (ja) 撮像装置、並びにその製造装置および製造方法
JP4749984B2 (ja) 撮像装置、並びにその製造装置および製造方法
JP4818957B2 (ja) 撮像装置およびその方法
JP2008268937A (ja) 撮像装置および撮像方法
US8462213B2 (en) Optical system, image pickup apparatus and information code reading device
JP2007322560A (ja) 撮像装置、並びにその製造装置および製造方法
JP2008048293A (ja) 撮像装置、およびその製造方法
JP2007300208A (ja) 撮像装置
JP2008085697A (ja) 撮像装置、並びにその製造装置および製造方法
JP2007206738A (ja) 撮像装置およびその方法
JP2006311473A (ja) 撮像装置および撮像方法
JP4364847B2 (ja) 撮像装置および画像変換方法
JP2008245266A (ja) 撮像装置および撮像方法
JP2009086017A (ja) 撮像装置および撮像方法
JP2006094468A (ja) 撮像装置および撮像方法
JP4818956B2 (ja) 撮像装置およびその方法
JP2006094469A (ja) 撮像装置および撮像方法
JP2008245265A (ja) 撮像装置、並びにその製造装置および製造方法
JP2009033607A (ja) 撮像装置および画像処理方法
JP4722748B2 (ja) 撮像装置およびその画像生成方法
JP2009134023A (ja) 撮像装置および情報コード読取装置
JP2008167040A (ja) 撮像装置、その製造装置および製造方法、並びに情報コード読取装置
JP2011120309A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100112

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100511