JP7097787B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、撮像装置および撮像方法に関する。

本技術分野の背景技術として、特開２０１８－６１１０９号公報(特許文献1)がある。この公報には、「第１のパターンを有し、光の強度を変調する変調器と、前記変調器を透過した光を画像データに変換して出力する画像センサと、前記画像データと、第２のパターンを示すパターンデータとの相互相関演算に基づいて像を復元する画像処理部と、を有することを特徴とする」撮像装置についての記載があり、さらに「変調器の初期位相が異なるパターンを空間分割」し、「画像センサから出力される画像データを、変調器のパターン配置に応じた領域に分割」した画像からノイズキャンセルする技術についての記載がある。

特開２０１８－６１１０９号公報

上記特許文献１に記載された技術では、初期位相が異なるパターンがずれて配置される（例えば、パターンＡ、Ｂ，Ｃ，Ｄのうち、パターンＢの中心位置がずれる、パターンＣが回転している等）、あるいは前記基板上面がセンサ面と平行ではない（例えば、傾いている等）場合、その画像センサにて受光される射影パターンに位置ずれやゆがみが発生し、像を現像しても正しい現像画像が得られないという問題がある。

本発明の課題は、撮像装置の組立誤差、撮影用パターンの製造誤差、フォーカス調整の歪みを補正することで正しい現像画像を得る技術を提供することである。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明の一態様に係る撮像装置は、光を電気信号に変換し、センサ画像を生成する画像センサと、撮影用パターンに基づいて上記画像センサで検出される光の強度を変調する変調器と、上記センサ画像のうち異なる上記撮影用パターンによって撮影された複数の上記センサ画像に対する所定の補正処理の実行に用いるパラメータを記憶するパラメータ記憶部と、を有する。

本発明によれば、撮像装置の組立誤差、撮影用パターンの製造誤差、フォーカス調整の歪みを補正することで正しい現像画像を得る技術を提供できる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第一の実施例に係る撮像装置の構成例を示す図である。 第一の実施例に係る撮像モジュールの構成例を示す図である。 第一の実施例に係る別の撮像モジュールの構成例を示す図である。 第一の実施例に係る撮影用パターンおよび現像用パターンの例を示す図である。 第一の実施例に係る撮影用パターンおよび現像用パターンの別の例を示す図である。 斜め入射平行光によるパターン基板表面から画像センサへの射影像に面内ずれが生じる例を示す図である。 撮影用パターンの投影像の例を示す図である。 現像用パターンの例を示す図である。 相関現像方式による現像画像の例を示す図である。 モアレ現像方式によるモアレ縞の例を示す図である。 モアレ現像方式による現像画像の例を示す図である。 フリンジスキャンにおける初期位相の撮影用パターンの組み合わせの例を示す図である。 空間分割フリンジスキャンの撮影用パターンの例を示す図である。 フリンジスキャンの処理フローの例を示す図である。 相関現像方式による現像処理の処理フローの例を示す図である。 モアレ現像方式による現像処理の処理フローの例を示す図である。 物体が無限距離にある場合の撮影用パターンの投影例を示す図である。 物体が有限距離にある場合の撮影用パターンの拡大投影例を示す図である。 本発明の第二の実施例に係る撮像装置の構成例を示す図である。 点光源と撮像装置の位置関係の例を示す図である。 点光源の距離別のセンサ画像の例を示す図である。 点光源が無限遠にある場合のパターン中心座標の例を示す図である。 点光源が有限距離にある場合のパターン中心座標の例を示す図である。 点光源が有限距離にある場合のセンサ画像の補正例を示す図である。 撮影用パターンが回転している場合のセンサ画像の例を示す図である。 撮影用パターンが回転している場合のパターン中心座標の例を示す図である。 撮影用パターンが厚み方向に傾いている状態の例を示す図である。 撮影用パターンが厚み方向に傾いている状態のセンサ画像の例を示す図である。 撮影用パターンが厚み方向に傾いている状態のパターン中心座標の例を示す図である。 本発明の第三の実施例に係る撮像装置の構成例を示す図である。 本発明の第三の実施例の変形例に係る撮像装置の構成例を示す図である。 キャリブレーションの処理フローの例を示す図である。 センサ画像の歪み補正処理フローの例を示す図である。 本発明の第四の実施例に係る撮像装置の構成例を示す図である。 現像用パターンの歪み補正処理フローの例を示す図である。 本発明の第五の実施例に係る撮像装置の構成例を示す図である。 撮影用パターンに汚れ等が付着している場合の画像の例を示す図である。 理想的なセンサ画像の輝度分布例を示す図である。 欠陥のあるセンサ画像の輝度分布例を示す図である。 反転パターン合成による欠陥検出の例を示す図である。

以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の実施例について図面を用いて説明する。

一般に、車載カメラ、ウェアラブルデバイス、スマートフォンなどの情報機器に搭載するデジタルカメラには薄型化と低コスト化が求められることが多い。例えば、レンズを用いることなく物体像を得ることで薄型化と低コスト化を実現する撮像方式が提案されている。そのような技術では、画像センサの前に特殊な格子パターンを貼り付け、その画像センサにて受光される射影パターンから像を現像するための逆問題を解くことにより、物体の像を得る撮像方式がある。この方式では、信号処理により逆問題を解く際の演算が複雑になり、処理負荷が高いために、情報機器のハードウェア要求仕様が高くなってしまう。

〈無限遠物体の撮影原理〉図１は、本発明の第一の実施例に係る撮像装置の構成例を示す図である。撮像装置１０１は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図１に示すように、撮像モジュール１０２、フリンジスキャン処理部１０６、画像処理部１０７およびコントローラ１０８から構成されている。図２に撮像モジュール１０２の一例を示す。

図２は、第一の実施例に係る撮像モジュールの構成を示す図である。撮像モジュール１０２は、画像センサ１０３、パターン基板１０４、撮影用パターン１０５から構成されている。パターン基板１０４は、画像センサ１０３の受光面に密着して固定されており、パターン基板１０４に撮影用パターン１０５が形成される。パターン基板１０４は、例えばガラスやプラスティックなどの可視光に対して透明な材料からなる。

撮影用パターン１０５は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。撮影用パターン１０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。金属が蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。なお、撮影用パターン１０５の形成は、これに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけて形成してもよい。さらに、ここでは可視光を例に説明したが、例えば遠赤外線の撮影を行う際には、パターン基板１０４は例えばゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料とするなど、撮影対象となる波長に対して透明な材料を用い、撮影用パターン１０５は金属等の遮断する材料を用いればよい。

また、パターン基板１０４と撮影用パターン１０５とは、画像センサ１０３に入射する光の強度を変調する変調器であるともいえる。なお、ここでは撮像モジュール１０２を実現するために、撮影用パターン１０５をパターン基板１０４に形成する方法について述べたが、図３に示すような構成によっても実現できる。

図３は、第一の実施例に係る別の撮像モジュールの構成例を示す図である。図３に示す構成例では、撮影用パターン１０５を薄膜に形成し、支持部材３０１により保持するようにしている。

なお、この装置において、撮影画角はパターン基板１０４の厚さによって変更可能である。よって、例えばパターン基板１０４が図３の構成であり支持部材３０１の長さを変更可能な機能を有していれば、撮影時に画角を変更して撮影することも可能となる。

画像センサ１０３の表面には、受光素子である画素１０３ａが格子状に規則的に配置されている。この画像センサ１０３は、画素１０３ａが受光した光画像を電気信号である画像信号に変換する。

撮影用パターン１０５を透過する光は、そのパターンによって光の強度が変調され、透過した光は画像センサ１０３にて受光される。画像センサ１０３は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどからなる。

画像センサ１０３から出力された画像信号は、フリンジスキャン処理部１０６によってノイズ除去等の処理がなされ、画像処理部１０７によって画像処理されたデータがコントローラ１０８に出力される。コントローラ１０８は、出力をホストコンピュータや外部記録媒体に出力する場合には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインターフェイスに適合するようデータ形式を変換し出力する。

続いて、撮像装置１０１における撮影原理について説明する。まず、撮影用パターン１０５は、中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンであり、同心円の中心である基準座標からの半径ｒ、係数βを用いて、

と定義することができる。撮影用パターン１０５は、この式に比例して透過率変調されているものとする。なお、以降、簡単化のためにｘ軸方向についてのみ数式で説明するが、同様にｙ軸方向について考慮することで２次元に展開して考えることが可能である。

このような縞を持つプレートは、ガボールゾーンプレート（ＧＺＰ：Ｇａｂｏｒ Ｚｏｎｅ Ｐｌａｔｅ）やフレネルゾーンプレート（ＦＺＰ：Ｆｒｅｓｎｅｌ Ｚｏｎｅ Ｐｌａｔｅ）と呼ばれる。

図４は、第一の実施例に係る撮影用パターンおよび現像用パターンの例を示す図である。具体的には、図４は、上式（１）で表されるガボールゾーンプレートの例である。

図５は、第一の実施例に係る撮影用パターンおよび現像用パターンの別の例を示す図である。具体的には、上式（１）を閾値１で２値化した結果得られるパターンを用いたフレネルゾーンプレートの例である。

撮影用パターン１０５が形成された厚さｄのパターン基板１０４に、図６に示すようにｘ軸方向に角度θ_０で平行光が入射したとする。パターン基板１０４中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、ｋ＝ｄ・ｔａｎθだけずれて画像センサ１０３に入射する。このとき、

のような強度分布を持つ投影像が画像センサ１０３上で検出される。なお、Φは上式（１）の透過率分布の初期位相を示す。この撮影用パターン１０５の投影像の例を図７に示す。

図７は、撮影用パターンの投影像の例を示す図である。図７に示すように、撮影用パターン１０５を用いて図６のような平行光の入射があった場合に、画像センサ１０３上には、上式（２）のようにｋだけシフトして投影される。これが撮像モジュール１０２からの出力となる。

次に、画像処理部１０７においては、現像処理が行われるが、そのうち相関現像方式とモアレ現像方式による現像処理について説明する。

相関現像方式では、画像処理部１０７が、図７に示した撮影用パターン１０５の投影像と、図８に示された現像用パターン８０１との相互相関関数を演算することにより、図９に示すシフト量ｋの輝点を得ることができる。なお、一般的に、相互相関演算を２次元畳込み演算で行うと演算量が大きくなる。

図８は、現像用パターンの例を示す図である。具体的には、現像用パターン８０１は、図４に示したガボールゾーンプレートや図５に示したＦＺＰ（フレネルゾーンプレート）と同様のパターンを有する。すなわち、本実施形態では、現像用パターン８０１は、物理的に実体を有する必要はなく、画像処理において用いる情報として存在すればよい。

図９は、相関現像方式による現像画像の例を示す図である。相関現像方式により現像すると、上述のとおり、ある輝点がｋだけシフトした現像画像を得ることができる。

ここで、相互相関演算を２次元畳込み演算で行わず、フーリエ変換を用いて演算する例について、数式を用いて原理を説明する。まず、現像用パターン８０１は、撮影用パターン１０５と同様にガボールゾーンプレートやフレネルゾーンプレートを用いるため、現像用パターン８０１は初期位相Φを用いて、

と表せる。なお、現像用パターン８０１は画像処理内で使用するため、上式（１）のように１でオフセットさせる必要はなく、負の値を有していても問題ない。

上式（２）、上式（３）のフーリエ変換はそれぞれ、

のようになる。ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ方向の周波数座標、括弧を伴うδはデルタ関数である。この式で重要なことはフーリエ変換後の式もまたフレネルゾーンプレートやガボールゾーンプレートとなっている点である。よって、この数式に基づいてフーリエ変換後の現像用パターンを直接的に生成してもよい。これにより演算量を低減可能である。

次に、上式（４）と上式（５）を乗算すると、

となる。この指数関数で表された項ｅｘｐ（－ｉｋｕ）が信号成分であり、この項をフーリエ変換すると、

のように変換され、元のｘ軸においてｋの位置に輝点を得ることができる。この輝点が無限遠の光束を示しており、図１の撮像装置１０１により得られる撮影像にほかならない。

なお、このような相関現像方式では、パターンの自己相関関数が単一のピークを有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えばランダムなパターンで実現してもよい。

次に、モアレ現像方式では、図７に示した撮影用パターン１０５の投影像と図８に示した現像用パターン８０１とを乗算することにより、図１０に示すようなモアレ縞を生成し、これをフーリエ変換することにより図１１に示すようなシフト量が（ｋβ／π）の輝点を得ることができる。

図１０は、モアレ現像方式によるモアレ縞の例を示す図である。具体的には、図１０に示すように、図７に示した撮影用パターン１０５の投影像と、図８に示した現像用パターン８０１と、の乗算の結果がモアレ縞として得られる。

このモアレ縞を数式で示すと、

となる。この展開式の第３項が信号成分であり、２つのパターンのずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞をモアレ縞と呼ぶ。

この第３項の２次元フーリエ変換は、

のようになる。ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ方向の周波数座標、括弧を伴うδはデルタ関数である。この結果から、モアレ縞の空間周波数スペクトルにおいて、空間周波数のピークが（ｕ＝±ｋβ／π）の位置に生じることがわかる。この輝点が無限遠の光束を示しており、図１の撮像装置１０１により得られる撮影像にほかならない。

図１１は、モアレ現像方式による現像画像の例を示す図である。図１１に示す現像画像では、ｕ＝±ｋβ／πの位置に輝点が得られている。

なお、モアレ現像方式ではパターンのシフトによって得られるモアレ縞が単一の周波数を有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えば楕円状のパターンで実現してもよい。

〈ノイズキャンセル〉上式（６）から上式（７）への変換、また上式（８）から上式（９）への変換において信号成分に着目して話を進めたが、実際には信号成分以外の項がノイズとして現像を阻害する。そこで、フリンジスキャンに基づくノイズキャンセルが効果的である。

フリンジスキャンのためには、撮影用パターン１０５として初期位相Φの異なる複数のパターンを使用する必要がある。図１２に複数のパターンの例を示す。

図１２は、フリンジスキャンにおける初期位相の撮影用パターンの組み合わせの例を示す図である。ここでは、（Φ＝０）、（Φ＝π／２）、（Φ＝π）、（Φ＝３π／２）となる４位相、すなわちπ／２ずつずれた位相を用いて撮影したセンサ画像を以下式に従って演算すると複素数のセンサ画像（複素センサ画像）が得られる。これを式で表すと、

となる。ここで、複素数の現像用パターン８０１は、

と表せる。現像用パターン８０１はフリンジスキャン処理内で使用するため、複素数であっても問題ない。

モアレ現像方式において、上式（１０）と上式（１１）を乗算すると、

となる。この指数関数で表された項ｅｘｐ（２ｉβｋｘ）が信号成分であり、上式（８）のような不要な項が発生しないため、ノイズがキャンセルされていることが解る。

同様に、相関現像方式についても確認すると、上式（１０）、上式（１１）のフーリエ変換はそれぞれ、

のようになる。次に、上式（１３）と上式（１４）を乗算すると、

となる。この指数関数で表された項ｅｘｐ（－ｉｋｕ）が信号成分であり、上式（８）のような不要な項が発生しないため、ノイズがキャンセルされていることが解る。

なお、上記の例では、（Φ＝０）、（Φ＝π／２）、（Φ＝π）、（Φ＝３π／２）となるπ／２ずつずれた４位相の複数の現像用パターンを使用して説明したが、Φは０～２πの間の角度を等分するように設定すればよく、この位相に限定するものではない。

以上の複数パターンによる撮影を実現する方法として、フリンジスキャンの処理において時分割でパターンを切り替える方法と、空間分割でパターンを切り替える方法が考えられる。

時分割フリンジスキャンを実現するには、例えば電気的に図１２に示す複数の初期位相を切り替えて表示することが可能な液晶表示素子などを、図１における撮影用パターン１０５として使用すればよい。この液晶表示素子の切替タイミングと画像センサ１０３のシャッタタイミングを同期して制御し、４枚の画像を時系列に取得後にフリンジスキャン処理部１０６においてフリンジスキャン演算を実施する。

これに対して、空間分割フリンジスキャンを実現するには、図１３に示すように複数の初期位相を有する撮影用パターン１０５を使用する必要がある。全体として１枚の画像を取得後、フリンジスキャン処理部１０６においてそれぞれの初期位相のパターンに対応して当該画像を４枚に分割し、フリンジスキャン演算を実施する。

図１３は、空間分割フリンジスキャンの撮影用パターンの例を示す図である。空間分割フリンジスキャンの撮影用パターン１３００は、撮影用パターン１０５の応用例であるが、ＸＹ平面（画像センサ１０３と平行な面）上で空間的に分割して、複数の初期位相（（Φ＝０）、（Φ＝π／２）、（Φ＝π）、（Φ＝３π／２）となる４位相）を含む撮影用パターンとしたものである。続いて、フリンジスキャン処理部１０６でのフリンジスキャン演算について説明する。

図１４は、フリンジスキャンの処理フローの例を示す図である。まず、フリンジスキャン処理部１０６は、画像センサ１０３から出力される複数の撮影パターンによるセンサ画像を取得するが、空間分割フリンジスキャンを採用する場合には取得したセンサ画像を個別の撮影パターンに応じて分割する必要があるため、所定の領域に分割して複数のセンサ画像とする（ステップ１４０１）。なお、時分割フリンジスキャンを採用する場合には、時間の経過に応じて異なる撮影パターンによるセンサ画像を複数得るため、分割は実施しない。

次に、フリンジスキャン処理部１０６は、出力用の複素センサ画像を初期化する（ステップ１４０２）。

そして、フリンジスキャン処理部１０６は、一つ目の初期位相Φのセンサ画像を取得する（ステップ１４０３）。

そして、フリンジスキャン処理部１０６は、その初期位相Φに応じたｅｘｐ（ｉΦ）を乗算する（ステップ１４０４）。

そして、フリンジスキャン処理部１０６は、乗算結果を、複素センサ画像に加算する（ステップ１４０５）。

フリンジスキャン処理部１０６は、このステップ１４０３からステップ１４０５までの処理を、使用した初期位相数だけ繰り返す（ステップ１４０６）。例えば、図１２に示したような４位相を用いたフリンジスキャンでは、フリンジスキャン処理部１０６は、初期位相のそれぞれ（Φ＝０）、（π／２）、（π）、（３π／２）の計４回繰り返す。

そして、フリンジスキャン処理部１０６は、複素センサ画像を出力する（ステップ１４０７）。以上のステップ１４０１乃至ステップ１４０７のフリンジスキャン処理部１０６による処理は、上式（１０）に相当する処理である。次に、画像処理部１０７での画像処理について説明する。

図１５は、相関現像方式による現像処理の処理フローの例を示す図である。まず、画像処理部１０７は、フリンジスキャン処理部１０６から出力される複素センサ画像を取得し、複素センサ画像に対して２次元高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）演算を実施する（ステップ１５０１）。

次に、画像処理部１０７は、現像処理に使用する予め定められた現像用パターン８０１を生成し、２次元ＦＦＴ演算した複素センサ画像に乗算する（ステップ１５０２）。

そして、画像処理部１０７は、逆２次元ＦＦＴ演算を行う（ステップ１５０３）。なお、この演算結果は複素数となる。

そのため、画像処理部１０７は、逆２次元ＦＦＴ演算の演算結果から絶対値化もしくは実部を取り出して撮影対象の像を実数化して現像する（ステップ１５０４）。

その後、画像処理部１０７は、得られた現像画像に対してコントラスト強調処理を行う（ステップ１５０５）。さらに、画像処理部１０７は、カラーバランス調整（ステップ１５０６）等を実施し、撮影画像として出力する。以上が、相関現像方式による現像処理である。

図１６は、モアレ現像方式による現像処理の処理フローの例を示す図である。まず、画像処理部１０７は、フリンジスキャン処理部１０６から出力される複素センサ画像を取得し、現像処理に使用する予め定められた現像用パターン８０１を生成し、複素センサ画像に乗算する（ステップ１６０１）。

そして、画像処理部１０７は、２次元ＦＦＴ演算により周波数スペクトルを求める（ステップ１６０２）。

そして、画像処理部１０７は、ステップ１６０２にて求めた周波数スペクトルのうち必要な周波数領域のデータを切り出す（ステップ１６０３）。

以降のステップ１５０４の実数化処理、ステップ１５０５のコントラスト強調処理、ステップ１５０６のカラーバランス調整処理は、図１５に示したステップ１５０４乃至ステップ１５０６の処理と同様であるため、説明を割愛する。

〈有限距離物体の撮影原理〉次に、これまで述べた被写体が十分に遠い場合（無限遠の場合）における撮影用パターン１０５の画像センサ１０３への射影の様子を図１７に示す。

図１７は、物体が無限距離にある場合の撮影用パターンの投影例を示す図である。遠方の物体を構成する点１７０１からの球面波は、十分に長い距離を伝搬する間に平面波となり撮影用パターン１０５を照射し、その投影像１７０２が画像センサ１０３に投影される場合、投影像は撮影用パターン１０５とほぼ同じ形状である。その結果、投影像１７０２に対して、現像用パターンを用いて現像処理を行うことにより、単一の輝点を得ることが可能である。これに比して、有限距離の物体に対する撮像について説明する。

図１８は、物体が有限距離にある場合の撮影用パターンの拡大投影例を示す図である。撮像する物体が有限距離にある場合には、撮影用パターン１０５の画像センサ１０３への射影が撮影用パターン１０５よりも拡大される。物体を構成する点１８０１からの球面波が撮影用パターン１０５を照射し、その投影像１８０２が画像センサ１０３に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、撮影用パターン１０５から点１８０１までの距離ｆを用いて、

のように算出できる。このため、有限距離の物体に対して、平行光に対して設計された現像用パターンをそのまま用いて現像処理したのでは、単一の輝点を得ることができない。

そこで、一様に拡大された撮影用パターン１０５の投影像に合わせて、現像用パターン８０１を拡大させたならば、拡大された投影像１８０２に対して再び、単一の輝点を得ることができる。このためには、現像用パターン８０１の係数βを、β／α^２とすることで補正が可能である。これにより、必ずしも無限遠でない距離の点１８０１からの光を選択的に再生することができる。これによって、任意の位置に焦点を合わせて撮影を行うことができる。すなわち、焦点を被写体に合わせて撮影を行う場合に、現像用パターン８０１の拡大倍率を決定すればよい。

さらに、本構成によれば、撮影後に任意の距離にフォーカスを合わせることも可能となる。この場合の構成を図１９に示す。

図１９は、本発明の第二の実施例に係る撮像装置の構成を示す図である。第二の実施例に係る撮像装置は、基本的に第一の実施例に係る撮像装置と同様の構成を備える。ただし、第一の実施例と異なるのは、フォーカス設定部１９０１の存在である。フォーカス設定部１９０１は、撮像装置１０１に備え付けられたつまみや、スマートフォンのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などによってフォーカス距離の設定を受け付け、フォーカス距離情報を画像処理部１０７に出力する。

さらに、このように撮影後のフォーカス調整が可能ということは、奥行情報を有しているということであり、オートフォーカスや測距といった様々な機能を画像処理部１０７において実現することが可能になる。

このようなフォーカス設定をはじめとする機能を実現する上では、現像用パターン８０１の係数βを自由に変更することが必要となるが、本実施例で説明したフリンジスキャン処理部１０６における処理のようにフリンジスキャン演算を行うことにより、現像用パターン８０１を用いた処理を独立して行うことが可能となり、処理を簡易化することが可能となる。

〈空間分割フリンジスキャンの問題：被写体距離〉図１８で説明したように、撮像する物体が有限距離にある場合には、撮影用パターン１０５の画像センサ１０３への射影が撮影用パターン１０５より拡大される。これは、空間分割フリンジスキャンを使用する際に問題となりうる。

図２０は、点光源と撮像装置の位置関係の例を示す図である。図２０のように、撮像する物体が遠い距離ｆにある場合（点光源２００１）と、近い距離ｆ´（点光源２００１´）にある場合と、を考える。

図２１は、点光源の距離別のセンサ画像の例を示す図である。図２１に示すように、撮像する物体からの光が空間分割フリンジスキャンの撮影用パターン１０５に照射され、その影が画像センサ１０３へ投影された際に投影される像は、撮像する物体と撮影パターンとの間の距離ｆの場合と、距離ｆ´の場合とに応じて変化する。空間分割フリンジスキャンでは、フリンジスキャン処理部１０６においてそれぞれの初期位相のパターンに対応して４枚に分割する必要があるが、各象限のパターンの中心が被写体との距離ｆやｆ´に応じて変化している。例えば、第一象限１３０２の同心円の中心は、距離ｆ´の場合の第一象限２１０２においては、右上にずれた状態となる。このように、各象限を常に同じ場所で分割しているとずれが発生し、フリンジスキャンの効果が減じられることになる。

本問題を解決するには、式１６の拡大率αを用いて画像補正を行った後に、各象限ごとの４枚にデータを分割すればよい。図２２、図２３のそれぞれに、図２１のセンサ画像の中心を原点に配置した際の各パターンの中心を×でそれぞれ示す。

図２２は、点光源が無限遠にある場合のパターン中心座標の例を示す図である。図２２においては、第一象限のパターン中心２２０１の座標は、（ｘ０，ｙ０）で表されている。

図２３は、点光源が有限距離にある場合のパターン中心座標の例を示す図である。図２３においては、第一象限のパターン中心２３０１の座標は、（ｘ１，ｙ１）で表されている。

図２３のパターン中心２３０１の座標（ｘ１，ｙ１）は、図２２のパターン中心２２０１の座標（ｘ０，ｙ０）から拡大率αで拡大されているので、座標（ｘ１，ｙ１）を座標（ｘ０，ｙ０）に変換するには、

のようにセンサ面上の移動量を特定する行列Ｍを使用して座標変換すればよい。変換した結果得られるセンサ画像を図２４に示す。

図２４は、点光源が有限距離にある場合のセンサ画像の補正例を示す図である。図２４に示すように、画像は縮小され、常に同じ位置がパターンの中心となる画像になるため、この例であれば各象限で画像を４分割すれば、各象限のセンサ画像を得られる。なお、画像を縮小することとなるため、得られるセンサ画像は補正前の画像サイズよりも小さくなる。この場合、余白領域２４０１には、０などの定数を補完するか、もしくはＮＡＮ値として使用しないようにしてもよい。

このように、式（１７）に示す行列Ｍを用いて同心円の中心を基準に座標変換することにより、点光源が有限距離にある場合、すなわち被写体距離が有限距離である場合に生じる射影の拡大問題を解消できる。

〈空間分割フリンジスキャンの問題：パターン固定精度〉しかし、被写体距離によるずれを補正しただけでは不十分な場合がある。それは、撮像装置１０１を組み立てる際の精度や、撮影用パターン１０５の作製精度が十分でなく、ずれが生じている場合である。撮影用パターン１０５がずれて取り付けられた場合のセンサ画像の例を図２５に示す。

図２５は、撮影用パターンが回転している場合のセンサ画像の例を示す図である。この例では、撮影用パターン１０５は、原点を中心に角度－θだけ回転して取り付けられた場合のセンサ画像の例が示されている。

これを補正する方法について説明する。まず、基準となるパターン（例えば、撮影用パターン１０５を被写体距離から求めた拡大率αで拡大した画像）との相互相関演算により各パターンの中心座標２５０１～２５０４を算出する。次に、中心座標２５０１～２５０４の４点の重心Ｏの座標を算出し、図２６に示すように重心Ｏが原点と重なるように配置する。

図２６は、撮影用パターンが回転している場合のパターン中心座標の例を示す図である。この時、図２６の第一象限のパターン中心２６０１の座標（ｘ１，ｙ１）を、図２２のパターン中心２２０１の座標（ｘ０，ｙ０）に変換するには、

のようにセンサ面上の回転の移動量を特定する行列Ｈを使用して座標変換すればよい。なお、式（１８）において行列Ｍを使用しているのは、使用する点光源２００１の距離ｆに応じて画像を補正するためである。この結果、図２５の画像は角度θ回転することで補正され、常に同じパターン中心となる画像になるため、図２５、図２６の例であれば各象限で画像を分割すればよい。

なお、式（１８）、式（１９）に示した行列Ｈは、一般的にアフィン行列と呼ばれる２×２の要素を持つ行列であり、４つの座標の関係（この例では各パターンの中心座標２２０１～２２０４と中心座標２５０１～２５０４）から要素を算出することが可能である。アフィン行列を算出するのに用いる点は正しくは２点であるが、４点の情報を用いて最小二乗法を適用することにより、より精度の高いアフィン行列を得ることが可能である。

次に、撮像装置を組み立てる際の精度が低い他の例について説明する。例えば、図２７のように、撮影用パターン１０５が厚み方向に斜めにずれて配置された場合を考える。この状態で、点光源２００１を撮影した際のセンサ画像の例を図２８に示す。

図２８は、撮影用パターンが厚み方向に傾いている状態のセンサ画像の例を示す図である。この場合には、図２８のとおり、センサ画像は台形歪みを有する。台形歪みについては、式（１８）のようなアフィン行列では補正しきれないが、ホモグラフィ行列を使用することでより容易に精度高く台形歪みを補正することが可能である。

これを補正する方法について説明する。まず、基準となるパターン（例えば、撮影用パターン１０５を被写体距離から求めた拡大率αで拡大した画像）との相互相関演算により各パターンの中心座標２８０１～２８０４を算出する。次に、中心座標２８０１～２８０４の４点の重心Ｏの座標を算出し、図２９に示すように重心Ｏが原点と重なるように配置する。

図２９は、撮影用パターンが厚み方向に傾いている状態のパターン中心座標の例を示す図である。この時、図２９の第一象限のパターン中心２８０１の座標（ｘ１，ｙ１）を、図２２のパターン中心２２０１の座標（ｘ０，ｙ０）に変換するには、

のようにセンサ面上の移動量を特定する行列Ｈを使用して座標変換すればよい。この行列Ｈは一般的にホモグラフィ行列と呼ばれる３×３の要素を持つ行列であり、４つの座標の関係（この例では各パターンの中心座標２２０１～２２０４と中心座標２８０１～２８０４）から要素を算出することが可能である。なお、行列Ｍを使用しているのは、使用する点光源２００１´の距離ｆ´に応じて画像を補正するためである。結果、図２８の画像は台形歪み（アオリ）および回転が補正され、常に同じパターン中心となる画像になるため、この例であれば各象限で画像を分割すればよい。

以上の歪み補正を実現する構成および処理について、図３０～図３３を用いて説明する。図３０に、歪み補正を実現する構成を示す。

図３０は、本発明の第三の実施例に係る撮像装置の構成例を示す図である。図３０に示す撮像装置は、図１９に示す第二の実施例に係る撮像装置と基本的に同一であるが、一部異なる。その相違を中心に、以下説明する。

第三の実施例に係る撮像装置は、歪み補正用の行列Ｈ、行列Ｍを含む補正用パラメータを測定・格納するパラメータ格納部としての補正値格納部３００１と、補正用パラメータを使用して歪み補正を実施するフリンジスキャン処理部３００２を備える。なお、図３１に示すように、補正値格納部３００１は、撮像モジュール１０２に含まれるものであってもよい。その場合、補正値格納部３００１は、補正値、すなわち補正のためのパラメータを、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を介した要求に応じて出力するパラメータ出力部として動作する。

図３１は、本発明の第三の実施例の変形例に係る撮像装置の構成例を示す図である。補正用パラメータは、撮像モジュール１０２の取り付けばらつきによって個体差があることを鑑みると、撮像モジュール１０２が撮像装置１０１から分離している構成においては、図３１のように撮像モジュール１０２に補正値格納部３００１が付随する形態の方が、汎用性がある。いずれの実施例であっても、補正値の算出方法（キャリブレーション方法）は、共通する。まず、補正値の算出方法（キャリブレーション方法）について述べる。

図３２は、キャリブレーションの処理フローの例を示す図である。まず、キャリブレーションの実施者は、図２０のように、撮像モジュール１０２の光軸上にある点光源２００１を撮像モジュール１０２に向けて照射する（ステップ３２０１）。この点光源２００１は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）光源や太陽など、無限遠または被写体までの距離が判っている光源であれば何でもよい。

そして、キャリブレーションの実施者は、撮像モジュール１０２にセンサ画像を取得させる（ステップ３２０２）。

そして、フリンジスキャン処理部３００２は、ＦＺＡ（Ｆｒｅｓｎｅｌ Ｚｏｎｅ Ａｐｅｒｔｕｒｅ）の中心座標を算出する（ステップ３２０３）。具体的には、フリンジスキャン処理部３００２は、基準となるパターン（例えば、撮影用パターン１０５を被写体距離から求めた拡大率αで拡大した画像）との相互相関演算により各パターンの中心座標（例：中心座標２８０１～２８０４）を算出する。

そして、フリンジスキャン処理部３００２は、この中心座標群から重心Ｏを算出する（ステップ３２０４）。そして、フリンジスキャン処理部３００２は、重心Ｏを原点に配置する。

そして、フリンジスキャン処理部３００２は、補正行列Ｈを算出する（ステップ３２０５）。具体的には、フリンジスキャン処理部３００２は、４つの中心座標のずれ方の関係（例：中心座標２２０１～２２０４と、中心座標２８０１～２８０４と、の回転関係や台形ゆがみの関係）から補正行列Ｈとなるホモグラフィ行列Ｈの３×３の要素を算出する。

そして、フリンジスキャン処理部３００２は、補正用パラメータとして補正行列Ｈと重心Ｏの位置とを、補正値格納部３００１に格納する（ステップ３２０６）。

以上が、キャリブレーションの処理である。キャリブレーションの処理によれば、センサ画像を補正するための行列Ｈと重心Ｏの位置とを特定し、パラメータとして補正値格納部３００１に格納することができる。

つづいて、フリンジスキャン処理部３００２が歪み補正処理を実施する。

図３３は、センサ画像の歪み補正処理フローの例を示す図である。まず、フリンジスキャン処理部３００２は、補正値格納部３００１から重心Ｏの位置を読み出し、センサ画像の重心Ｏを原点となる座標に移動させる（ステップ３３０１）。

次に、フリンジスキャン処理部３００２は、行列Ｍによる補正を行う（ステップ３３０２）。具体的には、フリンジスキャン処理部３００２は、フォーカス設定部１９０１からフォーカスを合わせる距離ｆ´の情報を取得し、距離ｆ´に応じた行列Ｍを用いて補正を実施する。

そして、フリンジスキャン処理部３００２は、行列Ｈによる補正を行う（ステップ３３０３）。具体的には、フリンジスキャン処理部３００２は、補正値格納部３００１から取得した行列Ｈによる補正を実施する。

その後は、図１４に示したフリンジスキャンの処理フローのステップ１４０１～ステップ１４０７の処理と同様の処理を、行列Ｈによる補正を実施したセンサ画像に対して行う。

なお、この例では行列Ｈと重心Ｏの位置の移動とを分けて処理するものとしたが、式（２０）のように、３×３行列のホモグラフィ行列を用いる場合には、３×３行列に重心Ｏの移動の補正量を含めることが可能であるため、必ずしも分けて処理するものでなくともよい。

また、キャリブレーションは事前に実施することを前提に説明したが、点光源や太陽を検出した際に撮影しながら補正用パラメータを再計算し、補正値格納部３００１の情報を更新するようにしてもよい。すなわち、事前実施に限られず、使用環境下において随時キャリブレーションを行うようにしてもよい。

以上が、第三の実施例に係る撮像装置である。第三の実施例に係る撮像装置によれば、撮像装置を組み立てる際の誤差や、撮影用パターンの作製時の誤差を補正し、且つフォーカス調整にかかる歪みを補正することで高精度な空間分割フリンジスキャンを実施することが可能となる。

第三の実施例の構成においては、センサ画像のフリンジスキャン前に歪みを補正していた（フリンジスキャン処理部３００２において、ステップ３３０１～３３０３の処理を、ステップ１４０１～１４０７の処理の前に行っていた）が、センサ画像を無線や有線により他の装置へ伝送する場合には、情報の欠落防止を考慮して伝送する情報は無加工であることが望ましい場合がある。すなわち、歪み補正処理はフリンジスキャン後に行うのが好ましい場合がある。センサ画像のフリンジスキャン後に歪み補正する方法について、図３４、図３５を用いて説明する。

図３４は、本発明の第四の実施例に係る撮像装置の構成例を示す図である。第四の実施例に係る撮像装置は、第三の実施例に係る撮像装置と略同一であるが、一部において相違がある。第四の実施例に係る撮像装置が第三の実施例に係る撮像装置と異なるのは、補正値格納部３００１の情報を画像処理部３４０１が読み出して利用する点である。すなわち、第四の実施例に係る撮像装置は、センサ画像の歪みを補正するのではなく、センサ画像と対応する歪みを現像用パターン８０１の方に付加する。第三の実施例では座標（ｘ１，ｙ１）を、座標（ｘ０，ｙ０）に変換するための行列Ｈを算出したが、本実施例では、

のように、発想が逆の変換となる座標（ｘ０，ｙ０）を座標（ｘ１，ｙ１）に変換するための行列Ｈ’、行列Ｍ’を算出する。

この場合の現像処理の流れは、上述の図１５の相関現像方式による現像処理の処理フローと同等であるが、一部相違する。相関現像方式による現像処理のステップ１５０２における現像用パターン８０１の生成について、第四の実施例では、図３５に示す処理の流れで実施する。

図３５は、現像用パターンの歪み補正処理フローの例を示す図である。現像用パターンの歪み補正処理は、相関現像方式による現像処理のステップ１５０２において開始される。

なお、現像用パターンの歪み補正処理フローの実施前に、画像処理部３４０１は、図３２に示したキャリブレーションの処理フローの例と同様に、式（２１）の行列Ｈ’を予め歪み付加用の行列として算出しておく。具体的には、画像処理部３４０１は、４つの座標の関係（例：中心座標２２０１～２２０４と、中心座標２８０１～２８０４）から補正行列Ｈ’となるホモグラフィ行列Ｈ’の３×３の要素を予め算出しておく。

そして、現像時、すなわち現像用パターンの歪み補正処理においては、画像処理部３４０１は、図２０のような空間分割フリンジスキャン用の同心円のパターン画像を生成する（ステップ３５０１）。

そして、画像処理部３４０１は、重心Ｏを移動させる（ステップ３５０２）。具体的には、画像処理部３４０１は、補正値格納部３００１から重心Ｏの位置を読み出し、空間分割フリンジスキャン用の同心円のパターン画像の中心を、原点とする座標から重心Ｏの位置分移動させる。

そして、画像処理部３４０１は、補正値格納部３００１から取得した行列Ｈ’による補正を実施する（ステップ３５０３）。具体的には、補正値格納部３００１から読み出した行列Ｈ’を用いて、空間分割フリンジスキャン用の同心円のパターン画像を変換する。

そして、画像処理部３４０１は、補正値格納部３００１から取得した行列Ｍ’による補正を実施する（ステップ３５０４）。具体的には、画像処理部３４０１は、フォーカス設定部１９０１からフォーカスを合わせる距離ｆ´を取得して、距離ｆ´に応じた行列Ｍ’の情報を補正値格納部３００１から取得し、補正を実施する。

そして、画像処理部３４０１は、パターン画像を４つに分割する（ステップ３５０５）。これ以降の処理は、２次元ＦＦＴ演算した複素センサ画像に乗算する図１５の現像処理と同一である。

なお、本方法では現像用パターン８０１を歪ませることから、モアレ現像方式では点光源現像時のモアレが単一周波数にならず像がボケることになる。よって、モアレ現像方式よりも相関現像方式の方が、親和性が高く望ましいといえる。

以上が、第四の実施例に係る撮像装置である。第四の実施例に係る方法・構成によれば、撮像装置を組み立てる際の誤差や、撮影用パターンの作製時の誤差を補正し、且つフォーカス調整にかかる歪みを補正することで高精度な空間分割フリンジスキャンを実施することが可能となる。

第三および第四の実施例では、撮像装置を組み立てる際の誤差や、撮影用パターンの作製時の誤差を補正し、且つフォーカス調整にかかる歪みを補正する方法について説明した。しかし、撮影用パターンや画像センサの欠陥、汚れ、ゴミに対する補正は考慮されていなかった。第五の実施例では、この欠陥保護の方法について図３６乃至４０を用いて説明する。この欠陥の問題点についてまず、図３７を用いて明らかにする。

図３７は、撮影用パターンに汚れ等が付着している場合の画像の例を示す図である。時分割フリンジスキャンであれば、４つのパターン全ての同じ位置に欠陥が現れるため、センサ画像としては一箇所に欠陥が記録される。空間分割フリンジスキャンの場合には、欠陥３８０１のようにパターン３８０３の象限にのみ欠陥が存在することになるため、他のパターンと整合が取れない。図３７のパターン３８０２の象限とパターン３８０３の象限とについて、点線に沿って輝度分布をマッピングすると、それぞれ図３８、図３９に示すグラフを得られる。

図３８は、理想的なセンサ画像の輝度分布例を示す図である。すなわち、パターン３８０２に示されるように、同心円パターンのマスク部分について輝度が小さくなる信号成分を得られる。

図３９は、欠陥のあるセンサ画像の輝度分布例を示す図である。すなわち、パターン３８０３に示されるように、同心円パターンのマスク部分について輝度が小さくなる信号成分を得られるが、欠陥３８０１の一部により輝度がマスク部分とは無関係に小さくなる。なお、当然に、欠陥３８０１の度合いに応じて、輝度の減少度合いは異なる。すなわち、欠陥が軽微なものであれば輝度の減少度合いは少なく、欠陥が甚大なものであれば輝度の減少度合いは多くなる。

図３７に示す状態では、欠陥部分のフリンジスキャンが正しく実施されず、その誤差が画像全体に波及することになり画質が低下する（有意な画像が得られなくなる）。これは、欠陥領域の輝度差が信号成分の輝度差よりも一般的に大きく、影響度が大きいためである。この欠陥位置を特定し、現像処理から除外する方が欠陥の影響が小さくなり、Ｓ／Ｎ比が悪くなる程度の影響に抑えることができる。第五の実施例の構成について、図３６に示す。

図３６は、本発明の第五の実施例に係る撮像装置の構成例を示す図である。第五の実施例に係る撮像装置は、基本的に第四の実施例に係る撮像装置と同様であるが、一部に相違がある。

第五の実施例に係る撮像装置が、第四の実施例に係る撮像装置と異なる点は、欠陥検出部３６０１を備える点と、画像処理部３６０２が欠陥保護処理を実施する点である。欠陥検出部３６０１は、フリンジスキャン処理部１０６からセンサ画像を取得し、図３８、図３９に示すように、欠陥検出閾値よりも輝度が低い領域を検出すると、当該領域を特定する欠陥信号を出力するとともに、補正値格納部３００１に格納する。すなわち、欠陥信号が出力された位置を特定する情報が補正値格納部３００１に格納される。そのような情報には、例えば欠陥のあるセンサ上の座標を逐一指定する情報に限られず、センサ上の矩形領域を特定する情報や、欠陥部位が含まれる最小円の中心と半径であってもよい。

欠陥検出部３６０１による最も簡便な欠陥検出方法は上述のとおりであるが、信号成分の振幅が大きい時には欠陥と信号の判別が困難になることがある。そこで、欠陥検出部３６０１は、フリンジスキャンにおけるΦ＝０、πのセンサ画像の組み合わせ、もしくはΦ＝π／２、３π／２のセンサ画像の組み合わせのように、位相がπずれた関係、すなわち同心円の白黒が反転した状態にある２つのセンサ画像を加算することで、欠陥を判別するようにしてもよい。この処理は、図１４のフリンジスキャンの処理のステップ１４０１とステップ１４０２の間で行われるようにするのが望ましい。図３８、図３９に示した信号に対してこの加算を実施した結果を、図４０に示す。

図４０は、反転パターン合成による欠陥検出の例を示す図である。図４０に示すように、正常な信号成分が相殺によりキャンセルされて輝度変動成分のみが残留することになる。この応答に対して、欠陥検出部３６０１は、平均値の±定数の範囲となる欠陥検出閾値を用いて、残留した輝度が欠陥検出閾値を下回るもしくは上回る領域について、欠陥信号を出力し補正値格納部３００１に記憶させる。この方法によれば、被写体によらず安定した欠陥検出が可能となる。この欠陥検出を、すべてのセンサ画像のそれぞれにおいて行うようにしてもよいし、反転パターンをペアとして、ペアごとに行うようにしてもよい。

そして、画像処理部３６０２において、欠陥検出部３６０１の出力である欠陥信号を用いて、現像用パターンの欠陥信号に該当する箇所をＮＡＮ値として使用しない処理、すなわちデータのマスク処理を施す。

なお、欠陥信号をセンサ画像ではなく画像処理部３６０２の現像用パターンに対して適用する場合には、第四の実施例のように、行列Ｈ’、行列Ｍ’を使用して欠陥信号に該当する位置を補正することが望ましい。

また、欠陥信号を画像処理部３６０２ではなく、第三の実施例の図３０のフリンジスキャン処理部３００２に入力し、センサ画像の各パターン全ての同一箇所（パターン中心と欠陥信号の相対位置が同じとなる箇所）をＮＡＮ値として使用しない処理を施すようにしてもよい。

以上、第五の実施例について説明した。第五の実施例に係る撮像装置によれば、撮像装置を組み立てる際の誤差や、撮影用パターンの作製時の誤差を補正し、且つフォーカス調整にかかる歪みを補正するだけでなく、撮影用パターンや画像センサの欠陥、汚れ、ゴミに対する補正も実施することでより高精度な空間分割フリンジスキャンを実施することが可能となる。

なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

以上、本発明について、実施例を中心に説明した。

１０１・・・撮像装置、１０２・・・撮像モジュール、１０３・・・画像センサ、１０３ａ・・・画素、１０４・・・パターン基板、１０５・・・撮影用パターン、１０６・・・フリンジスキャン処理部、１０７・・・画像処理部、１０８・・・コントローラ、３０１・・・支持部材、８０１・・・現像用パターン、１３００・・・撮影用パターン、１３０２・・・第一象限、１７０１，１８０１・・・点、１７０２，１８０２・・・投影像、１９０１・・・フォーカス設定部、２００１，２００１´・・・光源、２１０１・・・第二象限、２１０２・・・第一象限、２１０３・・・第三象限、２１０４・・・第四象限、２４０１・・・余白領域、２２０１，２３０１，２５０１，２６０１，２８０１・・・第一象限のパターン中心、２５０２，２６０２，２８０２・・・第二象限のパターン中心、２５０３，２６０３，２８０３・・・第三象限のパターン中心、２５０４，２６０４，２８０４・・・第四象限のパターン中心、３００１・・・補正値格納部、３００２・・・フリンジスキャン処理部、３４０１・・・画像処理部、３６０１・・・欠陥検出部、３６０２・・・画像処理部、３８０１・・・欠陥、３８０２・・・第四象限のパターン、３８０３・・・第一象限のパターン。

Claims (10)

1. 光を電気信号に変換し、センサ画像を生成する画像センサと、
   撮影用パターンに基づいて前記画像センサで検出される光の強度を変調する変調器と、
   前記センサ画像のうち異なる前記撮影用パターンによって撮影された複数の前記センサ画像に対する所定の補正処理の実行に用いるパラメータを記憶するパラメータ記憶部と、
   を有し、
   前記パラメータには、前記撮影用パターンごとに前記画像センサ面上の移動量を特定する情報として、前記撮影用パターンの同心円の中心を基準に台形歪みを補正する情報が含まれる、
   ことを特徴とする撮像装置。
2. 光を電気信号に変換し、センサ画像を生成する画像センサと、
   撮影用パターンに基づいて前記画像センサで検出される光の強度を変調する変調器と、
   前記センサ画像のうち異なる前記撮影用パターンによって撮影された複数の前記センサ画像に対する所定の補正処理の実行に用いるパラメータを記憶するパラメータ記憶部と、
   を有し、
   前記撮影用パターンには、同心円状のパターンが設けられ、
   前記パラメータには、前記撮影用パターンごとに前記画像センサのセンサ面上の移動量を特定する情報として、前記撮影用パターンの同心円の中心間の重心の移動量と、該重心を回転の中心とする回転角度に相当する情報を特定する情報が含まれる、
   ことを特徴とする撮像装置。
3. 光を電気信号に変換し、センサ画像を生成する画像センサと、
   撮影用パターンに基づいて前記画像センサで検出される光の強度を変調する変調器と、
   前記センサ画像のうち異なる前記撮影用パターンによって撮影された複数の前記センサ画像に対する所定の補正処理の実行に用いるパラメータを記憶するパラメータ記憶部と、
   を有し、
   前記所定の補正処理は、ホモグラフィ変換であって、
   前記パラメータは、前記ホモグラフィ変換に用いる３×３行列を特定する情報である、
   ことを特徴とする撮像装置。
4. 光を電気信号に変換し、センサ画像を生成する画像センサと、
   撮影用パターンに基づいて前記画像センサで検出される光の強度を変調する変調器と、
   前記センサ画像のうち異なる前記撮影用パターンによって撮影された複数の前記センサ画像に対する所定の補正処理の実行に用いるパラメータを記憶するパラメータ記憶部と、
   を有し、
   前記所定の補正処理は、アフィン変換であって、
   前記パラメータは、前記アフィン変換に用いる２×２行列を特定する情報である、
   ことを特徴とする撮像装置。
5. 光を電気信号に変換し、センサ画像を生成する画像センサと、
   撮影用パターンに基づいて前記画像センサで検出される光の強度を変調する変調器と、
   前記センサ画像のうち異なる前記撮影用パターンによって撮影された複数の前記センサ画像に対する所定の補正処理の実行に用いるパラメータを記憶するパラメータ記憶部と、
   を有し、
   前記センサ画像の欠陥部位を検出する欠陥検出部を備え、
   前記所定の補正処理は、前記欠陥部位を除外する処理であって、
   前記パラメータは、前記欠陥部位を特定する情報であり、
   前記欠陥検出部は、前記撮影用パターンのうち反転パターンを有する撮影用パターンにより得られた前記センサ画像同士を合成して所定以上の出力を有する部位を前記欠陥部位として検出する、
   ことを特徴とする撮像装置。
6. 撮像装置を用いた撮像方法であって、
   前記撮像装置は、
   撮影用パターンを透過させた光の強度を変調する変調ステップと、
   画像センサにより前記変調した光を電気信号に変換し、センサ画像を生成する画像生成ステップと、
   フリンジスキャン処理部により、前記センサ画像のうち異なる前記撮影用パターンによって撮影された複数の前記センサ画像に対する所定の補正処理の実行に用いるパラメータを所定の記憶部から読み出して前記補正処理を実行する補正ステップと、
   を実施し、
   前記パラメータには、前記撮影用パターンごとに前記画像センサ面上の移動量を特定する情報として、前記撮影用パターンの同心円の中心を基準に台形歪みを補正する情報が含まれる、
   ことを特徴とする撮像方法。
7. 撮像装置を用いた撮像方法であって、
   前記撮像装置は、
   撮影用パターンを透過させた光の強度を変調する変調ステップと、
   画像センサにより前記変調した光を電気信号に変換し、センサ画像を生成する画像生成ステップと、
   フリンジスキャン処理部により、前記センサ画像のうち異なる前記撮影用パターンによって撮影された複数の前記センサ画像に対する所定の補正処理の実行に用いるパラメータを所定の記憶部から読み出して前記補正処理を実行する補正ステップと、
   を実施し、
   前記撮影用パターンには、同心円状のパターンが設けられ、
   前記パラメータには、前記撮影用パターンごとに前記画像センサのセンサ面上の移動量を特定する情報として、前記撮影用パターンの同心円の中心間の重心の移動量と、該重心を回転の中心とする回転角度に相当する情報を特定する情報が含まれる、
   ことを特徴とする撮像方法。
8. 撮像装置を用いた撮像方法であって、
   前記撮像装置は、
   撮影用パターンを透過させた光の強度を変調する変調ステップと、
   画像センサにより前記変調した光を電気信号に変換し、センサ画像を生成する画像生成ステップと、
   フリンジスキャン処理部により、前記センサ画像のうち異なる前記撮影用パターンによって撮影された複数の前記センサ画像に対する所定の補正処理の実行に用いるパラメータを所定の記憶部から読み出して前記所定の補正処理を実行する補正ステップと、
   を実施し、
   前記所定の補正処理は、ホモグラフィ変換であって、
   前記パラメータは、前記ホモグラフィ変換に用いる３×３行列を特定する情報である、
   ことを特徴とする撮像方法。
9. 撮像装置を用いた撮像方法であって、
   前記撮像装置は、
   撮影用パターンを透過させた光の強度を変調する変調ステップと、
   画像センサにより前記変調した光を電気信号に変換し、センサ画像を生成する画像生成ステップと、
   フリンジスキャン処理部により、前記センサ画像のうち異なる前記撮影用パターンによって撮影された複数の前記センサ画像に対する所定の補正処理の実行に用いるパラメータを所定の記憶部から読み出して前記所定の補正処理を実行する補正ステップと、
   を実施し、
   前記所定の補正処理は、アフィン変換であって、
   前記パラメータは、前記アフィン変換に用いる２×２行列を特定する情報である、
   ことを特徴とする撮像方法。
10. 撮像装置を用いた撮像方法であって、
    前記撮像装置は、
    撮影用パターンを透過させた光の強度を変調する変調ステップと、
    画像センサにより前記変調した光を電気信号に変換し、センサ画像を生成する画像生成ステップと、
    フリンジスキャン処理部により、前記センサ画像のうち異なる前記撮影用パターンによって撮影された複数の前記センサ画像に対する所定の補正処理の実行に用いるパラメータを所定の記憶部から読み出して前記所定の補正処理を実行する補正ステップと、
    を実施し、
    前記センサ画像の欠陥部位を検出する欠陥検出部を備え、
    前記所定の補正処理は、前記欠陥部位を除外する処理であって、
    前記パラメータは、前記欠陥部位を特定する情報であり、
    前記欠陥検出部は、前記撮影用パターンのうち反転パターンを有する撮影用パターンにより得られた前記センサ画像同士を合成して所定以上の出力を有する部位を前記欠陥部位として検出する、
    ことを特徴とする撮像方法。

Images