以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を適宜省略する。
また、以下の順序で説明を行う。
1.本開示の撮像装置の概要
2.本開示の撮像装置の基本的な構成例
3.実施の形態
4.変形例
5.その他
<<1.本開示の撮像装置の概要>>
まず、本開示の撮像装置の概要について説明する。
本開示の撮像装置においては、図1の左上に示されるように、各画素の検出感度に入射角指向性を持たせた撮像素子51が用いられる。ここで、各画素の検出感度に入射角指向性を持たせるとは、各画素への入射光の入射角度に応じた受光感度特性を画素毎に異なるものとすることである。ただし、全ての画素の受光感度特性が完全に異なるものである必要はなく、一部の画素の受光感度特性が同一であってもよい。
ここで、例えば、全ての被写体は点光源の集合であり、各点光源からあらゆる方向に光が出射されているものとする。例えば、図1の左上の被写体の被写体面31が、点光源PA乃至点光源PCにより構成され、点光源PA乃至点光源PCが、それぞれ光強度a乃至光強度cの複数の光線を周囲に発しているものとする。また、以下、撮像素子51は、位置Pa乃至位置Pcに入射角指向性がそれぞれ異なる画素(以下、画素Pa乃至画素Pcと称する)を備えるものとする。
この場合、図1の左上に示されるように、同一の点光源より発せられた同一の光強度の光線が、撮像素子51の各画素に入射される。例えば、点光源PAから発せられた光強度aの光線が、撮像素子51の画素Pa乃至画素Pcにそれぞれ入射される。一方、同一の点光源より発せられた光線は、画素毎にそれぞれ異なる入射角度で入射される。例えば、点光源PAからの光線は、画素Pa乃至画素Pcにそれぞれ異なる入射角度で入射される。
ここで、画素Pa乃至画素Pcの入射角指向性がそれぞれ異なるため、同一の点光源より発せられた同一の光強度の光線が、各画素で異なる感度で検出される。その結果、同一の光強度の光線が画素毎に異なる検出信号レベルで検出される。例えば、点光源PAからの光強度aの光線に対する検出信号レベルが、画素Pa乃至画素Pcでそれぞれ異なる値になる。
そして、各点光源からの光線に対する各画素の受光感度レベルは、その光線の光強度に、その光線の入射角度に対する受光感度(すなわち、入射角指向性)を示す係数を乗じることにより求められる。例えば、点光源PAからの光線に対する画素Paの検出信号レベルは、点光源PAの光線の光強度aに、当該光線の画素Paへの入射角度に対する画素Paの入射角指向性を示す係数を乗じることにより求められる。
従って、画素Pc,Pb,Paの検出信号レベルDA,DB,DCは、それぞれ以下の式(1)乃至式(3)で表される。
DA=α1×a+β1×b+γ1×c
・・・(1)
DB=α2×a+β2×b+γ2×c
・・・(2)
DC=α3×a+β3×b+γ3×c
・・・(3)
ここで、係数α1は、点光源PAから画素Pcへの光線の入射角度に対する画素Pcの入射角指向性を示す係数であり、当該入射角度に応じて設定される。また、α1×aは、点光源PAからの光線に対する画素Pcの検出信号レベルを示している。
係数β1は、点光源PBから画素Pcへの光線の入射角度に対する画素Pcの入射角指向性を示す係数であり、当該入射角度に応じて設定される。また、β1×bは、点光源PBからの光線に対する画素Pcの検出信号レベルを示している。
係数γ1は、点光源PCから画素Pcへの光線の入射角度に対する画素Pcの入射角指向性を示す係数であり、当該入射角度に応じて設定される。また、γ1×cは、点光源PCからの光線に対する画素Pcの検出信号レベルを示している。
このように、画素Paの検出信号レベルDAは、画素Pcにおける点光源PA,PB,PCからの光線のそれぞれの光強度a,b,cと、それぞれの入射角度に応じた入射角指向性を示す係数α1,β1,γ1との積和により求められる。
同様に、画素Pbの検出信号レベルDBは、式(2)に示されるように、画素Pbにおける点光源PA,PB,PCからの光線のそれぞれの光強度a,b,cと、それぞれの入射角度に応じた入射角指向性を示す係数α2,β2,γ2との積和により求められる。また、画素Pcの検出信号レベルDCは、式(3)に示されるように、画素Paにおける点光源PA,PB,PCからの光線のそれぞれの光強度a,b,cと、それぞれの入射角度に応じた入射角指向性を示す係数α2,β2,γ2との積和により求められる。
ただし、画素Pa,Pb,Pcの検出信号レベルDA、DB、DCは、式(1)乃至式(3)に示されるように、点光源PA,PB,PCのそれぞれより発せられた光線の光強度a,b,cが入り交じっている。従って、図1の右上に示されるように、撮像素子51における検出信号レベルは、被写体面31上の各点光源の光強度とは異なる。従って、撮像素子51により得られる画像は、被写体面31の像が結像されたものとは異なるものとなる。
一方、式(1)乃至式(3)からなる連立方程式を作成し、作成した連立方程式を解くことにより、各点光源PA乃至点光源PCの光線の光強度a乃至光強度cが求められる。そして、求めた光強度a乃至光強度cに応じた画素値を有する画素を点光源PA乃至点光源PCの配置(相対位置)に合わせて並べることにより、図1の右下に示されるように、被写体面31の像が結像された復元画像が復元される。
なお、以下、連立方程式を構成する式毎に係数をまとめたもの(例えば、係数α1、β1、γ1)を係数セットと称する。また、以下、連立方程式に含まれる複数の式に対応する複数の係数セットをまとめたもの(例えば、係数セットα1、β1、γ1、係数セットα2、β2、γ2、係数セットα3、β3、γ3)を係数セット群と称する。
このようにして、撮像レンズ、ピンホール、並びに、特許文献1及び非特許文献1(以下、特許文献等と称する)に示される光学フィルタを必要とせず、各画素において入射角指向性を有する撮像素子51を必須構成とする撮像装置を実現することが可能となる。結果として、撮像レンズ、ピンホール、及び、特許文献等に記載の光学フィルタが必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。
また、必須構成が撮像素子51のみになるので、設計の自由度を向上させることが可能となる。例えば、従来の撮像レンズを用いた撮像装置では、撮像レンズにより被写体の像が結像される位置に合わせて、撮像素子の画素を2次元のアレイ状に配置する必要があるが、撮像素子51を用いた撮像装置では、その必要がない。そのため、各画素の配置の自由度が向上し、例えば、被写体からの光が入射する範囲内において、各画素を自由に配置することが可能になる。例えば、各画素を円形の領域内に並べたり、中空方形(ロの字型)の領域内に並べたり、複数の領域に分散して配置したりすることが可能になる。
そして、各画素の配置に関わらず、被写体面31上の各点光源からの光線の各画素への入射角度に応じた係数を用いて、上述した式(1)乃至式(3)で示されるような連立方程式を作成し、解くことにより、各点光源からの光線の光強度を求めることができる。そして、求めた各点光源の光強度に応じた画素値を有する画素を被写体面31上の各点光源の配置に合わせて並べることにより、被写体面31の像が結像された復元画像を復元することができる。
<<2.本開示の撮像装置の基本的な構成例>>
次に、図2乃至図25を参照して、本開示の撮像装置の基本的な構成例について説明する。
<撮像装置101の構成例>
図2は、本開示の技術を適用した基本的な撮像装置である撮像装置101の構成例を示すブロック図である。
撮像装置101は、撮像素子121、復元部122、制御部123、入力部124、検出部125、関連付け部126、表示部127、記憶部128、記録再生部129、記録媒体130、及び、通信部131を備える。また、復元部122、制御部123、入力部124、検出部125、関連付け部126、表示部127、記憶部128、記録再生部129、記録媒体130、及び、通信部131により、信号処理や撮像装置101の制御等を行う信号処理制御部111が構成される。なお、撮像装置101は、撮像レンズを含まない(撮像レンズフリー)。
また、撮像素子121、復元部122、制御部123、入力部124、検出部125、関連付け部126、表示部127、記憶部128、記録再生部129、及び、通信部131は、バスB1を介して相互に接続されており、バスB1を介してデータの送受信等を行う。なお、以下、説明を簡単にするために、撮像装置101の各部がバスB1を介してデータの送受信等を行う場合のバスB1の記載を省略する。例えば、入力部124がバスB1を介して制御部123にデータを供給する場合、入力部124が制御部123にデータを供給すると記載する。
撮像素子121は、図1を参照して説明した撮像素子51に対応するものであり、入射角指向性を有する画素を含み、入射光の光量に応じた検出信号レベルを示す検出信号からなる画像を復元部122又はバスB1に出力する撮像素子である。
より具体的には、撮像素子121は、基本的な構造において、一般の、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子からなるものと同様のものであっても良い。ただし、撮像素子121は、画素アレイを構成する各画素の構成が一般のものと異なり、例えば、図3乃至図5を参照して後述するように、入射角指向性を持たせる構成を有している。そして、撮像素子121は、画素毎に入射光の入射角度に応じて受光感度が異なり(変化し)、画素単位で入射光の入射角度に対する入射角指向性を有している。
なお、撮像素子121が出力する画像は、上述した図1の右上に示されるように被写体の像が結像されていない検出信号により構成される画像となるので、目視により被写体を認識することができない。すなわち、撮像素子121が出力する検出信号からなる検出画像は、画素信号の集合ではあるが、ユーザが目視しても被写体を認識できない(被写体を視認不可能な)画像である。
そこで、以降においては、図1の右上に示されるように被写体の像が結像されていない検出信号より構成される画像、すなわち、撮像素子121により撮像される画像を、検出画像と称するものとする。
尚、撮像素子121は、画素アレイとして構成されなくてもよく、例えば、ラインセンサとして構成されてもよい。また、入射角指向性は必ずしも画素単位で全て異なる必要はなく、入射角指向が同じ画素を含んでいてもよい。
復元部122は、例えば、図1における撮像素子51から被写体面31(復元画像に対応する被写体面)までの距離に相当する被写体距離に対応し、上述した係数α1乃至α3,β1乃至β3,γ1乃至γ3に相当する係数セット群を記憶部128から取得する。また、復元部122は、撮像素子121から出力される検出画像の各画素の検出信号レベルと、取得した係数セット群とを用いて、上述した式(1)乃至式(3)で示されるような連立方程式を作成する。そして、復元部122は、作成した連立方程式を解くことにより、図1の右下に示される被写体の像が結像された画像を構成する各画素の画素値を求める。これにより、ユーザが目視して被写体を認識できる(被写体を視認可能な)画像が検出画像から復元される。以降においては、この検出画像から復元される画像を復元画像と称するものとする。ただし、撮像素子121が紫外線などの視認可能な波長帯域以外の光のみに感度を有する場合、復元画像も通常の画像のように被写体を識別できるような画像とはならないが、この場合も復元画像と称する。
また、以降においては、被写体の像が結像された状態の画像である復元画像であって、デモザイク処理等の色分離や同時化処理前の画像をRAW画像と称し、撮像素子121により撮像された検出画像については、色フィルタの配列に従った画像ではあるが、RAW画像ではないものとして区別する。
尚、撮像素子121の画素数と、復元画像を構成する画素の画素数とは、必ずしも同一である必要はない。
また、復元部122は、必要に応じて、復元画像に対してデモザイク処理、γ補正、ホワイトバランス調整、所定の圧縮形式への変換処理等を行う。そして、復元部122は、復元画像をバスB1に出力する。
制御部123は、例えば、各種のプロセッサを備え、撮像装置101の各部を制御する。
入力部124は、撮像装置101の操作や、処理に用いるデータの入力等を行うための入力デバイス(例えば、キー、スイッチ、ボタン、ダイヤル、タッチパネル、リモートコントローラ等)を備える。入力部124は、操作信号や入力されたデータ等をバスB1に出力する。
検出部125は、撮像装置101や被写体の状態等の検出に用いる各種のセンサ等を備える。例えば、検出部125は、撮像装置101の姿勢や動きを検出する加速度センサやジャイロセンサ、撮像装置101の位置を検出する位置検出センサ(例えば、GNSS(Global Navigation Satellite System)受信機等)、被写体距離を検出する測距センサ等を備える。検出部125は、検出結果を示す信号をバスB1に出力する。
関連付け部126は、撮像素子121により得られる検出画像と、検出画像に対応するメタデータとの関連付けを行う。メタデータは、例えば、対象となる検出画像を用いて復元画像を復元するための係数セット群や被写体距離等を含む。
なお、検出画像とメタデータを関連付ける方法は、検出画像とメタデータとの対応関係を特定することができれば、特に限定されない。例えば、検出画像を含む画像データにメタデータを付与したり、検出画像とメタデータに同じIDを付与したり、検出画像とメタデータを同じ記録媒体130に記録させたりすることにより、検出画像とメタデータが関連付けられる。
表示部127は、例えば、ディスプレイにより構成され、各種の情報(例えば、復元画像等)の表示を行う。なお、表示部127が、スピーカ等の音声出力部を備え、音声の出力を行うようにすることも可能である。
記憶部128は、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ等の記憶装置を1つ以上備え、例えば、撮像装置101の処理に用いられるプログラムやデータ等を記憶する。例えば、記憶部128は、様々な被写体距離に対応付けて、上述した係数α1乃至α3,β1乃至β3,γ1乃至γ3に相当する係数セット群を記憶している。より具体的には、例えば、記憶部128は、各被写体距離における被写体面31毎に、被写体面31上に設定した各点光源に対する撮像素子121の各画素121aに対する係数を含む係数セット群を記憶している。
記録再生部129は、記録媒体130へのデータの記録、及び、記録媒体130に記録されているデータの再生(読み出し)を行う。例えば、記録再生部129は、復元画像を記録媒体130に記録したり、記録媒体130から読み出したりする。また、例えば、記録再生部129は、検出画像及び対応するメタデータを、記録媒体130に記録したり、記録媒体130から読み出したりする。
記録媒体130は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、磁気ディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等のいずれか、又は、それらの組合せなどからなる。
通信部131は、所定の通信方式により、他の機器(例えば、他の撮像装置や信号処理装置等)と通信を行う。なお、通信部131の通信方式は、有線又は無線のいずれであってもよい。また、通信部131が複数の通信方式に対応することも可能である。
<撮像素子121の第1の構成例>
次に、図3及び図4を参照して、図2の撮像装置101の撮像素子121の第1の構成例について説明する。
図3は、撮像素子121の画素アレイ部の一部の正面図を示している。尚、図3においては、画素アレイ部の画素数が縦6画素×横6画素である場合の例を示しているが、画素アレイ部の画素数は、これに限るものではない。
図3の撮像素子121では、画素121a毎に、そのフォトダイオードの受光領域(受光面)の一部を覆うように変調素子の1つである遮光膜121bが設けられており、各画素121aに入射する入射光が、入射角度に応じて光学的に変調される。そして、例えば、画素121a毎に異なる範囲に遮光膜121bを設けることにより、画素121a毎に入射光の入射角度に対する受光感度が異なるものとなり、各画素121aが異なる入射角指向性を有するようになる。
例えば、画素121a−1と画素121a−2とでは、設けられている遮光膜121b−1と遮光膜121b−2とによりフォトダイオードの受光領域を遮光する範囲が異なる(遮光する領域(位置)、および遮光する面積の少なくともいずれかが異なる)。すなわち、画素121a−1においては、フォトダイオードの受光領域の左側の一部を所定の幅だけ遮光するように遮光膜121b−1が設けられている。一方、画素121a−2においては、受光領域の右側の一部を所定の幅だけ遮光するように遮光膜121b−2が設けられている。なお、遮光膜121b−1がフォトダイオードの受光領域を遮光する幅と、遮光膜121b−2がフォトダイオードの受光領域を遮光する幅とは、異なっていてもよいし、同じであってもよい。その他の画素121aにおいても、同様に、遮光膜121bが、画素毎に受光領域の異なる範囲を遮光するように、画素アレイ内でランダムに配置されている。
尚、遮光膜121bが各画素の受光領域を覆い隠す割合が大きくなるほど、フォトダイオードが受光できる光量が少ない状態となる。従って、遮光膜121bの面積は、所望の光量が確保できる程度の面積とすることが望ましく、例えば、最大で受光領域の3/4程度までといった制限を加えるようにしてもよい。このようにすることで、所望量以上の光量を確保することが可能となる。ただし、各画素において、受光する光の波長に相当する幅の遮光されていない範囲が設けられていれば、最小限の光量を受光することは可能である。すなわち、例えば、B画素(青色画素)の場合、波長は500nm程度となるが、この波長に相当する幅以上に遮光されていなければ、最小限の光量を受光することは可能である。
図4の上段は、撮像素子121の第1の構成例における側面断面図であり、図4の中段は、撮像素子121の第1の構成例における上面図である。また、図4の上段の側面断面図は、図4の中段におけるAB断面となる。さらに、図4の下段は、撮像素子121の回路構成例である。
図4の上段の撮像素子121においては、図中の上方から下方に向けて入射光が入射する。隣接する画素121a−1,121a−2は、それぞれ図中の最下層に配線層Z12が設けられており、その上に光電変換層Z11が設けられている、いわゆる、裏面照射型である。
尚、画素121a−1,121a−2を区別する必要がない場合、符号の末尾の数字の記載を省略し、単に、画素121aと称する。以下、明細書内において、他の構成についても、同様に符号の末尾の数字を省略する場合がある。
また、図4においては、撮像素子121の画素アレイを構成する2画素分の側面図および上面図のみを示しており、いうまでもなく、これ以上の数の画素121aが配置されているが図示が省略されている。
さらに、画素121a−1,121a−2は、それぞれ光電変換層Z11にフォトダイオード121e−1,121e−2を備えている。また、フォトダイオード121e−1,121e−2の上には、それぞれ上からオンチップレンズ121c−1,121c−2、およびカラーフィルタ121d−1,121d−2が積層されている。
オンチップレンズ121c−1,121c−2は、入射光をフォトダイオード121e−1,121e−2上に集光させる。
カラーフィルタ121d−1,121d−2は、例えば、赤色、緑色、青色、赤外および白色等の特定の波長の光を透過させる光学フィルタである。尚、白色の場合、カラーフィルタ121d−1,121d−2は、透明のフィルタでもよいし、無くてもよい。
画素121a−1,121a−2の光電変換層Z11における、それぞれ画素間の境界には、遮光膜121g−1乃至121g−3が形成されており、例えば、図4に示されるように、入射光Lが隣接する画素に入射し、クロストークが発生するのを抑制する。
また、図4の上段及び中段に示されるように、遮光膜121b−1,121b−2が、上面から見て受光面Sの一部を遮光している。画素121a−1,121a−2におけるフォトダイオード121e−1,121e−2の受光面Sにおいては、遮光膜121b−1,121b−2により、それぞれ異なる範囲が遮光されており、これにより異なる入射角指向性が画素毎に独立に設定される。ただし、遮光される範囲は、撮像素子121の全画素121aで異なっている必要はなく、一部で同一の範囲が遮光される画素121aが存在していてもよい。
なお、図4の上段に示されるように、遮光膜121b−1と遮光膜121g−1とは互いに接続されており、側面から見てL字型に構成されている。同様に、遮光膜121b−2と遮光膜121g−2とは互いに接続されており、側面から見てL字型に構成されている。また、遮光膜121b−1、遮光膜121b−2、及び、遮光膜121g−1乃至121g−3は、金属により構成されており、例えば、タングステン(W)、アルミニウム(Al)、またはAlと銅(Cu)との合金により構成される。また、遮光膜121b−1、遮光膜121b−2、及び、遮光膜121g−1乃至121g−3は、半導体プロセスにおける配線が形成されるプロセスと同一のプロセスで、配線と同一の金属により同時に形成されるようにしてもよい。尚、遮光膜121b−1、遮光膜121b−2、及び、遮光膜121g−1乃至121g−3の膜厚は、位置に応じて同一の厚さにしなくてもよい。
また、図4の下段に示されるように、画素121aは、フォトダイオード161(フォトダイオード121eに対応する)、転送トランジスタ162、FD(Floating Diffusion:フローティングディフュージョン)部163、選択トランジスタ164、増幅トランジスタ165、およびリセットトランジスタ166を備え、垂直信号線167を介して電流源168に接続されている。
フォトダイオード161は、アノード電極が接地され、カソード電極が、転送トランジスタ162を介して増幅トランジスタ165のゲート電極に接続されている。
転送トランジスタ162は、転送信号TGに従って駆動する。例えば、転送トランジスタ162のゲート電極に供給される転送信号TGがハイレベルになると、転送トランジスタ162はオンとなる。これにより、フォトダイオード161に蓄積されている電荷が転送トランジスタ162を介してFD部163に転送される。
増幅トランジスタ165は、フォトダイオード161での光電変換によって得られる信号を読み出す読出し回路であるソースフォロワの入力部となり、FD部163に蓄積されている電荷に応じたレベルの画素信号を垂直信号線167に出力する。すなわち、増幅トランジスタ165は、ドレイン端子が電源VDDに接続され、ソース端子が選択トランジスタ164を介して垂直信号線167に接続されることで、垂直信号線167の一端に接続される電流源168とソースフォロワを構成する。
FD部163は、転送トランジスタ162と増幅トランジスタ165との間に設けられる電荷容量C1を有する浮遊拡散領域であり、転送トランジスタ162を介してフォトダイオード161から転送される電荷を一時的に蓄積する。FD部163は、電荷を電圧に変換する電荷検出部であって、FD部163に蓄積されている電荷が増幅トランジスタ165において電圧に変換される。
選択トランジスタ164は、選択信号SELに従って駆動し、ゲート電極に供給される選択信号SELがハイレベルになるとオンとなって、増幅トランジスタ165と垂直信号線167とを接続する。
リセットトランジスタ166は、リセット信号RSTに従って駆動する。例えば、リセットトランジスタ166は、ゲート電極に供給されるリセット信号RSTがハイレベルになるとオンとなり、FD部163に蓄積されている電荷を電源VDDに排出して、FD部163をリセットする。
例えば、図4の下段に示される画素回路は以下のように動作する。
すなわち、第一動作として、リセットトランジスタ166および転送トランジスタ162がオンにされ、FD部163に蓄積されている電荷を電源VDDに排出して、FD部163をリセットする。
第二動作として、リセットトランジスタ166および転送トランジスタ162がオフにされ、露光期間となり、フォトダイオード161により、入射光の光量に応じた電荷が蓄積される。
第三動作として、リセットトランジスタ166がオンにされて、FD部163がリセットされた後、リセットトランジスタ166がオフにされる。この動作により、FD部163が基準電位に設定される。
第四動作として、リセットされた状態のFD部163の電位が、基準電位として増幅トランジスタ165より出力される。
第五動作として、転送トランジスタ162がオンにされて、フォトダイオード161に蓄積された電荷がFD部163に転送される。
第六動作として、フォトダイオードの電荷が転送されたFD部163の電位が、信号電位として増幅トランジスタ165より出力される。
そして、CDS(相関二重サンプリング)により信号電位から基準電位が減算された信号が、画素121aの検出信号(画素信号)として出力される。この検出信号の値(出力画素値)は、被写体からの入射光の入射角に応じて変調されており、入射角により特性(指向性)が異なる(入射角指向性を有する)。
<撮像素子121の第2の構成例>
図5は、撮像素子121の第2の構成例を示す図である。図5の上段には、第2の構成例である撮像素子121の画素121aの側面断面図が示されており、図5の中段には、撮像素子121の上面図が示されている。また、図5の上段の側面断面図は、図5の中段におけるAB断面となる。さらに、図5の下段は、撮像素子121の回路構成例である。
図5の撮像素子121は、1つの画素121aに4つのフォトダイオード121f−1乃至121f−4が形成され、遮光膜121gがフォトダイオード121f−1乃至121f−4同士を分離する領域に形成されている点で、図4の撮像素子121と異なる構成となっている。即ち、図5の撮像素子121では、遮光膜121gは、上面から見て「+」形状に形成されている。なお、それらの共通の構成については図4と同一の符号を付しており、詳細な説明は省略する。
図5の撮像素子121では、遮光膜121gによりフォトダイオード121f−1乃至121f−4が分離されることによって、フォトダイオード121f−1乃至121f−4間の電気的および光学的なクロストークの発生が防止される。すなわち、図5の遮光膜121gは、図4の撮像素子121の遮光膜121gと同様にクロストークを防止するためのものであって、入射角指向性を与えるためのものではない。
また、図5の撮像素子121では、1個のFD部163が4個のフォトダイオード121f−1乃至121f−4で共有される。図5の下段は、1個のFD部163を4個のフォトダイオード121f−1乃至121f−4で共有するようにした回路構成例を示している。尚、図5の下段において、図4の下段と同一の構成については、その説明を省略する。
図5の下段において、図4の下段の回路構成と異なる点は、フォトダイオード161(図4の上段におけるフォトダイオード121eに対応する)および転送トランジスタ162に代えて、フォトダイオード161−1乃至161−4(図5の上段におけるフォトダイオード121f−1乃至121f−4に対応する)および転送トランジスタ162−1乃至162−4を設け、FD部163を共有する構成としている点である。
このような構成により、フォトダイオード121f−1乃至121f−4に蓄積された電荷は、フォトダイオード121f−1乃至121f−4と増幅トランジスタ165のゲート電極との接続部に設けられる所定の容量を有する共通のFD部163に転送される。そして、FD部163に保持されている電荷のレベルに応じた信号が検出信号(画素信号)として読み出される(ただし、上述したようにCDS処理が行われる)。
このため、フォトダイオード121f−1乃至121f−4で蓄積された電荷を様々な組み合わせで選択的に画素121aの出力、すなわち検出信号に寄与させることができる。すなわち、フォトダイオード121f−1乃至121f−4毎に独立して電荷を読み出すことができる構成とし、出力に寄与するフォトダイオード121f−1乃至121f−4(フォトダイオード121f−1乃至121f−4が出力に寄与する度合い)を互いに異ならせることで、異なる入射角指向性を得ることができる。
例えば、フォトダイオード121f−1とフォトダイオード121f−3の電荷をFD部163に転送し、それぞれを読み出して得られる信号を加算することにより、左右方向の入射角指向性を得ることができる。同様に、フォトダイオード121f−1とフォトダイオード121f−2の電荷をFD部163に転送し、それぞれを読み出して得られる信号を加算することにより、上下方向の入射角指向性を得ることができる。
また、4つのフォトダイオード121f−1乃至121f−4より独立して選択的に読み出される電荷に基づいて得られる信号は、検出画像を構成する1画素分に相当する検出信号となる。
なお、各フォトダイオード121f(の電荷)の検出信号への寄与は、例えば、各フォトダイオード121fの電荷(検出値)をFD部163に転送するか否かだけでなく、電子シャッタ機能を用いてFD部163への転送前にフォトダイオード121fに蓄積された電荷をリセットすること等でも実現することができる。例えば、FD部163への転送直前にフォトダイオード121fの電荷をリセットすれば、そのフォトダイオード121fは、検出信号に全く寄与しない状態となる。一方、フォトダイオード121fの電荷をリセットとFD部163への電荷の転送との間に時間を持たせることにより、そのフォトダイオード121fは、部分的に検出信号に寄与する状態となる。
以上のように、図5の撮像素子121の場合、4つのフォトダイオード121f−1乃至121f−4のうち、検出信号に用いるものの組み合わせを変更することで、画素毎に異なる入射角指向性を持たせることができる。また、図5の撮像素子121の各画素121aから出力される検出信号は、被写体からの入射光の入射角に応じて変調された値(出力画素値)となり、入射角により特性(指向性)が異なる(入射角指向性を有する)。
なお、以下、検出画像の1画素分に相当する検出信号を出力する単位を画素出力単位と称する。画素出力単位は、少なくとも1つ以上のフォトダイオードを備え、通常は、撮像素子121の各画素121aが、それぞれ1つの画素出力単位に相当する。
例えば、図4の撮像素子121では、1つの画素121aにそれぞれ1つのフォトダイオード121eが設けられているため、1つの画素出力単位がそれぞれ1つのフォトダイオード121eを備えることになる。換言すれば、1つのフォトダイオード121eにより、1つの画素出力単位が構成される。
そして、各画素121aの遮光膜121bによる遮光の状態をそれぞれ異なるものとすることで、各画素出力単位の入射角指向性を異なるものとすることができる。そして、図4の撮像素子121では、遮光膜121bを用いて各画素121aへの入射光が光学的に変調され、その結果、各画素121aのフォトダイオード121eから出力される信号により、入射角指向性を反映した検出画像の1画素分の検出信号が得られる。すなわち、図4の撮像素子121は、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光する複数の画素出力単位を備え、各画素出力単位が1つのフォトダイオード121eを備え、被写体からの入射光の入射角に対する特性(入射角指向性)が画素出力単位毎に設定されている。
一方、図5の撮像素子121では、1つの画素121aにそれぞれ4つのフォトダイオード121f−1乃至121f−4が設けられているため、1つの画素出力単位がそれぞれ4つのフォトダイオード121eを備えることになる。換言すれば、4つのフォトダイオード121fにより、1つの画素出力単位が構成される。一方、各フォトダイオード121e単体により、個別の画素出力単位が構成されることはない。
そして、上述したように4つのフォトダイオード121f−1乃至121f−4のうち検出信号に寄与するフォトダイオード121fを画素121a毎に異なるものとすることで、画素出力単位毎の入射角指向性が異なるものとなる。すなわち、図5の撮像素子121では、4個のフォトダイオード121f−1乃至121f−4のうち出力(検出信号)に寄与しない範囲が遮光された領域と同様に機能する。そして、フォトダイオード121f−1乃至121f−4から出力される信号の組合せにより、入射角指向性を反映した検出画像の1画素分の検出信号が得られる。すなわち、図5の撮像素子121は、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光する複数の画素出力単位を備え、各画素出力単位が複数のフォトダイオード(例えば、フォトダイオード121f−1乃至121f−4)を備え、出力に寄与するフォトダイオード(の度合い)を異ならせることで、被写体からの入射光の入射角に対する各画素出力単位の特性(入射角指向性)が互いに異なる。
なお、図5の撮像素子121では、入射光が光学的に変調されずに全てのフォトダイオード121f−1乃至121f−4に入射されるため、検出信号は、光学的な変調により得られる信号ではない。また、以降において、検出信号に寄与しないフォトダイオード121fのことを、画素出力単位又は出力に寄与しないフォトダイオード121fとも称する。
なお、図5には、画素出力単位(画素121a)の受光面を4等分して、各領域にそれぞれ受光面が同じ大きさのフォトダイオード121fを配置した例、すなわち、フォトダイオードを4等分した例を示しているが、フォトダイオードの分割数や分割位置は任意に設定することが可能である。
例えば、フォトダイオードを必ずしも等分する必要はなく、画素出力単位毎にフォトダイオードの分割位置を異ならせてもよい。これにより、例えば、複数の画素出力単位間で同じ位置のフォトダイオード121fを出力に寄与させるようにしたとしても、画素出力単位間で入射角指向性が異なるようになる。また、例えば、画素出力単位間で分割数を異なるものとすることにより、より自由に入射角指向性を設定することが可能になる。さらに、例えば、画素出力単位間で分割数及び分割位置の両方を異ならせるようにしてもよい。
また、図4の撮像素子121及び図5の撮像素子121のいずれも、各画素出力単位が入射角指向性を独立に設定可能な構成を有している。一方、上述した非特許文献1や特許文献1、2に示される撮像装置では、撮像素子の各画素出力単位が入射角指向性を独立に設定可能な構成を有していない。なお、図4の撮像素子121では、各画素出力単位の入射角指向性が、遮光膜121bにより製造時に設定される。一方、図5の撮像素子121では、各画素出力単位のフォトダイオードの分割数や分割位置は製造時に設定されるが、各画素出力単位の入射角指向性(出力に寄与させるフォトダイオードの組合せ)は使用時(例えば、撮像時)に設定することができる。なお、図4の撮像素子121及び図5の撮像素子121のいずれにおいても、必ずしも全ての画素出力単位が、入射角指向性を持たせる構成を備える必要はない。
なお、上述したように、通常は、撮像素子の各画素が、それぞれ1つの画素出力単位に相当するが、後述するように、複数の画素により、1つの画素出力単位が構成される場合もある。以降においては、特に記載がない限り、撮像素子の各画素が、それぞれ1つの画素出力単位に相当するものとして、説明を行う。
<入射角指向性を生じさせる原理について>
撮像素子121の各画素の入射角指向性は、例えば、図6に示されるような原理により発生する。尚、図6の左上部および右上部は、図4の撮像素子121における入射角指向性の発生原理を説明する図であり、図6の左下部および右下部は、図5の撮像素子121における入射角指向性の発生原理を説明する図である。
図6の左上部および右上部の画素は、いずれも1個のフォトダイオード121eを備える。これに対して、図6の左下部および右下部の画素は、いずれも2個のフォトダイオード121fを備える。尚、ここでは、1画素が2個のフォトダイオード121fを備える例を示しているが、これは説明の便宜上であり、1画素が備えるフォトダイオード121fの数は、その他の個数であってもよい。
図6の左上部の画素においては、フォトダイオード121e−11の受光面の右半分を遮光するように遮光膜121b−11が形成されている。また、図6の右上部の画素においては、フォトダイオード121e−12の受光面の左半分を遮光するように遮光膜121b−12が形成されている。尚、図中の一点鎖線は、フォトダイオード121eの受光面の水平方向の中心を通り、受光面に対して垂直な補助線である。
例えば、図6の左上部の画素においては、図中の一点鎖線に対して入射角θ1を成す右上方向からの入射光は、フォトダイオード121e−11の遮光膜121b−11により遮光されていない左半分の範囲により受光され易い。これに対して、図中の一点鎖線に対して入射角θ2を成す左上方向からの入射光は、フォトダイオード121e−11の遮光膜121b−11により遮光されていない左半分の範囲により受光されにくい。したがって、図6の左上部の画素は、図中の右上方からの入射光に対して受光感度が高く、左上方からの入射光に対して受光感度が低い入射角指向性を備えることになる。
一方、例えば、図6の右上部の画素においては、入射角θ1を成す右上方向からの入射光は、フォトダイオード121e−12の遮光膜121b−12により遮光されている左半分の範囲により受光されにくい。これに対して、入射角θ2を成す左上方向からの入射光は、フォトダイオード121e−12の遮光膜121b−12により遮光されていない右半分の範囲により受光され易い。したがって、図6の右上部の画素は、図中の右上方からの入射光に対して受光感度が低く、左上方からの入射光に対して受光感度が高い入射角指向性を備えることになる。
また、図6の左下部の画素は、図中の左右にフォトダイオード121f−11,121f−12が設けられており、いずれか一方の検出信号を読み出すようにすることで、遮光膜121bを設けることなく入射角指向性を有する構成とされている。
すなわち、図6の左下部の画素では、図中の左側に設けられたフォトダイオード121f−11の信号のみを読み出すようにすることで、図6の左上部の画素と同様の入射角指向性を得ることができる。すなわち、図中の一点鎖線に対して入射角θ1を成す右上方向からの入射光は、フォトダイオード121f−11に入射し、受光量に対応する信号がフォトダイオード121f−11から読み出されるため、この画素から出力される検出信号に寄与する。これに対して、図中の一点鎖線に対して入射角θ2を成す左上方向からの入射光は、フォトダイオード121f−12に入射するが、フォトダイオード121f−12から読み出されないため、この画素から出力される検出信号に寄与しない。
同様に、図6の右下部の画素のように、2個のフォトダイオード121f−13,121f−14を備える場合、図中の右側に設けられたフォトダイオード121f−14の信号のみを読み出すようにすることで、図6の右上部の画素と同様の入射角指向性を得ることができる。すなわち、入射角θ1を成す右上方向からの入射光は、フォトダイオード121f−13に入射するが、フォトダイオード121f−13から信号が読み出されないため、この画素から出力される検出信号に寄与しない。これに対して、入射角θ2を成す左上方向からの入射光は、フォトダイオード121f−14に入射し、受光量に対応する信号がフォトダイオード121f−14から読み出されるため、この画素から出力される検出信号に寄与する。
尚、図6の上部の画素においては、画素(フォトダイオード121eの受光面)の水平方向の中心位置で遮光される範囲と遮光されない範囲が分かれる例を示したが、その他の位置で分かれるようにしてもよい。また、図6の下部の画素においては、画素の水平方向の中心位置で、2つのフォトダイオード121fが分かれる例を示したが、その他の位置で分かれるようにしてもよい。このように、遮光範囲又はフォトダイオード121fが分かれる位置を変えることにより、異なる入射角指向性を生じさせることができる。
<オンチップレンズを含む構成における入射角指向性について>
次に、図7を参照して、オンチップレンズ121cを含めた構成における入射角指向性について説明する。
図7の上段のグラフは、図7の中段及び下段の画素の入射角指向性を示している。なお、横軸が入射角度θであり、縦軸が検出信号レベルを示している。なお、入射角度θは、入射光の方向が、図7の中段左側の一点鎖線と一致する場合を0度とし、図7の中段左側の入射角度θ21側を正の方向とし、図7の中段右側の入射角度θ22側を負の方向とする。したがって、オンチップレンズ121cに対して、右上方より入射する入射光については、左上方より入射する入射光よりも入射角度が大きくなる。すなわち入射角度θは、入射光の進行方向が左に傾くほど大きくなり(正の方向に大きくなり)、右に傾くほど小さくなる(負の方向に大きくなる)。
また、図7の中段左部の画素は、図6の上段左部の画素に、入射光を集光するオンチップレンズ121c−11、及び、所定の波長の光を透過させるカラーフィルタ121d−11を追加したものである。すなわち、この画素では、オンチップレンズ121c−11、カラーフィルタ121d−11、遮光膜121b−11、フォトダイオード121e−11が、図中上方の光の入射方向から順に積層されている。
同様に、図7の中段右部の画素、図7の下段左部の画素、及び、図7の下段右部の画素は、それぞれ、図6の上段右部の画素、図6の下段左部の画素、及び、図6の下段右部の画素に、オンチップレンズ121c−11及びカラーフィルタ121d−11、又は、オンチップレンズ121c−12及びカラーフィルタ121d−12を追加したものである。
図7の中段左部の画素では、図7の上段の実線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード121e−11の検出信号レベル(受光感度)が変化する。すなわち、図中の一点鎖線に対して入射光のなす角である入射角度θが大きいほど(入射角度θが正の方向に大きいほど(図中の右方向に傾くほど))、遮光膜121b−11が設けられていない範囲に光が集光されることで、フォトダイオード121e−11の検出信号レベルが大きくなる。逆に、入射光の入射角度θが小さいほど(入射角度θが負の方向に大きいほど(図中の左方向に傾くほど))、遮光膜121b−11が設けられている範囲に光が集光されることで、フォトダイオード121e−11の検出信号レベルが小さくなる。
また、図7の中段右部の画素では、図7の上段の点線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード121e−12の検出信号レベル(受光感度)が変化する。すなわち、入射光の入射角度θが大きいほど(入射角度θが正の方向に大きいほど)、遮光膜121b−12が設けられている範囲に光が集光されることで、フォトダイオード121e−12の検出信号レベルが小さくなる。逆に、入射光の入射角度θが小さいほど(入射角度θが負の方向に大きいほど)、遮光膜121b−12が設けられていない範囲に光が入射することで、フォトダイオード121e−12の検出信号レベルが大きくなる。
この図7の上段に示される実線および点線の波形は、遮光膜121bの範囲に応じて変化させることができる。従って、遮光膜121bの範囲により、画素単位で相互に異なる入射角指向性を持たせることが可能となる。
上述したように、入射角指向性とは、入射角度θに応じた各画素の受光感度の特性であるが、これは、図7の中段の画素では、入射角度θに応じた遮光値の特性であるとも言える。すなわち、遮光膜121bは、特定の方向の入射光は高いレベルで遮光するが、それ以外の方向からの入射光は十分に遮光できない。この遮光できるレベルの変化が、図7の上段に示されるような入射角度θに応じた異なる検出信号レベルを生じさせる。したがって、各画素において最も高いレベルで遮光可能な方向を各画素の遮光方向と定義すると、画素単位で相互に異なる入射角指向性を持つということは、換言すれば、画素単位で相互に異なる遮光方向を持つということになる。
また、図7の下段左部の画素では、図6の下段左部の画素と同様に、図中左部のフォトダイオード121f−11のみの信号を用いるようにすることで、図7の中段左部の画素と同様の入射角指向性を得ることができる。すなわち、入射光の入射角度θが大きくなると(入射角度θが正の方向に大きくなると)、信号が読み出されるフォトダイオード121f−11の範囲に光が集光されることで、検出信号レベルが大きくなる。逆に、入射光の入射角度θが小さいほど(入射角度θが負の方向に大きいほど)、信号が読み出されないフォトダイオード121f−12の範囲に光が集光されることで、検出信号レベルが小さくなる。
また、同様に、図7の下段右部の画素では、図6の下段右部の画素と同様に、図中右部のフォトダイオード121f−14のみの信号を用いるようにすることで、図7の中段右部の画素と同様の入射角指向性を得ることができる。すなわち、入射光の入射角度θが大きくなると(入射角度θが正の方向に大きくなると)、出力(検出信号)に寄与しないフォトダイオード121f−13の範囲に光が集光されることで、画素単位の検出信号のレベルが小さくなる。逆に、入射光の入射角度θが小さいほど(入射角度θが負の方向に大きいほど)、出力(検出信号)に寄与するフォトダイオード121f−14の範囲に光が集光されることで、画素単位の検出信号のレベルが大きくなる。
なお、図7の下段の画素のように、画素内に複数のフォトダイオードを設け、出力に寄与するフォトダイオードを変更可能な画素において、各フォトダイオードに入射光の入射角に対する指向性を持たせ、画素単位での入射角指向性を生じさせるために、各画素にオンチップレンズ121cが必須構成となる。
尚、入射角指向性については、画素単位でランダム性が高い方が望ましい。例えば、隣り合う画素間で同一の入射角指向性を持つと、上述した式(1)乃至式(3)または、後述する式(4)乃至式(6)が相互に同一の式となる恐れがあり、その結果、連立方程式の解となる未知数に対して式の数が不足し、復元画像を構成する画素値を求められなくなる恐れがあるためである。
なお、以下の説明では、図4の画素121aのように、遮光膜121bを用いて入射角指向性を実現する画素121aを用いる場合の例を中心に説明する。ただし、遮光膜121bが必須となる場合を除いて、基本的にフォトダイオードを分割して入射角指向性を実現する画素121aを用いることも可能である。
<遮光膜の構成について>
以上においては、図3に示されるように、撮像素子121の各画素121aの遮光膜121bの構成として、垂直方向に対しては受光面全体を遮光し、水平方向の遮光幅や位置を変化させる例を示したが、当然のことながら、水平方向に対して受光面全体を遮光し、垂直方向の幅(高さ)や位置を変化させるようにして、各画素121aに入射角指向性を持たせるようにしてもよい。
尚、以降においては、図3の例のように、垂直方向に対しては画素121aの受光面全体を遮光し、水平方向に対して所定の幅で受光面を遮光する遮光膜121bを、横帯タイプの遮光膜121bと称する。また、水平方向に対しては画素121aの受光面全体を遮光し、垂直方向に対して所定の高さで受光面を遮光する遮光膜121bを、縦帯タイプの遮光膜121bと称する。
また、図8の左部に示されるように、縦帯タイプと横帯タイプの遮光膜121bを組み合わせて、例えば、ベイヤ配列のそれぞれの画素に対して、L字型のような遮光膜121bを設けるようにしてもよい。
尚、図8においては、黒色の範囲が遮光膜121bを表しており、特に断りがない限り、以降の図面においても同様に表示する。また、図8の例では、ベイヤ配列となるG(緑色)画素の画素121a−21,121a−24、R(赤色)画素の画素121a−22、およびB(青色)画素の画素121a−23のそれぞれに対して、L字型の遮光膜121b−21乃至121b−24が設けられている。
この場合、各画素121aは、図8の右部に示されるような入射角指向性を有することになる。すなわち、図8の右部においては、各画素121aの受光感度の分布が示されており、横軸が入射光の水平方向(x方向)の入射角度θxを表し、縦軸が入射光の垂直方向(y方向)の入射角度θyを表している。そして、範囲C4内の受光感度が、範囲C4の外よりも高く、範囲C3内の受光感度が、範囲C3の外よりも高く、範囲C2内の受光感度が、範囲C2の外よりも高く、範囲C1内の受光感度が、範囲C1の外よりも高くなる。
従って、各画素121aにおいて、水平方向(x方向)の入射角度θxと、垂直方向(y方向)の入射角度θyとが範囲C1内となる入射光に対する検出信号レベルが最も高くなる。そして、入射角度θxと入射角度θyが範囲C2内、範囲C3内、範囲C4内、および、範囲C4以外の範囲となる入射光の順に検出信号レベルが低くなる。尚、図8の右部に示される受光感度の強度分布は、ベイヤ配列とは無関係に、各画素121aにおける遮光膜121bにより遮光される範囲により決定されるものである。
尚、以降においては、図8のL字型の遮光膜121b−21乃至121b−24のように、縦帯タイプの遮光膜と横帯タイプの遮光膜をそれぞれの端部でつなぎ合わせた形状の遮光膜121bを、L字タイプの遮光膜121bと総称するものとする。
<入射角指向性の設定方法>
次に、図9を参照して、入射角指向性の設定方法の例について説明する。
例えば、図9の上段に示されるように、遮光膜121bの水平方向の遮光範囲が、画素121aの左端部から位置Aまでの範囲とし、垂直方向の遮光範囲が、画素121aの上端部から位置Bまでの範囲である場合について考える。
この場合、各画素の水平方向の中心位置からの入射角度θx(deg)に応じた重みであって、水平方向の入射角指向性の指標となる0乃至1の重みWxを設定する。より詳細には、位置Aに対応する入射角度θx=θaにおいて、重みWxが0.5になると仮定した場合、入射角度θx<θa−αにおいて重みWxが1となり、θa−α≦入射角度θx≦θa+αにおいて、重みWxが(−(θx−θa)/2α+0.5)となり、入射角度θx>θa+αにおいて重みWxが0となるように重みWxを設定する。
同様に、各画素の垂直方向の中心位置からの入射角度θy(deg)に応じた重みであって、垂直方向の入射角指向性の指標となる0乃至1の重みWyを設定する。より詳細には、位置Bに対応する入射角度θy=θbにおいて、重みWyが0.5になると仮定した場合、入射角度θy<θb−αにおいて重みWyが0となり、θb−α≦入射角度θy≦θb+αにおいて、重みWyが((θy−θb)/2α+0.5)となり、入射角度θy>θb+αにおいて重みWyが1となるように重みWyを設定する。
尚、重みWx及び重みWyが、図9のグラフのように変化するのは、理想的な条件が満たされる場合となる。
そして、このようにして求められた重みWx,Wyを用いることにより、それぞれの画素121aの入射角指向性、すなわち、受光感度特性に対応する係数を求めることができる。例えば、被写体面31のある点光源からの入射光の入射角度θxに対応する重みWxと、入射角度θyに対応する重みWyとを乗じた値が、その点光源に対する係数に設定される。
また、このとき、水平方向の重みWxおよび垂直方向の重みWyが0.5前後となる範囲における重みの変化を示す傾き(1/2α)は、焦点距離の異なるオンチップレンズ121cを用いることで設定することができる。
例えば、図9の下段の実線で示されるように、オンチップレンズ121cの焦点距離が遮光膜121bの表面に合っている場合、水平方向の重みWx及び垂直方向の重みWyの傾き(1/2α)は、急峻になる。すなわち、重みWxおよび重みWyは、値が0.5付近となる水平方向の入射角度θx=θa、および、垂直方向の入射角度θy=θbの境界付近において、急激に0または1に変化する。
また、例えば、図9の下段の点線で示されるように、オンチップレンズ121cの焦点距離がフォトダイオード121eの表面に合っている場合、水平方向の重みWx及び垂直方向の重みWyの傾き(1/2α)は、緩やかになる。すなわち、重みWxおよび重みWyは、値が0.5付近となる水平方向の入射角度θx=θa、および、垂直方向の入射角度θy=θbの境界付近において、緩やかに0または1に変化する。
例えば、オンチップレンズ121cの焦点距離は、オンチップレンズ121cの曲率により変化する。従って、曲率の異なるオンチップレンズ121cを用いて、オンチップレンズ121cの焦点距離を変化させることで異なる入射角指向性、すなわち、異なる受光感度特性を得ることができる。
したがって、画素121aの入射角指向性は、遮光膜121bによりフォトダイオード121eが遮光される範囲と、オンチップレンズ121cの曲率との組み合わせにより調整することができる。尚、オンチップレンズの曲率は、撮像素子121の全ての画素121aで同一にしてもよいし、一部の画素121aで異なるようにしてもよい。
例えば、撮像素子121の各画素121aの入射角指向性を表す指標として、各画素121aの位置、各画素121aの遮光膜121bの形状、位置、範囲、オンチップレンズ121cの曲率等に基づいて、図9のグラフのような重みWx及び重みWyの特性が画素121a毎に設定される。また、所定の被写体距離の被写体面31上のある点光源と、撮像素子121のある画素121aとの位置関係に基づいて、当該点光源から当該画素121aへの光線の入射角度が求められる。そして、求めた入射角度、並びに、当該画素121aの重みWx及び重みWyの特性に基づいて、当該点光源に対する当該画素121aの係数が求められる。
同様に、被写体面31上の各点光源と撮像素子121の各画素121aとの組み合わせについて、上述したように係数を求めることにより、上述した式(1)乃至式(3)の係数セットα1,β1,γ1,係数セットα2,β2,γ2,係数セットα3,β3,γ3のような、被写体面31に対する撮像素子121の係数セット群を求めることができる。
なお、図13を参照して後述するように、被写体面31から撮像素子121の受光面までの被写体距離が異なると、被写体面31の各点光源からの光線の撮像素子121への入射角が異なるため、被写体距離毎に異なる係数セット群が必要となる。
また、同じ被写体距離の被写体面31であっても、設定する点光源の数や配置が異なると、各点光源からの光線の撮像素子121への入射角が異なる。従って、同じ被写体距離の被写体面31に対して、複数の係数セット群が必要となる場合がある。また、各画素121aの入射角指向性は、上述した連立方程式の独立性を確保できるように設定する必要がある。
<オンチップレンズと撮像レンズとの違い>
本開示の撮像装置101においては、撮像素子121は、撮像レンズからなる光学ブロックやピンホールを必要としない構成であるが、上述したように、オンチップレンズ121cは設けられる。ここで、オンチップレンズ121cと撮像レンズとは、物理的作用が異なるものである。
例えば、図10に示されるように、点光源P101から発せられた拡散光のうち撮像レンズ152に入射した光は、撮像素子151上の画素位置P111において集光する。すなわち、撮像レンズ152は、点光源P101から異なる角度で入射する拡散光を、画素位置P111に集光し、点光源P101の像を結像させるように設計されている。この画素位置P111は、点光源P101と撮像レンズ152の中心とを通る主光線L101により特定される。
また、例えば、図11に示されるように、点光源P101とは異なる点光源P102から発せられた拡散光のうち撮像レンズ152に入射した光は、撮像素子151上の画素位置P111とは異なる画素位置P112において集光する。すなわち、撮像レンズ152は、点光源P102から異なる角度で入射する拡散光を、画素位置P112に集光し、点光源P102の像を結像させるように設計されている。この画素位置P112は、点光源P102と撮像レンズ152の中心とを通る主光線L102により特定される。
このように、撮像レンズ152は、撮像素子151上の異なる画素位置P111,P112に、それぞれ主光線が異なる点光源P101,P102の像を結像させる。
さらに、図12に示されるように、点光源P101が無限遠に存在する場合、点光源P101から発せられた拡散光の一部が、主光線L101に平行な平行光として撮像レンズ152に入射する。例えば、主光線L101に対して平行な光線L121と光線L122の間の光線からなる平行光が撮像レンズ152に入射する。そして、撮像レンズ152に入射した平行光は、撮像素子151上の画素位置P111に集光する。すなわち、撮像レンズ152は、無限遠に存在する点光源P101からの平行光を、画素位置P111に集光し、点光源P101の像を結像させるように設計されている。
従って、撮像レンズ152は、例えば、主光線入射角θ1を持つ点光源からの拡散光を画素(画素出力単位)P1に入射させ、主光線入射角θ1とは異なる主光線入射角θ2を持つ点光源からの拡散光を、画素P1とは異なる画素(画素出力単位)P2に入射させる集光機能を持つ。すなわち、撮像レンズ152は、主光線の入射角が異なる光源からの拡散光を、互いに隣接する複数の画素(画素出力単位)へ入射させるための集光機能を持つ。ただし、例えば、互いに近接している点光源や、無限遠に存在しており実質的に近接している点光源からの光は、同じ画素(画素出力単位)に入射する場合がある。
これに対して、例えば、図4,図5を参照して説明したように、オンチップレンズ121cを通る光は、対応する画素(画素出力単位)を構成するフォトダイオード121eまたはフォトダイオード121fの受光面のみに入射される。換言すれば、オンチップレンズ121cは、画素(画素出力単位)毎に設けられ、自身に入射する入射光を対応する画素(画素出力単位)のみに集光する。すなわち、オンチップレンズ121cは、異なる点光源からの光を、異なる画素(画素出力単位)へ入射させるための集光機能を持たない。
なお、ピンホールを用いた場合、各画素(画素出力単位)の位置と光の入射角の関係が一意に定まる。したがって、ピンホールと従来の撮像素子を用いた構成の場合、各画素に対して、入射角指向性を独立して自由に設定することができない。
<被写体面と撮像素子との距離の関係>
次に、図13を参照して、被写体面と撮像素子121との距離の関係について説明する。
なお、図13の左上に示されるように、撮像素子121(図1の撮像素子51と同様)と被写体面31までの被写体距離が距離d1である場合、撮像素子121上の画素Pc,Pb,Paにおける検出信号レベルDA,DB,DCが、上述した式(1)乃至式(3)と同一の式で表されるものとする。
DA=α1×a+β1×b+γ1×c
・・・(1)
DB=α2×a+β2×b+γ2×c
・・・(2)
DC=α3×a+β3×b+γ3×c
・・・(3)
また、図13の左下に示されるように、撮像素子121との被写体距離が距離d1よりもdだけ大きな距離d2である被写体面31’、すなわち、撮像素子121から見て、被写体面31よりも奥の被写体面31’について考える場合も、撮像素子121上の画素Pc,Pb,Paにおける検出信号レベルは、図13の下段中央部に示されるように、検出信号レベルDA,DB,DCで同様になる。
しかしながら、この場合、被写体面31’上の点光源PA’,PB’,PC’からの光強度a’,b’,c’の光線が撮像素子121の各画素において受光される。また、撮像素子121への光強度a’,b’,c’の光線の入射角度が異なる(変化する)ので、それぞれ異なる係数セット群が必要となる。従って、各画素Pa,Pb,Pcにおける検出信号レベルDA,DB,DCは、例えば、以下の式(4)乃至式(6)で表される。
DA=α11×a’+β11×b’+γ11×c’
・・・(4)
DB=α12×a’+β12×b’+γ12×c’
・・・(5)
DC=α13×a’+β13×b’+γ13×c’
・・・(6)
ここで、係数セットα11,β11,γ11,係数セットα12,β12,γ12,係数セットα13,β13,γ13からなる係数セット群は、被写体面31に対する係数セットα1,β1,γ1,係数セットα2,β2,γ2,係数セットα3,β3,γ3に対応する被写体面31’に対する係数セット群である。
従って、式(4)乃至式(6)からなる連立方程式を、予め設定された係数セット群α11,β11,γ11,α12,β12,γ12,α13,β13,γ13を用いて解くことで、被写体面31の点光源PA,PB,PCからの光線の光強度a,b,cを求める場合と同様の手法で、図13の右下に示されるように、被写体面31’の点光源PA’,PB’,PC’からの光線の光強度a’,b’,c’を求めることができる。その結果、被写体面31’の復元画像を復元することが可能となる。
従って、図2の撮像装置101においては、撮像素子121からの被写体面までの距離(被写体距離)毎の係数セット群を予め用意しておき、被写体距離毎に係数セット群を切り替えて連立方程式を作成し、作成した連立方程式を解くことで、1個の検出画像に基づいて、様々な被写体距離の被写体面の復元画像を得ることが可能となる。例えば、検出画像を1回撮像し、記録した後、記録した検出画像を用いて、被写体面までの距離に応じて係数セット群を切り替えて、復元画像を復元することにより、任意の被写体距離の被写体面の復元画像を生成することが可能である。
また、被写体距離や画角が特定できるような場合については、全ての画素を用いずに、特定された被写体距離や画角に対応した被写体面の撮像に適した入射角指向性を有する画素の検出信号を用いて、復元画像を生成するようにしてもよい。これにより、特定された被写体距離や画角に対応した被写体面の撮像に適した画素の検出信号を用いて復元画像を生成することができる。
例えば、図14の上段に示されるように、4辺のそれぞれの端部から幅d1だけ遮光膜121bにより遮光されている画素121aと、図14の下段に示されるように、4辺のそれぞれの端部から幅d2(>d1)だけ遮光膜121bにより遮光されている画素121a’とを考える。
図15は、撮像素子121の中心位置C1への被写体面31からの入射光の入射角度の例を示している。なお、図15においては、水平方向の入射光の入射角度の例を示しているが、垂直方向についてもほぼ同様となる。また、図15の右部には、図14における画素121a,121a’が示されている。
例えば、図14の画素121aが撮像素子121の中心位置C1に配置されている場合、被写体面31から画素121aへの入射光の入射角の範囲は、図15の左部に示されるように角度A1となる。従って、画素121aは、被写体面31の水平方向の幅W1分の入射光を受光することができる。
これに対して、図14の画素121a’が撮像素子121の中心位置C1に配置されている場合、画素121a’は画素121aよりも遮光される範囲が広いため、被写体面31から画素121a’への入射光の入射角の範囲は、図15の左部に示されるように角度A2(<A1)となる。従って、画素121a’は、被写体面31の水平方向の幅W2(<W1)分の入射光を受光することができる。
つまり、遮光範囲が狭い画素121aは、被写体面31上の広い範囲を撮像するのに適した広画角画素であるのに対して、遮光範囲が広い画素121a’は、被写体面31上の狭い範囲を撮像するのに適した狭画角画素である。尚、ここでいう広画角画素および狭画角画素は、図14の画素121a,121a’の両者を比較する表現であって、その他の画角の画素を比較する上ではこの限りではない。
従って、例えば、画素121aは、図14の画像I1を復元するために用いられる。画像I1は、図16の上段の被写体となる人物H101の全体を含み、被写体幅W1に対応する画角SQ1の画像である。これに対して、例えば、画素121a’は、図14の画像I2を復元するために用いられる。画像I2は、図16の上段の人物H101の顔の周辺がズームアップされた被写体幅W2に対応する画角SQ2の画像である。
また、例えば、図16の下段に示されるように、撮像素子121の点線で囲まれた範囲ZAに、図14の画素121aを、一点鎖線で囲まれた範囲ZBに画素121a’を、それぞれ所定画素数ずつ集めて配置することが考えられる。そして、例えば、被写体幅W1に対応する画角SQ1の画像を復元するときには、範囲ZA内の各画素121aの検出信号を用いるようにすることで、適切に画角SQ1の画像を復元することができる。一方、被写体幅W2に対応する画角SQ2の画像を復元するときには、範囲ZB内の各画素121a’の検出信号を用いるようにすることで、適切に画角SQ2の画像を復元することができる。
なお、画角SQ2は、画角SQ1よりも狭いので、画角SQ2と画角SQ1の画像を同一の画素数で復元する場合、画角SQ1の画像よりも、画角SQ2の画像を復元する方が、より高画質な復元画像を得ることができる。
つまり、同一画素数を用いて復元画像を得ることを考えた場合、より画角の狭い画像を復元する方が、より高画質な復元画像を得ることができる。
例えば、図17の右部は、図16の撮像素子121の範囲ZA内の構成例を示している。図17の左部は、範囲ZA内の画素121aの構成例を示している。
図17において、黒色で示された範囲が遮光膜121bであり、各画素121aの遮光範囲は、例えば、図17の左部に示される規則に従って決定される。
図17の左部の主遮光部Z101(図17の左部の黒色部)は、各画素121aにおいて共通に遮光される範囲である。具体的には、主遮光部Z101は、画素121aの左辺及び右辺から画素121a内に向かって、それぞれ幅dx1の範囲、並びに、画素121aの上辺及び下辺から画素121a内に向かって、それぞれ高さdy1の範囲である。そして、各画素121aにおいて、主遮光部Z101の内側の範囲Z102内に、遮光膜121bにより遮光されない矩形の開口部Z111が設けられる。従って、各画素121aにおいて、開口部Z111以外の範囲が、遮光膜121bにより遮光される。
ここで、各画素121aの開口部Z111は規則的に配置されている。具体的には、各画素121a内における開口部Z111の水平方向の位置は、同じ垂直方向の列の画素121a内において同一になる。また、各画素121a内における開口部Z111の垂直方向の位置は、同じ水平方向の行の画素121a内において同一になる。
一方、各画素121a内における開口部Z111の水平方向の位置は、画素121aの水平方向の位置に応じて所定の間隔でずれている。すなわち、画素121aの位置が右方向に進むに従って、開口部Z111の左辺が、画素121aの左辺からそれぞれ幅dx1、dx2、・・・、dxnだけ右方向にずれた位置に移動する。幅dx1と幅dx2の間隔、幅dx2と幅dx3の間隔、・・・、幅dxn−1と幅dxnの間隔は、それぞれ範囲Z102の水平方向の幅から開口部Z111の幅を引いた長さを水平方向の画素数n−1で割った値となる。
また、各画素121a内における開口部Z111の垂直方向の位置は、画素121aの垂直方向の位置に応じて所定の間隔でずれている。すなわち、画素121aの位置が下方向に進むに従って、開口部Z111の上辺が、画素121aの上辺からそれぞれ高さdy1、dy2、・・・、dynだけ下方向にずれた位置に移動する。高さdy1と高さdy2の間隔、高さdy2と高さdy3の間隔、・・・、高さdyn−1と高さdynの間隔は、それぞれ範囲Z102の垂直方向の高さから開口部Z111の高さを引いた長さを垂直方向の画素数m−1で割った値となる。
図18の右部は、図16の撮像素子121の範囲ZB内の構成例を示している。図18の左部は、範囲ZB内の画素121a’の構成例を示している。
図18において、黒色で示された範囲が遮光膜121b’であり、各画素121a’の遮光範囲は、例えば、図18の左部に示される規則に従って決定される。
図18の左部の主遮光部Z151(図18に左部の黒色部)は、各画素121a’において共通に遮光される範囲である。具体的には、主遮光部Z151は、画素121a’の左辺及び右辺から画素121a’内に向かって、それぞれ幅dx1’の範囲、並びに、画素121a’の上辺及び下辺から画素121a’内に向かって、それぞれ高さdy1’の範囲である。そして、各画素121a’において、主遮光部Z151の内側の範囲Z152内に、遮光膜121b’により遮光されない矩形の開口部Z161が設けられる。従って、各画素121a’において、開口部Z161以外の範囲が、遮光膜121b’により遮光される。
ここで、各画素121a’の開口部Z161は、図17の各画素121aの開口部Z111と同様に、規則的に配置されている。具体的には、各画素121a’内における開口部Z161の水平方向の位置は、同じ垂直方向の列の画素121a’内において同一になる。また、各画素121a’内における開口部Z161の垂直方向の位置は、同じ水平方向の行の画素121a’内において同一になる。
一方、各画素121a’内における開口部Z161の水平方向の位置は、画素121a’の水平方向の位置に応じて所定の間隔でずれている。すなわち、画素121a’の位置が右方向に進むに従って、開口部Z161の左辺が、画素121a’の左辺からそれぞれ幅dx1’、dx2’、・・・、dxn’だけ右方向にずれた位置に移動する。幅dx1’と幅dx2’の間隔、幅dx2’と幅dx3’の間隔、・・・、幅dxn−1’と幅dxn’の間隔は、それぞれ範囲Z152の水平方向の幅から開口部Z161の幅を引いた長さを水平方向の画素数n−1で割った値となる。
また、各画素121a’内における開口部Z161の垂直方向の位置は、画素121a’の垂直方向の位置に応じて所定の間隔でずれている。すなわち、画素121a’の位置が下方向に進むに従って、開口部Z161の上辺が、画素121a’の上辺からそれぞれ高さdy1’,dy2’、・・・、dyn’だけ下方向にずれた位置に移動する。高さdy1’と高さdy2’の間隔、高さdy2’と高さdy3’の間隔、・・・、高さdyn−1’と高さdyn’の間隔は、それぞれ範囲Z152の垂直方向の高さから開口部Z161の高さを引いた長さを垂直方向の画素数m−1で割った値となる。
ここで、図17の画素121aの範囲Z102の水平方向の幅から開口部Z111の幅を引いた長さは、図18の画素121a’の範囲Z152の水平方向の幅から開口部Z161の幅を引いた幅より大きくなる。従って、図17の幅dx1、dx2・・・dxnの変化の間隔は、図18の幅dx1’、dx2’・・・dxn’の変化の間隔より大きくなる。
また、図17の画素121aの範囲Z102の垂直方向の高さから開口部Z111の高さを引いた長さは、図18の画素121a’の範囲Z152の垂直方向の高さから開口部Z161の高さを引いた長さより大きくなる。従って、図17の高さdy1、dy2・・・dynの変化の間隔は、図18の高さdy1’、dy2’・・・dyn’の変化の間隔より大きくなる。
このように、図17の各画素121aの遮光膜121bの開口部Z111の水平方向および垂直方向の位置の変化の間隔と、図18の各画素121a’の遮光膜121b’の開口部Z161の水平方向および垂直方向の位置の変化の間隔とは異なる。そして、この間隔の違いが、復元画像における被写体分解能(角度分解能)の違いとなる。すなわち、図18の各画素121a’の遮光膜121b’の開口部Z161の水平方向および垂直方向の位置の変化の間隔の方が、図17の各画素121aの遮光膜121bの開口部Z111の水平方向および垂直方向の位置の変化の間隔より狭くなる。従って、図18の各画素121a’の検出信号を用いて復元される復元画像は、図17の各画素121aの検出信号を用いて復元される復元画像より、被写体分解能が高くなり、高画質となる。
このように、主遮光部の遮光範囲と開口部の開口範囲との組み合わせを変化させることで、様々な画角の(様々な入射角指向性を持った)画素からなる撮像素子121を実現することが可能となる。
尚、以上においては、画素121aと画素121a’を範囲ZAと範囲ZBに分けて配置する例を示したが、これは説明を簡単にするためであり、異なる画角に対応する画素121aが同じ領域内に混在して配置されることが望ましい。
例えば、図19に示されるように、点線で示される2画素×2画素からなる4画素を1個の単位Uとして、それぞれの単位Uが、広画角の画素121a−W、中画角の画素121a−M、狭画角の画素121a−N、極狭画角の画素121a−ANの4画素から構成されるようにする。
この場合、例えば、全画素121aの画素数がXである場合、4種類の画角ごとにX/4画素ずつの検出画像を用いて復元画像を復元することが可能となる。この際、画角毎に異なる4種類の係数セット群が使用されて、4種類の異なる連立方程式により、それぞれ異なる画角の復元画像が復元される。
従って、復元する復元画像の画角の撮像に適した画素から得られる検出画像を用いて復元画像を復元することで、4種類の画角に応じた適切な復元画像を得ることが可能となる。
また、4種類の画角の中間の画角や、その前後の画角の画像を、4種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。
尚、例えば、画角の広い画像を復元画像として得る場合、広画角画素を全て用いるようにしてもよいし、広画角画素の一部を用いるようにしてもよい。また、例えば、画角の狭い画像を復元画像として得る場合、狭画角画素を全て用いるようにしてもよいし、狭画角画素の一部を用いるようにしてもよい。
<撮像装置101による撮像処理>
次に、図20のフローチャートを参照して、図2の撮像装置101による撮像処理について説明する。
ステップS1において、撮像素子121は、被写体の撮像を行う。これにより、異なる入射角指向性を備える撮像素子121の各画素121aから、被写体からの入射光の光量に応じた検出信号レベルを示す検出信号が出力され、撮像素子121は、各画素121aの検出信号からなる検出画像を復元部122に供給する。
ステップS2において、復元部122は、画像の復元に用いる係数を求める。具体的には、復元部122は、復元対象となる被写体面31までの距離、すなわち被写体距離を設定する。なお、被写体距離の設定方法には、任意の方法を採用することができる。例えば、復元部122は、入力部124を介してユーザにより入力された被写体距離、又は、検出部125により検出された被写体距離を、復元対象となる被写体面31までの距離に設定する。
次に、復元部122は、設定した被写体距離に対応付けられている係数セット群を記憶部128から読み出す。
ステップS3において、復元部122は、検出画像及び係数を用いて、画像の復元を行う。具体的には、復元部122は、検出画像の各画素の検出信号レベルと、ステップS2の処理で取得した係数セット群とを用いて、上述した式(1)乃至式(3)、または、式(4)乃至式(6)を参照して説明した連立方程式を作成する。次に、復元部122は、作成した連立方程式を解くことにより、設定した被写体距離に対応する被写体面31上の各点光源の光強度を算出する。そして、復元部122は、算出した光強度に応じた画素値を有する画素を被写体面31の各点光源の配置に従って並べることにより、被写体の像が結像された復元画像を生成する。
ステップS4において、撮像装置101は、復元画像に対して各種の処理を行う。例えば、復元部122は、必要に応じて、復元画像に対して、デモザイク処理、γ補正、ホワイトバランス調整、所定の圧縮形式への変換処理等を行う。また、復元部122は、例えば、必要に応じて、復元画像を表示部127に供給し、表示させたり、記録再生部129に供給し、記録媒体130に記録させたり、通信部131を介して、他の機器に出力したりする。
その後、撮像処理は終了する。
尚、以上においては、撮像素子121と被写体距離に対応付けられた係数セット群を用いて、検出画像から復元画像を復元する例について説明してきたが、例えば、被写体距離に加えて、上述したように、復元画像の画角に対応する係数セット群をさらに用意して、被写体距離および画角に応じた係数セット群を用いて、復元画像を復元するようにしても良い。尚、被写体距離および画角に対する分解能は、用意される係数セット群の数によるものとなる。
また、図20のフローチャートを用いた処理の説明においては、検出画像に含まれる全ての画素の検出信号を用いる例について説明してきたが、撮像素子121を構成する画素のうち、特定された被写体距離および画角に対応する入射角指向性を備えた画素の検出信号からなる検出画像を生成し、これを用いて復元画像を復元するようにしても良い。このような処理により、求めようとする復元画像の被写体距離や画角に適した検出画像で復元画像を復元することが可能となり、復元画像の復元精度や画質が向上する。すなわち、特定された被写体距離および画角に対応する画像が、例えば、図16における画角SQ1に対応する画像である場合、画角SQ1に対応する入射角指向性を備えた画素121aを選択し、これらから得られる検出画像で復元画像を復元することにより、画角SQ1の画像を高い精度で復元することが可能となる。
以上の処理により、各画素に入射角指向性を持たせるようにした撮像素子121を必須構成とした撮像装置101を実現することが可能となる。
結果として、撮像レンズ、ピンホール、及び、上述した特許文献等に記載の光学フィルタが不要となるため、装置の設計の自由度を高めることが可能になると共に、撮像素子121と別体で構成され、撮像装置として構成する段階で撮像素子121と合わせて搭載されることが想定される光学素子が不要となるため、入射光の入射方向に対する装置の小型化を実現することが可能となり、製造コストを低減することが可能となる。また、フォーカスレンズなどのような、光学像を結像させるための撮像レンズに相当するレンズが不要となる。ただし、倍率を変化させるズームレンズは設けられていてもよい。
なお、以上においては、検出画像の撮像を行った後、すぐに所定の被写体距離に対応する復元画像を復元する処理について説明したが、例えば、すぐに復元処理を行わずに、検出画像を記録媒体130に記録したり、通信部131を介して、他の機器に出力したりした後、所望のタイミングで検出画像を用いて、復元画像を復元するようにしてもよい。この場合、復元画像の復元は、撮像装置101で行ってもよいし、他の装置で行ってもよい。この場合、例えば、任意の被写体距離や画角に応じた係数セット群を用いて作成した連立方程式を解いて復元画像を求めることで、任意の被写体距離や画角の被写体面に対する復元画像を得ることができ、リフォーカス等を実現することができる。
例えば、撮像レンズと従来の撮像素子からなる撮像装置を用いた場合、様々な焦点距離や画角の画像を得るためには、焦点距離や画角を様々に変化させながら、撮像しておく必要がある。一方、撮像装置101においては、このように係数セット群を切り替えて任意の被写体距離や画角の復元画像を復元させることができるので、焦点距離(すなわち、被写体距離)や画角を様々に変化させながら繰り返し撮像するといった処理が不要になる。
この場合、例えば、ユーザは、異なる被写体距離や画角に対応する係数セット群を切り替えながら、復元された復元画像をそれぞれ表示部127に表示させながら、所望の被写体距離や画角の復元画像を得ることも可能である。
なお、検出画像を記録する場合、復元時の被写体距離や画角が決まっているとき、復元に用いるメタデータを検出画像と関連付けるようにしてもよい。例えば、検出画像を含む画像データにメタデータを付与したり、検出画像とメタデータに同じIDを付与したり、検出画像とメタデータを同じ記録媒体130に記録させたりすることにより、検出画像とメタデータが関連付けられる。
なお、検出画像とメタデータに同じIDが付与された場合は、検出画像とメタデータを異なる記録媒体に記録したり、個別に撮像装置101から出力したりすることが可能である。
また、メタデータには、復元に用いる係数セット群を含んでいてもよいし、含んでいなくてもよい。後者の場合、例えば、復元時の被写体距離や画角がメタデータに含まれ、復元時に、その被写体距離や画角に対応する係数セット群が記憶部128等から取得される。
さらに、撮像時にすぐに復元画像の復元を行う場合、例えば、記録したり外部に出力したりする画像を、検出画像及び復元画像の中から選択することが可能である。例えば、両方の画像を記録又は外部に出力してもよいし、一方の画像のみを記録又は外部に出力してもよい。
また、動画を撮像する場合も同様に、撮像時の復元画像の復元の有無や、記録又は外部に出力する画像の選択が可能である。例えば、動画の撮像を行いながら、各フレームの復元画像をすぐに復元するとともに、復元画像及び復元前の検出画像の両方又は一方を記録したり、外部に出力したりすることが可能である。この場合、撮像時に各フレームの復元画像をスルー画として表示させることも可能である。或いは、例えば、撮像時には復元処理を行わずに、各フレームの検出画像を記録したり、外部に出力したりすることが可能である。
さらに、動画の撮像時には、例えば、復元画像の復元の有無や、記録又は外部に出力する画像の選択をフレーム毎に行うことができる。例えば、フレーム毎に復元画像の復元の有無を切り替えることが可能である。また、例えば、フレーム毎に、検出画像の記録の有無、及び、復元画像の記録の有無を個別に切り替えることが可能である。また、例えば、後で使用する可能性のある有用なフレームの検出画像にメタデータを付与しながら、全てのフレームの検出画像を記録するようにしてもよい。
また、撮像レンズを用いる撮像装置のように、オートフォーカス機能を実現することも可能である。例えば、復元画像に基づいてコントラストAF(Auto Focus)方式と同様の山登り方式で最適な被写体距離を決定することで、オートフォーカス機能を実現することができる。
さらに、上述した特許文献等に記載の光学フィルタと従来の撮像素子とからなる撮像装置などと比較して、画素単位で入射角指向性を持った撮像素子121により撮像される検出画像を用いて復元画像を生成することができるので、多画素化を実現したり、高解像度かつ高角度分解能の復元画像を得たりすることが可能となる。一方、光学フィルタと従来の撮像素子とからなる撮像装置では、画素を微細化しても、光学フィルタの微細化が難しいため、復元画像の高解像度化等の実現が難しい。
また、本開示の撮像装置101は、撮像素子121が必須構成であり、例えば、上述した特許文献等に記載の光学フィルタ等を必要としないので、使用環境が高温になって、光学フィルタが熱で歪むといったことがなく、環境耐性の高い撮像装置を実現することが可能となる。
さらに、本開示の撮像装置101においては、撮像レンズ、ピンホール、及び、上述した特許文献等に記載の光学フィルタを必要としないので、撮像する機能を備えた構成の設計の自由度を向上させることが可能となる。
<処理負荷の低減方法>
ところで、撮像素子121の各画素121aの遮光膜121bの遮光範囲(すなわち、入射角指向性)にランダム性を持たせている場合、遮光範囲の違いの乱雑さが大きいほど、復元部122による処理の負荷は大きなものとなる。そこで、各画素121aの遮光膜121bの遮光範囲の変化の一部を規則的なものとして、乱雑さを低減させることで、処理負荷を低減させるようにしてもよい。
例えば、縦帯タイプと横帯タイプとを組み合わせたL字タイプの遮光膜121bを構成するようにして、所定の列方向に対しては、同一幅の横帯タイプの遮光膜121bを組み合わせ、所定の行方向に対しては、同一の高さの縦帯タイプの遮光膜121bを組み合わせる。これにより、各画素121aの遮光膜121bの遮光範囲が、列方向および行方向で規則性を持ちつつ、画素単位ではランダムに変化するようになる。その結果、各画素121aの遮光膜121bの遮光範囲の違い、すなわち入射角指向性の違いの乱雑さを低減させ、復元部122の処理負荷を低減させることができる。
具体的には、例えば、図21の撮像素子121’’に示されるように、範囲Z130で示される同一列の画素については、いずれも同一の幅X0の横帯タイプの遮光膜121bが用いられ、範囲Z150で示される同一行の画素については、同一の高さY0の縦帯タイプの遮光膜121bが用いられる。その結果、各行と列で特定される画素121aについては、これらが組み合わされたL字タイプの遮光膜121bが用いられる。
同様に、範囲Z130に隣接する範囲Z131で示される同一列の画素については、いずれも同一の幅X1の横帯タイプの遮光膜121bが用いられ、範囲Z150に隣接する範囲Z151で示される同一行の画素については、同一の高さY1の縦帯タイプの遮光膜121bが用いられる。その結果、各行と列で特定される画素121aについては、これらが組み合わされたL字タイプの遮光膜121bが用いられる。
さらに、範囲Z131に隣接する範囲Z132で示される同一列の画素については、いずれも同一の幅X2の横帯タイプの遮光膜121bが用いられ、範囲Z151に隣接する範囲Z152で示される同一行の画素については、同一の高さY2の縦帯タイプの遮光膜121bが用いられる。その結果、各行と列で特定される画素121aについては、これらが組み合わされたL字タイプの遮光膜121bが用いられる。
このようにすることで、遮光膜121bの水平方向の幅および位置、並びに、垂直方向の高さおよび位置に規則性を持たせつつ、画素単位で遮光膜の範囲を異なる値に設定することができるので、入射角指向性の変化の乱雑さを抑え込むことができる。結果として、係数セットのパターンを低減させることが可能となり、復元部122における演算処理の処理負荷を低減させることが可能となる。
より詳細には、図22の右上部に示されるように、N画素×N画素の検出画像PicからN×N画素の復元画像を求める場合、(N×N)行×1列の復元画像の各画素の画素値を要素とするベクトルX、(N×N)行×1列の検出画像の各画素の画素値を要素とするベクトルY、および、係数セット群からなる(N×N)行×(N×N)列の行列Aにより、図22の左部に示されるような関係が成立する。
すなわち、図22においては、係数セット群からなる(N×N)行×(N×N)列の行列Aの各要素と、復元画像を表す(N×N)行×1列のベクトルXとを乗算した結果が、検出画像を表す(N×N)行×1列のベクトルYとなることが示されている。そして、この関係から、例えば、上述した式(1)乃至式(3)または式(4)乃至式(6)に対応する連立方程式が構成される。
尚、図22においては、行列Aの範囲Z201で示される1列目の各要素が、ベクトルXの1行目の要素に対応しており、行列Aの範囲Z202で示されるN×N列目の各要素が、ベクトルXのN×N行目の要素に対応していることを示している。
なお、ピンホールを用いた場合、及び、撮像レンズ等の同じ方向から入射した入射光を互いに隣接する画素出力単位の双方へ入射させるための集光機能を用いた場合、各画素の位置と光の入射角度の関係が一意に定まるので、行列Aは、右下がりの対角成分が全て1となる対角行列となる。逆に、図2の撮像装置101のようにピンホールおよび撮像レンズのいずれも用いない場合、各画素の位置と光の入射角度の関係は一意に定まらないので、行列Aは対角行列にならない。
換言すれば、図22に示される行列式に基づいた連立方程式を解いて、ベクトルXの各要素を求めることにより復元画像が求められる。
ところで、一般的に、図22の行列式は、両辺に行列Aの逆行列A-1を左から乗じることにより、図23に示されるように変形され、検出画像のベクトルYに逆行列A-1を左から乗じることで、検出画像であるベクトルXの各要素が求められる。
しかしながら、現実には、行列Aを正確に求められなかったり、行列Aを正確に測定できなかったり、行列Aの基底ベクトルが線形従属に近いケースで解けなかったり、および、検出画像の各要素にノイズが含まれたりする。そして、それらの理由のいずれか、または、それらの組み合わせで、連立方程式を解くことができないことがある。
そこで、例えば、様々な誤差に対してロバストな構成を考え、正則化最小二乗法の概念を用いた次式(7)が用いられる。
ここで、式(7)のxの上部に「^」が付されたものはベクトルXを、Aは行列Aを、YはベクトルYを、γはパラメータを、||A||はL2ノルム(二乗和平方根)を表している。ここで、右辺の第一項は、図22の両辺を最小にするときのノルムであり、右辺の第二項は正則化項である。
この式(7)をxについて解くと、以下の式(8)となる。
ここで、Atは行列Aの転置行列であり、Iは単位行列である。
しかしながら、行列Aは、膨大なサイズであるので、計算量や必要なメモリ量が大きくなる。
そこで、例えば、図24に示されるように、行列Aを、N行×N列の行列ALと、N行×N列の行列ARTとに分解し、それぞれ復元画像を表すN行×N列の行列Xの前段と後段とから掛けた結果が、検出画像を表すN行×N列の行列Yとなるようにする。これにより、要素数(N×N)×(N×N)の行列Aに対して、要素数が(N×N)の行列AL、ARTとなり、各行列の要素数が1/(N×N)になる。結果として、計算量や必要なメモリ量を低減させることができる。
図24に示される行列式は、例えば、式(8)のカッコ内の行列を行列ALとし、行列Aの転置行列の逆行列を行列ARTとすることで実現される。
図24に示されるような計算では、図25に示されるように、行列Xにおける注目要素Xpに対して、行列ALの対応する列の各要素群Z221を乗算することで、要素群Z222が求められる。さらに、要素群Z222と行列ARTの注目要素Xpに対応する行の要素とを乗算することで、注目要素Xpに対応する2次元応答Z224が求められる。そして、行列Xの全要素に対応する2次元応答Z224が積算されることで行列Yが求められる。
そこで、例えば、行列ALの各列の要素群Z221には、図21に示される撮像素子121の列毎に同一の幅に設定される横帯タイプの画素121aの入射角指向性に対応する係数が用いられる。
同様に、例えば、行列ARTの各行の要素群Z223には、図21に示される撮像素子121の行毎に同一の高さに設定される縦帯タイプの画素121aの入射角指向性に対応する係数が用いられる。
この結果、検出画像に基づいて、復元画像を復元する際に使用する行列を小さくすることが可能となるので、計算量が低減し、処理速度を向上させ、計算に係る電力消費を低減させることが可能となる。また、行列を小さくできるので、計算に使用するメモリの容量を低減させることが可能となり、装置コストを低減させることが可能となる。
尚、図21には、水平方向、および垂直方向に所定の規則性を持たせつつ、画素単位で遮光範囲(受光範囲)を変化させる例が示されているが、本開示においては、このように画素単位で遮光範囲(受光範囲)が、完全にランダムに設定されてはいないものの、ある程度ランダムに設定されるものについても、ランダムに設定されるものとみなす。換言すれば、本開示においては、画素単位で遮光範囲(受光範囲)が完全にランダムに設定される場合のみならず、ある程度ランダムなもの(例えば、全画素のうち、一部については規則性を持たせた範囲を含むが、その他の範囲はランダムである場合)、または、ある程度規則性がなさそうなもの(全画素のうち、図21を参照して説明したような規則に従って配置されていることが確認できない配置の場合)についてもランダムであるものとみなす。
<<3.実施の形態>>
次に、図26乃至図35を参照して、本開示の実施の形態について説明する。
上述したように、入射角指向性を有する画素を用いた撮像素子121においては、撮像レンズや光学フィルタ等を必要としないため、各画素121aの配置の自由度が高い。
そこで、この実施の形態では、入射角指向性を有する撮像素子をそれぞれ備える複数の撮像装置により被写体の撮像を行い、各撮像装置により得られる検出信号を用いて復元画像の復元を行うようにする。
<撮像システム301の構成例>
図26は、本開示の実施の形態に係る撮像システム301の構成例を示すブロック図である。
撮像システム301は、それぞれ別の筐体として構成される撮像装置群311及び信号処理装置312を備える。
撮像装置群311は、2以上のn台の撮像装置321−1乃至撮像装置321−nを備える。なお、以下、撮像装置321−1乃至撮像装置321−nを個々に区別する必要がない場合、単に撮像装置321と称する。
各撮像装置321は、例えば、治具等を用いて、所定の位置及び向きに設置される。或いは、各撮像装置321を適当に設置し、所定の方法により各撮像装置321の位置及び向きを検出するようにしてもよい。また、各撮像装置321は、上述した入射角指向性を有する撮像素子121を備え、各撮像素子121の各画素121aから出力される検出信号からなる検出信号セットを含む画像ファイルを生成し、信号処理装置312に送信する。
ここで、画像ファイルは、画像データを含み、必要に応じて画像データに対応するメタデータを含むデータセットである。画像データは、例えば、検出信号セット、検出画像、又は、復元画像のうち少なくとも1つを含む。メタデータは、例えば、各撮像装置321を識別するためのID、画像データに対応する係数セット群等を含む。
信号処理装置312は、各撮像装置321による撮像の制御を行い、各撮像装置321から画像ファイルを取得し、取得した画像ファイルを用いて、復元画像の復元処理等を行う。
<撮像装置321の構成例>
図27は、図26の撮像装置321の構成例を示すブロック図である。なお、図中、図2の撮像装置101と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
撮像装置321は、撮像素子121、制御部411、関連付け部413、記憶部414、及び、通信部414を備える。また、制御部411、関連付け部413、記憶部414、及び、通信部414により、信号処理制御部401が構成される。なお、撮像装置321は、撮像レンズを含まない。
また、撮像素子121、制御部411、関連付け部413、記憶部414、及び、通信部414は、バスB2を介して相互に接続されており、バスB2を介してデータの送受信等を行う。なお、以下、説明を簡単にするために、撮像装置321の各部がバスB2を介してデータの送受信等を行う場合のバスB2の記載を省略する。
撮像素子121は、各画素121aから出力される検出信号からなる検出信号セットをバスB2に出力する。
制御部411は、例えば、各種のプロセッサを備え、撮像装置321の各部を制御する。
入力部412は、撮像装置321の操作や、処理に用いるデータの入力等を行うための入力デバイス(例えば、キー、スイッチ、ボタン、ダイヤル、タッチパネル、リモートコントローラ等)を備える。入力部412は、操作信号や入力されたデータ等をバスB2に出力する。
関連付け部413は、信号処理装置312の関連付け部504(図29)と協調して、或いは、単独で、撮像素子121により得られる検出信号セットと、検出信号セットに対応するメタデータとの関連付けを行う。
記憶部414は、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ等の記憶装置を1つ以上備え、例えば、撮像装置321の処理に用いられるプログラムやデータ等を記憶する。例えば、記憶部414は、撮像装置321を一意に識別するためのIDを記憶している。
通信部415は、所定の通信方式により、他の機器(例えば、他の撮像装置321及び信号処理装置312等)と通信を行う。なお、通信部415の通信方式は、有線又は無線のいずれであってもよい。また、通信部415が複数の通信方式に対応することも可能である。
<各撮像素子121の遮光膜121bのパターンの例>
図28は、撮像装置321−1の撮像素子121−1乃至撮像装置321−nの撮像素子121−nの画素アレイ部における遮光膜121bのパターンの例を示している。
この例では、各画素121aにおいて、遮光膜121bが四方を囲むように配置され、画素121a内に矩形の開口部が設けられている。この開口部は、同じ撮像素子121内の全ての画素121aにおいて同じ大きさに設定されるとともに、異なる撮像素子121の画素121a間において異なる大きさに設定されている。また、同じ撮像素子121内の各画素121aの開口部の位置が全て異なっている。従って、撮像素子121−1乃至撮像素子121−nの全ての画素121a間で開口部の大きさ及び位置のうち少なくとも1つが異なり、全ての画素121aの入射角指向性が互いに異なっている。そして、入射角指向性がそれぞれ異なる複数の撮像装置321により撮像が行われる。これにより、復元画像の復元に用いる連立方程式を構成する式の数を増やすことができ、その結果、復元画像の画素数を増やすことができ、復元画像の解像度が向上する。
なお、必ずしも全ての画素121aの入射角指向性が異なっている必要はなく、一部が同じであってもよい。ただし、入射角指向性が同じ画素121aが少ない方が、復元画像の復元に用いる連立方程式を構成する式の数を増やすことができ、復元画像の画素数を増やすことができ、その結果、復元画像の解像度が向上する。
<信号処理装置312の構成例>
図29は、図26の信号処理装置312の構成例を示すブロック図である。信号処理装置312は、復元部501、制御部502、入力部503、関連付け部504、表示部505、記憶部506、記録再生部507、記録媒体508、及び、通信部509を備える。
復元部501、制御部502、入力部503、表示部505、記憶部506、記録再生部507、及び、通信部509は、バスB3を介して相互に接続されており、バスB3を介してデータの送受信等を行う。なお、以下、説明を簡単にするために、信号処理装置312の各部がバスB3を介してデータの送受信等を行う場合のバスB3の記載を省略する。
復元部501は、各撮像装置321から受信した画像ファイルに含まれる検出信号セットを用いて、図2の撮像装置101の復元部122と同様の処理により、復元画像の復元処理等を行う。復元部501は、復元画像をバスB3に出力する。
制御部502は、例えば、各種のプロセッサを備え、信号処理装置312の各部を制御する。
入力部503は、信号処理装置312の操作や、処理に用いるデータの入力等を行うための入力デバイス(例えば、キー、スイッチ、ボタン、ダイヤル、タッチパネル、リモートコントローラ等)を備える。入力部503は、操作信号や入力されたデータ等をバスB3に出力する。
関連付け部504は、撮像装置321の関連付け部413と協調して、又は、単独で、各撮像装置321から取得した検出信号セットと、各検出信号セットに対応するメタデータとの関連付けを行う。
表示部505は、例えば、ディスプレイにより構成され、各種の情報(例えば、復元画像等)の表示を行う。なお、表示部505が、スピーカ等の音声出力部を備え、音声の出力を行うようにすることも可能である。
記憶部506は、ROM、RAM、フラッシュメモリ等の記憶装置を1つ以上備え、例えば、信号処理装置312の処理に用いられるプログラムやデータを記憶する。
例えば、記憶部506は、各撮像装置321の設置状態に関する設置情報を記憶する。設置情報には、例えば、各撮像装置321の撮像素子121の受光面の位置及び向きに関する情報が含まれる。
なお、例えば、設置情報は、撮像装置321の設置時等に作成され、記憶部506に記憶される。或いは、例えば、各撮像装置321が、GNSS(Global Navigation Satellite System)等の位置センサや方位センサ等を用いて、それぞれ自分の設置状態を検出し、検出結果を信号処理装置312に送信し、信号処理装置312が、各撮像装置321から受信した情報に基づいて、設置情報を生成するようにしてもよい。或いは、例えば、信号処理装置312又は他の装置が、各撮像装置321を撮像した画像等に基づいて、各撮像装置321の設置状態を検出し、検出結果に基づいて設置情報を生成するようにしてもよい。
また、例えば、記憶部506は、各撮像装置321の各撮像素子121に対応する係数セット群を記憶している。なお、各撮像装置321の各撮像素子121に対応する係数の設定方法については、図30乃至図33を参照して後述する。
記録再生部507は、記録媒体508へのデータの記録、及び、記録媒体508に記録されているデータの再生(読み出し)を行う。例えば、記録再生部507は、復元画像を記録媒体508に記録したり、記録媒体508から読み出したりする。また、例えば、記録再生部507は、検出信号セット及び対応するメタデータを、記録媒体508に記録したり、記録媒体508から読み出したりする。
記録媒体508は、例えば、HDD、SSD、磁気ディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等のいずれか、又は、それらの組合せなどからなる。
通信部509は、所定の通信方式により、他の機器(例えば、各撮像装置321等)と通信を行う。なお、通信部509の通信方式は、有線又は無線のいずれであってもよい。また、通信部509が複数の通信方式に対応することも可能である。
<各撮像装置321の各撮像素子121に対応する係数の設定方法>
次に、図30乃至図33を参照して、各撮像装置321の各撮像素子121に対応する係数の設定方法について説明する。
ここで、まず、図30を参照して、無限遠の定義の例について説明する。
この例では、それぞれの受光面が同一平面内の同一直線状に並ぶように、撮像素子121−1乃至撮像素子121−nが並べられている。また、各撮像素子121の受光面からなる列の中央から距離Ds1だけ離れた位置に、被写体の点光源Pが存在している。なお、以下、図内の撮像素子121−1の受光面の左端から撮像素子121−nの受光面の右端までの距離をDwとする。
この場合、点光源Pから発せられる入射光のうち、各撮像素子121に入射する入射光の範囲を示す角度θwは、次式(9)で表される。
θw=2×atan(Dw/2Ds1)
・・・(9)
ここで、各撮像素子121の画素121aの検出信号を用いて復元する復元画像の画素数を縦1000画素×横1000画素とし、復元画像の画角を±20度とすると、復元画像の隣接する画素間の角分解能は0.04度となる。この場合、式(9)の角度θwが、復元画像の隣接する画素間の角分解能である0.04度以下となる距離Ds1を無限遠とみなすことができる。
従って、復元画像の画素間の角分解能をθrとすると、次式(10)を満たせば、点光源Pは無限遠に存在するとみなすことができる。
θr≧2×atan(Dw/2Ds1)
・・・(10)
式(10)を距離Ds1について解くと、次式(11)となる。
Ds1≧Dw/(2×tan(θr/2))
・・・(11)
また、被写体が無限遠に存在する場合、被写体の各点光源からの入射光は平行光とみなすことができ、各点光源からの入射光の各撮像素子121の各画素121aへの入射角は、全て等しくなる。
例えば、図31に示されるように、離れた位置にある画素121a−1及び画素121a−2に対して無限遠に存在する点光源PAからの入射光は、平行光とみなすことができ、画素121a−1と画素121a−2とで入射角が同じになる。同様に、画素121a−1及び画素121a−2に対して無限遠に存在する点光源PBからの入射光は、平行光とみなすことができ、画素121a−1と画素121a−2とで入射角が同じになる。
従って、無限遠に存在する被写体の各点光源からの入射光の入射角は、各撮像装置321(の撮像素子121)の位置により変化しない。
なお、画素121a−1及び画素121a−2が入射光を受光可能な点光源PAと点光源PBとの間の範囲Ws(画角)は、図15を参照して上述したように、各画素121aの遮光範囲等により定まる。
一方、図32に示されるように、無限遠より近い距離(無限遠未満の距離)に存在する被写体面31の点光源PAからの入射光の入射角は、各撮像装置321の撮像素子121の位置により異なる。より厳密には、点光源PAからの入射光の入射角は、各撮像素子121の各画素121aの位置により異なる。具体的には、点光源PAから各画素121aに入射する入射光の入射角θ1は、次式(12)で表される。
θ1=atan((Xa−Xp)/Ds2)
・・・(12)
ここで、Ds2は、被写体面31と各撮像素子121の受光面との間の距離である。Xaは、被写体面31における点光源PAの位置であり、Xpは、被写体面31に平行な面における画素121aの位置であり、Xa−Xpは、被写体面31に平行な方向における点光源PAと画素121aとの間の距離である。
また、図32及び後述する図33において、被写体面31上の白丸は点光源の位置を模式的に示し、撮像素子121−1及び撮像素子121−nの受光面上の網掛けの丸は、画素121aの位置を模式的に示している。
式(12)に示されるように、入射角θ1は、被写体距離Ds2、及び、点光源PAと画素121aの相対位置(Xa−Xp)により変化する。従って、無限遠より近い距離に存在する被写体の各点光源からの入射角は、被写体距離、及び、撮像装置321(の撮像素子121)の位置により変化する。
また、被写体が無限遠に存在する場合、及び、無限遠より近い距離に存在する場合のいずれの場合においても、撮像装置321の向き、より正確には、被写体に対する撮像装置321の撮像素子121の受光面の向きにより、被写体からの入射光の入射角は変化する。
例えば、図33に示されるように、撮像素子121−nの受光面の向きが被写体面31に対して角度θrだけ傾いている場合、点光源PAから撮像素子121−nの各画素121aへの入射光の入射角θ2は、次式(13)で表される。
θ2=atan((Xa−Xp)/Ds2)+θr
・・・(13)
すなわち、入射角θ2は、式(12)の入射角θ1に、被写体面31に対する撮像素子121−nの受光面の傾きθrを加えた角度となる。これは、被写体が無限遠に存在する場合も同様である。
以上により、無限遠に存在する被写体に対する各撮像装置321の各撮像素子121に対応する係数セット群は、復元対象となる被写体面に対する撮像素子121の受光面の向きにより異なるものとなる。一方、無限遠より近い距離に存在する被写体に対する各撮像装置321の各撮像素子121に係数セット群は、復元対象となる被写体面に対する被写体距離、並びに、各撮像素子121の受光面の位置及び向きにより異なるものとなる。
従って、各撮像装置321の位置及び向きが固定されている場合、各撮像装置321の各撮像素子121に対応する係数セット群は、復元対象となる被写体面の被写体距離、及び、当該被写体面の向き(以下、被写体方向と称する)の組合せ毎に設定される。そして、例えば、各撮像素子121に対応する係数セット群が、被写体距離及び被写体方向の組合せ毎に用意され、記憶部506に記憶される。
なお、以下では、各撮像装置321の位置及び向きが固定されている場合について説明し、各撮像装置321の位置及び向きが可変の場合については後述する。
<撮像システム301の処理>
次に、図34及び図35を参照して、撮像システム301の処理について説明する。
<信号処理装置312の処理>
まず、図34のフローチャートを参照して、信号処理装置312の処理について説明する。
ステップS101において、信号処理装置312は、撮像コマンドを送信する。具体的には、制御部502は、撮像コマンドを生成し、通信部509を介して、各撮像装置321に送信する。
各撮像装置321は、後述する図35のステップS151において、撮像コマンドを受信し、ステップS153において、画像ファイルを送信する。
なお、各画像ファイルは、例えば、各撮像装置321を識別するためのID、及び、各撮像装置321の撮像素子121により得られる検出信号セットを含む。
ステップS102において、通信部509は、各撮像装置321から送信されてくる画像ファイルを受信する。通信部509は、受信した画像ファイルを復元部501に供給する。
ステップS103において、復元部501は、画像の復元に用いる係数を求める。具体的には、復元部501は、復元対象となる被写体面31までの距離(被写体距離)及び向き(被写体方向)の組合せを設定する。なお、被写体距離及び被写体方向の組合せの設定方法には、任意の方法を採用することができる。例えば、復元部501は、入力部503を介してユーザにより入力された被写体距離及び被写体方向を、復元対象となる被写体面31の被写体距離及び被写体方向の組合せに設定する。
次に、復元部501は、設定した被写体距離及び被写体方向の組合せに対応付けられている係数セット群を記憶部506から読み出す。
ステップS104において、復元部501は、検出信号セット及び係数を用いて、1つの画像の復元を行う。すなわち、復元部501は、図20のステップS3の撮像装置101の復元部122による処理と同様の処理により、各撮像装置321から受信した画像ファイルに含まれる複数の検出信号セット、及び、ステップS103の処理で求めた係数セット群を用いた1つの連立方程式を用いて、1つの復元画像を復元する。
ステップS105において、信号処理装置312は、復元画像に対して各種の処理を行う。すなわち、信号処理装置312は、図20のステップS4の撮像装置101と同様の処理により、復元画像に対して各種の処理を行う。
その後、信号処理装置312の処理は終了する。
次に、図35のフローチャートを参照して、図34の信号処理装置312の処理に対応して、各撮像装置321により実行される処理について説明する。
ステップS151において、通信部415は、図34のステップS101において、信号処理装置312から送信された撮像コマンドを受信する。通信部415は、受信した撮像コマンドを制御部411に供給する。
ステップS152において、撮像素子121は、図20のステップS1の処理と同様に、被写体の撮像を行う。撮像素子121は、各画素121aの検出信号からなる検出信号セットを関連付け部413に供給する。
ステップS153において、撮像装置321は、画像ファイルを送信する。例えば、関連付け部413は、撮像装置321のID、及び、撮像素子121から取得した検出信号セットを含む画像ファイルを生成する。これにより、検出信号セットと撮像装置321のIDが関連付けられる。関連付け部413は、生成した画像ファイルを、通信部415を介して、信号処理装置312に送信する。
その後、撮像装置321の処理は終了する。
以上のようにして、複数の撮像装置321で分担して撮像を行い、各撮像装置321により得られた検出信号セットを用いて、復元画像を復元することができる。
その結果、1つの撮像装置321のみで撮像を行う場合と比較して、復元画像の画素数を増やすことができ、復元画像の画質、より具体的には、復元画像の解像度を向上させることができる。
また、各撮像装置321の各撮像素子121の画素数を削減し、小型化することができる。或いは、例えば、各撮像装置321の各撮像素子121の画素数を増やさずに、撮像装置321の数を増やすことにより、復元画像の画素数を増やすことができる。従って、例えば、撮像素子121の大型化に伴う新たな製造装置の導入等が必要なく、製造コストを下げることができる。また、各撮像装置321を小型化することができ、各撮像装置321の配置の自由度が向上し、例えば、IoT(Internet of Thing)等の分野において撮像装置321の適用範囲を広げることができる。
なお、例えば、被写体距離及び被写体方向に加えて、上述したように、復元画像の画角に対応する係数セット群をさらに用意して、さらに画角に応じた係数セット群を用いて、復元画像を復元するようにしても良い。
<<4.変形例>>
以下、上述した本開示の実施の形態の変形例について説明する。
<各撮像素子121の遮光膜121bのパターンに関する変形例>
図28では、各撮像装置321の撮像素子121の遮光膜121bのパターンがそれぞれ異なる例を示したが、例えば、図36に示されるように、各撮像装置321に同じ撮像素子121を用い、各撮像素子121の遮光膜121bのパターンを同じにしてもよい。この場合、入射角指向性が等しい複数の撮像装置321により撮像が行われる。
この場合、無限遠に存在する被写体に対しては、各撮像素子121に対応する係数セット群が全て同じになる。従って、復元画像の復元に用いる連立方程式を構成する式が重複し、式の数を増やすことができないため、復元画像の画素数を増やすことはできない。しかし、ノイズ等の影響により各撮像素子121の同じ位置の画素121a間で検出信号レベルがそれぞれ異なることが想定される。その結果、各撮像素子121の同じ位置の画素121aに対応する式(例えば、上述した式(1)乃至式(6))において、右辺が重複していても、左辺の検出信号レベルが異なるようになる。そして、これらの右辺が重複する式を用いて連立方程式を解くことにより、ノイズ等による各画素121aの検出信号レベルのバラツキを抑制することができる。その結果、復元画像のノイズ耐性が向上し、画質が向上する。
一方、無限遠より近い距離に存在する被写体については、各撮像素子121への被写体からの入射光の入射角が異なるため、各撮像素子121に対応する係数セット群がそれぞれ異なるようになる。従って、復元画像の復元に用いる連立方程式を構成する式が増加し、復元画像の画素数を増やすことができる。
なお、例えば、複数の撮像素子121のうち、一部の撮像素子121の入射角指向性を同じにし、一部の撮像素子121の入射角指向性を異なるようにしてもよい。
<係数に関する変形例>
また、例えば、各撮像装置321の位置及び向きが可変である場合、図32及び図33を参照して上述したように、各撮像素子121に対応する係数セット群は、被写体距離及び被写体方向に加えて、撮像装置321の位置及び向き、より正確には、撮像装置321の撮像素子121の受光面の位置及び向きにより異なるものとなる。従って、各撮像装置321の位置及び向きが可変である場合、例えば、被写体距離及び被写体方向、並びに、各撮像装置321の撮像素子121の位置及び向きの組合せ毎に、各撮像素子121に対応する係数セット群を用意するようにしてもよい。そして、例えば、復元部501は、設定した被写体距離及び被写体方向、並びに、各撮像装置321の撮像素子121の位置及び向きに基づいて、各撮像装置321の撮像素子121に対応する係数セット群を記憶部506から読み出して、読み出した係数セット群を用いて、復元画像の復元を行うようにしてもよい。
或いは、上記の組合せ毎の係数セット群を事前に用意せずに、例えば、復元部501が、被写体距離及び被写体方向、並びに、各撮像装置321の撮像素子121の位置及び向きに基づいて、図9を参照して上述した重みWx及び重みWyの特性等を用いて、当該撮像装置321の撮像素子121の各画素121aに対応する係数を算出するようにしてもよい。
なお、各撮像装置321の撮像時の位置及び向きを含む設置状態は、例えば、各撮像装置321が検出し、検出結果を含むメタデータを画像ファイルに含めて、信号処理装置312に送信するようにしてもよい。或いは、例えば、信号処理装置312又は他の装置が、各撮像装置321を撮像した画像等に基づいて、各撮像装置321の設置状態を検出するようにしてもよい。
また、例えば、復元時の被写体距離、被写体方向、及び、画角が決まっている場合、各撮像装置321が、その被写体距離、被写体方向、及び、画角に対応する係数セット群を含むメタデータを画像ファイルに含めて、信号処理装置312に送信するようにしてもよい。
<システムの構成に関する変形例>
次に、図37乃至図39を参照して、システムの構成に関する変形例について説明する。
図37は、撮像システムの第1の変形例である撮像システム601の構成例を示している。なお、図中、図26の撮像システム301と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
撮像システム601は、図26の撮像システム301と比較して、撮像装置群311の代わりに、撮像装置群611が設けられ、信号処理装置312が削除されている点が異なる。撮像装置群611は、撮像装置群311と比較して、撮像装置621が追加されている点が異なる。
撮像装置621は、例えば、図2の撮像装置101と同様の構成を備える。そして、撮像装置621は、図26の信号処理装置312と同様に、各撮像装置321に撮像コマンドを送信して、各撮像装置321による被写体の撮像の制御を行うとともに、自らも被写体の撮像を行う。そして、撮像装置621は、各撮像装置321から画像ファイルを受信し、受信した画像ファイルに含まれる検出信号セット、及び、自らが撮像することにより取得した検出信号セットを用いて、1つの復元画像の復元を行う。
なお、撮像システム601においては、撮像装置321の数は1台でもよい。
図38は、撮像システムの第2の変形例である撮像システム651の構成例を示している。なお、図中、図26の撮像システム301と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
撮像システム651は、図26の撮像システム301と比較して、撮像装置群311の代わりに、撮像装置群661が設けられている点が異なる。撮像装置群661は、撮像装置群311と比較して、撮像装置671が追加されている点が異なる。
撮像装置671は、例えば、図27の撮像装置321と同様の構成を備える。そして、撮像装置671は、図26の信号処理装置312と同様に、各撮像装置321に撮像コマンドを送信して、各撮像装置321による被写体の撮像の制御を行うとともに、自らも被写体の撮像を行う。そして、撮像装置621は、各撮像装置321から画像ファイルを受信し、各撮像装置321から受信した画像ファイル、及び、自らが撮像することにより取得した検出信号セットを含む画像ファイルを信号処理装置312に送信する。すなわち、撮像装置621は、各撮像装置321からの画像ファイルを信号処理装置312に中継する役割を果たす。
信号処理装置312は、受信した各画像ファイルに含まれる検出信号データを用いて、復元画像の復元を行う。
なお、撮像システム651においては、撮像装置321の数は1台でもよい。
また、以上の説明では、撮像システム301、撮像システム601、及び、撮像システム651において、各撮像装置321が、外部からのコマンドに従って、同期して撮像を行う例を示したが、例えば、各撮像装置321間で通信を行うことにより、同期して撮像を行ったり、各撮像装置321が、同期せずに個別に撮像を行ったりするようにしてよい。
さらに、以上の説明では、各撮像素子121が異なる撮像装置に設けられる例を示したが、例えば、1つの撮像装置に複数の撮像素子121を設けるようにしてもよい。
図39は、複数の撮像素子121を備えるようにした撮像装置701の構成例を示している。なお、図中、図2の撮像装置101と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
撮像装置701は、図2の撮像装置101と比較して、2以上のn個の撮像素子121−1乃至撮像素子121−nを含む撮像部711を備える点が異なる。
各撮像素子121は、被写体を撮像することにより得られた検出信号セットを復元部122に供給したり、バスB1に出力したりする。
復元部122は、各撮像素子121から取得した検出信号セットを用いて、復元画像の復元を行う。
なお、各撮像素子121は、撮像装置701の筺体内に設置されている。
また、例えば、図26、図37若しくは図38の撮像装置321−1乃至撮像装置321−n、図37の撮像装置621、及び、図38の撮像装置671においても、複数の撮像素子121を設けるようにすることが可能である。
さらに、以上の説明では、設置状態が異なる複数の撮像素子121を用いて撮像することにより得られた複数の検出信号セットを用いて、復元画像の復元を行う例を示したが、例えば、同じ撮像素子121が、被写体に対する位置及び向きのうち少なくとも1つが異なる複数の設置状態において撮像することにより得られた複数の検出信号セットを用いて、復元画像の復元を行うようにしてもよい。
例えば、撮像素子121、又は、撮像素子121を備える撮像装置が、移動しながら同じ被写体を撮像することにより得られた複数の検出信号セットを用いて、復元画像の復元を行うようにしてもよい。
或いは、例えば、撮像素子121、又は、撮像素子121を備える撮像装置が、同じ位置で被写体に対する向きを変えながら撮像することにより得られた複数の検出信号セットを用いて、復元画像の復元を行うようにしてもよい。
或いは、例えば、撮像素子121、又は、撮像素子121を備える撮像装置が、被写体に対する距離を変えながら撮像することにより得られた複数の検出信号セットを用いて、復元画像の復元を行うようにしてもよい。
また、撮像時は、各検出信号セットと、各検出信号セットに対応するメタデータとの関連付けをまで行い、撮像後の所望のタイミングで各検出信号セットを用いて復元画像の復元を行うようにしてもよい。
なお、検出信号セットとメタデータを関連付ける方法は、両者の対応関係を特定することができれば、特に限定されない。例えば、検出信号セットとメタデータを同じ画像ファイルに入れたり、検出信号セットとメタデータに同じIDを付与したり、検出信号セットとメタデータを同じ記録媒体に記録させたりすることにより、検出信号セットとメタデータが関連付けられる。
なお、検出信号セット及びメタデータの記録は、被写体の撮像を行った各撮像装置で行ってもよいし、或いは、画像を復元する信号処理装置又は撮像装置で行ってもよい。検出信号セット及びメタデータが被写体の撮像を行った各撮像装置で記録された場合、例えば、記録された検出信号セット及びメタデータが、記録媒体を介して、画像を復元する信号処理装置又は撮像装置に供給される。
また、メタデータには、復元に用いる係数セット群を含んでいてもよいし、含んでいなくてもよい。後者の場合、例えば、復元時の被写体距離、被写体方向、及び、画角、並びに、撮像時の撮像装置又は撮像素子の設置状態のうち1つ以上がメタデータに含まれる。
さらに、例えば、ユーザがリモートコントローラ等を用いて、各撮像装置321に撮像コマンドを送信するようにしてもよい。
また、例えば、各撮像装置321が動きのない被写体の静止画を撮像する場合、撮像コマンドを用いずに、各撮像装置321が、任意のタイミングで撮像したり、各撮像装置321の入力部124が、個別に撮像コマンドを生成し、同じ装置内の制御部123に供給したりするようにしてもよい。
<撮像素子121に関する変形例>
例えば、各画素121aの遮光膜121bの形状には、上述した横帯タイプ、縦帯タイプ、L字タイプ、矩形の開口部を設けたタイプ以外の形状を採用することが可能である。
また、例えば、図5を参照して上述した撮像素子121では、1つの画素121a内に2行×2列の4つのフォトダイオード121fを設ける例を示したが、フォトダイオード121fの数や配置は、この例に限定されるものではない。
例えば、図40に示されるように、1つの画素121aにおいて、1個のオンチップレンズ121cに対して、3行×3列に並べられた9個のフォトダイオード121f−111乃至121f−119を設けるようにしてもよい。すなわち、1つの画素出力単位が、9個のフォトダイオード121fを備えるようにしてもよい。
そして、例えば、フォトダイオード121f−111,121f−114,121f−117乃至121f−119の5画素の信号を読み出さないようにすることで、実質的に、フォトダイオード121f−111,121f−114,121f−117乃至121f−119の範囲に遮光膜121bが設定されたL字タイプの遮光膜121bを備える画素121aと同様の入射角特性を得ることができる。
このようにして、遮光膜121bを設けることなく、遮光膜121bを設けた場合と同様の入射角特性を得ることができる。また、信号を読み出さないフォトダイオード121fのパターンを切り替えることにより、遮光膜121bにより遮光される位置と範囲を変えた場合と同様に、入射角指向性を変化させることができる。
また、以上の説明では、1つの画素121aにより1つの画素出力単位が構成される例を示したが、複数の画素121aにより1つの画素出力単位を構成することも可能である。
例えば、図41に示されるように、3行×3列に並べられた画素121a−111乃至画素121a−119により1つの画素出力単位801bを構成することが可能である。なお、画素121a−111乃至画素121a−119は、例えば、それぞれ1つのフォトダイオードを備え、オンチップレンズを備えていない。
例えば、各画素121aからの画素信号を加算することにより、検出画像の1画素分の検出信号を生成するともに、一部の画素121aからの画素信号の出力を停止したり、加算しないようにすることにより、画素出力単位801bの入射角指向性を実現することができる。例えば、画素121a−112、画素121a−113、画素121a−115、及び、画素121a−116の画素信号を加算して検出信号を生成することにより、画素121a−111、画素121a−114、及び、画素121a−117乃至画素121a−119の範囲にL字タイプの遮光膜121bを設けた場合と同様の入射角指向性を得ることができる。
また、画素信号を検出信号に加算する画素121aのパターンを切り替えることにより、遮光膜121bにより遮光される位置と範囲を変えた場合と同様に、入射角指向性を異なる値に設定することができる。
さらに、この場合、例えば、画素121aの組合せを変更することにより、画素出力単位の範囲を変更することが可能である。例えば、画素121a−111、画素121a−112、画素121a−114、及び、画素121a−115からなる2行×2列の画素121aにより画素出力単位801sを構成することができる。
また、例えば、全ての画素121aの画素信号を記録しておき、画素121aの組合せを後で設定することにより、画素出力単位の範囲を後で設定することが可能である。さらに、設定した画素出力単位内の画素121aのうち、画素信号を検出信号に加算する画素121aを選択することにより、画素出力単位の入射角指向性を後で設定することが可能である。
また、図4では、変調素子として遮光膜121bを用いたり、出力に寄与するフォトダイオードの組合せを変更したりすることにより画素毎に異なる入射角指向性を持たせる例を示したが、本開示では、例えば、図42に示されるように、撮像素子901の受光面を覆う光学フィルタ902を変調素子として用いて、各画素に入射角指向性を持たせるようにすることも可能である。
具体的には、光学フィルタ902は、撮像素子901の受光面901Aから所定の間隔を空けて、受光面901Aの全面を覆うように配置されている。被写体面31からの光は、光学フィルタ902で変調されてから、撮像素子901の受光面901Aに入射する。
例えば、光学フィルタ902には、図43に示される白黒の格子状のパターンを有する光学フィルタ902BWを用いることが可能である。光学フィルタ902BWには、光を透過する白パターン部と光を遮光する黒パターン部がランダムに配置されている。各パターンのサイズは、撮像素子901の画素のサイズとは独立して設定されている。
図44は、光学フィルタ902BWを用いた場合の被写体面31上の点光源PA及び点光源PBからの光に対する撮像素子901の受光感度特性を示している。点光源PA及び点光源PBからの光は、それぞれ光学フィルタ902BWで変調されてから、撮像素子901の受光面901Aに入射する。
例えば、点光源PAからの光に対する撮像素子901の受光感度特性は、波形Saのようになる。すなわち、光学フィルタ902BWの黒パターン部により影が生じるため、点光源PAからの光に対する受光面901A上の像に濃淡のパターンが生じる。同様に、点光源PBからの光に対する撮像素子901の受光感度特性は、波形Sbのようになる。すなわち、光学フィルタ902BWの黒パターン部により影が生じるため、点光源PBからの光に対する受光面901A上の像に濃淡のパターンが生じる。
なお、点光源PAからの光と点光源PBからの光とは、光学フィルタ902BWの各白パターン部に対する入射角度が異なるため、受光面に対する濃淡のパターンの現れ方にズレが生じる。従って、撮像素子901の各画素は、被写体面31の各点光源に対して入射角指向性を持つようになる。
この方式の詳細は、例えば、上述した非特許文献1に開示されている。
なお、光学フィルタ902BWの黒パターン部の代わりに、図45の光学フィルタ902HWを用いるようにしてもよい。光学フィルタ902HWは、偏光方向が等しい直線偏光素子911Aと直線偏光素子911B、及び、1/2波長板912を備え、1/2波長板912は、直線偏光素子911Aと直線偏光素子911Bの間に挟まれている。1/2波長板912には、光学フィルタ902BWの黒パターン部の代わりに、斜線で示される偏光部が設けられ、白パターン部と偏光部がランダムに配置されている。
直線偏光素子911Aは、点光源PAから出射されたほぼ無偏光の光のうち、所定の偏光方向の光のみを透過する。以下、直線偏光素子911Aが、偏光方向が図面に平行な光のみを透過するものとする。直線偏光素子911Aを透過した偏光光のうち、1/2波長板912の偏光部を透過した偏光光は、偏光面が回転されることにより、偏光方向が図面に垂直な方向に変化する。一方、直線偏光素子911Aを透過した偏光光のうち、1/2波長板912の白パターン部を透過した偏光光は、偏光方向が図面に平行な方向のまま変化しない。そして、直線偏光素子911Bは、白パターン部を透過した偏光光を透過し、偏光部を透過した偏光光をほとんど透過しない。従って、偏光部を透過した偏光光は、白パターン部を透過した偏光光より光量が減少する。これにより、光学フィルタBWを用いた場合とほぼ同様の濃淡のパターンが、撮像素子901の受光面901A上に生じる。
また、図46のAに示されるように、光干渉マスクを光学フィルタ902LFとして用いることが可能である。被写体面31の点光源PA,PBから出射された光は、光学フィルタ902LFを介して撮像素子901の受光面901Aに照射される。図46のAの下方の拡大図に示されるように、光学フィルタ902LFの例えば光入射面には、波長程度の凹凸が設けられている。また、光学フィルタ902LFは、鉛直方向から照射された特定波長の光の透過が最大となる。被写体面31の点光源PA,PBから出射された特定波長の光の光学フィルタ902LFに対する入射角の変化(鉛直方向に対する傾き)が大きくなると光路長が変化する。ここで、光路長が半波長の奇数倍であるときは光が弱めあい、半波長の偶数倍であるときは光が強めあう。すなわち、点光源PA,PBから出射されて光学フィルタ902LFを透過した特定波長の透過光の強度は、図46のBに示すように、光学フィルタ902LFに対する入射角に応じて変調されて撮像素子901の受光面901Aに入射する。したがって、撮像素子901の各画素出力単位から出力される検出信号は、画素出力単位毎に各点光源の変調後の光強度を合成した信号となる。
この方式の詳細は、例えば、上述した特許文献1に開示されている。
なお、特許文献1及び非特許文献1の方式では、上述した図4の画素121a又は図5の画素121aを用いた撮像素子121のように、隣接する画素に影響することなく画素121a単位で入射角指向性を独立して設定することができない。従って、例えば、光学フィルタ902BWのパターン、又は、光学フィルタ902LFの回折格子のパターンが異なると、撮像素子901の少なくとも隣接する複数の画素の入射角指向性が共に異なるものとされることになる。また、近い位置にある画素121a間で、互いに近い入射角指向性を有することになる。
<その他の変形例>
また、本開示は、赤外光等の可視光以外の波長の光の撮像を行う撮像装置や撮像素子にも適用することが可能である。この場合、復元画像は、ユーザが目視して被写体を認識できる画像とはならず、ユーザが被写体を視認できない画像となる。この場合も、本技術を用いることにより、被写体を認識可能な画像処理装置等に対して、復元画像の画質が向上する。なお、通常の撮像レンズは遠赤外光を透過することが困難であるため、本技術は、例えば、遠赤外光の撮像を行う場合に有効である。したがって、復元画像は遠赤外光の画像であっても良く、また、遠赤外光に限らず、その他の可視光や非可視光の画像であっても良い。
さらに、例えば、ディープラーニング等の機械学習を適用することにより、復元後の復元画像を用いずに、復元前の検出画像を用いて画像認識等を行うようにすることも可能である。この場合も、本技術を用いることにより、復元前の検出画像を用いた画像認識の精度が向上する。換言すれば、復元前の検出画像の画質が向上する。
<<5.その他>>
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータ(例えば、制御部123等)などが含まれる。
コンピュータが実行するプログラムは、例えば、パッケージメディア等としての記録媒体(例えば、記録媒体130等)に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
さらに、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
(1)
撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備え、前記複数の画素出力単位から出力された複数の前記検出信号を含む検出信号セットを出力する撮像素子により、前記被写体に対する位置及び向きのうち少なくとも1つが異なる複数の状態において得られた複数の検出信号セットを用いて、1つの復元画像を復元する復元部を
備える信号処理装置。
(2)
前記複数の検出信号セットは、複数の撮像素子により得られたものである
前記(1)に記載の信号処理装置。
(3)
前記復元部は、前記複数の検出信号セットと、各前記複数の撮像素子と前記被写体との間の距離に基づいて選択される係数セット群とを用いて、前記1つの復元画像を復元する
前記(2)に記載の信号処理装置。
(4)
前記復元部は、各前記撮像素子と前記被写体との間の距離が所定の距離未満である場合、前記距離と前記被写体に対する各前記撮像素子の位置の双方に基づいて選択される係数セット群と、前記複数の検出信号セットとを用いて、前記1つの復元画像を復元する
前記(3)に記載の信号処理装置。
(5)
前記復元部は、前記距離、前記位置、及び、前記被写体に対する各前記撮像素子の向きに基づいて選択される係数セット群と、前記複数の検出信号セットとを用いて、前記1つの復元画像を復元する
前記(3)に記載の信号処理装置。
(6)
前記復元部は、前記複数の検出信号セット及び前記係数セット群を用いた1つの連立方程式を用いて、前記1つの復元画像を復元する
前記(3)乃至(5)のいずれかに記載の信号処理装置。
(7)
前記複数の撮像素子のうちの少なくとも一部の前記撮像素子を
さらに備える前記(2)乃至(6)のいずれかに記載の信号処理装置。
(8)
前記復元部は、前記信号処理装置に備えられている前記少なくとも一部の撮像素子により得られた検出信号セット、及び、前記信号処理装置に備えられている前記撮像素子とは異なる撮像素子により得られた検出信号セットを用いて、前記1つの復元画像を復元する
前記(7)に記載の信号処理装置。
(9)
前記少なくとも一部の撮像素子の少なくとも一部の画素出力単位が、前記被写体からの入射光の入射角に対する指向性を示す入射角指向性を有する
前記(7)又は(8)に記載の信号処理装置。
(10)
前記複数の撮像素子のうちの2つ以上の撮像素子の前記入射角指向性が互いに異なっている
前記(9)に記載の信号処理装置。
(11)
前記複数の撮像素子のうちの2つ以上の撮像素子の前記入射角指向性が同じである
前記(9)又は(10)に記載の信号処理装置。
(12)
前記複数の検出信号セットは、1つの撮像素子により各前記状態において得られたものである
前記(1)に記載の信号処理装置。
(13)
前記撮像素子を
さらに備える前記(12)に記載の信号処理装置。
(14)
前記撮像素子の少なくとも一部の前記画素出力単位が、前記入射光の入射角に対する指向性を示す入射角指向性を有する
前記(13)に記載の信号処理装置。
(15)
前記撮像素子の前記複数の画素出力単位が、前記入射光の入射角に対する指向性を示す入射角指向性を独立に設定可能な構成を有する
前記(13)又は(14)に記載の信号処理装置。
(16)
撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備え、前記複数の画素出力単位から出力された複数の前記検出信号を含む検出信号セットを出力する1以上の撮像素子と、
前記検出信号セットと、前記検出信号セットを用いた復元画像の復元に用いられるメタデータとを関連付ける関連付け部と
を備える撮像装置。
(17)
前記メタデータは、前記撮像素子と前記被写体との間の距離、前記被写体に対する前記撮像素子の位置、及び、前記被写体に対する前記撮像素子の向きのうち少なくとも1つを含む
前記(16)に記載の撮像装置。
(18)
前記関連付け部は、前記1以上の撮像素子を含む複数の撮像素子により得られた複数の検出信号セットと、前記複数の検出信号セットを用いた復元画像の復元に用いられるメタデータとを関連付ける
前記(16)又は(17)に記載の撮像装置。
(19)
前記複数の撮像素子は、他の撮像装置に備えられている撮像素子を含む
前記(16)乃至(18)のいずれかに記載の撮像装置。
(20)
前記複数の撮像素子の少なくとも一部の前記画素出力単位が、前記被写体からの入射光の入射角に対する指向性を示す入射角指向性を有する
前記(16)乃至(19)のいずれかに記載の撮像装置。
(21)
前記検出信号セットを送信する通信部を
さらに備える前記(16)乃至(20)のいずれかに記載の撮像装置。
(22)
前記通信部は、前記検出信号セットに関連づけられた前記メタデータを送信する
前記(21)に記載の撮像装置。
(23)
前記複数の画素出力単位が、前記被写体からの入射光の入射角に対する指向性を示す入射角指向性を独立に設定可能な構成を有する
前記(16)乃至(22)のいずれかに記載の撮像装置。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。