JP2009065615A - 撮像装置、撮像方法、プログラムおよび集積回路 - Google Patents
撮像装置、撮像方法、プログラムおよび集積回路 Download PDFInfo
- Publication number
- JP2009065615A JP2009065615A JP2007233949A JP2007233949A JP2009065615A JP 2009065615 A JP2009065615 A JP 2009065615A JP 2007233949 A JP2007233949 A JP 2007233949A JP 2007233949 A JP2007233949 A JP 2007233949A JP 2009065615 A JP2009065615 A JP 2009065615A
- Authority
- JP
- Japan
- Prior art keywords
- color
- signal
- chromatic aberration
- pixel
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
【課題】撮像装置において、色収差補正を行うときに画素ずらしの効果を得る。
【解決手段】撮像装置は、光の3原色のG(緑)用とB(青)用とR(赤)用の画素(フォトダイオードを含む画素)を、空間的なサンプル位置がG(緑)に対してB(青)とR(赤)を単色のサンプル間隔の半分ずらしてあるG用、B用およびR用撮像素子3G、3Bおよび3Rと、それらの撮像素子から得られる映像信号(G信号、B信号およびR信号)の映像信号の間にある色収差による色ずれを補正する収差補正部4と、B信号及びR信号の色収差量の小数部と0.5の差分の絶対値を生成するB用およびR用差分絶対値生成部5および6と、これら差分量に応じてゲインを生成する補正係数生成部7と、収差補正されたB信号及びR信号のゲインを調整する乗算部8及び9と、その乗算部から出力されるB信号およびR信号を加算した信号とG信号とを混合する混合部10と、を含む。
【選択図】図1
【解決手段】撮像装置は、光の3原色のG(緑)用とB(青)用とR(赤)用の画素(フォトダイオードを含む画素)を、空間的なサンプル位置がG(緑)に対してB(青)とR(赤)を単色のサンプル間隔の半分ずらしてあるG用、B用およびR用撮像素子3G、3Bおよび3Rと、それらの撮像素子から得られる映像信号(G信号、B信号およびR信号)の映像信号の間にある色収差による色ずれを補正する収差補正部4と、B信号及びR信号の色収差量の小数部と0.5の差分の絶対値を生成するB用およびR用差分絶対値生成部5および6と、これら差分量に応じてゲインを生成する補正係数生成部7と、収差補正されたB信号及びR信号のゲインを調整する乗算部8及び9と、その乗算部から出力されるB信号およびR信号を加算した信号とG信号とを混合する混合部10と、を含む。
【選択図】図1
Description
本発明は、画素ずらし法を採用した撮像素子を有し、色収差補正を行うビデオカメラ等の撮像装置、撮像方法、プログラムおよび集積回路に関する。
ビデオカメラ等の撮像装置において、レンズの屈折率が光の波長によって異なるために、光の3原色であるR(赤)成分、G(緑)成分、およびB(青)成分の光の撮像素子上の結像位置がずれて、その状態で撮像素子から取得される映像信号を表示装置に表示すると、映像に色ずれが生じることはよく知られている。一般的には、このG成分の光の結像位置に対する、R成分及びB成分の光の結像位置の差をR成分及びB成分の光の色収差といい、色収差の中でも、結像面において映像の倍率の差となって現れる色収差を倍率色収差という。
この倍率色収差は、レンズの中心から離れるに従って大きくなる傾向があるので、画面の端に近づくほどR成分画像(R成分の光から取得される画像)、G成分画像(G成分の光から取得される画像)、B成分画像(B成分の光から取得される画像)にずれが生じる。これについて、図12および図13を用いて説明する。図12および図13は、倍率色収差を説明するための模式図である。ここで、被写体は、図12および図13に示すように、複数の黄色の丸い円であるものとする。
この倍率色収差は、レンズの中心から離れるに従って大きくなる傾向があるので、画面の端に近づくほどR成分画像(R成分の光から取得される画像)、G成分画像(G成分の光から取得される画像)、B成分画像(B成分の光から取得される画像)にずれが生じる。これについて、図12および図13を用いて説明する。図12および図13は、倍率色収差を説明するための模式図である。ここで、被写体は、図12および図13に示すように、複数の黄色の丸い円であるものとする。
図12に示すように、黄色の丸い被写体P1からの光(この光は黄色の被写体からの光であるので、R成分およびG成分からなる光である)は、レンズL2の中心部分を通過する場合、レンズL2中で屈折することがなく、直進し、固体撮像素子C3に到達する。したがって、固体撮像素子C3上で、R成分およびG成分の光による像にずれが生じることはない。一方、黄色の丸い被写体P1からの光がレンズL2の端部を通過する場合、レンズL2の屈折率が中心付近と異なるため、R成分の光の経路とG成分の光の経路は、図12に示すように、異なるものとなる。つまり、固体撮像素子C3上で、R成分の光による像の結像位置とG成分の光による像の結像位置とがずれることになる。その結果、図13に示すように、レンズL2の端部を通過する光の結像面にずれが生じ、その状態で固体撮像素子C3により取得された映像信号を表示装置に表示させた映像M4には、色ずれが生じる。
従来、このような色収差を補正するために、G信号(G成分の光から取得される信号)を基準として、R信号(R成分の光から取得される信号)及びB信号(B成分の光から取得される信号)の位相をずらし、そのずれ量をG信号の位置に一致させる色収差補正が行われている。具体的には、この色収差補正では、FIR(Finite Impulse Response)フィルタを用いて、G信号の結像面の位置に他の色信号を一致させるよう位相シフトする処理が行われる(例えば、特許文献1参照)。
従来の撮像装置の色収差補正について、図14を用いて説明する。
図14に、特許文献1に開示されている典型的な収差補正回路900の構成を示す。
収差補正回路900は、レンズパラメータ検出回路901、収差演算回路902、計数演算回路903、およびレジストレーション補正回路904から構成される。
従来の撮像装置の色収差補正について、図14を用いて説明する。
図14に、特許文献1に開示されている典型的な収差補正回路900の構成を示す。
収差補正回路900は、レンズパラメータ検出回路901、収差演算回路902、計数演算回路903、およびレジストレーション補正回路904から構成される。
この収差補正回路900の動作について以下、説明する。
まず、レンズパラメータ検出回路1201で検出された、撮像装置のレンズのズーム値などのレンズパラメータを元に、収差演算回路1202にてレンズの収差量が求められる。
次に、求められた収差量に対応する係数が係数演算回路1203で求められる。そして、レジストレーション補正回路1204に入力された映像信号に対して、係数演算回路で求めた係数を使用して2次元フィルタをかけることで、収差補正が実行される。ここで、収差補正は収差量の分だけ映像信号をシフトする位相シフトを、FIRフィルタを用いることで実現する。
特許第2922905号公報(第1図)
まず、レンズパラメータ検出回路1201で検出された、撮像装置のレンズのズーム値などのレンズパラメータを元に、収差演算回路1202にてレンズの収差量が求められる。
次に、求められた収差量に対応する係数が係数演算回路1203で求められる。そして、レジストレーション補正回路1204に入力された映像信号に対して、係数演算回路で求めた係数を使用して2次元フィルタをかけることで、収差補正が実行される。ここで、収差補正は収差量の分だけ映像信号をシフトする位相シフトを、FIRフィルタを用いることで実現する。
しかしながら、画素ずらし法を採用した撮像素子を用いた撮像装置(カメラ等)において、上記技術を用いる場合、色収差量によっては、画素ずらしの効果を得ることができないという問題がある。
R成分用撮像素子、G成分用撮像素子、およびB成分用撮像素子を有する撮像装置において、G成分用撮像素子に対して、R成分用撮像素子の画素を半画素分ずらし、等価的に2倍の画素数に相当する映像信号を取得しようとしたとき、色収差量によっては、撮像装置において画素ずらしの効果を得ることができない場合がある。
例えば、G信号に対するR信号の収差量の小数部分が0.5画素である場合(R成分用撮像素子、G成分用撮像素子、およびB成分用撮像素子のサンプル間隔(空間的なサンプル位置の間隔)は同一であるものとする)、G信号とR信号とのサンプリングの位置が重なってしまい、G成分用およびR成分用撮像素子の位置を0.5画素ずらして配置したことによる画素ずらしの効果を得ることができず、撮像装置において、2倍の画素数に相当する映像信号を得ることができなくなる。
R成分用撮像素子、G成分用撮像素子、およびB成分用撮像素子を有する撮像装置において、G成分用撮像素子に対して、R成分用撮像素子の画素を半画素分ずらし、等価的に2倍の画素数に相当する映像信号を取得しようとしたとき、色収差量によっては、撮像装置において画素ずらしの効果を得ることができない場合がある。
例えば、G信号に対するR信号の収差量の小数部分が0.5画素である場合(R成分用撮像素子、G成分用撮像素子、およびB成分用撮像素子のサンプル間隔(空間的なサンプル位置の間隔)は同一であるものとする)、G信号とR信号とのサンプリングの位置が重なってしまい、G成分用およびR成分用撮像素子の位置を0.5画素ずらして配置したことによる画素ずらしの効果を得ることができず、撮像装置において、2倍の画素数に相当する映像信号を得ることができなくなる。
なお、ここで、「画素ずらし」とは、例えば、GとRのように異なる色どうしの撮像素子の画素の位置を半画素ずらして配置することをいう。そして、この画素ずらしを採用する撮像装置においては、G信号とR信号とを合わせて、撮像素子の実際の画素数の2倍の画素数に相当する輝度信号を生成し、無彩色画像に対しては、画素数を2倍にしたのと同様の解像度を得ることができる。
次に、画素ずらしを用いた撮像装置(カメラ等)において、色収差があるときに画素ずらしの効果を取得できなくなる場合について、図5に示した波形を用いて説明する。なお、説明便宜のため、撮像素子から無彩色信号(R成分、G成分およびB成分が等しい信号)を取得した場合について説明する。図5の実線で示した信号波形が、この無彩色信号であるものとし、この無彩色信号が単一周波数f1からなる信号である場合について説明する。
次に、画素ずらしを用いた撮像装置(カメラ等)において、色収差があるときに画素ずらしの効果を取得できなくなる場合について、図5に示した波形を用いて説明する。なお、説明便宜のため、撮像素子から無彩色信号(R成分、G成分およびB成分が等しい信号)を取得した場合について説明する。図5の実線で示した信号波形が、この無彩色信号であるものとし、この無彩色信号が単一周波数f1からなる信号である場合について説明する。
図5(a)に、色収差がなく、R信号のサンプリング位置とG信号のサンプリング位置とが0.5画素ずつずれた状態でサンプリング処理をして得た本来のR信号(サンプリングした信号は、R1、R2・・・)とG信号(サンプリングした信号は、G1、G2・・・)の信号の状態を示す。これに対し、RとGとの色収差が0.5画素あるときの状態(撮像素子上において、R成分の光の結像位置とG成分の光の結像位置とが0.5画素分ずれている状態)のR信号およびG信号の状態を図5(b)に示す。なお、以下、サンプリングした信号R1の信号値(振幅値)をy(R1)と、画面位置をx(R1)と表記することとする。
図5(b)の場合、色収差により位置ずれ(図5(b)において、0.5画素分だけ右方向に位置ずれ)した位置がR信号のサンプリング位置となる。つまり、R信号については、x(R1A)、x(R2A)・・・の位置の信号をサンプリングすることになる。そして、G信号のサンプリング位置は、図5(a)のx(G1)、x(G2)・・・と同じ位置となる。すなわち、この場合、R信号のサンプリング位置x(R1A)、x(R2A)・・・と、G信号のサンプリング位置(=図5(a)のx(G1)、x(G2)・・・)とは同じ位置となってしまう。
図5(b)の場合、色収差により位置ずれ(図5(b)において、0.5画素分だけ右方向に位置ずれ)した位置がR信号のサンプリング位置となる。つまり、R信号については、x(R1A)、x(R2A)・・・の位置の信号をサンプリングすることになる。そして、G信号のサンプリング位置は、図5(a)のx(G1)、x(G2)・・・と同じ位置となる。すなわち、この場合、R信号のサンプリング位置x(R1A)、x(R2A)・・・と、G信号のサンプリング位置(=図5(a)のx(G1)、x(G2)・・・)とは同じ位置となってしまう。
図5(b)に示したR信号(R1A、R2A・・・)を0.5画素分シフト(図6(a)において、0.5画素分左方向にシフト)させて、色収差を補正すると、図5(a)に示した、周波数がf1である元の信号(撮像素子から出力されている原信号)が、図6(a)に示すような位相シフトした信号として取得されてしまう。
つまり、図5(a)に示した元の信号(撮像素子から出力されている原信号)の周波数f1が、R信号単独で表される周波数より高い周波数である場合、R信号単独の処理のために折り返った信号の周波数(撮像素子のクロック周波数(サンプリング周波数)をfsとすると、fs/2−(f1−fs/2)なる周波数)の信号として取得される。すると、色収差が補正されたR信号とG信号とから生成される信号(実質的に輝度信号に相当)は、図6(b)のようになり、図5(a)に示す本来の信号(撮像素子から出力されている原信号)とは別の信号になってしまう。
つまり、図5(a)に示した元の信号(撮像素子から出力されている原信号)の周波数f1が、R信号単独で表される周波数より高い周波数である場合、R信号単独の処理のために折り返った信号の周波数(撮像素子のクロック周波数(サンプリング周波数)をfsとすると、fs/2−(f1−fs/2)なる周波数)の信号として取得される。すると、色収差が補正されたR信号とG信号とから生成される信号(実質的に輝度信号に相当)は、図6(b)のようになり、図5(a)に示す本来の信号(撮像素子から出力されている原信号)とは別の信号になってしまう。
本発明は、上述した不都合に対処すべくなされたものであり、色収差補正を行う場合にも画素ずらしの効果を得ることができる取得画像(映像)上の領域を増やすことができる撮像装置、撮像方法、プログラムおよび集積回路を実現することを目的とする。
第1の発明は、光学系と、撮像部と、色収差補正部と、第2色用差分絶対値生成部と、第3色用差分絶対値生成部と、補正係数生成部と、第2色用乗算部と、第3色用乗算部と、混合部と、を備える撮像装置である。光学系は、被写体からの光を集光する。撮像部は、光学系で集光された光から第1色用信号を取得するための第1色用画素、光学系で集光された光から第2色用信号を取得するための第2色用画素および光学系で集光された光から第3色用信号を取得するための第3色用画素を有している。そして、撮像部では、第1色用画素により第1色用信号を取得するための空間的なサンプル位置に対して、第2色用画素により第2色用信号を取得するための空間的なサンプル位置および第3色用画素により第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、第1色用画素、第2色用画素および第3色用画素が配置されている。色収差補正部は、第1色用信号と第2色用信号と第3色用信号との間に発生する色収差量を補正する。第2色用差分絶対値生成部は、色収差量がサンプル間隔(単色のサンプル間隔)に相当する量である場合、色収差量を「1」とする量で表現するとき、第1色用信号に対する第2色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第1の値との差分値である第2色用差分絶対値を生成する。第3色用差分絶対値生成部は、色収差量がサンプル間隔(単色のサンプル間隔)に相当する量である場合、色収差量を「1」とする量で表現するとき、第3色用信号に対する第3色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第2の値との差分値である第3色用差分絶対値を生成する。補正係数生成部は、第2色用差分絶対値および第3色用差分絶対値に基づいて、第2色用信号の補正係数である第2色用補正係数、および第3色用信号の補正係数である第3色用補正係数を生成する。第2色用乗算部は、第2色用補正係数を色収差補正部により色収差補正された第2色用信号に乗算し、第2色用ゲイン調整後信号として出力する。第3色用乗算部は、第3色用補正係数を色収差補正部により色収差補正された第3色用信号に乗算し、第3色用ゲイン調整後信号として出力する。混合部は、第2色用ゲイン調整後信号と第3色用ゲイン調整後信号とを加算することで、加算信号を生成し、加算信号と第1色用信号とを混合する。
この撮像装置では、第1色用画素により第1色用信号を取得するための空間的なサンプル位置に対して、第2色用画素により第2色用信号を取得するための空間的なサンプル位置および第3色用画素により第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、第1色用画素、第2色用画素および第3色用画素が配置されている。つまり、この撮像装置は、いわゆる画素ずらし法を採用しており、色収差補正部により、第1色用信号と第2色用信号と第3色用信号との間に発生する色収差量が補正される。そして、この撮像装置では、第2色用差分絶対値および第3色用差分絶対値を求め、第2色用差分絶対値および第3色用差分絶対値により、第2色用信号と第3色用信号のいずれの信号を用いると、画素ずらし法の効果を有効に得ることができるかを判断することができる。つまり、この撮像装置では、第2色用差分絶対値および第3色用差分絶対値から、画素ずらし法の効果を有効に得ることができるように第2色用補正係数および第3色用補正係数を求める。そして、この撮像装置では、第2色用補正係数および第3色用補正係数により、第2色用ゲイン調整後信号と第3色用ゲイン調整後信号とを生成し、さらに、加算信号を生成し、加算信号と第1色用信号とを、混合部により混合する。
これにより、混合部から出力される信号は、画素ずらし効果を有効に奏することができる信号となるので、この撮像装置では、色収差補正を行う場合にも画素ずらしによる効果を得ることができる取得画像(映像)上の領域を増やすことができる。
なお、ここで、「単色のサンプル間隔」とは、任意の1色用の画素(例えば、第1色用画素、第2色用画素あるいは第3色用画素)により、その色用の信号(例えば、第1色用信号、第2色用信号あるいは第3色用信号)を取得するための空間的なサンプル位置の間隔のことをいう。
また、撮像部は、単一の撮像素子により構成されるものであってもよいし、第1色用撮像素子、第2色用撮像素子および第3色用撮像素子の3つの撮像素子により構成されるものであってもよい。
なお、ここで、「単色のサンプル間隔」とは、任意の1色用の画素(例えば、第1色用画素、第2色用画素あるいは第3色用画素)により、その色用の信号(例えば、第1色用信号、第2色用信号あるいは第3色用信号)を取得するための空間的なサンプル位置の間隔のことをいう。
また、撮像部は、単一の撮像素子により構成されるものであってもよいし、第1色用撮像素子、第2色用撮像素子および第3色用撮像素子の3つの撮像素子により構成されるものであってもよい。
また、第1色用画素、第2色用画素および第3色用画素は、それぞれ、フォトダイオードおよび電荷蓄積用コンデンサを有する。
第2の発明は、第1の発明であって、第1の値及び第2の値は、「0.5」である。
この撮像装置では、第1の値及び第2の値は、「0.5」であるので、画素ずらし効果を有効に奏することができる信号を効率良く取得することができる。
色収差量が「0.5」(0.5画素分に相当する量)である場合の信号によりこの撮像装置での処理を行うと、画素ずらし効果が最も低くなるので、この撮像装置では、色収差量の小数部が「0.5」から遠い信号を重点的に採用することで、画素ずらし効果を有効に奏することができる信号を効率良く取得することができる。
第3の発明は、第2の発明であって、補正係数生成部は、第2色用差分絶対値をB1とし、第3色用差分絶対値をR1とし、第2色用補正係数をcoeBとし、第3色用補正係数をcoeRとしたとき、
coeB=B1/(R1+B1)
coeR=R1/(R1+B1)
により算出することで、第2色用補正係数および第3色用補正係数を生成する。
第2の発明は、第1の発明であって、第1の値及び第2の値は、「0.5」である。
この撮像装置では、第1の値及び第2の値は、「0.5」であるので、画素ずらし効果を有効に奏することができる信号を効率良く取得することができる。
色収差量が「0.5」(0.5画素分に相当する量)である場合の信号によりこの撮像装置での処理を行うと、画素ずらし効果が最も低くなるので、この撮像装置では、色収差量の小数部が「0.5」から遠い信号を重点的に採用することで、画素ずらし効果を有効に奏することができる信号を効率良く取得することができる。
第3の発明は、第2の発明であって、補正係数生成部は、第2色用差分絶対値をB1とし、第3色用差分絶対値をR1とし、第2色用補正係数をcoeBとし、第3色用補正係数をcoeRとしたとき、
coeB=B1/(R1+B1)
coeR=R1/(R1+B1)
により算出することで、第2色用補正係数および第3色用補正係数を生成する。
この撮像装置では、上式により、色収差量の小数部が「0.5」から遠い信号を重点的に採用するように、第2色用補正係数および第3色用補正係数を生成するので、画素ずらし効果を有効に奏することができる信号を効率良く取得することができる。
第4の発明は、第1から第3のいずれかの発明であって、第1色用光は、G(緑)色成分の光であり、第2色用光は、B(青)色成分の光であり、第3色用光は、R(赤)色成分の光である。
この撮像装置では、光の3原色である、G(緑)色成分の光、B(青)色成分の光、およびR(赤)色成分の光を対象とするので、効率良く、この撮像装置での信号処理を行うことができる。
第5の発明は、第1から第4のいずれかの発明であって、混合部は、サンプル間隔に対応するサンプリング周波数fsの2倍の周波数により、加算信号と第1色用信号とを交互にサンプリングすることで、加算信号と第1色用信号とを混合する。
第4の発明は、第1から第3のいずれかの発明であって、第1色用光は、G(緑)色成分の光であり、第2色用光は、B(青)色成分の光であり、第3色用光は、R(赤)色成分の光である。
この撮像装置では、光の3原色である、G(緑)色成分の光、B(青)色成分の光、およびR(赤)色成分の光を対象とするので、効率良く、この撮像装置での信号処理を行うことができる。
第5の発明は、第1から第4のいずれかの発明であって、混合部は、サンプル間隔に対応するサンプリング周波数fsの2倍の周波数により、加算信号と第1色用信号とを交互にサンプリングすることで、加算信号と第1色用信号とを混合する。
これにより、簡単な構成で、加算信号と第1色用信号とを混合することができる。
第6の発明は、光学系と、撮像部と、色収差補正部と、第1色用LPF部と、第1色用HPF部と、第2色用LPF部と、第3色用LPF部と、第3色用HPF部と、第2色用差分絶対値生成部と、第3色用差分絶対値生成部と、補正係数生成部と、第2色用乗算部と、第3色用乗算部と、混合部と、第1色用加算部と、第2色用加算部と、第3色用加算部と、を備える撮像装置である。光学系は、被写体からの光を集光する。撮像部は、光学系で集光された光から第1色用信号を取得するための第1色用画素、光学系で集光された光から第2色用信号を取得するための第2色用画素および光学系で集光された光から第3色用信号を取得するための第3色用画素を有している。そして、撮像部では、第1色用画素により第1色用信号を取得するための空間的なサンプル位置に対して、第2色用画素により第2色用信号を取得するための空間的なサンプル位置および第3色用画素により第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、第1色用画素、第2色用画素および第3色用画素が配置されている。色収差補正部は、第1色用信号と第2色用信号と第3色用信号との間に発生する色収差量を補正する。第1色用LPF部は、第1色用信号に対してLPF処理を行い、第1色用低域成分信号として出力する。第1色用HPF部は、第1色用信号に対してHPF処理を行い、第1色用高域成分信号として出力する。第2色用LPF部は、第2色用信号に対してLPF処理を行い、第2色用低域成分信号として出力する。第2色用HPF部は、第2色用信号に対してHPF処理を行い、第2色用高域成分信号として出力する。第3色用LPF部は、第3色用信号に対してLPF処理を行い、第3色用低域成分信号として出力する。第3色用HPF部は、第3色用信号に対してHPF処理を行い、第3色用高域成分信号として出力する。第2色用差分絶対値生成部は、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第1色用信号に対する第2色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第1の値との差分値である第2色用差分絶対値を生成する。第3色用差分絶対値生成部は、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第3色用信号に対する第3色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第2の値との差分値である第3色用差分絶対値を生成する。補正係数生成部は、第2色用差分絶対値および第3色用差分絶対値に基づいて、第2色用信号の補正係数である第2色用補正係数、および第3色用信号の補正係数である第3色用補正係数を生成する。第2色用乗算部は、第2色用補正係数を第2色用高域成分信号に乗算し、第2色用ゲイン調整後高域成分信号として出力する。第3色用乗算部は、第3色用補正係数を第3色用高域成分信号に乗算し、第3色用ゲイン調整後高域成分信号として出力する。混合部は、第2色用ゲイン調整後高域成分信号と第3色用ゲイン調整後高域成分信号とを加算することで、高域成分加算信号を生成し、高域成分加算信号と第1色用高域成分信号とを混合し、混合信号として出力する。第1色用加算部は、混合信号と第1色用低域成分とを加算する。第2色用加算部は、混合信号と第2色用低域成分とを加算する。第3色用加算部は、混合信号と第3色用低域成分とを加算する。
第6の発明は、光学系と、撮像部と、色収差補正部と、第1色用LPF部と、第1色用HPF部と、第2色用LPF部と、第3色用LPF部と、第3色用HPF部と、第2色用差分絶対値生成部と、第3色用差分絶対値生成部と、補正係数生成部と、第2色用乗算部と、第3色用乗算部と、混合部と、第1色用加算部と、第2色用加算部と、第3色用加算部と、を備える撮像装置である。光学系は、被写体からの光を集光する。撮像部は、光学系で集光された光から第1色用信号を取得するための第1色用画素、光学系で集光された光から第2色用信号を取得するための第2色用画素および光学系で集光された光から第3色用信号を取得するための第3色用画素を有している。そして、撮像部では、第1色用画素により第1色用信号を取得するための空間的なサンプル位置に対して、第2色用画素により第2色用信号を取得するための空間的なサンプル位置および第3色用画素により第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、第1色用画素、第2色用画素および第3色用画素が配置されている。色収差補正部は、第1色用信号と第2色用信号と第3色用信号との間に発生する色収差量を補正する。第1色用LPF部は、第1色用信号に対してLPF処理を行い、第1色用低域成分信号として出力する。第1色用HPF部は、第1色用信号に対してHPF処理を行い、第1色用高域成分信号として出力する。第2色用LPF部は、第2色用信号に対してLPF処理を行い、第2色用低域成分信号として出力する。第2色用HPF部は、第2色用信号に対してHPF処理を行い、第2色用高域成分信号として出力する。第3色用LPF部は、第3色用信号に対してLPF処理を行い、第3色用低域成分信号として出力する。第3色用HPF部は、第3色用信号に対してHPF処理を行い、第3色用高域成分信号として出力する。第2色用差分絶対値生成部は、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第1色用信号に対する第2色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第1の値との差分値である第2色用差分絶対値を生成する。第3色用差分絶対値生成部は、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第3色用信号に対する第3色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第2の値との差分値である第3色用差分絶対値を生成する。補正係数生成部は、第2色用差分絶対値および第3色用差分絶対値に基づいて、第2色用信号の補正係数である第2色用補正係数、および第3色用信号の補正係数である第3色用補正係数を生成する。第2色用乗算部は、第2色用補正係数を第2色用高域成分信号に乗算し、第2色用ゲイン調整後高域成分信号として出力する。第3色用乗算部は、第3色用補正係数を第3色用高域成分信号に乗算し、第3色用ゲイン調整後高域成分信号として出力する。混合部は、第2色用ゲイン調整後高域成分信号と第3色用ゲイン調整後高域成分信号とを加算することで、高域成分加算信号を生成し、高域成分加算信号と第1色用高域成分信号とを混合し、混合信号として出力する。第1色用加算部は、混合信号と第1色用低域成分とを加算する。第2色用加算部は、混合信号と第2色用低域成分とを加算する。第3色用加算部は、混合信号と第3色用低域成分とを加算する。
この撮像装置では、第1色用画素により第1色用信号を取得するための空間的なサンプル位置に対して、第2色用画素により第2色用信号を取得するための空間的なサンプル位置および第3色用画素により第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、第1色用画素、第2色用画素および第3色用画素が配置されている。つまり、この撮像装置は、いわゆる画素ずらし法を採用しており、色収差補正部により、第1色用信号と第2色用信号と第3色用信号との間に発生する色収差量が補正される。そして、この撮像装置では、第1色用HPF、第2色用HPFおよび第3色用HPFにより、画素ずらし法の効果を有効に奏するための主要部となる、高域成分信号を抽出し、抽出した高域成分信号に対して信号処理を行うことで混合信号を生成する。そして、この撮像装置では、混合信号を、それぞれ、第1色用LPF、第2色用LPFおよび第3色用LPFにより、抽出された低域信号に加算する。
これにより、混合部から出力される信号は、画素ずらし効果を有効に奏することができる信号であり、かつ、第1色用、第2色用および第3色用の信号の3つの信号となるので、後段の、いわゆるカメラ信号処理等での処理を効率良く行うことができる。
第7の発明は、被写体からの光を集光する光学系と、光学系で集光された光から第1色用信号を取得するための第1色用画素、光学系で集光された光から第2色用信号を取得するための第2色用画素および光学系で集光された光から第3色用信号を取得するための第3色用画素を有し、第1色用画素により第1色用信号を取得するための空間的なサンプル位置に対して、第2色用画素により第2色用信号を取得するための空間的なサンプル位置および第3色用画素により第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、第1色用画素、第2色用画素および第3色用画素が配置されている撮像部と、を備える撮像装置に用いられる撮像方法である。そして、この撮像方法は、色収差補正ステップと、第2色用差分絶対値生成ステップと、第3色用差分絶対値生成ステップと、補正係数生成ステップと、第2色用乗算ステップと、第3色用乗算ステップと、混合ステップと、を備える。色収差補正ステップでは、第1色用信号と第2色用信号と第3色用信号との間に発生する色収差量を補正する。第2色用差分絶対値生成ステップでは、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第1色用信号に対する第2色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第1の値との差分値である第2色用差分絶対値を生成する。第3色用差分絶対値生成ステップでは、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第3色用信号に対する第3色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第2の値との差分値である第3色用差分絶対値を生成する。補正係数生成ステップでは、第2色用差分絶対値および第3色用差分絶対値に基づいて、第2色用信号の補正係数である第2色用補正係数、および第3色用信号の補正係数である第3色用補正係数を生成する。第2色用乗算ステップでは、第2色用補正係数を色収差補正ステップにより色収差補正された第2色用信号に乗算し、第2色用ゲイン調整後信号として出力する。第3色用乗算ステップでは、第3色用補正係数を色収差補正ステップにより色収差補正された第3色用信号に乗算し、第3色用ゲイン調整後信号として出力する。混合ステップでは、第2色用ゲイン調整後信号と第3色用ゲイン調整後信号とを加算することで、加算信号を生成し、加算信号と第1色用信号とを混合する。
第7の発明は、被写体からの光を集光する光学系と、光学系で集光された光から第1色用信号を取得するための第1色用画素、光学系で集光された光から第2色用信号を取得するための第2色用画素および光学系で集光された光から第3色用信号を取得するための第3色用画素を有し、第1色用画素により第1色用信号を取得するための空間的なサンプル位置に対して、第2色用画素により第2色用信号を取得するための空間的なサンプル位置および第3色用画素により第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、第1色用画素、第2色用画素および第3色用画素が配置されている撮像部と、を備える撮像装置に用いられる撮像方法である。そして、この撮像方法は、色収差補正ステップと、第2色用差分絶対値生成ステップと、第3色用差分絶対値生成ステップと、補正係数生成ステップと、第2色用乗算ステップと、第3色用乗算ステップと、混合ステップと、を備える。色収差補正ステップでは、第1色用信号と第2色用信号と第3色用信号との間に発生する色収差量を補正する。第2色用差分絶対値生成ステップでは、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第1色用信号に対する第2色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第1の値との差分値である第2色用差分絶対値を生成する。第3色用差分絶対値生成ステップでは、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第3色用信号に対する第3色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第2の値との差分値である第3色用差分絶対値を生成する。補正係数生成ステップでは、第2色用差分絶対値および第3色用差分絶対値に基づいて、第2色用信号の補正係数である第2色用補正係数、および第3色用信号の補正係数である第3色用補正係数を生成する。第2色用乗算ステップでは、第2色用補正係数を色収差補正ステップにより色収差補正された第2色用信号に乗算し、第2色用ゲイン調整後信号として出力する。第3色用乗算ステップでは、第3色用補正係数を色収差補正ステップにより色収差補正された第3色用信号に乗算し、第3色用ゲイン調整後信号として出力する。混合ステップでは、第2色用ゲイン調整後信号と第3色用ゲイン調整後信号とを加算することで、加算信号を生成し、加算信号と第1色用信号とを混合する。
これにより、光学系と、撮像部とを備える撮像装置に用いられることで、第1の発明と同様の効果を奏する撮像方法を実現することができる。
第8の発明は、被写体からの光を集光する光学系と、光学系で集光された光から第1色用信号を取得するための第1色用画素、光学系で集光された光から第2色用信号を取得するための第2色用画素および光学系で集光された光から第3色用信号を取得するための第3色用画素を有し、第1色用画素により第1色用信号を取得するための空間的なサンプル位置に対して、第2色用画素により第2色用信号を取得するための空間的なサンプル位置および第3色用画素により第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、第1色用画素、第2色用画素および第3色用画素が配置されている撮像部と、を備える撮像装置に用いられるプログラムである。このプログラムは、コンピュータを、色収差補正部、第2色用差分絶対値生成部、第3色用差分絶対値生成部、補正係数生成部、第2色用乗算部、第3色用乗算部、混合部、として機能させるためのプログラムである。色収差補正部は、第1色用信号と第2色用信号と第3色用信号との間に発生する色収差量を補正する。第2色用差分絶対値生成部は、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第1色用信号に対する第2色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第1の値との差分値である第2色用差分絶対値を生成する。第3色用差分絶対値生成部は、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第3色用信号に対する第3色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第2の値との差分値である第3色用差分絶対値を生成する。補正係数生成部は、第2色用差分絶対値および第3色用差分絶対値に基づいて、第2色用信号の補正係数である第2色用補正係数、および第3色用信号の補正係数である第3色用補正係数を生成する。第2色用乗算部は、第2色用補正係数を色収差補正部により色収差補正された第2色用信号に乗算し、第2色用ゲイン調整後信号として出力する。第3色用乗算部は、第3色用補正係数を色収差補正部により色収差補正された第3色用信号に乗算し、第3色用ゲイン調整後信号として出力する。混合部は、第2色用ゲイン調整後信号と第3色用ゲイン調整後信号とを加算することで、加算信号を生成し、加算信号と第1色用信号とを混合する。
第8の発明は、被写体からの光を集光する光学系と、光学系で集光された光から第1色用信号を取得するための第1色用画素、光学系で集光された光から第2色用信号を取得するための第2色用画素および光学系で集光された光から第3色用信号を取得するための第3色用画素を有し、第1色用画素により第1色用信号を取得するための空間的なサンプル位置に対して、第2色用画素により第2色用信号を取得するための空間的なサンプル位置および第3色用画素により第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、第1色用画素、第2色用画素および第3色用画素が配置されている撮像部と、を備える撮像装置に用いられるプログラムである。このプログラムは、コンピュータを、色収差補正部、第2色用差分絶対値生成部、第3色用差分絶対値生成部、補正係数生成部、第2色用乗算部、第3色用乗算部、混合部、として機能させるためのプログラムである。色収差補正部は、第1色用信号と第2色用信号と第3色用信号との間に発生する色収差量を補正する。第2色用差分絶対値生成部は、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第1色用信号に対する第2色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第1の値との差分値である第2色用差分絶対値を生成する。第3色用差分絶対値生成部は、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第3色用信号に対する第3色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第2の値との差分値である第3色用差分絶対値を生成する。補正係数生成部は、第2色用差分絶対値および第3色用差分絶対値に基づいて、第2色用信号の補正係数である第2色用補正係数、および第3色用信号の補正係数である第3色用補正係数を生成する。第2色用乗算部は、第2色用補正係数を色収差補正部により色収差補正された第2色用信号に乗算し、第2色用ゲイン調整後信号として出力する。第3色用乗算部は、第3色用補正係数を色収差補正部により色収差補正された第3色用信号に乗算し、第3色用ゲイン調整後信号として出力する。混合部は、第2色用ゲイン調整後信号と第3色用ゲイン調整後信号とを加算することで、加算信号を生成し、加算信号と第1色用信号とを混合する。
これにより、光学系と、撮像部とを備える撮像装置に用いられることで、第1の発明と同様の効果を奏するプログラムを実現することができる。
第9の発明は、被写体からの光を集光する光学系と、光学系で集光された光から第1色用信号を取得するための第1色用画素、光学系で集光された光から第2色用信号を取得するための第2色用画素および光学系で集光された光から第3色用信号を取得するための第3色用画素を有し、第1色用画素により第1色用信号を取得するための空間的なサンプル位置に対して、第2色用画素により第2色用信号を取得するための空間的なサンプル位置および第3色用画素により第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、第1色用画素、第2色用画素および第3色用画素が配置されている撮像部と、を備える撮像装置に用いられる集積回路である。この集積回路は、色収差補正部と、第2色用差分絶対値生成部と、第3色用差分絶対値生成部と、補正係数生成部と、第2色用乗算部と、第3色用乗算部と、混合部と、を備える。色収差補正部は、第1色用信号と第2色用信号と第3色用信号との間に発生する色収差量を補正する。第2色用差分絶対値生成部は、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第1色用信号に対する第2色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第1の値との差分値である第2色用差分絶対値を生成する。第3色用差分絶対値生成部は、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第3色用信号に対する第3色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第2の値との差分値である第3色用差分絶対値を生成する。補正係数生成部は、第2色用差分絶対値および第3色用差分絶対値に基づいて、第2色用信号の補正係数である第2色用補正係数、および第3色用信号の補正係数である第3色用補正係数を生成する。第2色用乗算部は、第2色用補正係数を色収差補正部により色収差補正された第2色用信号に乗算し、第2色用ゲイン調整後信号として出力する。第3色用乗算部は、第3色用補正係数を色収差補正部により色収差補正された第3色用信号に乗算し、第3色用ゲイン調整後信号として出力する。混合部は、第2色用ゲイン調整後信号と第3色用ゲイン調整後信号とを加算することで、加算信号を生成し、加算信号と第1色用信号とを混合する。
第9の発明は、被写体からの光を集光する光学系と、光学系で集光された光から第1色用信号を取得するための第1色用画素、光学系で集光された光から第2色用信号を取得するための第2色用画素および光学系で集光された光から第3色用信号を取得するための第3色用画素を有し、第1色用画素により第1色用信号を取得するための空間的なサンプル位置に対して、第2色用画素により第2色用信号を取得するための空間的なサンプル位置および第3色用画素により第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、第1色用画素、第2色用画素および第3色用画素が配置されている撮像部と、を備える撮像装置に用いられる集積回路である。この集積回路は、色収差補正部と、第2色用差分絶対値生成部と、第3色用差分絶対値生成部と、補正係数生成部と、第2色用乗算部と、第3色用乗算部と、混合部と、を備える。色収差補正部は、第1色用信号と第2色用信号と第3色用信号との間に発生する色収差量を補正する。第2色用差分絶対値生成部は、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第1色用信号に対する第2色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第1の値との差分値である第2色用差分絶対値を生成する。第3色用差分絶対値生成部は、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第3色用信号に対する第3色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第2の値との差分値である第3色用差分絶対値を生成する。補正係数生成部は、第2色用差分絶対値および第3色用差分絶対値に基づいて、第2色用信号の補正係数である第2色用補正係数、および第3色用信号の補正係数である第3色用補正係数を生成する。第2色用乗算部は、第2色用補正係数を色収差補正部により色収差補正された第2色用信号に乗算し、第2色用ゲイン調整後信号として出力する。第3色用乗算部は、第3色用補正係数を色収差補正部により色収差補正された第3色用信号に乗算し、第3色用ゲイン調整後信号として出力する。混合部は、第2色用ゲイン調整後信号と第3色用ゲイン調整後信号とを加算することで、加算信号を生成し、加算信号と第1色用信号とを混合する。
これにより、光学系と、撮像部とを備える撮像装置に用いられることで、第1の発明と同様の効果を奏する集積回路を実現することができる。
第10の発明は、被写体からの光を集光する光学系を備える撮像装置に用いられる集積回路であって、撮像部と、色収差補正部と、第2色用差分絶対値生成部と、第3色用差分絶対値生成部と、補正係数生成部と、第2色用乗算部と、第3色用乗算部と、混合部と、を備える。撮像部は、光学系で集光された光から第1色用信号を取得するための第1色用画素、光学系で集光された光から第2色用信号を取得するための第2色用画素および光学系で集光された光から第3色用信号を取得するための第3色用画素を有している。そして、撮像部では、第1色用画素により第1色用信号を取得するための空間的なサンプル位置に対して、第2色用画素により第2色用信号を取得するための空間的なサンプル位置および第3色用画素により第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、第1色用画素、第2色用画素および第3色用画素が配置されている。色収差補正部は、第1色用信号と第2色用信号と第3色用信号との間に発生する色収差量を補正する。第2色用差分絶対値生成部は、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第1色用信号に対する第2色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第1の値との差分値である第2色用差分絶対値を生成する。第3色用差分絶対値生成部は、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第3色用信号に対する第3色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第2の値との差分値である第3色用差分絶対値を生成する。補正係数生成部は、第2色用差分絶対値および第3色用差分絶対値に基づいて、第2色用信号の補正係数である第2色用補正係数、および第3色用信号の補正係数である第3色用補正係数を生成する。第2色用乗算部は、第2色用補正係数を色収差補正部により色収差補正された第2色用信号に乗算し、第2色用ゲイン調整後信号として出力する。第3色用乗算部は、第3色用補正係数を色収差補正部により色収差補正された第3色用信号に乗算し、第3色用ゲイン調整後信号として出力する。混合部は、第2色用ゲイン調整後信号と第3色用ゲイン調整後信号とを加算することで、加算信号を生成し、加算信号と第1色用信号とを混合する。
第10の発明は、被写体からの光を集光する光学系を備える撮像装置に用いられる集積回路であって、撮像部と、色収差補正部と、第2色用差分絶対値生成部と、第3色用差分絶対値生成部と、補正係数生成部と、第2色用乗算部と、第3色用乗算部と、混合部と、を備える。撮像部は、光学系で集光された光から第1色用信号を取得するための第1色用画素、光学系で集光された光から第2色用信号を取得するための第2色用画素および光学系で集光された光から第3色用信号を取得するための第3色用画素を有している。そして、撮像部では、第1色用画素により第1色用信号を取得するための空間的なサンプル位置に対して、第2色用画素により第2色用信号を取得するための空間的なサンプル位置および第3色用画素により第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、第1色用画素、第2色用画素および第3色用画素が配置されている。色収差補正部は、第1色用信号と第2色用信号と第3色用信号との間に発生する色収差量を補正する。第2色用差分絶対値生成部は、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第1色用信号に対する第2色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第1の値との差分値である第2色用差分絶対値を生成する。第3色用差分絶対値生成部は、色収差量がサンプル間隔に相当する量である場合、色収差量を「1」とする量で表現するとき、第3色用信号に対する第3色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第2の値との差分値である第3色用差分絶対値を生成する。補正係数生成部は、第2色用差分絶対値および第3色用差分絶対値に基づいて、第2色用信号の補正係数である第2色用補正係数、および第3色用信号の補正係数である第3色用補正係数を生成する。第2色用乗算部は、第2色用補正係数を色収差補正部により色収差補正された第2色用信号に乗算し、第2色用ゲイン調整後信号として出力する。第3色用乗算部は、第3色用補正係数を色収差補正部により色収差補正された第3色用信号に乗算し、第3色用ゲイン調整後信号として出力する。混合部は、第2色用ゲイン調整後信号と第3色用ゲイン調整後信号とを加算することで、加算信号を生成し、加算信号と第1色用信号とを混合する。
これにより、光学系を備える撮像装置に用いられることで、第1の発明と同様の効果を奏する集積回路を実現することができる。
本発明によると、色収差補正を行う場合にも画素ずらしによる効果を得ることができる取得画像(映像)上の領域を増やすことができる撮像装置、撮像方法、プログラムおよび集積回路を実現することができる。
以下、本発明の実施形態について、図面を参照しながら説明する。
[第1実施形態]
<1.1:撮像装置の構成>
図1に、本発明の第1実施形態における撮像装置100の概略構成図を示す。また、図2に撮像装置100の撮像部3の概略構成図を、図3に撮像装置100の混合部10の概略構成図を示す。
撮像装置100は、被写体からの光を集光する光学系1と、光学系1により集光された光をG成分の光、B成分の光およびR成分の光に分離する光分離部2と、光分離部2によりR、G、Bの成分の光に分離されたそれぞれの光を光電変換により映像信号として取得する撮像部3と、撮像部3から出力されるG信号、B信号およびR信号に対して収差補正を行う収差補正部4と、を備える。また、撮像装置100は、Bの収差量からB用差分絶対値を生成するB用差分絶対値生成部5と、Rの収差量からR用差分絶対値を生成するB用差分絶対値生成部5と、B用差分絶対値およびR用差分絶対値に基づいて係数を生成する補正係数生成部7と、を備える。さらに、撮像装置100は、収差補正部4により収差補正されたB信号であるBA信号に補正係数生成部により生成された係数を乗算する乗算器8と、収差補正部4により収差補正されたR信号であるRA信号に補正係数生成部により生成された係数を乗算する乗算器9と、収差補正部4から出力されるG信号であるGA信号、乗算器8から出力されるBM信号、および乗算器9から出力されるRM信号を混合してYO信号として出力する混合部10と、を備える。
[第1実施形態]
<1.1:撮像装置の構成>
図1に、本発明の第1実施形態における撮像装置100の概略構成図を示す。また、図2に撮像装置100の撮像部3の概略構成図を、図3に撮像装置100の混合部10の概略構成図を示す。
撮像装置100は、被写体からの光を集光する光学系1と、光学系1により集光された光をG成分の光、B成分の光およびR成分の光に分離する光分離部2と、光分離部2によりR、G、Bの成分の光に分離されたそれぞれの光を光電変換により映像信号として取得する撮像部3と、撮像部3から出力されるG信号、B信号およびR信号に対して収差補正を行う収差補正部4と、を備える。また、撮像装置100は、Bの収差量からB用差分絶対値を生成するB用差分絶対値生成部5と、Rの収差量からR用差分絶対値を生成するB用差分絶対値生成部5と、B用差分絶対値およびR用差分絶対値に基づいて係数を生成する補正係数生成部7と、を備える。さらに、撮像装置100は、収差補正部4により収差補正されたB信号であるBA信号に補正係数生成部により生成された係数を乗算する乗算器8と、収差補正部4により収差補正されたR信号であるRA信号に補正係数生成部により生成された係数を乗算する乗算器9と、収差補正部4から出力されるG信号であるGA信号、乗算器8から出力されるBM信号、および乗算器9から出力されるRM信号を混合してYO信号として出力する混合部10と、を備える。
光学系1は、被写体からの光を集光し、集光した光を光分離部2に出力する。光学系1は、複数のレンズにより構成されるものであってもよい。
光分離部2は、光学系1から出力された光を、R成分の光、G成分の光およびB成分の光に分離し、それぞれ、撮像部3の、R用撮像素子3R、G用撮像素子3GおよびB用撮像素子3Bへ出力する。光分離部としては、光学プリズムを用いることが好ましい。なお、光分離部2は、R、G、B以外にも、G帯域を2つに分けて(緑色の可視光の周波数帯域を2つに分けて)、R、G1、G2、Bの4つの光成分に分離するものであってもよい。以下、光分離部2が、R、G、Bの3成分に光を分離するものである場合について説明する。また、説明便宜のため、収差補正として、G信号の位相に、R信号およびB信号の収差を補正して、合わせる場合について、以下説明する。
光分離部2は、光学系1から出力された光を、R成分の光、G成分の光およびB成分の光に分離し、それぞれ、撮像部3の、R用撮像素子3R、G用撮像素子3GおよびB用撮像素子3Bへ出力する。光分離部としては、光学プリズムを用いることが好ましい。なお、光分離部2は、R、G、B以外にも、G帯域を2つに分けて(緑色の可視光の周波数帯域を2つに分けて)、R、G1、G2、Bの4つの光成分に分離するものであってもよい。以下、光分離部2が、R、G、Bの3成分に光を分離するものである場合について説明する。また、説明便宜のため、収差補正として、G信号の位相に、R信号およびB信号の収差を補正して、合わせる場合について、以下説明する。
撮像部3は、G用撮像素子3G、B用撮像素子3BおよびR用撮像素子3Rを有する。
G用撮像素子3Gは、光分離部2により分離されたG成分の光を入力とし、光電変換により、G成分の光をG信号として取得する。G用撮像素子3Gは、取得したG信号を収差補正部4のG用遅延部4Gに出力する。
B用撮像素子3Bは、光分離部2により分離されたB成分の光を入力とし、光電変換により、B成分の光をB信号として取得する。B用撮像素子3Bは、取得したB信号を収差補正部4のB用収差補正部4Bに出力する。
R用撮像素子3Rは、光分離部2により分離されたR成分の光を入力とし、光電変換により、R成分の光をR信号として取得する。R用撮像素子3Rは、取得したR信号を収差補正部4のB用収差補正部4Bに出力する。
G用撮像素子3Gは、光分離部2により分離されたG成分の光を入力とし、光電変換により、G成分の光をG信号として取得する。G用撮像素子3Gは、取得したG信号を収差補正部4のG用遅延部4Gに出力する。
B用撮像素子3Bは、光分離部2により分離されたB成分の光を入力とし、光電変換により、B成分の光をB信号として取得する。B用撮像素子3Bは、取得したB信号を収差補正部4のB用収差補正部4Bに出力する。
R用撮像素子3Rは、光分離部2により分離されたR成分の光を入力とし、光電変換により、R成分の光をR信号として取得する。R用撮像素子3Rは、取得したR信号を収差補正部4のB用収差補正部4Bに出力する。
ここで、R用撮像素子3Rの撮像面の画素位置およびB用撮像素子3Bの撮像面の画素位置と、G用撮像素子3Gの撮像面の画素位置とは、0.5画素ずらして配置されているものとする。すなわち、撮像装置100は、画素ずらし法を採用した撮像装置である。
また、R用撮像素子3R、B用撮像素子3BおよびG用撮像素子3Gは、サンプル間隔(空間的なサンプル位置の間隔)が同一で、同一の画素数のものを用いるものとし、さらに、クロック周波数fs(各画素の蓄積電荷を取得するサンプリング周波数)を同一として用いる。
また、R用撮像素子3R、B用撮像素子3BおよびG用撮像素子3Gは、それぞれ、フォトダイオード、電荷蓄積用コンデンサを含む画素を複数有している。
また、R用撮像素子3R、B用撮像素子3BおよびG用撮像素子3Gとしては、CCD型の撮像素子あるいはCMOS型の撮像素子(CMOS型イメージセンサ)を用いることが好ましい。
また、R用撮像素子3R、B用撮像素子3BおよびG用撮像素子3Gは、サンプル間隔(空間的なサンプル位置の間隔)が同一で、同一の画素数のものを用いるものとし、さらに、クロック周波数fs(各画素の蓄積電荷を取得するサンプリング周波数)を同一として用いる。
また、R用撮像素子3R、B用撮像素子3BおよびG用撮像素子3Gは、それぞれ、フォトダイオード、電荷蓄積用コンデンサを含む画素を複数有している。
また、R用撮像素子3R、B用撮像素子3BおよびG用撮像素子3Gとしては、CCD型の撮像素子あるいはCMOS型の撮像素子(CMOS型イメージセンサ)を用いることが好ましい。
収差補正部4は、図2に示すように、G用遅延部4G、B用収差補正部4B、およびR用収差補正部4Rを有する。
B用収差補正部4Bは、B用撮像素子3Bから出力されるB信号を入力とし、G信号に対するB信号の色収差量を補正し、補正したB信号をBA信号として、乗算器8に出力する。
R用収差補正部4Rは、R用撮像素子3Rから出力されるR信号を入力とし、G信号に対するR信号の色収差量を補正し、補正したR信号をRA信号として、乗算器9に出力する。
G用遅延部4Gは、G用撮像素子3Gから出力されるG信号を入力とし、G信号を所定の時間だけ遅延させた信号であるGA信号を混合部10に出力する。ここで、所定の時間は、B用収差補正部4Bおよび乗算器8(あるいは、R用収差補正部4Rおよび乗算器9)での処理時間に相当する時間である。これにより、GA信号、BM信号およびRM信号のタイミング調整を行うことができる。
B用収差補正部4Bは、B用撮像素子3Bから出力されるB信号を入力とし、G信号に対するB信号の色収差量を補正し、補正したB信号をBA信号として、乗算器8に出力する。
R用収差補正部4Rは、R用撮像素子3Rから出力されるR信号を入力とし、G信号に対するR信号の色収差量を補正し、補正したR信号をRA信号として、乗算器9に出力する。
G用遅延部4Gは、G用撮像素子3Gから出力されるG信号を入力とし、G信号を所定の時間だけ遅延させた信号であるGA信号を混合部10に出力する。ここで、所定の時間は、B用収差補正部4Bおよび乗算器8(あるいは、R用収差補正部4Rおよび乗算器9)での処理時間に相当する時間である。これにより、GA信号、BM信号およびRM信号のタイミング調整を行うことができる。
ここで、G信号に対するB信号及びR信号の色収差量は、光学系1の特性(光学系1を構成するレンズ(群)の状態)から一意に決定することができるので、マイクロプロセッサ(不図示)等で演算して求めてRAM(不図示)などの書き換え可能な記憶回路に記憶させても良いし、あらかじめROM(不図示)などに代表点の値を記憶させておき、代表点の間の値を補間することで求めるようにしても良い。そして、G信号に対するB信号及びR信号の色収差量に基づいて、B用収差補正部4BおよびR用収差補正部4Rで、それぞれ、収差補正処理が実行される。
B用差分絶対値生成部5は、Bの収差量からB用差分絶対値を生成し、生成したB用差分絶対値を補正係数生成部7に出力する。B用差分絶対値の具体的な生成については、後述する。
B用差分絶対値生成部5は、Bの収差量からB用差分絶対値を生成し、生成したB用差分絶対値を補正係数生成部7に出力する。B用差分絶対値の具体的な生成については、後述する。
R用差分絶対値生成部6は、Rの収差量からR用差分絶対値を生成し、生成したR用差分絶対値を補正係数生成部7に出力する。R用差分絶対値の具体的な生成については、後述する。
補正係数生成部7は、B用差分絶対値生成部5から出力されるB用差分絶対値およびR用差分絶対値生成部6から出力されるR用差分絶対値を入力とし、B用差分絶対値およびR用差分絶対値に基づいて、BA信号に乗算する係数coeBと、RA信号に乗算する係数coeRと、を算出する。そして、補正係数生成部7は、算出した係数coeBおよびcoeRを、それぞれ、乗算器8および9に出力する。なお、係数coeBと係数coeRとは、足して「1」となる正の実数とする。これにより、BA信号とRA信号とを内分処理により、容易に合成することが可能となる。
補正係数生成部7は、B用差分絶対値生成部5から出力されるB用差分絶対値およびR用差分絶対値生成部6から出力されるR用差分絶対値を入力とし、B用差分絶対値およびR用差分絶対値に基づいて、BA信号に乗算する係数coeBと、RA信号に乗算する係数coeRと、を算出する。そして、補正係数生成部7は、算出した係数coeBおよびcoeRを、それぞれ、乗算器8および9に出力する。なお、係数coeBと係数coeRとは、足して「1」となる正の実数とする。これにより、BA信号とRA信号とを内分処理により、容易に合成することが可能となる。
乗算器8は、収差補正部4のB用収差補正部4Bから出力されるBA信号および補正係数生成部7から出力される係数coeBを入力とし、BA信号に係数coeBを乗算することで、BM信号を生成し、生成したBM信号を混合部10の加算器10Aに出力する。
乗算器9は、収差補正部4のR用収差補正部4Rから出力されるRA信号および補正係数生成部7から出力される係数coeRを入力とし、RA信号に係数coeRを乗算することで、RM信号を生成し、生成したRM信号を混合部10の加算器10Aに出力する。
混合部10は、図3に示すように、加算器10Aと、選択部10Bを有する。
加算器10Aは、乗算器8から出力されるBM信号および乗算器9から出力されるRM信号を入力とし、BM信号およびRM信号を加算し、選択部10Bに出力する。
選択部10Bは、収差補正部4のG用遅延部4Gから出力されるGA信号および加算器10Aから出力される信号(以下、「BR加算信号」という。)を入力とし、撮像素子のクロック周波数fsの2倍の周波数で、GA信号およびBR加算信号をセレクト処理することで両信号を混合し、YO信号を生成する。そして、選択部10Bは、生成したYO信号を出力する。
乗算器9は、収差補正部4のR用収差補正部4Rから出力されるRA信号および補正係数生成部7から出力される係数coeRを入力とし、RA信号に係数coeRを乗算することで、RM信号を生成し、生成したRM信号を混合部10の加算器10Aに出力する。
混合部10は、図3に示すように、加算器10Aと、選択部10Bを有する。
加算器10Aは、乗算器8から出力されるBM信号および乗算器9から出力されるRM信号を入力とし、BM信号およびRM信号を加算し、選択部10Bに出力する。
選択部10Bは、収差補正部4のG用遅延部4Gから出力されるGA信号および加算器10Aから出力される信号(以下、「BR加算信号」という。)を入力とし、撮像素子のクロック周波数fsの2倍の周波数で、GA信号およびBR加算信号をセレクト処理することで両信号を混合し、YO信号を生成する。そして、選択部10Bは、生成したYO信号を出力する。
<1.2:撮像装置の動作>
以上のように構成された撮像装置100の動作について、以下説明する。
被写体からの光は、光学系1により集光され、光分離部2により光の波長ごとにR、G、Bの各成分の光に分離され、それぞれ、R用撮像素子3R、G用撮像素子3G、B用撮像素子3Bに入力される。
R用撮像素子3R、G用撮像素子3GおよびB用撮像素子3Bに入力されたR成分光、G成分光およびB成分光は、それぞれ、光電変換され、電気信号すなわち映像信号である、R信号、G信号およびB信号となり、撮像部3から出力される。
この時点で、光学系1(光学系1を構成するレンズ(群))の特性に起因する色収差が生じている。この時点で取得されるR信号、G信号およびB信号を表示装置に表示させた場合、表示画面上での結像位置が表示画面の周辺にいくに従って大きくずれるので、表示画面の周辺になるほど大きな色ずれが生じることになる。
以上のように構成された撮像装置100の動作について、以下説明する。
被写体からの光は、光学系1により集光され、光分離部2により光の波長ごとにR、G、Bの各成分の光に分離され、それぞれ、R用撮像素子3R、G用撮像素子3G、B用撮像素子3Bに入力される。
R用撮像素子3R、G用撮像素子3GおよびB用撮像素子3Bに入力されたR成分光、G成分光およびB成分光は、それぞれ、光電変換され、電気信号すなわち映像信号である、R信号、G信号およびB信号となり、撮像部3から出力される。
この時点で、光学系1(光学系1を構成するレンズ(群))の特性に起因する色収差が生じている。この時点で取得されるR信号、G信号およびB信号を表示装置に表示させた場合、表示画面上での結像位置が表示画面の周辺にいくに従って大きくずれるので、表示画面の周辺になるほど大きな色ずれが生じることになる。
この色ずれのある映像信号である、G信号、B信号およびR信号は、それぞれ、収差補正部4のG用遅延部4G、B用収差補正部4BおよびR用収差補正部4Rに入力され、収差補正が行われ、色ずれが補正された信号であるGA信号、BA信号、RA信号が生成される。なお、図2に示す収差補正部4は、G信号に、B信号およびR信号を合わせるように収差補正する場合のものであるが、これに限定されることはなく、例えば、B信号(あるいはR信号)を基準として、B信号(あるいはR信号)に合わせるように、G信号およびR信号(あるいはB信号)の色収差を補正するようにしてもよいことは言うまでもない。
色収差補正について、図4から図8を用いて説明する。
ここで、図4の(a)に示すようなGに対するB及びRの色収差がある場合について説明する。なお、図4(a)の横軸は、画面の位置であり、R信号およびB信号を表示装置に表示させたときの表示画面の位置を示している。図4(a)の縦軸は、色収差量を示している。G信号に対するB信号及びR信号の色収差量は、光学系1の特性(光学系1を構成するレンズ(群)の状態)から一意に決まるので、例えば、撮像装置100のマイクロプロセッサ(不図示)で演算して求めてRAM(不図示)などの書き換え可能な記憶回路に記憶しておき、その記憶された色収差量を、収差補正部4で用いるようにする。あるいは、あらかじめ、撮像装置100のROM(不図示)などに代表点の色収差量の値を保持しておき、代表点の間の色収差量の値は、補間して求め、その求めた色収差量を、収差補正部4で用いるようにしても良い。なお、収差量の単位としては、画素を単位とする。つまり、収差量が「0.5」とは、撮像素子の撮像面上において、0.5画素分のずれに相当する収差量であることを示す。
色収差補正について、図4から図8を用いて説明する。
ここで、図4の(a)に示すようなGに対するB及びRの色収差がある場合について説明する。なお、図4(a)の横軸は、画面の位置であり、R信号およびB信号を表示装置に表示させたときの表示画面の位置を示している。図4(a)の縦軸は、色収差量を示している。G信号に対するB信号及びR信号の色収差量は、光学系1の特性(光学系1を構成するレンズ(群)の状態)から一意に決まるので、例えば、撮像装置100のマイクロプロセッサ(不図示)で演算して求めてRAM(不図示)などの書き換え可能な記憶回路に記憶しておき、その記憶された色収差量を、収差補正部4で用いるようにする。あるいは、あらかじめ、撮像装置100のROM(不図示)などに代表点の色収差量の値を保持しておき、代表点の間の色収差量の値は、補間して求め、その求めた色収差量を、収差補正部4で用いるようにしても良い。なお、収差量の単位としては、画素を単位とする。つまり、収差量が「0.5」とは、撮像素子の撮像面上において、0.5画素分のずれに相当する収差量であることを示す。
図4(a)に示すような色収差に対して、B用差分絶対値生成部5にて、B信号の収差量の小数部分と「0.5」(すなわち、収差量が0.5画素分に相当)の差分の絶対値(B用差分絶対値)B1を生成する。また、R用差分絶対値生成部6にて、R信号の収差量の小数部分と「0.5」の差分の絶対値(R用差分絶対値)R1を生成する。
そして、B用差分絶対値B1およびR用差分絶対値R1は、補正係数生成部7に出力される。
補正係数生成部7では、B用差分絶対値B1およびR用差分絶対値R1からB用補正係数coeBおよびR用補正係数coeRを算出する。具体的には、下式により算出する。
R1=abs(0.5−(Rの色収差量の小数部))
B1=abs(0.5−(Bの色収差量の小数部))
coeR=R1/(R1+B1)
coeB=B1/(R1+B1)
なお、ここで、abs(x)は、xの絶対値を示す。
そして、B用差分絶対値B1およびR用差分絶対値R1は、補正係数生成部7に出力される。
補正係数生成部7では、B用差分絶対値B1およびR用差分絶対値R1からB用補正係数coeBおよびR用補正係数coeRを算出する。具体的には、下式により算出する。
R1=abs(0.5−(Rの色収差量の小数部))
B1=abs(0.5−(Bの色収差量の小数部))
coeR=R1/(R1+B1)
coeB=B1/(R1+B1)
なお、ここで、abs(x)は、xの絶対値を示す。
また、上式から分かるように、coeR+coeB=1が成り立つ。つまり、coeRおよびcoeBを、RA信号およびBA信号を合成する内分比として用いることができる。
補正係数生成部7にて生成されたB用補正係数coeBは、乗算器8に出力され、乗算器8により、B用補正係数coeBとBA信号とが乗算され、BM信号が生成される。同様に、R用補正係数coeRは、乗算器9出力され、乗算器9により、R用補正係数coeRとRA信号とが乗算され、RM信号が生成される。
次に、BM信号およびRM信号は、混合部10の加算器10Aに入力され、加算されることで、BR加算信号が生成される。
これにより、BR加算信号は、BA信号とRA信号のうち、画素ずらし効果を奏することができる可能性の高い方の信号に内分比率を高くした信号となる。具体的には、BR加算信号は、BA信号とRA信号のうち、色収差量の小数値が「0」に近い方の信号に内分比率を高くして生成された信号となる。
補正係数生成部7にて生成されたB用補正係数coeBは、乗算器8に出力され、乗算器8により、B用補正係数coeBとBA信号とが乗算され、BM信号が生成される。同様に、R用補正係数coeRは、乗算器9出力され、乗算器9により、R用補正係数coeRとRA信号とが乗算され、RM信号が生成される。
次に、BM信号およびRM信号は、混合部10の加算器10Aに入力され、加算されることで、BR加算信号が生成される。
これにより、BR加算信号は、BA信号とRA信号のうち、画素ずらし効果を奏することができる可能性の高い方の信号に内分比率を高くした信号となる。具体的には、BR加算信号は、BA信号とRA信号のうち、色収差量の小数値が「0」に近い方の信号に内分比率を高くして生成された信号となる。
そして、BR加算信号とG用遅延部から出力されるGA信号とが、選択部10Bにより、撮像素子のクロック周波数fsの2倍の周波数でセレクト処理されることで、両信号が混合され、YO信号として、選択部10Bから出力される。
これにより、混合部10から出力されるYO信号は、撮像素子のクロック周波数fs(各画素の蓄積電荷を取得するサンプリング周波数)の2倍の周波数でサンプリングされた信号となる。そして、このYO信号に対して、カメラ信号処理等を行った後、所定の形式の映像信号に変換し、表示装置に表示させることで、画素ずらしの効果のある映像信号による映像を表示装置に表示させることができる。
(1.2.1:信号波形再現について)
撮像装置100の信号処理の手順は、以上述べた通りである。図5から図8の信号波形を用いて、信号波形が再現される様子を具体的に以下説明する。
これにより、混合部10から出力されるYO信号は、撮像素子のクロック周波数fs(各画素の蓄積電荷を取得するサンプリング周波数)の2倍の周波数でサンプリングされた信号となる。そして、このYO信号に対して、カメラ信号処理等を行った後、所定の形式の映像信号に変換し、表示装置に表示させることで、画素ずらしの効果のある映像信号による映像を表示装置に表示させることができる。
(1.2.1:信号波形再現について)
撮像装置100の信号処理の手順は、以上述べた通りである。図5から図8の信号波形を用いて、信号波形が再現される様子を具体的に以下説明する。
図4のH2の位置では、Rの色収差量は図5の(b)の信号波形と同様小数部が「0.5」(0.5画素分に相当)なので、この状態で色収差補正を実施すると、図6(b)のような本来とは異なる信号波形の信号が得られる。このとき、B信号は、図4(a)に示すように、画面の位置H2において、収差量が「2.0」(2画素分に相当)である。したがって、本来収差量がない状態で図7(a)となる信号に対して、図7(b)のようにサンプリングされた信号となる。図7(b)の信号に対して、収差補正部4により収差補正すると、2画素ずらす(図7(b)において2画素分左方向にずらす)だけの処理となるので、信号は劣化せず、図8(a)に示す信号(この信号がBA信号に相当する)が得られる。
図4に示すように、画面の位置がH2である場合、図4(b)から分かるように、B用補正係数coeB=1となり、R用補正係数coeR=0となる。そして、乗算器8および乗算器9により、
BM=BA×coeB=BA
RM=RA×coeR=0
なる処理が実行され、BM信号およびRM信号が生成される。なお、上式において、BMはBM信号の信号値を、BAはBA信号の信号値を、RMはRM信号の信号値を、RAはRA信号の信号値を、それぞれ、表すものとする。
図4に示すように、画面の位置がH2である場合、図4(b)から分かるように、B用補正係数coeB=1となり、R用補正係数coeR=0となる。そして、乗算器8および乗算器9により、
BM=BA×coeB=BA
RM=RA×coeR=0
なる処理が実行され、BM信号およびRM信号が生成される。なお、上式において、BMはBM信号の信号値を、BAはBA信号の信号値を、RMはRM信号の信号値を、RAはRA信号の信号値を、それぞれ、表すものとする。
さらに、混合部10の加算器10Aにより、
BR=BM+RM=BA
なる処理が実行され、BR加算信号が生成される。なお、上式において、BRはBR加算信号の信号値を、BMはBM信号の信号値を、RMはRM加算信号の信号値を、BAはBA加算信号の信号値を、それぞれ、表すものとする。
そして、混合部10の選択部10Bにより、撮像素子のクロック周波数fsの2倍の周波数でセレクト処理されることで、YO信号が取得される。つまり、選択部10Bにより、収差補正した、図8(a)のB信号(B2B、B3B、・・・)(この信号がBR加算信号に該当)と、もとのG信号(G2、G3、・・・)(GA信号に該当)とを合わせる(混合する)ことで、図8(b)に示す信号(YO信号に該当)が得られる。
BR=BM+RM=BA
なる処理が実行され、BR加算信号が生成される。なお、上式において、BRはBR加算信号の信号値を、BMはBM信号の信号値を、RMはRM加算信号の信号値を、BAはBA加算信号の信号値を、それぞれ、表すものとする。
そして、混合部10の選択部10Bにより、撮像素子のクロック周波数fsの2倍の周波数でセレクト処理されることで、YO信号が取得される。つまり、選択部10Bにより、収差補正した、図8(a)のB信号(B2B、B3B、・・・)(この信号がBR加算信号に該当)と、もとのG信号(G2、G3、・・・)(GA信号に該当)とを合わせる(混合する)ことで、図8(b)に示す信号(YO信号に該当)が得られる。
よって、図8から分かるように、サンプリング間隔が半分、すなわち2倍のサンプリング数になった信号を得ることができ、G信号とR信号(G信号に対して色収差量の小数部が「0.5」であるR信号)との組み合わせでは得ることができなかった画素ずらしの効果を得ることができる。
ここで、混合部10の動作について、詳細に説明する。
BM信号とRM信号とは、空間的なサンプリングの位置が同じで、GA信号に対して、空間的なサンプリング位置について、撮像素子上の半画素分ずれている信号に相当する。そして、BM信号とRM信号とを加算して得られたRM加算信号とGA信号とを、選択部10Bにより、2倍のクロック周波数(撮像素子のクロック周波数fsの2倍の周波数)で交互に選択すると、半画素ずつずれた信号を交互に選択することになる。これは、図8(b)で言えば、B2B、G2、B3B、G3、B4B、G4、・・・の順に信号を選択していくことになる。このようにして、選択部10Bから出力されるYO信号が生成される。
ここで、混合部10の動作について、詳細に説明する。
BM信号とRM信号とは、空間的なサンプリングの位置が同じで、GA信号に対して、空間的なサンプリング位置について、撮像素子上の半画素分ずれている信号に相当する。そして、BM信号とRM信号とを加算して得られたRM加算信号とGA信号とを、選択部10Bにより、2倍のクロック周波数(撮像素子のクロック周波数fsの2倍の周波数)で交互に選択すると、半画素ずつずれた信号を交互に選択することになる。これは、図8(b)で言えば、B2B、G2、B3B、G3、B4B、G4、・・・の順に信号を選択していくことになる。このようにして、選択部10Bから出力されるYO信号が生成される。
以上により、混合部10から出力されるYO信号は、撮像素子のクロック周波数fs(各画素の蓄積電荷を取得するサンプリング周波数)の2倍の周波数でサンプリングされた信号となる。そして、このYO信号に対して、カメラ信号処理等を行った後、所定の形式の映像信号に変換し、表示装置に表示させることで、画素ずらしの効果のある映像信号による映像を表示装置に表示させることができる。
つまり、撮像装置100により、色収差補正を行う場合にも画素ずらしの効果を得ることができる取得画像(映像)上の領域を増やすことができる。
[第2実施形態]
次に、本発明の第2実施形態に係る撮像装置200について、図面を用いて説明する。
<2.1:撮像装置の構成>
図9に、撮像装置200の概略構成図を示す。また、図10に撮像装置200の補正部21の概略構成図を示す。
つまり、撮像装置100により、色収差補正を行う場合にも画素ずらしの効果を得ることができる取得画像(映像)上の領域を増やすことができる。
[第2実施形態]
次に、本発明の第2実施形態に係る撮像装置200について、図面を用いて説明する。
<2.1:撮像装置の構成>
図9に、撮像装置200の概略構成図を示す。また、図10に撮像装置200の補正部21の概略構成図を示す。
第2実施形態に係る撮像装置200は、第1実施形態に係る撮像装置100において、収差補正部4の後段に補正部21が設けられている点が異なる。
なお、第1実施形態と同様の部分については、同一の符号を付し、説明を省略する。
補正部21は、図10に示すように、収差補正部4のGA用遅延部4Gから出力されるGA信号に対してLPF処理を行うGA用LPF部211、およびGA信号に対してHPF処理を行うGA用HPF部214と、収差補正部4のB用収差補正部4Bから出力されるBA信号に対して、LPF処理を行うBA用LPF部212、およびBA信号に対してHPF処理を行うBA用HPF部215と、収差補正部4のR用収差補正部4Rから出力されるRA信号に対して、LPF処理を行うRA用LPF部213、およびRA信号に対してHPF処理を行うRA用HPF部216と、を備える。また、補正部21は、B用差分絶対値生成部5と、R用差分絶対値生成部6と、補正係数生成部7と、乗算器8と、乗算器9と、混合部10と、を備える。さらに、補正部21は、G用加算器217と、B用加算器218と、R用加算器219と、を備える。
なお、第1実施形態と同様の部分については、同一の符号を付し、説明を省略する。
補正部21は、図10に示すように、収差補正部4のGA用遅延部4Gから出力されるGA信号に対してLPF処理を行うGA用LPF部211、およびGA信号に対してHPF処理を行うGA用HPF部214と、収差補正部4のB用収差補正部4Bから出力されるBA信号に対して、LPF処理を行うBA用LPF部212、およびBA信号に対してHPF処理を行うBA用HPF部215と、収差補正部4のR用収差補正部4Rから出力されるRA信号に対して、LPF処理を行うRA用LPF部213、およびRA信号に対してHPF処理を行うRA用HPF部216と、を備える。また、補正部21は、B用差分絶対値生成部5と、R用差分絶対値生成部6と、補正係数生成部7と、乗算器8と、乗算器9と、混合部10と、を備える。さらに、補正部21は、G用加算器217と、B用加算器218と、R用加算器219と、を備える。
GA用LPF部211は、収差補正部4のG用遅延部4Gから出力されるGA信号を入力とし、GA信号に対してLPF処理を行い、LPF処理を行った信号をGA1信号としてG用加算器217に出力する。そして、GA用LPF部211は、クロック周波数fs(撮像素子のサンプリング周波数)によるサンプリングにおけるナイキスト周波数(fs/2)の2分の1の周波数(fs/4)未満の周波数の信号を通過させるLPFであることが好ましい。
GA用HPF部214は、GA信号を入力とし、GA信号に対してHPF処理を行い、HPF処理を行った信号をGA2信号として混合部10の選択部10Bに出力する。そして、GA用HPF部214は、クロック周波数fs(撮像素子のサンプリング周波数)によるサンプリングにおけるナイキスト周波数(fs/2)の2分の1の周波数(fs/4)以上の周波数の信号を通過させるHPFであることが好ましい。
GA用HPF部214は、GA信号を入力とし、GA信号に対してHPF処理を行い、HPF処理を行った信号をGA2信号として混合部10の選択部10Bに出力する。そして、GA用HPF部214は、クロック周波数fs(撮像素子のサンプリング周波数)によるサンプリングにおけるナイキスト周波数(fs/2)の2分の1の周波数(fs/4)以上の周波数の信号を通過させるHPFであることが好ましい。
BA用LPF部212は、収差補正部4のB用収差補正部4Bから出力されるBA信号を入力とし、BA信号に対してLPF処理を行い、LPF処理を行った信号をBA1信号としてB用加算器218に出力する。そして、BA用LPF部212は、クロック周波数fs(撮像素子のサンプリング周波数)によるサンプリングにおけるナイキスト周波数(fs/2)の2分の1の周波数(fs/4)未満の周波数の信号を通過させるLPF(低域通過フィルタ)であることが好ましい。
BA用HPF部215は、BA信号を入力とし、BA信号に対してHPF処理を行い、HPF処理を行った信号をBA2信号として乗算器8に出力する。そして、BA用HPF部215は、クロック周波数fs(撮像素子のサンプリング周波数)によるサンプリングにおけるナイキスト周波数(fs/2)の2分の1の周波数(fs/4)以上の周波数の信号を通過させるHPF(高域通過フィルタ)であることが好ましい。
BA用HPF部215は、BA信号を入力とし、BA信号に対してHPF処理を行い、HPF処理を行った信号をBA2信号として乗算器8に出力する。そして、BA用HPF部215は、クロック周波数fs(撮像素子のサンプリング周波数)によるサンプリングにおけるナイキスト周波数(fs/2)の2分の1の周波数(fs/4)以上の周波数の信号を通過させるHPF(高域通過フィルタ)であることが好ましい。
RA用LPF部213は、収差補正部4のR用収差補正部4Rから出力されるRA信号を入力とし、RA信号に対してLPF処理を行い、LPF処理を行った信号をRA1信号としてR用加算器219に出力する。そして、LA用LPF部213は、クロック周波数fs(撮像素子のサンプリング周波数)によるサンプリングにおけるナイキスト周波数(fs/2)の2分の1の周波数(fs/4)未満の周波数の信号を通過させるLPFであることが好ましい。
RA用HPF部216は、RA信号を入力とし、RA信号に対してHPF処理を行い、HPF処理を行った信号をRA2信号として乗算器9に出力する。そして、RA用HPF部216は、クロック周波数fs(撮像素子のサンプリング周波数)によるサンプリングにおけるナイキスト周波数(fs/2)の2分の1の周波数(fs/4)以上の周波数の信号を通過させるHPFであることが好ましい。
RA用HPF部216は、RA信号を入力とし、RA信号に対してHPF処理を行い、HPF処理を行った信号をRA2信号として乗算器9に出力する。そして、RA用HPF部216は、クロック周波数fs(撮像素子のサンプリング周波数)によるサンプリングにおけるナイキスト周波数(fs/2)の2分の1の周波数(fs/4)以上の周波数の信号を通過させるHPFであることが好ましい。
B用差分絶対値生成部5と、R用差分絶対値生成部6と、補正係数生成部7は、第1実施形態と同様のものである。
乗算器8は、BA2信号および補正係数生成部7から出力されるB用補正係数coeBを入力とし、BA2信号にcoeBを乗算することで、BM信号を生成し、BM信号を混合部10の加算器10Aに出力する。
乗算器9は、RA2信号および補正係数生成部7から出力されるR用補正係数coeRを入力とし、RA2信号にcoeRを乗算することで、RM信号を生成し、RM信号を混合部10の加算器10Aに出力する。
混合部10は、GA2信号、RM2信号およびRM2信号を入力とし、第1実施形態と同様に、GA2信号、RM2信号およびRM2信号からYO2信号を生成し、YO2信号をG用加算器217、B用加算器218およびR用加算器219に出力する。
乗算器8は、BA2信号および補正係数生成部7から出力されるB用補正係数coeBを入力とし、BA2信号にcoeBを乗算することで、BM信号を生成し、BM信号を混合部10の加算器10Aに出力する。
乗算器9は、RA2信号および補正係数生成部7から出力されるR用補正係数coeRを入力とし、RA2信号にcoeRを乗算することで、RM信号を生成し、RM信号を混合部10の加算器10Aに出力する。
混合部10は、GA2信号、RM2信号およびRM2信号を入力とし、第1実施形態と同様に、GA2信号、RM2信号およびRM2信号からYO2信号を生成し、YO2信号をG用加算器217、B用加算器218およびR用加算器219に出力する。
G用加算器217は、GA1信号およびYO2信号を入力とし、両信号を加算することでGO信号を生成し、GO信号を出力する。
B用加算器218は、BA1信号およびYO2信号を入力とし、両信号を加算することでBO信号を生成し、BO信号を出力する。
R用加算器219は、RA1信号およびYO2信号を入力とし、両信号を加算することでRO信号を生成し、RO信号を出力する。
<2.2:撮像装置の動作>
以上のように構成された撮像装置200の動作について、以下説明する。
なお、収差補正部4までの動作は、第1実施形態に係る撮像装置100の動作と同様であるので、説明を省略する。
B用加算器218は、BA1信号およびYO2信号を入力とし、両信号を加算することでBO信号を生成し、BO信号を出力する。
R用加算器219は、RA1信号およびYO2信号を入力とし、両信号を加算することでRO信号を生成し、RO信号を出力する。
<2.2:撮像装置の動作>
以上のように構成された撮像装置200の動作について、以下説明する。
なお、収差補正部4までの動作は、第1実施形態に係る撮像装置100の動作と同様であるので、説明を省略する。
ここで、GA用、BA用およびRA用低域通過フィルタ(LPF)211、212および213は、G、BおよびR単色だけのサンプリングにおけるナイキスト周波数の2分の1(fs/4)未満の周波数の信号を通過させるフィルタであり、GA用、BA用およびRA用高域通過フィルタ(HPF)214、215および216は、G、BおよびR単色だけのサンプリングにおけるナイキスト周波数の2分の1(fs/4)以上の周波数の信号を通過させるフィルタであるものとして、以下説明する。
撮像装置200において、図5(a)に示す信号を処理する場合について説明する。
なお、第1実施形態と同様に、図4(a)の画面の位置H2の場合についての処理について説明する。
図5(a)に示す信号は、G、B、R単色でのサンプリングにおいては、3サンプルで1周期の周波数の信号である。したがって、図5(a)に示す信号は、G、B、R単色だけのサンプリングにおけるナイキスト周波数(fs/2)の3分の2の周波数(fs/3)の信号である。
撮像装置200において、図5(a)に示す信号を処理する場合について説明する。
なお、第1実施形態と同様に、図4(a)の画面の位置H2の場合についての処理について説明する。
図5(a)に示す信号は、G、B、R単色でのサンプリングにおいては、3サンプルで1周期の周波数の信号である。したがって、図5(a)に示す信号は、G、B、R単色だけのサンプリングにおけるナイキスト周波数(fs/2)の3分の2の周波数(fs/3)の信号である。
つまり、図5(a)に示す信号の周波数(fs/3)は、HPFのカットオフ周波数fs/4より高いので、図5(a)に示す信号は、GA用HPF214、BA用HPF215およびRA用HPF216をそのまま通過する。
つまり、G信号(図7(a)のG2、G3、・・・に相当する信号)の交流成分は、GA用HPF214をそのまま通過して、GA2信号として混合部10に入力される。そして、色収差補正されたBA2信号(図7(a)のB2B、B3B、・・・に相当する信号)の交流成分は、BA用HPF215をそのまま通過して、乗算器8に入力される。
すると、第1実施形態の場合と同様に、図8(b)に示す信号が信号YO2として、混合部10により取得される。
そして、YO2信号は、G用加算器217、B用加算器218およびR用加算器219により、それぞれ、GA、BAおよびRAの低周波成分(図5(a)の信号を処理する場合は、直流成分)であるGA1信号、BA1信号およびRA1信号に加算され、GO信号、BO信号およびRO信号として出力される。
つまり、G信号(図7(a)のG2、G3、・・・に相当する信号)の交流成分は、GA用HPF214をそのまま通過して、GA2信号として混合部10に入力される。そして、色収差補正されたBA2信号(図7(a)のB2B、B3B、・・・に相当する信号)の交流成分は、BA用HPF215をそのまま通過して、乗算器8に入力される。
すると、第1実施形態の場合と同様に、図8(b)に示す信号が信号YO2として、混合部10により取得される。
そして、YO2信号は、G用加算器217、B用加算器218およびR用加算器219により、それぞれ、GA、BAおよびRAの低周波成分(図5(a)の信号を処理する場合は、直流成分)であるGA1信号、BA1信号およびRA1信号に加算され、GO信号、BO信号およびRO信号として出力される。
そして、このGO信号、BO信号およびRO信号に対して、カメラ信号処理等を行った後、所定の形式の映像信号に変換し、表示装置に表示させることで、画素ずらしの効果のある映像信号による映像を表示装置に表示させることができる。
つまり、この場合、撮像装置200では、G、B、R単色だけのサンプリングにおけるナイキスト周波数(fs/2)の2分の1以上の周波数(fs/4以上の周波数)については、クロック周波数(fs)の2倍の周波数でサンプリングした信号と同等の信号が得られ、画素ずらしの効果が得られる。
[他の実施形態]
上記実施形態において、収差補正として、G信号を基準として、R信号およびB信号の色収差を補正して、G信号に合わせる場合について、説明したが、これに限定されることはなく、R信号あるいはB信号を基準にして、色収差補正するようにしてもよい。
つまり、この場合、撮像装置200では、G、B、R単色だけのサンプリングにおけるナイキスト周波数(fs/2)の2分の1以上の周波数(fs/4以上の周波数)については、クロック周波数(fs)の2倍の周波数でサンプリングした信号と同等の信号が得られ、画素ずらしの効果が得られる。
[他の実施形態]
上記実施形態において、収差補正として、G信号を基準として、R信号およびB信号の色収差を補正して、G信号に合わせる場合について、説明したが、これに限定されることはなく、R信号あるいはB信号を基準にして、色収差補正するようにしてもよい。
また、補正係数生成部7におけるB用補正係数coeBおよびR用補正係数coeRの決定方法について、図4の場合について説明したが、これに限定されることはない。B信号およびR信号の色収差量の小数部が「0」に近いほうをより重要視して、収差量の変化に対する補正係数の変化の連続性を維持して補正係数を決定するものであれば、他の方法によりB用補正係数coeBおよびR用補正係数coeRを決定するようにしてもよい。例えば、図11(a)に示す収差量があったとすると、R信号の色収差量の小数部が「0」に近いので、図11(b)に示すように、R信号のゲイン(R用補正係数coeR)は「1」に近い値とし、B用差分絶対値がR用差分絶対値を上回るところで連続性を維持しつつ最終的にB用差分絶対値が「0.5」になるところでB用のゲイン(B用補正係数coeB)が「1」になるようにしてもよい。
また、上記実施形態において、撮像装置では、撮像素子を3つ有する撮像部を用いる場合について説明したが、これに限定されることはなく、例えば、撮像素子が1つである撮像部を撮像装置に用いるようにしてもよい。この場合、撮像素子のR用画素、B用画素およびG用画素を、いわゆるベイヤ配列により撮像素子面上に配列することで、G用画素のサンプル位置に対して、R用画素のサンプル位置およびB用画素のサンプル位置を、単色のサンプル間隔の半分ずれるように配置することができる。そして、R用画素、B用画素およびG用画素から取得されたR信号、B信号およびG信号に対して、上記実施形態同様の処理を行うようにすればよい。なお、この場合、単一の撮像素子上の画素ごとに配置されたカラーフィルターにより、各画素で、R信号、B信号およびG信号を取得することになるので、図1および図9で示した光分離部2は不要となる。
また、上記実施の形態で説明した撮像装置において、各ブロック(各部)は、LSIなどの半導体装置(集積回路)により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
さらにここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
さらにここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
本発明に係る撮像装置、撮像方法、プログラムおよび集積回路は、光学系(レンズ(群))による色収差がある場合に画素ずらしをするときに、表示装置(ディスプレイ等)の表示画面の端部での解像度を高めることができるので、映像関連分野において有用であり、本発明に係る撮像装置、撮像方法、プログラムおよび集積回路は、当該分野において実施することができる。
100、200 撮像装置
1 光学系
2 光分離部
3 撮像部
3G G用撮像素子
3B B用撮像素子
3R R用撮像素子
4 収差補正部
5 B用差分絶対値生成部
6 R用差分絶対値生成部
7 補正係数生成部
8、9 乗算器
10 混合部
10A 加算器
10B 選択部
211 GA用LPF
212 BA用LPF
213 RA用LPF
214 GA用HPF
215 BA用HPF
217 R用加算器
218 B用加算器
219 R用加算器
1 光学系
2 光分離部
3 撮像部
3G G用撮像素子
3B B用撮像素子
3R R用撮像素子
4 収差補正部
5 B用差分絶対値生成部
6 R用差分絶対値生成部
7 補正係数生成部
8、9 乗算器
10 混合部
10A 加算器
10B 選択部
211 GA用LPF
212 BA用LPF
213 RA用LPF
214 GA用HPF
215 BA用HPF
217 R用加算器
218 B用加算器
219 R用加算器
Claims (10)
- 被写体からの光を集光する光学系と、
前記光学系で集光された光から第1色用信号を取得するための第1色用画素、前記光学系で集光された光から第2色用信号を取得するための第2色用画素および前記光学系で集光された光から第3色用信号を取得するための第3色用画素を有し、前記第1色用画素により前記第1色用信号を取得するための空間的なサンプル位置に対して、前記第2色用画素により前記第2色用信号を取得するための空間的なサンプル位置および前記第3色用画素により前記第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、前記第1色用画素、前記第2色用画素および前記第3色用画素が配置されている撮像部と、
前記第1色用信号と前記第2色用信号と前記第3色用信号との間に発生する色収差量を補正する色収差補正部と、
前記色収差量が前記サンプル間隔に相当する量である場合、前記色収差量を「1」とする量で表現するとき、前記第1色用信号に対する前記第2色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第1の値との差分値である第2色用差分絶対値を生成する第2色用差分絶対値生成部と、
前記色収差量が前記サンプル間隔に相当する量である場合、前記色収差量を「1」とする量で表現するとき、前記第3色用信号に対する前記第3色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第2の値との差分値である第3色用差分絶対値を生成する第3色用差分絶対値生成部と、
前記第2色用差分絶対値および前記第3色用差分絶対値に基づいて、前記第2色用信号の補正係数である第2色用補正係数、および前記第3色用信号の補正係数である第3色用補正係数を生成する補正係数生成部と、
前記第2色用補正係数を前記色収差補正部により色収差補正された前記第2色用信号に乗算し、第2色用ゲイン調整後信号として出力する第2色用乗算部と、
前記第3色用補正係数を前記色収差補正部により色収差補正された前記第3色用信号に乗算し、第3色用ゲイン調整後信号として出力する第3色用乗算部と、
前記第2色用ゲイン調整後信号と前記第3色用ゲイン調整後信号とを加算することで、加算信号を生成し、前記加算信号と前記第1色用信号とを混合する混合部と、
を備える撮像装置。 - 前記第1の値及び第2の値は、「0.5」である、
請求項1記載の撮像装置。 - 前記補正係数生成部は、前記第2色用差分絶対値をB1とし、前記第3色用差分絶対値をR1とし、前記第2色用補正係数をcoeBとし、前記第3色用補正係数をcoeRとしたとき、
coeB=B1/(R1+B1)
coeR=R1/(R1+B1)
により算出することで、前記第2色用補正係数および前記第3色用補正係数を生成する、
請求項2に記載の撮像装置。 - 前記第1色用光は、G(緑)色成分の光であり、前記第2色用光は、B(青)色成分の光であり、前記第3色用光は、R(赤)色成分の光である、
請求項1から3のいずれかに記載の撮像装置。 - 前記混合部は、前記サンプル間隔に対応するサンプリング周波数fsの2倍の周波数により、前記加算信号と前記第1色用信号とを交互にサンプリングすることで、前記加算信号と前記第1色用信号とを混合する、
請求項1から4のいずれかに記載の撮像装置。 - 被写体からの光を集光する光学系と、
前記光学系で集光された光から第1色用信号を取得するための第1色用画素、前記光学系で集光された光から第2色用信号を取得するための第2色用画素および前記光学系で集光された光から第3色用信号を取得するための第3色用画素を有し、前記第1色用画素により前記第1色用信号を取得するための空間的なサンプル位置に対して、前記第2色用画素により前記第2色用信号を取得するための空間的なサンプル位置および前記第3色用画素により前記第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、前記第1色用画素、前記第2色用画素および前記第3色用画素が配置されている撮像部と、
前記第1色用信号と前記第2色用信号と前記第3色用信号との間に発生する色収差量を補正する色収差補正部と、
前記第1色用信号に対してLPF処理を行い、第1色用低域成分信号として出力する第1色用LPF部と、
前記第1色用信号に対してHPF処理を行い、第1色用高域成分信号として出力する第1色用HPF部と、
前記第2色用信号に対してLPF処理を行い、第2色用低域成分信号として出力する第2色用LPF部と、
前記第2色用信号に対してHPF処理を行い、第2色用高域成分信号として出力する第2色用HPF部と、
前記第3色用信号に対してLPF処理を行い、第3色用低域成分信号として出力する第3色用LPF部と、
前記第3色用信号に対してHPF処理を行い、第3色用高域成分信号として出力する第3色用HPF部と、
前記色収差量が前記サンプル間隔に相当する量である場合、前記色収差量を「1」とする量で表現するとき、前記第1色用信号に対する前記第2色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第1の値との差分値である第2色用差分絶対値を生成する第2色用差分絶対値生成部と、
前記色収差量が前記サンプル間隔に相当する量である場合、前記色収差量を「1」とする量で表現するとき、前記第3色用信号に対する前記第3色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第2の値との差分値である第3色用差分絶対値を生成する第3色用差分絶対値生成部と、
前記第2色用差分絶対値および前記第3色用差分絶対値に基づいて、前記第2色用信号の補正係数である第2色用補正係数、および前記第3色用信号の補正係数である第3色用補正係数を生成する補正係数生成部と、
前記第2色用補正係数を前記第2色用高域成分信号に乗算し、第2色用ゲイン調整後高域成分信号として出力する第2色用乗算部と、
前記第3色用補正係数を前記第3色用高域成分信号に乗算し、第3色用ゲイン調整後高域成分信号として出力する第3色用乗算部と、
前記第2色用ゲイン調整後高域成分信号と前記第3色用ゲイン調整後高域成分信号とを加算することで、高域成分加算信号を生成し、前記高域成分加算信号と前記第1色用高域成分信号とを混合し、混合信号として出力する混合部と、
前記混合信号と前記第1色用低域成分とを加算する第1色用加算部と、
前記混合信号と前記第2色用低域成分とを加算する第2色用加算部と、
前記混合信号と前記第3色用低域成分とを加算する第3色用加算部と、
を備える撮像装置。 - 被写体からの光を集光する光学系と、
前記光学系で集光された光から第1色用信号を取得するための第1色用画素、前記光学系で集光された光から第2色用信号を取得するための第2色用画素および前記光学系で集光された光から第3色用信号を取得するための第3色用画素を有し、前記第1色用画素により前記第1色用信号を取得するための空間的なサンプル位置に対して、前記第2色用画素により前記第2色用信号を取得するための空間的なサンプル位置および前記第3色用画素により前記第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、前記第1色用画素、前記第2色用画素および前記第3色用画素が配置されている撮像部と、を備える撮像装置に用いられる撮像方法であって、
前記第1色用信号と前記第2色用信号と前記第3色用信号との間に発生する色収差量を補正する色収差補正ステップと、
前記色収差量が前記サンプル間隔に相当する量である場合、前記色収差量を「1」とする量で表現するとき、前記第1色用信号に対する前記第2色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第1の値との差分値である第2色用差分絶対値を生成する第2色用差分絶対値生成ステップと、
前記色収差量が前記サンプル間隔に相当する量である場合、前記色収差量を「1」とする量で表現するとき、前記第3色用信号に対する前記第3色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第2の値との差分値である第3色用差分絶対値を生成する第3色用差分絶対値生成ステップと、
前記第2色用差分絶対値および前記第3色用差分絶対値に基づいて、前記第2色用信号の補正係数である第2色用補正係数、および前記第3色用信号の補正係数である第3色用補正係数を生成する補正係数生成ステップと、
前記第2色用補正係数を前記色収差補正ステップにより色収差補正された前記第2色用信号に乗算し、第2色用ゲイン調整後信号として出力する第2色用乗算ステップと、
前記第3色用補正係数を前記色収差補正ステップにより色収差補正された前記第3色用信号に乗算し、第3色用ゲイン調整後信号として出力する第3色用乗算ステップと、
前記第2色用ゲイン調整後信号と前記第3色用ゲイン調整後信号とを加算することで、加算信号を生成し、前記加算信号と前記第1色用信号とを混合する混合ステップと、
を備える撮像方法。 - 被写体からの光を集光する光学系と、
前記光学系で集光された光から第1色用信号を取得するための第1色用画素、前記光学系で集光された光から第2色用信号を取得するための第2色用画素および前記光学系で集光された光から第3色用信号を取得するための第3色用画素を有し、前記第1色用画素により前記第1色用信号を取得するための空間的なサンプル位置に対して、前記第2色用画素により前記第2色用信号を取得するための空間的なサンプル位置および前記第3色用画素により前記第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、前記第1色用画素、前記第2色用画素および前記第3色用画素が配置されている撮像部と、を備える撮像装置に用いられるプログラムであって、
コンピュータを、
前記第1色用信号と前記第2色用信号と前記第3色用信号との間に発生する色収差量を補正する色収差補正部、
前記色収差量が前記サンプル間隔に相当する量である場合、前記色収差量を「1」とする量で表現するとき、前記第1色用信号に対する前記第2色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第1の値との差分値である第2色用差分絶対値を生成する第2色用差分絶対値生成部、
前記色収差量が前記サンプル間隔に相当する量である場合、前記色収差量を「1」とする量で表現するとき、前記第3色用信号に対する前記第3色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第2の値との差分値である第3色用差分絶対値を生成する第3色用差分絶対値生成部、
前記第2色用差分絶対値および前記第3色用差分絶対値に基づいて、前記第2色用信号の補正係数である第2色用補正係数、および前記第3色用信号の補正係数である第3色用補正係数を生成する補正係数生成部、
前記第2色用補正係数を前記色収差補正部により色収差補正された前記第2色用信号に乗算し、第2色用ゲイン調整後信号として出力する第2色用乗算部、
前記第3色用補正係数を前記色収差補正部により色収差補正された前記第3色用信号に乗算し、第3色用ゲイン調整後信号として出力する第3色用乗算部、
前記第2色用ゲイン調整後信号と前記第3色用ゲイン調整後信号とを加算することで、加算信号を生成し、前記加算信号と前記第1色用信号とを混合する混合部、
として機能させるためのプログラム。 - 被写体からの光を集光する光学系と、
前記光学系で集光された光から第1色用信号を取得するための第1色用画素、前記光学系で集光された光から第2色用信号を取得するための第2色用画素および前記光学系で集光された光から第3色用信号を取得するための第3色用画素を有し、前記第1色用画素により前記第1色用信号を取得するための空間的なサンプル位置に対して、前記第2色用画素により前記第2色用信号を取得するための空間的なサンプル位置および前記第3色用画素により前記第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、前記第1色用画素、前記第2色用画素および前記第3色用画素が配置されている撮像部と、を備える撮像装置に用いられる集積回路であって、
前記第1色用信号と前記第2色用信号と前記第3色用信号との間に発生する色収差量を補正する色収差補正部と、
前記色収差量が前記サンプル間隔に相当する量である場合、前記色収差量を「1」とする量で表現するとき、前記第1色用信号に対する前記第2色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第1の値との差分値である第2色用差分絶対値を生成する第2色用差分絶対値生成部と、
前記色収差量が前記サンプル間隔に相当する量である場合、前記色収差量を「1」とする量で表現するとき、前記第3色用信号に対する前記第3色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第2の値との差分値である第3色用差分絶対値を生成する第3色用差分絶対値生成部と、
前記第2色用差分絶対値および前記第3色用差分絶対値に基づいて、前記第2色用信号の補正係数である第2色用補正係数、および前記第3色用信号の補正係数である第3色用補正係数を生成する補正係数生成部と、
前記第2色用補正係数を前記色収差補正部により色収差補正された前記第2色用信号に乗算し、第2色用ゲイン調整後信号として出力する第2色用乗算部と、
前記第3色用補正係数を前記色収差補正部により色収差補正された前記第3色用信号に乗算し、第3色用ゲイン調整後信号として出力する第3色用乗算部と、
前記第2色用ゲイン調整後信号と前記第3色用ゲイン調整後信号とを加算することで、加算信号を生成し、前記加算信号と前記第1色用信号とを混合する混合部と、
を備える集積回路。 - 被写体からの光を集光する光学系を備える撮像装置に用いられる集積回路であって、
前記光学系で集光された光から第1色用信号を取得するための第1色用画素、前記光学系で集光された光から第2色用信号を取得するための第2色用画素および前記光学系で集光された光から第3色用信号を取得するための第3色用画素を有し、前記第1色用画素により前記第1色用信号を取得するための空間的なサンプル位置に対して、前記第2色用画素により前記第2色用信号を取得するための空間的なサンプル位置および前記第3色用画素により前記第3色用信号を取得するための空間的なサンプル位置が、単色のサンプル間隔の半分ずれるように、前記第1色用画素、前記第2色用画素および前記第3色用画素が配置されている撮像部と、
前記第1色用信号と前記第2色用信号と前記第3色用信号との間に発生する色収差量を補正する色収差補正部と、
前記色収差量が前記サンプル間隔に相当する量である場合、前記色収差量を「1」とする量で表現するとき、前記第1色用信号に対する前記第2色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第1の値との差分値である第2色用差分絶対値を生成する第2色用差分絶対値生成部と、
前記色収差量が前記サンプル間隔に相当する量である場合、前記色収差量を「1」とする量で表現するとき、前記第3色用信号に対する前記第3色用信号の色収差量の小数部分の値と、「1」以下の正の実数である第2の値との差分値である第3色用差分絶対値を生成する第3色用差分絶対値生成部と、
前記第2色用差分絶対値および前記第3色用差分絶対値に基づいて、前記第2色用信号の補正係数である第2色用補正係数、および前記第3色用信号の補正係数である第3色用補正係数を生成する補正係数生成部と、
前記第2色用補正係数を前記色収差補正部により色収差補正された前記第2色用信号に乗算し、第2色用ゲイン調整後信号として出力する第2色用乗算部と、
前記第3色用補正係数を前記色収差補正部により色収差補正された前記第3色用信号に乗算し、第3色用ゲイン調整後信号として出力する第3色用乗算部と、
前記第2色用ゲイン調整後信号と前記第3色用ゲイン調整後信号とを加算することで、加算信号を生成し、前記加算信号と前記第1色用信号とを混合する混合部と、
を備える集積回路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007233949A JP2009065615A (ja) | 2007-09-10 | 2007-09-10 | 撮像装置、撮像方法、プログラムおよび集積回路 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007233949A JP2009065615A (ja) | 2007-09-10 | 2007-09-10 | 撮像装置、撮像方法、プログラムおよび集積回路 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009065615A true JP2009065615A (ja) | 2009-03-26 |
Family
ID=40559754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007233949A Pending JP2009065615A (ja) | 2007-09-10 | 2007-09-10 | 撮像装置、撮像方法、プログラムおよび集積回路 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009065615A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5241823B2 (ja) * | 2009-07-21 | 2013-07-17 | キヤノン株式会社 | 色収差を補正する画像処理装置、画像処理方法、プログラム、および、記憶媒体 |
-
2007
- 2007-09-10 JP JP2007233949A patent/JP2009065615A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5241823B2 (ja) * | 2009-07-21 | 2013-07-17 | キヤノン株式会社 | 色収差を補正する画像処理装置、画像処理方法、プログラム、および、記憶媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7973831B2 (en) | Solid-state image sensor and imaging apparatus using the same | |
US20150029367A1 (en) | Color imaging apparatus | |
KR100468169B1 (ko) | 위색(僞色)신호발생이억제가능한단판식컬러카메라 | |
WO2016047240A1 (ja) | 画像処理装置、撮像素子、撮像装置および画像処理方法 | |
WO2008072406A1 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
WO2006137419A1 (ja) | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム | |
JP2008289090A (ja) | 撮像信号処理装置 | |
WO2013100033A1 (ja) | 画像処理装置及び方法並びに撮像装置 | |
JP4294810B2 (ja) | 固体撮像装置および信号読出し方法 | |
JP5268321B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
JP4158280B2 (ja) | 画像処理装置およびその方法 | |
WO2017149969A1 (ja) | 信号処理装置および撮像装置 | |
JP2009065615A (ja) | 撮像装置、撮像方法、プログラムおよび集積回路 | |
JP4962293B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP3965460B2 (ja) | 単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法 | |
JP3576600B2 (ja) | カラー撮像装置 | |
JP2006211631A (ja) | 固体撮像装置および撮像装置 | |
JP2010004472A (ja) | 画像変換装置およびこれを備えた電子機器 | |
TWI532010B (zh) | 色彩處理裝置及方法 | |
JP5454820B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
JP3126743B2 (ja) | 信号補間装置 | |
JP4970425B2 (ja) | 信号処理方法および信号処理回路 | |
JP3965457B2 (ja) | 単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法 | |
JPH0488785A (ja) | カラー撮像素子及び信号処理装置 | |
JP3569466B2 (ja) | カラービデオカメラ |