JP2015008343A - 撮像装置および撮像画像の形成方法 - Google Patents

Abstract

【課題】本発明は、広いダイナミックレンジを持ちつつ、各画素の各出力特性におけるバラツキを低減できる撮像装置およびこの撮像装置を用いた撮像画像の形成方法を提供する。【解決手段】本発明の撮像装置ＩＭは、各光軸が互いに平行となるように配列された複数の撮像光学系１３と、複数の撮像光学系１３に対応し、各撮像面が互いに同一平面となるように配列され、複数の撮像光学系１３それぞれによって各撮像面に結像された被写体の光学像をそれぞれ撮像する複数の撮像部１１とを備え、複数の撮像部１１は、互いに異なる少なくとも２種類以上の光電変換特性を含み、複数の撮像部１１それぞれは、１種類の光電変換特性の１または複数の光電変換素子から成る。【選択図】図２

Description

本発明は、物体（被写体）の光学像を撮像する撮像装置に関する。そして、本発明は、この撮像装置を用いられる撮像画像の形成方法に関する。

近年、撮像装置には、受光感度に対し広いダイナミックレンジが求められている。特に、前方を監視するために車両に搭載された撮像装置は、夜間、例えばヘッドライト等の高輝度被写体およびその背景の暗い低輝度被写体を共に撮像することになり、前記高輝度被写体を撮像しても飽和せずに、かつ、前記低輝度被写体も充分な階調で撮像する必要が生じる。すなわち、撮像装置は、明るい領域の白飛びや暗い領域の黒つぶれを回避し、被写体のディテールを失うことなく画像形成する必要がある。このため、このような車載の撮像装置は、前記広いダイナミックレンジが求められる。

このような広いダイナミックレンジを持つ光電変換素子として、入射光に対して出力が線形に変化する特性と、入射光に対して出力が対数的に変化する特性とを有するいわゆるリニアログセンサが知られている。このリニアログセンサを用いた撮像装置は、例えば、特許文献１に開示されている。

この特許文献１に開示された固体撮像装置は、マトリクス状に配列された複数の画素から成る画素アレイを備える固体撮像装置であって、前記画素アレイは、ｎ（ｎは２以上の整数）が増大するにつれて解像度が低くなるように第１〜第ｎの画素群に区画され、ｎが２である場合に、第１の画素群の各画素は、入射光に対して出力が線形に変化する特性と、入射光に対して出力が対数的に変化する特性とを有し、第２の画素群の各画素は、入射光に対して出力が線形に変化する特性を有している。

特開２００９−２７２８２０号公報

ところで、前記リニアログセンサは、センサ毎に出力特性が比較的大きくばらついてしまう。このため、各画素に前記リニアログセンサを用いた撮像装置は、各画素の各出力特性におけるバラツキを補正する必要があり、このバラツキの補正に画素数に応じて比較的大きな容量のメモリ等の比較的大きなリソースが必要である。

本発明は、上述の事情に鑑みて為された発明であり、その目的は、広いダイナミックレンジを持ちつつ、各画素の各出力特性におけるバラツキを低減できる撮像装置およびこの撮像装置を用いた撮像画像の形成方法を提供することである。

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる撮像装置は、複数の撮像光学系と、前記複数の撮像光学系に対応し、各撮像面が互いに同一平面となるように配列され、前記複数の撮像光学系それぞれによって前記各撮像面に結像された被写体の光学像をそれぞれ撮像する複数の撮像部とを備え、前記複数の撮像部は、互いに異なる少なくとも２種類以上の光電変換特性を含み、前記複数の撮像部それぞれは、１種類の光電変換特性の１または複数の光電変換素子から成ることを特徴とする。そして、好ましくは、上述の撮像装置において、前記複数の撮像光学系は、例えば各光軸が互いに平行となるように配列される。

このような撮像装置では、複数の撮像部は、互いに異なる少なくとも２種類の光電変換特性を含むので、１種類の光電変換特性の場合に較べてダイナミックレンジを広くすることが可能となる。そして、このような撮像装置では、複数の撮像部それぞれは、１種類の光電変換特性の１または複数の光電変換素子から成るので、各撮像部ごとに、バラツキの少ない出力特性を持つ光電変換素子を用いることが可能となる。例えば、各撮像部ごとに、バラツキの少ない線形変換特性の光電変換素子や、バラツキの少ない対数変換特性の光電変換素子を用いることが可能となる。このため、このような撮像装置は、広いダイナミックレンジを持ちつつ、各画素の各出力特性におけるバラツキを低減できる。

また、他の一態様では、上述の撮像装置において、前記複数の撮像部は、入射光に対して出力が線形に変化する線形変換特性を持つ第１光電変換素子から成る複数の第１撮像部と、入射光に対して出力が対数的に変化する対数変換特性を持つ第２光電変換素子から成る複数の第２撮像部とを含むことを特徴とする。

このような撮像装置は、低照度でノイズの少ない比較的な高感度な線形変換特性を持つ第１光電変換素子から成る複数の第１撮像部と、広ダイナミックレンジでバラツキの少ない対数変換特性を持つ第２光電変換素子から成る複数の第２撮像部とを含み、これら第１および第２撮像部の第１および第２光電変換特性（各画像）を合成することで、より広ダイナミックレンジで高感度でさらに低バラツキな画像を実現できる。

また、他の一態様では、上述の撮像装置において、前記第１光電変換素子の第１リセット電圧は、前記第２光電変換素子の第２リセット電圧より高電位であることを特徴とする。

このような撮像装置は、前記第１光電変換素子の第１リセット電圧が前記第２光電変換素子の第２リセット電圧より高電位であるので、前記第１光電変換素子と前記第２光電変換素子とを異なる動作条件で動作させることができる。

また、他の一態様では、これら上述の撮像装置において、異なる画素構造が容易に併存可能であり、前記第１光電変換素子は、完全転送型または埋め込み型ホトダイオードであり、前記第２光電変換素子は、表面型ホトダイオードであることを特徴とする。

このような撮像装置は、低照度でノイズの少ない比較的な高感度な完全転送型または埋め込み型ホトダイオードの第１光電変換素子から成る複数の第１撮像部と、広ダイナミックレンジでバラツキの少ない表面型ホトダイオードの第２光電変換素子から成る複数の第２撮像部とを含み、これら第１および第２撮像部による各画像を合成することで、より広ダイナミックレンジで高感度でさらに低バラツキな画像を実現できる。

また、他の一態様では、これら上述の撮像装置において、前記複数の撮像部は、同一半導体ウェハ上に一体的に形成されていることを特徴とする。

このような撮像装置は、前記複数の撮像部が同一半導体ウェハ上に一体的に形成されるので、出力特性のバラツキを低減できる。さらに、各撮像部の受光面が同一平面上に配置することが容易である。また、このような撮像装置は、前記複数の撮像部を同一半導体ウェハ上に一体的に形成しても、前記複数の撮像部それぞれが１種類の光電変換特性の１または複数の光電変換素子から成るので、同一撮像部内に異なる光電変換特性を持つ光電変換素子が混在して形成されている場合に較べて、配線領域を低減できるから、開口率（受光面積）を大きくできる。したがって、このような撮像装置は、前記混在して形成されている場合に較べて、高感度化できる。

また、他の一態様では、これら上述の撮像装置において、前記複数の第１撮像部それぞれから出力される各第１画像信号に基づいて超解像処理によって第１高解像度合成画像を作成する第１高解像度合成画像作成部と、前記複数の第２撮像部それぞれから出力される各第２画像信号に基づいて超解像処理によって第２高解像度合成画像を作成する第２高解像度合成画像作成部と、前記第１高解像度合成画像作成部で作成された第１高解像度合成画像および前記第２高解像度合成画像作成部で作成された第２高解像度合成画像に基づいてよりダイナミックレンジの広い高解像度広合成画像を作成する高解像度合成画像作成部とをさらに備えることを特徴とする。

このような撮像装置は、高解像度合成画像を作成するので、高解像度かつ広ダイナミックレンジな画像が得られる。

また、他の一態様では、これら上述の撮像装置において、前記複数の第１撮像部それぞれから出力される各第１画像信号に基づいて第１階調範囲の複数の第１階調画像信号と前記第１階調範囲より明るい第２階調範囲の複数の第２階調画像信号とに分離する第１階調分離部と、前記複数の第２撮像部それぞれから出力される各第２画像信号に基づいて前記第２階調範囲の複数の第３階調画像信号と前記第２階調範囲より明るい第３階調範囲の複数の第４階調画像信号とに分離する第２階調分離部と、前記第１階調範囲の複数の第１階調画像信号に基づいて超解像処理によって第１階調高解像度合成画像を作成する第１階調高解像度合成画像作成部と、前記第２階調範囲の複数の第２および第３階調画像信号に基づいて超解像処理によって第２階調高解像度合成画像を作成する第２階調高解像度合成画像作成部と、前記第３階調範囲の複数の第４階調画像信号に基づいて超解像処理によって第３階調高解像度合成画像を作成する第３階調高解像度合成画像作成部と、前記第１階調高解像度合成画像作成部で作成された第１階調高解像度合成画像、前記第２階調高解像度合成画像作成部で作成された第２階調高解像度合成画像および前記第３階調高解像度合成画像作成部で作成された第３階調高解像度合成画像に基づいてよりダイナミックレンジの広い高解像度合成画像を作成する第２高解像度合成画像作成部とをさらに備えることを特徴とする。

このような撮像装置は、前記複数の第１撮像部それぞれから出力される各第１画像信号から低輝度画像および中輝度画像を作成し、前記複数の第２撮像部それぞれから出力される各第２画像信号から中輝度画像および高輝度画像を作成し、各第１画像信号に起因する中輝度画像と各第２画像信号に起因する中輝度画像とを合成し、そして、これら低輝度画像、合成中輝度画像および高輝度画像を合成して高解像度合成画像を作成する。このため、このような撮像装置は、低輝度領域でノイズが少なく、高輝度領域で広いダイナミックレンジを持ち、バラツキの少ない高解像度合成画像を得ることができる。

また、他の一態様では、これら上述の撮像装置において、前記複数の撮像部に対応し、撮像面側に配置された複数の色フィルタ部をさらに備え、前記色フィルタ部は、赤色フィルタ、第１緑色フィルタ、第２緑色フィルタおよび青色フィルタを２次元マトリックス状に配列したフィルタであることを特徴とする。

この構成によれば、いわゆるベイヤー配列の色フィルタを用いた撮像装置が実現できる。

また、他の一態様では、これら上述の撮像装置において、前記複数の撮像部に対応し、撮像面側に配置された複数の色フィルタ部をさらに備え、前記色フィルタ部は、黄色フィルタ、マゼンダ色フィルタ、シアン色フィルタおよび緑色フィルタを２次元マトリックス状に配列したフィルタであることを特徴とする。

この構成によれば、いわゆる補色フィルタを用いた撮像装置が実現できる。

また、他の一態様では、これら上述の撮像装置において、前記複数の撮像部に対応し、撮像面側に配置された複数の色フィルタ部をさらに備え、前記色フィルタ部は、第１白色フィルタ、黄色フィルタ、赤色フィルタおよび第２白色フィルタを２次元マトリックス状に配列したフィルタであることを特徴とする。

この構成によれば、白色フィルタを用いた撮像装置が実現できる。

また、他の一態様では、これら上述の撮像装置において、前記複数の撮像部に対応し、撮像面側に配置された複数の色フィルタ部をさらに備え、前記色フィルタ部は、白色フィルタ、赤外フィルタ、赤色フィルタおよび黄色フィルタを２次元マトリックス状に配列したフィルタであることを特徴とする。

この構成によれば、赤外フィルタを用いた撮像装置が実現できる。すなわち、このような撮像装置は、赤外フィルタの光電変換素子によって輝度を補ったカラー画像を形成できる。例えば、このような撮像装置は、夜間などの暗い環境下で撮像した場合でも、赤外線を反射する人や動物等の被写体をより明瞭に表現したカラー画像を形成できる。

また、他の一態様にかかる撮像画像の形成方法は、これら上述のいずれかの撮像装置で用いられる撮像画像の形成方法であって、前記複数の第１撮像部それぞれから出力される各第１画像信号に基づいて超解像処理によって第１高解像度合成画像を作成する第１高解像度合成画像作成工程と、前記複数の第２撮像部それぞれから出力される各第２画像信号に基づいて超解像処理によって第２高解像度合成画像を作成する第２高解像度合成画像作成工程と、前記第１高解像度合成画像作成工程で作成された第１高解像度合成画像および前記第２高解像度合成画像作成工程で作成された第２高解像度合成画像に基づいてよりダイナミックレンジの広い高解像度合成画像を作成する高解像度合成画像作成部とをさらに備えることを特徴とする。

この構成によれば、高解像度合成画像を作成するので、高解像度かつ広ダイナミックレンジな画像が得られる。

また、他の一態様にかかる撮像画像の形成方法は、これら上述のいずれかの撮像装置で用いられる撮像画像の形成方法であって、前記複数の第１撮像部それぞれから出力される各第１画像信号に基づいて第１階調範囲の複数の第１階調画像信号と前記第１階調範囲より明るい第２階調範囲の複数の第２階調画像信号とに分離する第１階調分離工程と、前記複数の第２撮像部それぞれから出力される各第２画像信号に基づいて前記第２階調範囲の複数の第３階調画像信号と前記第２階調範囲より明るい第３階調範囲の複数の第４階調画像信号とに分離する第２階調分離工程と、前記第１階調範囲の複数の第１階調画像信号に基づいて超解像処理によって第１階調高解像度合成画像を作成する第１階調高解像度合成画像作成工程と、前記第２階調範囲の複数の第２および第３階調画像信号に基づいて超解像処理によって第２階調高解像度合成画像を作成する第２階調高解像度合成画像作成工程と、前記第３階調範囲の複数の第４階調画像信号に基づいて超解像処理によって第３階調高解像度合成画像を作成する第３階調高解像度合成画像作成工程と、前記第１階調高解像度合成画像作成工程で作成された第１階調高解像度合成画像、前記第２階調高解像度合成画像作成工程で作成された第２階調高解像度合成画像および前記第３階調高解像度合成画像作成工程で作成された第３階調高解像度合成画像に基づいてよりダイナミックレンジの広い高解像度合成画像を作成する第２高解像度合成画像作成工程とをさらに備えることを特徴とする。

このような撮像画像の形成方法は、前記複数の第１撮像部それぞれから出力される各第１画像信号から低輝度画像および中輝度画像を作成し、前記複数の第２撮像部それぞれから出力される各第２画像信号から中輝度画像および高輝度画像を作成し、各第１画像信号に起因する中輝度画像と各第２画像信号に起因する中輝度画像とを合成し、そして、これら低輝度画像、合成中輝度画像および高輝度画像を合成して高解像度合成画像を作成する。このため、このような撮像画像の形成方法は、低輝度領域でノイズが少なく、高輝度領域で広いダイナミックレンジを持ち、バラツキの少ない高解像度合成画像を得ることができる。

本発明にかかる撮像装置は、広いダイナミックレンジを持ちつつ、各画素の各出力特性におけるバラツキを低減できる。そして、本発明は、このような撮像装置に用いられる撮像画像の形成方法を提供できる。

実施形態における撮像装置の構成を示すブロック図である。 図１に示す撮像装置における撮像ユニットの構成を示す斜視図である。 図２に示す撮像ユニットにおける第１態様の撮像部の構成を示す斜視図である。 図２に示す撮像ユニットにおける第２態様の撮像部の構成を示す斜視図である。 図２に示す撮像ユニットにおけるフィルタ部の構成を示す平面図である。 図２に示す撮像ユニットにおける他の態様のフィルタ部を説明するための図である。 図２に示す撮像ユニットの電気的な構成を示すブロック図である。 図２に示す撮像ユニットにおける撮像部の電気的な構成を示すブロック図である。 図２に示す撮像ユニットにおける第１撮像部に用いられる第１光電変換素子の構成を示す回路図である。 図９に示す第１光電変換素子の第１光電変換特性（出力特性）を示す図である。 図９に示す第１光電変換素子の動作を説明するためのタイミングチャートである。 図２に示す撮像ユニットにおける第２撮像部に用いられる第２光電変換素子の構成を示す回路図である。 図１２に示す第２光電変換素子の第２光電変換特性（出力特性）を示す図である。 図１２に示す第２光電変換素子の動作を説明するためのタイミングチャートである。 実施形態における撮像装置の第１態様の高解像度化画像処理部を説明するための図である。 実施形態における撮像装置の第２態様の高解像度化画像処理部を説明するための図である。 図１３および図１４にそれぞれ示す第１および第２光電変換特性を纏めて示す図である。 図１５に示す第１および第２光電変換特性を合成した撮像部の光電変換特性を示す図である。 図２に示す撮像ユニットにおける第１および第２撮像部の第１および第２光電変換素子の各開口面積を説明するための図である。 比較例として、１個の画素に第１および第２光電変換素子を並置して設けた場合における前記第１および第２光電変換素子の各開口面積を説明するための図である。

以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。また、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

図１は、実施形態における撮像装置の構成を示すブロック図である。図２は、図１に示す撮像装置における撮像ユニットの構成を示す斜視図である。図３は、図２に示す撮像ユニットにおける第１態様の撮像部の構成を示す斜視図である。図４は、図２に示す撮像ユニットにおける第２態様の撮像部の構成を示す斜視図である。図５は、図２に示す撮像ユニットにおけるフィルタ部（第１態様のフィルタ部）の構成を示す平面図である。図６は、図２に示す撮像ユニットにおける他の態様のフィルタ部を説明するための図である。図６（Ａ）は、第２態様のフィルタ部を示し、図６（Ｂ）は、第３態様のフィルタ部を示し、図６（Ｃ）は、第４態様のフィルタ部を示し、そして、図６（Ｄ）は、第５態様のフィルタ部を示す。図７は、図２に示す撮像ユニットの電気的な構成を示すブロック図である。図８は、図２に示す撮像ユニットにおける撮像部の電気的な構成を示すブロック図である。図９は、図２に示す撮像ユニットにおける第１撮像部に用いられる第１光電変換素子の構成を示す回路図である。図１０は、図９に示す第１光電変換素子の第１光電変換特性（出力特性）を示す図である。図１０の横軸は、対数目盛で示す入射光強度であり、その縦軸は、線形目盛で示す出力（センサ出力）である。図１１は、図９に示す第１光電変換素子の動作を説明するためのタイミングチャートである。図１１の横軸は、時間であり、その縦軸は、レベルである。図１１には、上から下へ順に、φＲＳＴ＿ＦＤ、φＶＳＥＮ、φＴＸおよびＦＤの各駆動タイミングが示されている。図１２は、図２に示す撮像ユニットにおける第２撮像部に用いられる第２光電変換素子の構成を示す回路図である。図１３は、図１２に示す第２光電変換素子の第２光電変換特性（出力特性）を示す図である。図１３の横軸は、対数目盛で示す入射光強度であり、その縦軸は、線形目盛で示す出力（センサ出力）である。図１４は、図１２に示す第２光電変換素子の動作を説明するためのタイミングチャートである。図１４の横軸は、時間であり、その縦軸は、レベルである。図１４には、上から下へ順に、φＲＳＴ＿ＳＣ、φＶＳＥＮおよびＰＶＳＳの各駆動タイミングが示されている。図１５は、実施形態における撮像装置の第１態様の高解像度化画像処理部を説明するための図である。図１６は、実施形態における撮像装置の第２態様の高解像度化画像処理部を説明するための図である。図１７は、図１３および図１４にそれぞれ示す第１および第２光電変換特性を纏めて示す図である。図１８は、図１５に示す第１および第２光電変換特性を合成した撮像部の光電変換特性を示す図である。図１７および図１８の各横軸は、対数目盛で示す入射光強度であり、それら各縦軸は、線形目盛で示す出力（センサ出力）である。

実施形態における撮像装置は、物体（被写体）の光学像を撮像し、被写体の画像を生成する装置であり、少なくとも２種類以上の光電変換特性を所定の領域単位に持つことで受光感度に対し広いダイナミックレンジを有している。すなわち、実施形態における撮像装置は、低輝度の被写体から高輝度の被写体まで比較的広い輝度範囲を持つ被写体を撮像できる。このような撮像装置ＩＭは、例えば、図１に示すように、撮像ユニット１と、高解像度化画像処理部２と、画像処理部３と、システムコントロール部４とを備える。

撮像ユニット１は、物体（被写体）の光学像を受光面（撮像面）に結像し、この受光面に結像された被写体の光学像を撮像して画像信号を例えばＲＡＷデータとして出力する装置である。撮像ユニット１は、高解像度化画像処理部２に接続され、この画像信号を高解像度化画像処理部２へ出力する。このような撮像ユニット１は、例えば図２に示すように、複数の撮像部１１と、前記複数の撮像部１１それぞれに対応して設けられる複数の撮像光学系１３とを備え、前記複数の撮像部１１それぞれに対応して設けられる例えば図５に示す複数のフィルタ部１２（図２では図示が省略されている）を撮像部１１の受光面の入射光側にさらに備えている。

複数の撮像光学系１３は、それぞれ、当該撮像光学系１３に対応する撮像部１１の受光面に被写体の光学像を結像する光学素子である。１個の撮像光学系１３は、その光軸に沿って１または複数の光学レンズを備える。複数の撮像光学系１３は、この図において、各光軸が互いに略平行となるように配列される。したがって、複数の撮像光学系１３を介して被写体の光学像をそれぞれ撮像する複数の撮像部１１は、略同じ被写体を写した画像信号を生成することになる。図２に示す例では、複数の撮像光学系１３は、複数の撮像部１１に対応して線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列されている。図２には、説明の便宜上、撮像部１１の配列態様および個数に合わせて４行４列に２次元マトリクス状に配列された１６個の撮像光学系１３−１１〜１３−４４が示されている。光軸に関し、必ずしも全ての撮像光学系１３が平行である必要はない。

複数の撮像部１１は、それぞれ、撮像光学系１３によって受光面に結像された被写体の光学像を撮像して画像信号を出力するものである。複数の撮像部１１は、複数の撮像光学系１３に対応し、各撮像面が互いに同一平面となるように配列される。図２に示す例では、複数の撮像部１１は、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列されている。図２には、説明の便宜上、４行４列に２次元マトリクス状に配列された１６個の撮像部１１−１１〜１１−４４が示されている。２次元マトリクス状における１行１列の位置に配置された撮像部１１−１１には、２次元マトリクス状における同じ１行１列の位置に配置された撮像光学系１３−１１が対応し、２次元マトリクス状における１行２列の位置に配置された撮像部１１−１２には、２次元マトリクス状における同じ１行２列の位置に配置された撮像光学系１３−１２が対応し、このように２次元マトリクス状における同じ行数（ｎ）および列数（ｍ）の位置に配置された撮像部１１−ｎｍと撮像光学系１３−ｎｍとが互いに対応している（ｎ、ｍは正の整数）。

そして、本実施形態では、複数の撮像部１１は、互いに異なる少なくとも２種類以上の光電変換特性を含み、これら複数の撮像部１１それぞれは、１種類の光電変換特性の１または複数の光電変換素子から成っている。例えば、本実施形態では、１個の撮像部１１は、１種類の光電変換特性を持つ、３行４列の１２個の光電変換素子を備えている。より具体的には、複数の撮像部１１は、入射光に対して出力が線形に変化する線形変換特性（線形出力特性）を持つ複数の第１光電変換素子１１１１から成る複数の第１撮像部１１１と、入射光に対して出力が対数的に変化する対数変換特性（対数出力特性）を持つ複数の第２光電変換素子１１１２から成る複数の第２撮像部１１２とを含む。光電変換素子は、入射した入射光の光エネルギーをその光量に応じた電気エネルギーに変換する素子であり、前記第１光電変換素子１１１１は、例えば図１０に示すように、光エネルギーを線形的に比例するように電気エネルギーに変換する例えばいわゆる完全転送型ホトダイオードであり、前記第２光電変換素子１１１２は、例えば図１３に示すように、光エネルギーを対数的に比例するように電気エネルギーに変換する例えばいわゆる表面型ホトダイオードである。これら第１および第２光電変換素子１１１１、１１１２は、後に、さらに詳述される。図２に示す例では、１または複数の第１光電変換素子１１１１から成る複数の第１撮像部１１１と、１または複数の第２光電変換素子１１１２から成る複数の第２撮像部１１２とは、２次元マトリクス状の配列において、市松模様（チェッカーフラッグ）のように、交互に配置されている。

これら複数の第１撮像部１１１および複数の第２撮像部１１２を含む複数の撮像部１１は、例えば、図３に示すように、複数の第１撮像部１１１ａおよび複数の第２撮像部１１２ａが同一の半導体ウェハ（例えばシリコンウェハ）上に一体的に形成された第１態様の複数の撮像部１１ａであってよい。また例えば、これら複数の第１撮像部１１１および複数の第２撮像部１１２を含む複数の撮像部１１は、例えば、図４に示すように、個別部品の複数の第１撮像部１１１ｂおよび個別部品の複数の第２撮像部１１２ｂが同一の基板上に２次元マトリクス状に配列された第２態様の複数の撮像部１１ｂであってよい。

複数のフィルタ部１２は、それぞれ、入射した光のうち所定の波長範囲の光を透過する光学フィルタ素子である。複数のフィルタ部１２は、複数の撮像部１１に対応し、撮像面の光の入射側に配置される。本実施形態では、撮像光学系１３と撮像部１１との間にフィルタ部１２が配置される。すなわち、フィルタ部１２は、撮像光学系１３の像面側に配置される。なお、フィルタ部１２は、撮像光学系１３の物体側に配置されてもよい。本実施形態では、図５に示す例では、複数のフィルタ部１２は、複数の撮像部１１に対応して線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列されている。図５には、説明の便宜上、撮像部１１の配列態様および個数に合わせて４行４列に２次元マトリクス状に配列された１６個のフィルタ部１２−１１〜１２−４４が示されている。２次元マトリクス状における１行１列の位置に配置された撮像部１１−１１には、２次元マトリクス状における同じ１行１列の位置に配置されたフィルタ部１２−１１が対応し、２次元マトリクス状における１行２列の位置に配置された撮像部１１−１２には、２次元マトリクス状における同じ１行２列の位置に配置されたフィルタ部１２−１２が対応し、このように２次元マトリクス状における同じ行数（ｎ）および列数（ｍ）の位置に配置された撮像部１１−ｎｍとフィルタ部１２−ｎｍとが互いに対応している（ｎ、ｍは正の整数）。したがって、本実施形態では、撮像光学系１３は、フィルタ部１２を介して撮像部１１と対応する。

そして、本実施形態では、図５に示す例では、複数のフィルタ部１２は、赤色フィルタ（Ｒ）、第１および第２白色フィルタ（Ｗ）、緑色フィルタ（Ｇ）を２行２列で２次元マトリックス状に配列した色フィルタ部および緑色フィルタ（Ｇ）、第１および第２白色フィルタ（Ｗ）、青色フィルタ（Ｂ）を２行２列で２次元マトリックス状に配列した色フィルタ部から成る第１単位色フィルタ部を２次元マトリックス状に配列したものである。赤色フィルタは、赤色の波長帯域の光を透過するフィルタであり、白色フィルタは、可視光の波長帯域の光を透過するフィルタであり、緑色フィルタは、緑色の波長帯域の光を透過するフィルタであり、そして、青色フィルタは、青色の波長帯域の光を透過するフィルタである。各色フィルタは、それぞれ、１個の撮像部１１が本実施形態では３行４列の１２個の光電変換素子１１１１、１１１２から成ることから、これに応じて３行４列の１２個のフィルタ素子から成る。後述の図６（Ａ）ないし図６（Ｄ）に示す第２ないし第５態様の各色フィルタも同様である。線形変換特性の第１撮像部１１１に白色フィルタまたは緑フィルタを対応させることで、低照度での感度が最大限に確保される。対数変換特性の第２撮像部１１２に赤、緑および青の各色フィルタを対応させることで、高輝度の被写体でも飽和しないカラー画像が得られる。

複数のフィルタ部１２は、図５に示す第１態様に限定されるものではなく、他の態様であってもよい。例えば、図６（Ａ）に示すように、複数のフィルタ部１２は、赤色フィルタ（Ｒ）、第１緑色フィルタ（Ｇ）、第２緑色フィルタ（Ｇ）および青色フィルタ（Ｂ）を２行２列で２次元マトリックス状に配列した第２単位色フィルタ部を２次元マトリックス状に配列した第２態様の複数のフィルタ部であってよい。すなわち、複数のフィルタ部１２は、いわゆるベイヤー配列で配列される。また例えば、図６（Ｂ）に示すように、複数のフィルタ部１２は、黄色フィルタ（Ｙｅ）、マゼンダ色フィルタ（Ｍｇ）、シアン色フィルタ（Ｃｙ）および緑色フィルタ（Ｇ）を２行２列で２次元マトリックス状に配列した第３単位色フィルタ部を２次元マトリックス状に配列した第３態様の複数のフィルタ部であってよい。黄色フィルタは、黄色の波長帯域の光を透過するフィルタであり、マゼンダ色フィルタは、マゼンダ色の波長帯域の光を透過するフィルタであり、そして、シアン色フィルタは、シアン色の波長帯域の光を透過するフィルタである。すなわち、複数のフィルタ部１２は、いわゆる補色フィルタである。また例えば、図６（Ｃ）に示すように、複数のフィルタ部１２は、第１白色フィルタ（Ｗ）、黄色フィルタ（Ｙｅ）、赤色フィルタ（Ｒ）および第２白色フィルタ（Ｗ）を２行２列で２次元マトリックス状に配列した第４単位色フィルタ部を２次元マトリックス状に配列した第４態様の複数のフィルタ部であってよい。

また例えば、図６（Ｄ）に示すように、複数のフィルタ部１２は、第１白色フィルタ（Ｗ）、赤外色フィルタ（Ｉｒ）、赤色フィルタ（Ｒ）および黄色フィルタ（Ｙｅ）を２行２列で２次元マトリックス状に配列した第５単位色フィルタ部を２次元マトリックス状に配列した第５態様の複数のフィルタ部であってよい。この第５態様の複数のフィルタ部１２によれば、赤外色フィルタ（Ｉｒ）を介して受光する撮像部１１によって輝度を補ったカラー画像を形成できる。例えば、このような第５態様の複数のフィルタ部１２を備えた撮像装置ＩＭは、夜間などの暗い環境下で撮像した場合でも、赤外線を反射する人や動物等の被写体をより明瞭に表現したカラー画像を形成できる。

なお、上述では、各撮像部１１１、１１２ごとに、単一の色フィルタが配置されたが、１つの撮像部１１１、１１２に複数の色フィルタが配置されてもよい。この場合、各色フィルタごとの画像信号で後述の超解像処理が実施される。

このような構造の撮像ユニット１は、電気的には、図７に示すように、例えば、上述の複数の撮像部１１と、制御部１４と、出力部１５とを備える。制御部１４は、複数の撮像部１１それぞれに接続され、システムコントロール部４の制御信号Ｃｓに従って例えばクロック信号、同期信号およびレジスタ制御信号等の各信号を前記複数の撮像部１１それぞれに出力することで、前記複数の撮像部１１の撮像動作を制御するものである。出力部１５は、複数の撮像部１１それぞれに接続され、制御部１４の制御に従って前記複数の撮像部１１が被写体の光学像を撮像することによってそれぞれ生成した各画像信号を前記複数の撮像部１１から得て画像出力Ｓｉとして高解像度化画像処理部２へ出力するものである。

このような撮像ユニット１における複数の撮像部１１（複数の第１撮像部１１ａおよび複数の第２撮像部１１ｂ）は、それぞれ、電気的には、図８に示すように、画素アレイ部１１３と、制御回路１１４と、ローデコーダ１１５と、カラムデコーダ１１６と、カラムＡＤＣアレイ部１１７と、センスアンプ１１８と、ＬＶＤＳ１１９とを備える。

画素アレイ部１１３は、２次元マトリクス状に配列された複数の光電変換素子（複数の画素）を備える。本実施形態では、上述したように、３行４列の１２個の光電変換素子を備える。撮像部１１が第１撮像部１１１である場合には、画素アレイ部１１３は、複数の第１光電変換素子１１１１を備える。また、撮像部１１が第２撮像部１１２である場合には、画素アレイ部１１３は、複数の第２光電変換素子１１１２を備える。

制御回路１１４は、前記制御部１４から供給されたクロック信号、同期信号およびレジスタ制御信号に従って画素アレイ部１１３の各光電変換素子の出力を取り出すためにローデコーダ１１５、カラムデコーダ１１６およびカラムＡＤＣアレイ部１１７を制御するものである。

ローデコーダ１１５は、制御回路１１４および画素アレイ部１１３それぞれに接続され、画素アレイ部１１３の各光電変換素子を垂直走査するための回路である。ローデコーダ１１５は、例えば、垂直走査回路とドライバ回路とを備える。前記垂直走査回路は、例えば、シフトレジスタにより構成され、制御回路１１４から出力される垂直同期信号に同期して、画素アレイ部１１３の各行をサイクリックに選択することで、画素アレイ部１１３を垂直走査する。ドライバ回路は、画素制御信号を生成し、垂直走査回路により選択された行に属する各光電変換素子に画素制御信号を出力することで、各光電変換素子を駆動させる。

カラムＡＤＣアレイ部１１７は、制御回路１１４および画素アレイ部１１３それぞれに接続され、画素アレイ部１１３の列ごとに設けられた複数のアナログデジタル変換回路（カラムＡＤＣ回路）を備え、アナログ信号からデジタル信号に変換するための回路である。例えば、前記複数のカラムＡＤＣ回路は、画素アレイ部１１３の各列に対応する垂直信号ラインＶｉｄｅｏを介して各列の光電変換素子と接続され、前記垂直走査回路により選択された行の光電変換素子からノイズ信号およびシグナル信号を読み出す。そして、前記複数のカラムＡＤＣ回路は、それぞれ、読み出したノイズ信号およびシグナル信号に対して相関二重サンプリング処理を行って画像信号を取得する。そして、前記複数のカラムＡＤＣ回路は、それぞれ、この取得した画像信号に対してアナログデジタル変換を行い、デジタルの画像信号を保持する。この変換したデジタルの画像信号は、カラムデコーダ１１６によってカラムＡＤＣアレイ部１１７からセンスアンプ１１８へ出力される。

カラムデコーダ１１６は、制御回路１１４および画素アレイ部１１３それぞれに接続され、画素アレイ部１１３の各光電変換素子を水平走査するための回路である。カラムデコーダ１１６は、例えば、シフトレジスタにより構成され、制御回路１１４から出力される水平同期信号に同期した列選択信号を出力することで、１水平走査期間において、各列の前記カラムＡＤＣ回路をサイクリックに選択し、カラムＡＤＣアレイ部１１７を水平走査し、各列のカラムＡＤＣ回路が保持するデジタル信号をセンスアンプ１１８に順次に出力させる。

センスアンプ１１８は、カラムＡＤＣアレイ部１１７およびＬＶＤＳ１１９それぞれに接続され、カラムＡＤＣアレイ部１１７から出力された画像信号を増幅するための回路である。この増幅した画像信号は、センスアンプ１１８からＬＶＤＳ１１９へ出力される。

ＬＶＤＳ１１９は、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌｉｎｇ）規格に準拠したシリアライザにより構成され、センスアンプ１１８からパラレルで出力された信号を差動増幅してシリアルに変換し、高解像度化画像処理部２へ出力する回路である。

このような構成の撮像部１１が第１撮像部１１１である場合に、画素アレイ部１１３に用いられる第１光電変換素子１１１１は、上述したように、本実施形態では、例えば図１０に示す、線形変換特性の出力特性を持つ完全転送型ホトダイオードである。この完全転送型ホトダイオードは、より具体的には、例えば、図９に示すように、埋め込み型のホトダイオードＰＤ１と、例えばＮＭＯＳ（Ｎ−ｔｙｐｅ ｍｅｔａｌ−ｏｘｉｄｅ−ｓｅｍｉｃｏｎｄｕｃｔｏｒ）の４個のトランジスタＱ１〜Ｑ４とを備えて構成される。ホトダイオードＰＤ１のアノードは、接地ラインＰＶＳＳに接続され、そのカソードは、トランジスタＱ１１に接続される。トランジスタＱ１１は、トランジスタＱ１２を介して電源ラインＡＶＤＤに接続される。トランジスタＱ１４は、トランジスタＱ１３を介して電源ラインＡＶＤＤに接続され、トランジスタＱ１４の出力（ドレイン）は、カラムＡＤＣアレイ部１１７に接続される垂直信号ラインＶｉｄｅｏに接続される。

トランジスタＱ１１は、光電変換によってホトダイオードＰＤ１に蓄積された電荷をフローティングディーフュージョン（浮遊拡散層、ｆｌｏａｔｉｎｇ ｄｉｆｆｕｓｉｏｎ）ＦＤに転送するための転送トランジスタである。トランジスタＱ１２は、フローティングディーフュージョンＦＤをリセットするためのリセットトランジスタである。トランジスタＱ１３は、フローティングディーフュージョンＦＤの電荷を電位に変換するための増幅トランジスタである。トランジスタＱ１４は、行選択スイッチとして機能する行選択トランジスタである。

このため、トランジスタＱ１１のゲートは、ローデコーダ１１５に接続されるφＴＸラインに接続され、トランジスタＱ１１のゲートには、前記画素制御信号の一つの転送信号φＴＸが入力される。トランジスタＱ１２のゲートは、ローデコーダ１１５に接続されるφＲＳＴ＿ＦＤラインに接続され、トランジスタＱ１２のゲートには、前記画素制御信号の一つのフローティングディーフュージョンＦＤをリセットするためのリセット信号φＲＳＴ＿ＦＤが入力される。トランジスタＱ１３のゲートは、トランジスタＱ１１とトランジスタＱ１２との接続点のフローティングディーフュージョンＦＤに接続される。トランジスタＱ１４のゲートは、ローデコーダ１１５に接続されるφＶＳＥＮラインに接続され、トランジスタＱ１４のゲートには、前記画素制御信号の一つの行選択信号φＶＳＥＮが入力される。

このような構成の第１光電変換素子１１１１には、図１１に示すタイミングチャートのリセット信号φＲＳＴ＿ＦＤ、行選択信号φＶＳＥＮおよび転送信号φＴＸが入力され、フローティングディーフュージョンＦＤの電位が変化する。すなわち、タイミングｔ１でリセット信号φＲＳＴ＿ＦＤ、行選択信号φＶＳＥＮおよび転送信号φＴＸがそれぞれハイレベル、ローレベルおよびハイレベルとされる。タイミングｔ１では、リセット信号φＲＳＴ＿ＦＤおよび転送信号φＴＸが共にハイレベルとされることで、ホトダイオードＰＤ１が電源電位にリセットされる。これによって第１光電変換素子１１１１は、逆バイアス状態のホトダイオードモードで動作することになる。続いて、タイミングｔ２でリセット信号φＲＳＴ＿ＦＤ、行選択信号φＶＳＥＮおよび転送信号φＴＸが全てローレベルとされる。続いて、タイミングｔ３でリセット信号φＲＳＴ＿ＦＤ、行選択信号φＶＳＥＮおよび転送信号φＴＸがそれぞれハイレベル、ローレベルおよびローレベルとされ、フローティングディーフュージョンＦＤが電源電位にリセットされる。続いて、タイミングｔ４でリセット信号φＲＳＴ＿ＦＤ、行選択信号φＶＳＥＮおよび転送信号φＴＸがそれぞれローレベル、ハイレベルおよびローレベルとされる。このタイミングｔ４では、ノイズ信号がサンプルされる。続いて、タイミングｔ５でリセット信号φＲＳＴ＿ＦＤ、行選択信号φＶＳＥＮおよび転送信号φＴＸがそれぞれローレベル、ローレベルおよびハイレベルとされ、ホトダイオードから電荷がフローティングディーフュージョンＦＤに読み出される。続いて、タイミングｔ６でリセット信号φＲＳＴ＿ＦＤ、行選択信号φＶＳＥＮおよび転送信号φＴＸがそれぞれローレベル、ハイレベルおよびローレベルとされる。このタイミングｔ６では、シグナル信号がサンプルされる。そして、タイミングｔ７でリセット信号φＲＳＴ＿ＦＤ、行選択信号φＶＳＥＮおよび転送信号φＴＸがそれぞれハイレベル、ローレベルおよびローレベルとされる。第１光電変換素子１１１１では、このような図１１に示すタイミングチャートのリセット信号φＲＳＴ＿ＦＤ、行選択信号φＶＳＥＮおよび転送信号φＴＸによって、光電変換でホトダイオードＰＤ１に蓄積された電荷がフローティングディーフュージョンＦＤに転送され、フローティングディーフュージョンＦＤに転送された電荷に基づく電位がトランジスタＱ１３によって増幅され、トランジスタＱ１４を介して垂直信号ラインＶｉｄｅｏから取り出される。こうして第１光電変換素子１１１１では、光電変換でホトダイオードＰＤ１に蓄積された電荷に基づく画像信号が取り出される。そして、以後、タイミングｔ１ないしタイミングｔ７が繰り返され、画像信号が順次に取り出される。

一方、このような構成の撮像部１１が第２撮像部１１２である場合に、画素アレイ部１１３に用いられる第２光電変換素子１１１２は、上述したように、本実施形態では、例えば図１３に示す、対数変換特性の出力特性を持つ表面型ホトダイオードである。この表面型ホトダイオードは、より具体的には、例えば、図１２に示すように、表面型のホトダイオードＰＤ２と、４個のトランジスタＱ２１〜Ｑ２４とを備えて構成される。２個のトランジスタＱ２２、Ｑ２４は、例えばＮＭＯＳ（Ｎ−ｔｙｐｅ ｍｅｔａｌ−ｏｘｉｄｅ−ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のトランジスタであり、残余の２個のトランジスタＱ２１、Ｑ２３は、例えばＰＭＯＳ（Ｐ−ｔｙｐｅ ｍｅｔａｌ−ｏｘｉｄｅ−ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のトランジスタである。ホトダイオードＰＤ２のアノードは、接地ラインＰＶＳＳに接続され、そのカソードは、トランジスタＱ２１のゲートに接続される。トランジスタＱ２１のゲートは、トランジスタＱ２２を介して接地ラインＰＶＳＳに接続される。トランジスタＱ２１は、接地ラインＰＶＳＳに接続されるとともに、トランジスタＱ２３を介して電源ラインＰＶＤＤに接続される。これら直列接続のトランジスタＱ２１とトランジスタＱ２３との接続点は、トランジスタＱ２４を介してカラムＡＤＣアレイ部１１７に接続される垂直信号ラインＶｉｄｅｏに接続される。

トランジスタＱ２１は、光電変換によってホトダイオードＰＤ２に蓄積された電荷を電位に変換するための増幅トランジスタである。トランジスタＱ２２は、ホトダイオードＰＤ２をリセットするためのリセットトランジスタである。トランジスタＱ２３は、トランジスタＱ２１にバイアスを掛けるためのバイアストランジスタである。トランジスタＱ２４は、行選択スイッチとして機能する行選択トランジスタである。

このため、トランジスタＱ２２のゲートは、ローデコーダ１１５に接続されるφＲＳＴ＿ＳＣラインに接続され、トランジスタＱ２２のゲートには、前記画素制御信号の一つのリセット信号φＲＳＴ＿ＳＣが入力される。トランジスタＱ２３のゲートは、ローデコーダ１１５に接続されるＢｉａｓラインに接続され、トランジスタＱ２３のゲートには、前記画素制御信号の一つのトランジスタＱ２１のバイアスを制御するためのバイアス信号Ｂｉａｓが入力される。トランジスタＱ２４のゲートは、ローデコーダ１１５に接続されるφＶＳＥＮラインに接続され、トランジスタＱ２４のゲートには、前記画素制御信号の一つの行選択信号φＶＳＥＮが入力される。

このような構成の第２光電変換素子１１１２には、図１４に示すタイミングチャートのリセット信号φＲＳＴ＿ＳＣおよび行選択信号φＶＳＥＮが入力され、ホトダイオードＰＤ２の電位が変化する。すなわち、タイミングｔ１でリセット信号φＲＳＴ＿ＳＣおよび行選択信号φＶＳＥＮがそれぞれハイレベルおよびローレベルとされる。すなわち、リセット信号φＲＳＴ＿ＳＣがハイレベルとされることで、ホトダイオードＰＤ２がゼロバイアス（ＰＶＳＳ）にリセットされる。これによって第２光電変換素子１１１２は、太陽電池モードで動作することになる。続いて、タイミングｔ２、ｔ３それぞれでリセット信号φＲＳＴ＿ＳＣおよび行選択信号φＶＳＥＮがそれぞれローレベルおよびローレベルとされる。タイミングｔ２〜タイミングｔ３は、ホトダイオードＰＤ２の露光時間である。続いて、タイミングｔ４でリセット信号φＲＳＴ＿ＳＣおよび行選択信号φＶＳＥＮがそれぞれローレベルおよびハイレベルとされる。このタイミングｔ４では、シグナル信号がサンプルされる。続いて、タイミングｔ５でリセット信号φＲＳＴ＿ＳＣおよび行選択信号φＶＳＥＮがそれぞれローレベルおよびローレベルとされ、信号電荷がサンプルされる。続いて、タイミングｔ６でリセット信号φＲＳＴ＿ＳＣおよび行選択信号φＶＳＥＮがそれぞれハイレベルおよびハイレベルとされる。このタイミングｔ６では、ノイズ信号がサンプルされる。そして、タイミングｔ７それぞれでリセット信号φＲＳＴ＿ＳＣおよび行選択信号φＶＳＥＮがそれぞれローレベルおよびローレベルとされる。第２光電変換素子１１１２では、このような図１４に示すタイミングチャートのリセット信号φＲＳＴ＿ＦＤおよび行選択信号φＶＳＥＮによって、光電変換でホトダイオードＰＤ２に蓄積された電荷に基づく電位がトランジスタＱ２１によって増幅され、トランジスタＱ２４を介して垂直信号ラインＶｉｄｅｏから取り出される。こうして第２光電変換素子１１１２では、光電変換でホトダイオードＰＤ２に蓄積された電荷に基づく画像信号が取り出される。そして、以後、タイミングｔ１ないしタイミングｔ７が繰り返され、画像信号が順次に取り出される。

図１に戻って、高解像度化画像処理部２は、撮像ユニット１から入力された複数の画像信号Ｓｉに超解像処理を施して複数の高解像度合成画像を生成し、これら複数の高解像度合成画像に広ダイナミックレンジ化する画像合成処理を施してダイナミックレンジの広い高解像度合成画像を作成するものである。超解像処理は、複数の低解像度画像からより解像度の高い１つの高解像度画像を生成する公知の画像処理技術であり、例えば、１つのシーン（被写体）を撮像した複数の画像間に生じるサブピクセルオーダの変位に基づいて画像を重畳することにより高解像度画像を生成する。広ダイナミックレンジ化する画像合成処理は、ダイナミックレンジの異なる複数の画像から、よりダイナミックレンジの広い画像を生成する公知の画像処理技術である。高解像度化画像処理部２は、画像処理部３に接続され、この生成した高解像度合成画像を画像処理部３へ出力する。

本実施形態では、第１撮像部１１１の画像信号による画像と、第２撮像部１１２の画像信号による画像とは、それら各光電変換特性α、βが上述のように異なって各階調特性が異なる。このため、複数の第１撮像部１１１の各画像信号による各画像と、複数の第２撮像部１１２の各画像信号による各画像とは、それぞれ独立に超解像処理される。なお、各色フィルタごとの画像信号で超解像処理が実施されることになる。そして、このように独立に超解像処理された第１および第２高解像度合成画像が画像合成される。

より具体的には、高解像度化画像処理部２は、例えば、複数の第１撮像部１１１それぞれから出力される各第１画像信号に基づいて超解像処理によって第１高解像度合成画像を作成する第１高解像度合成画像作成部と、複数の第２撮像部１１２それぞれから出力される各第２画像信号に基づいて超解像処理によって第２高解像度合成画像を作成する第２高解像度合成画像作成部と、前記第１高解像度合成画像作成部で作成された第１高解像度合成画像および前記第２高解像度合成画像作成部で作成された第２高解像度合成画像に基づいてよりダイナミックレンジの広い高解像度合成画像を作成する高解像度合成画像作成部とを備える第１態様の高解像度化画像処理部２ａであってよい。このような第１態様の高解像度化画像処理部２ａでは、図１５に示すように、複数の第１撮像部１１１それぞれから各第１画像信号Ｓｉ１１（Ｓｉ１１−１、Ｓｉ１１−２、Ｓｉ１１−３、・・・）が高解像度化画像処理部２ａに入力されると、前記第１高解像度合成画像作成部は、これら複数の第１撮像部１１１の各第１画像信号Ｓｉ１１に超解像処理を施し（Ｓ１１）、これによって１個の第１高解像度合成画像Ｓｓ１を生成する。複数の第２撮像部１１２それぞれから各第２画像信号Ｓｉ１２（Ｓｉ１２−１、Ｓｉ１２−２、Ｓｉ１２−３、・・・）が高解像度化画像処理部２ａに入力されると、前記第２高解像度合成画像作成部は、これら複数の第２撮像部１１２の各第２画像信号Ｓｉ１２に超解像処理を施し（Ｓ１２）、これによって第２高解像度合成画像Ｓｓ２を生成する。そして、前記超高解像度合成画像作成部は、これら第１および第２高解像度合成画像Ｓｓ１、Ｓｓ２に、広ダイナミックレンジ化する画像合成処理を施し（Ｓ１３）、これによってよりダイナミックレンジの広い高解像度合成画像Ｓｃ１を生成する。この高解像度合成画像Ｓｃ１は、第１および第２光電変換素子１１１１、１１１２の各光電変換特性α、βを合成した例えば図１８に示す光電変換特性を持つ光電変換素子で撮像した画像と同等の広ダイナミックレンジの画像となる。このような高解像度化画像処理部２ａを備えることで、本実施形態の撮像装置ＩＭは、高解像度かつ広ダイナミックレンジな画像が得られる。

また例えば、本実施形態では、高解像度化画像処理部２は、前記複数の第１撮像部それぞれから出力される各第１画像信号に基づいて第１階調範囲の複数の第１階調画像信号と前記第１階調範囲より明るい第２階調範囲の複数の第２階調画像信号とに分離する第１階調分離部と、前記複数の第２撮像部それぞれから出力される各第２画像信号に基づいて前記第２階調範囲の複数の第３階調画像信号と前記第２階調範囲より明るい第３階調範囲の複数の第４階調画像信号とに分離する第２階調分離部と、前記第１階調範囲の複数の第１階調画像信号に基づいて超解像処理によって第１階調高解像度合成画像を作成する第１階調高解像度合成画像作成部と、前記第２階調範囲の複数の第２および第３階調画像信号に基づいて超解像処理によって第２階調高解像度合成画像を作成する第２階調高解像度合成画像作成部と、前記第３階調範囲の複数の第４階調画像信号に基づいて超解像処理によって第３階調高解像度合成画像を作成する第３階調高解像度合成画像作成部と、前記第１階調高解像度合成画像作成部で作成された第１階調高解像度合成画像、前記第２階調高解像度合成画像作成部で作成された第２階調高解像度合成画像および前記第３階調高解像度合成画像作成部で作成された第３階調高解像度合成画像に基づいてよりダイナミックレンジの広い高解像度合成画像を作成する第２高解像度合成画像作成部とをさらに備える第２態様の高解像度化画像処理部２ｂであってよい。

このような第２態様の高解像度化画像処理部２ｂでは、図１６に示すように、複数の第１撮像部１１１それぞれから各第１画像信号Ｓｉ１１が高解像度化画像処理部２ｂに入力されると、前記第１階調分離部は、第１階調範囲の複数の第１階調画像信号Ｓｉ１１ｄ（Ｓｉ１１ｄ−１、Ｓｉ１１ｄ−２、Ｓｉ１１ｄ−３、・・・）と前記第１階調範囲より明るい第２階調範囲の複数の第２階調画像信号Ｓｉ１１ｍ（Ｓｉ１１ｍ−１、Ｓｉ１１ｍ−２、Ｓｉ１１ｍ−３、・・・）とに分離する（Ｓ２１）。例えば、図１７に示すように、光強度が予め設定された所定の閾値ＴＨ１未満の入射光を第１光電変換素子１１１１で光電変換することによって第１撮像部１１１で得られる画像信号が、第１階調画像信号Ｓｉ１１ｄとされ、光強度が予め設定された所定の閾値ＴＨ１以上の入射光を第１光電変換素子１１１１で光電変換することによって第１撮像部１１１で得られる画像信号が、第２階調画像信号Ｓｉ１１ｍとされる。なお、図１７において、第１光電変換素子１１１１の光電変換特性は、光電変換特性αである。前記所定の閾値ＴＨ１は、例えば、入射光の強度０から、第２光電変換素子１１１２からの画像信号のノイズが許容できる最小限の光強度に設定される。また、飽和領域の光電変換出力は、使用されない。このように前記所定の閾値ＴＨ１を設定することによって、第１画像信号Ｓｉ１１は、第１撮像部１１１で撮像した画像において、被写体の相対的に暗い領域を撮像した第１階調画像信号Ｓｉ１１ｄと、被写体の相対的に明るい領域を撮像した第２階調画像信号Ｓｉ１１ｍとに分離できる。

前記第２階調分離部は、前記第２階調範囲の複数の第３階調画像信号Ｓｉ１２ｍ（Ｓｉ１２ｍ−１、Ｓｉ１２ｍ−２、Ｓｉ１２ｍ−３、・・・）と前記第２階調範囲より明るい第３階調範囲の複数の第４階調画像信号Ｓｉ１２ｂ（Ｓｉ１２ｂ−１、Ｓｉ１２ｂ−２、Ｓｉ１２ｂ−３、・・・）とに分離する（Ｓ２２）。例えば、図１７に示すように、光強度が前記所定の閾値ＴＨ１以上で予め設定された所定の閾値ＴＨ２未満の入射光を第２光電変換素子１１１２で光電変換することによって第２撮像部１１２で得られる画像信号が、第３階調画像信号Ｓｉ１２ｍとされ、光強度が予め設定された所定の閾値ＴＨ２以上の入射光を第２光電変換素子１１１２で光電変換することによって第２撮像部１１２で得られる画像信号が、第４階調画像信号Ｓｉ１２ｂとされる。なお、図１７において、第２光電変換素子１１１２の光電変換特性は、光電変換特性βである。前記所定の閾値ＴＨ２は、例えば、第１光電変換素子１１１１が飽和する入射光の飽和強度付近の光強度に設定される。また、前記所定の閾値ＴＨ１未満の第２光電変換素子１１１２の光電変換出力は、一般にＳＮ比が不良であるので、使用されない。このように前記所定の閾値ＴＨ２を設定することによって、第２画像信号Ｓｉ１２は、第２撮像部１１２で撮像した画像において、被写体の相対的に暗い領域を撮像した第３階調画像信号Ｓｉ１２ｍと、被写体の相対的に明るい領域を撮像した第４階調画像信号Ｓｉ１２ｂとに分離できる。

前記第１階調高解像度合成画像作成部は、第１階調範囲の複数の第１階調画像信号Ｓｉ１１ｄに超解像処理を施し（Ｓ２３）、これによって第１階調高解像度合成画像Ｓｓｄを生成する。前記第２階調高解像度合成画像作成部は、第２階調範囲の複数の第２および第３階調画像信号Ｓｉ１１ｍ、Ｓｉ１２ｍに超解像処理を施し（Ｓ２４）、これによって第２階調高解像度合成画像Ｓｓｍを生成する。なお、この超解像処理（Ｓ２４）の際に、複数の第２および第３階調画像信号Ｓｉ１１ｍ、Ｓｉ１２ｍは、光電変換特性が異なるので、いずれかの光電変換特性に統一された後に処理される。例えば、複数の第２階調画像信号Ｓｉ１１ｍは、複数の第３階調画像信号Ｓｉ１２ｍに合わせるために対数変換特性に変換される。また逆に例えば、複数の第３階調画像信号Ｓｉ１２ｍは、複数の第２階調画像信号Ｓｉ１１ｍに合わせるために線形変換特性に変換されてもよい。前記第３階調高解像度合成画像作成部は、第３階調範囲の複数の第４階調画像信号Ｓｉ１２ｂに超解像処理を施し（Ｓ２５）、これによって第３階調高解像度合成画像Ｓｓｂを生成する。

そして、前記第２高解像度合成画像作成部は、これら第１ないし第３階調高解像度合成画像Ｓｓｄ、Ｓｓｍ、Ｓｍｂに、広ダイナミックレンジ化する画像合成処理を施し（Ｓ２６）、これによってよりダイナミックレンジの広い高解像度合成画像Ｓｃ２を生成する。この広い高解像度合成画像Ｓｃ２は、第１および第２光電変換素子１１１１、１１１２の各光電変換特性α、βを合成した例えば図１８に示す光電変換特性を持つ光電変換素子で撮像した画像と同等の広ダイナミックレンジの画像となる。なお、図１８に示す光電変換特性は、上述から分かるように、入射光の光強度が０から閾値ＴＨ１までの範囲である場合では線形変換特性に基づき、入射光の光強度が閾値ＴＨ２以上の範囲である場合では対数変換特性に基づき、そして、入射光の光強度が閾値ＴＨ１から閾値ＴＨ２までの範囲である場合では、線形変換特性および対数変換特性に基づき形成される。

このような高解像度化画像処理部２ｂを備えることで、本実施形態の撮像装置ＩＭは、複数の第１撮像部１１１それぞれから出力される各第１画像信号Ｓｉ１１から低輝度画像Ｓｉ１１ｄおよび中輝度画像Ｓｉ１１ｍを作成し、複数の第２撮像部１１２それぞれから出力される各第２画像信号Ｓｉ１２から中輝度画像Ｓｉ１２ｍおよび高輝度画像Ｓｉ１２ｂを作成し、各第１画像信号Ｓｉ１１に起因する中輝度画像Ｓｉ１１ｍと各第２画像信号Ｓｉ１２に起因する中輝度画像Ｓｉ１２ｍとを合成し、そして、これら低輝度画像の高解像度合成画像Ｓｓｄ、合成中輝度画像Ｓｓｍおよび高輝度画像の高解像度合成画像Ｓｄｂを合成して高解像度合成画像Ｓｃ２を作成する。このため、このような第２態様の高解像度化画像処理部２ｂを備える撮像装置ＩＭは、低輝度領域でノイズが少なく、高輝度領域で広いダイナミックレンジを持ち、バラツキの少ない高解像度合成画像を得ることができる。そして、入射光の光強度が閾値ＴＨ１から閾値ＴＨ２までの範囲である場合では、各第１画像信号Ｓｉ１１に起因する中輝度画像Ｓｉ１１ｍと各第２画像信号Ｓｉ１２に起因する中輝度画像Ｓｉ１２ｍとに基づき解像処理が実施されるので、より高解像度な画像を得ることができる。

図１に戻って、画像処理部３は、高解像度化画像処理部２によって処理された高解像度合成画像の画像信号に対し、例えば、ホワイトバランス処理、フィルタ処理、階調変換処理および色空間変換処理等のいわゆる通常の画像処理を施し、最終的な画像信号を生成するものであり、例えば、ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、画像処理線用プロセッサ）を備えて構成される。また、画像処理部３は、必要に応じて表示装置の特性に適合させたガンマ補正処理を行う。画像処理部３によって画像処理された画像信号Ｓｏは、図略のＬＣＤ表示装置等に出力され、表示され、あるいは送信機能によって外部に送信され、または記録媒体に記憶される。

システムコントロール部４は、撮像ユニット１、高解像度化画像処理部２および画像処理部３等それぞれに接続され、撮像装置ＩＭの全体制御を司る図略の上位のコントロール部の制御に従って、撮像ユニット１、高解像度化画像処理部２および画像処理部３等の各部を当該各部の機能に応じて制御する。

このような構成の撮像装置ＩＭでは、被写体（物体）からの光が撮像ユニット１に入射される。この被写体からの光は、複数の撮像光学系１３それぞれによって複数のフィルタ部１２それぞれを介して複数の撮像部１１における各撮像面にそれぞれ結像される。複数の撮像部１１は、それぞれ、被写体の光学像を光電変換する。すなわち、複数の第１撮像部１１１は、それぞれ、線形変換特性の第１光電変換特性αで被写体の光学像を光電変換し、第１画像信号を出力する。そして、複数の第２撮像部１１２は、それぞれ、対数変換特性の第２光電変換特性βで被写体の光学像を光電変換し、第２画像信号を出力する。これら複数の第１および第２画像信号は、撮像ユニット１から高解像度化画像処理部２へ出力される。

高解像度化画像処理部２は、撮像ユニット１から当該高解像度化画像処理部２に入力されたこれら複数の画像信号に超解像処理を施して複数の高解像度合成画像を生成し、これら複数の高解像度合成画像に広ダイナミックレンジ化する画像合成処理を施してダイナミックレンジの広い高解像度合成画像を作成する。そして、高解像度化画像処理部２は、これら生成した複数の高解像度合成画像を画像合成処理し、ダイナミックレンジのより広い高解像度合成画像を作成する。この解像度合成画像信号は、高解像度化画像処理部２から画像処理部３へ出力される。

画像処理部３は、この解像度合成画像信号に通常の画像処理を施し、最終的な画像信号を生成する。そして、この最終的な画像信号は、例えば、図略の表示装置へ出力され、前記表示装置に被写体の画像が表示される。

以上、説明したように、本実施形態における撮像装置ＩＭでは、複数の撮像部１１は、互いに異なる少なくとも２種類の光電変換特性α、βを含むので、１種類の光電変換特性の場合に較べてダイナミックレンジを広くすることが可能となる。そして、本実施形態における撮像装置ＩＭでは、複数の撮像部１１それぞれは、１種類の光電変換特性α（β）の１または複数の光電変換素子１１１１（１１１２）から成るので、各撮像部１１１（１１２）ごとに、バラツキの少ない出力特性を持つ光電変換素子１１１１（１１１２）を用いることが可能となる。例えば、各撮像部１１１（１１２）ごとに、バラツキの少ない線形変換特性αの第１光電変換素子１１１１や、バラツキの少ない対数変換特性βの第２光電変換素子１１１２を用いることが可能となる。このため、本実施形態における撮像装置ＩＭは、広いダイナミックレンジを持ちつつ、各画素の各出力特性におけるバラツキを低減できる。

より具体的には、本実施形態における撮像装置ＩＭは、低照度でノイズの少ない比較的な高感度な第１線形変換特性αを持つ完全転送型ホトダイオードの第１光電変換素子１１１１から成る複数の第１撮像部１１１と、広ダイナミックレンジでバラツキの少ない対数変換特性βを持つ表面型ホトダイオードの第２光電変換素子１１１２から成る複数の第２撮像部１１２とを含み、これら第１および第２撮像部１１１、１１２の第１および第２光電変換特性α、β（各画像）を合成することで、より広ダイナミックレンジで高感度でさらに低バラツキな画像を実現できる。

また、本実施形態における撮像装置ＩＭは、第１光電変換素子１１１１の第１リセット電圧が第２光電変換素子１１１２の第２リセット電圧より高電位であるので、第１光電変換素子１１１１と第２光電変換素子１１１２とを異なる動作条件で動作させることができる。より具体的には、第１光電変換素子１１１１の第１リセット電圧は、電源ラインＡＶＤＤの駆動電圧であり、第１光電変換素子１１１１のホトダイオードＰＤ１が高電位でリセットされる。これによって第１光電変換素子１１１１は、逆バイアス状態のホトダイオードモードで動作することになる。一方、第２光電変換素子１１１２の第２リセット電圧は、接地ラインＰＶＤＤの接地電圧０であり、第２光電変換素子１１１２のホトダイオードＰＤ２がゼロバイアス（接地電圧０）でリセットされる。これによって第２光電変換素子１１１２は、太陽電池モードで動作することになる。

また、本実施形態における撮像装置ＩＭは、一態様では、同一の半導体ウェハ上に一体的に形成した第１態様の複数の撮像部１１ａを用いて構成される。このような構成の撮像装置ＩＭは、前記複数の撮像部１１ａが同一半導体ウェハ上に一体的に形成されるので、出力特性のバラツキを低減できる。さらに、各撮像部１１ａの受光面が同一平面上に配置することが容易である。また、このような構成の撮像装置ＩＭは、前記複数の撮像部１１ａを同一半導体ウェハ上に一体的に形成しても、前記複数の撮像部１１ａそれぞれが１種類の光電変換特性の１または複数の光電変換素子から成るので、同一撮像部内に異なる光電変換特性を持つ光電変換素子が混在して形成されている場合に較べて、配線領域を低減できるから、開口率（開口面積、受光面積）を大きくできる。したがって、このような構成の撮像装置ＩＭは、前記混在して形成されている場合に較べて、高感度化できる。

図１９は、図２に示す撮像ユニットにおける第１および第２撮像部の第１および第２光電変換素子の各開口面積を説明するための図である。図１９（Ａ）は、第１光電変換素子１１１１を示し、図１９（Ｂ）は、第２光電変換素子１１１２を示す。図２０は、比較例として、１個の画素に第１および第２光電変換素子を並置して設けた場合における前記第１および第２光電変換素子の各開口面積を説明するための図である。

より具体的には、複数の撮像部１１ａにおける第１撮像部１１１の第１光電変換素子１１１１では、その開口部Ａｐ１の開口面積Ａａｐ１は、図１９（Ａ）に示すように、単位画素領域Ｐｘの面積Ａｐｘのうち、互いに平行に延びるφＶＳＥＮライン、φＲＳＴ＿ＦＤラインおよびφＴＸラインの第１配線領域の面積およびこれに直交する垂直信号ラインＶｉｄｅｏの第２配線領域の面積を除いた面積となる。複数の撮像部１１ａにおける第２撮像部１１２の第２光電変換素子１１１２では、その開口部Ａｐ２の開口面積Ａａｐ２は、図１９（Ｂ）に示すように、単位画素領域Ｐｘの面積Ａｐｘのうち、互いに平行に延びるφＶＳＥＮライン、ＢｉａｓラインおよびφＲＳＴ＿ＳＣラインの第３配線領域の面積およびこれに直交する垂直信号ラインＶｉｄｅｏの第４配線領域の面積を除いた面積となる。

一方、第１および第２光電変換素子１１１１、１１１２が混在する場合、例えば、図２０に示すように、互いに隣接する画素に第１および第２光電変換素子１１１１、１１１２が形成される場合では、その各開口部Ａｐ３の開口面積Ａａｐ３は、図２０に示すように、単位画素領域Ｐｘの面積Ａｐｘのうち、互いに平行に延びるφＶＳＥＮライン、Ｂｉａｓライン、φＴＸライン、φＲＳＴ＿ＦＤラインおよびφＲＳＴ＿ＳＣラインの第５配線領域の面積およびこれに直交する２本の垂直信号ラインＶｉｄｅｏの第６配線領域の面積を除いた面積の半分となる。

したがって、第１光電変換素子の開口面積Ａａｐ１は、大略、ＢｉａｓラインおよびφＲＳＴ＿ＳＣラインの配線に要する配線領域だけ狭く、第２光電変換素子の開口面積Ａａｐ２は、大略、φＴＸラインおよびφＲＳＴ＿ＦＤラインの配線に要する配線領域だけ狭くなる。

さらに、１個の画素に第１および第２光電変換素子１１１１、１１１２を形成する場合には、その各開口面積は、さらに狭くなる。

このように第１態様の複数の撮像部１１ａは、第１および第２光電変換素子１１１１、１１１２を混在して形成する場合に較べて、開口率（開口面積、受光面積）を大きくできる。

また、本実施形態における撮像装置ＩＭは、一態様では、個別部品の複数の第１撮像部１１１ｂおよび個別部品の複数の第２撮像部１１２ｂを同一の基板上に２次元マトリクス状に配列した第２態様の複数の撮像部１１ｂを用いて構成される。このような構成の撮像装置ＩＭは、個別部品を用いるので、良品を選別して配列できるので、バラツキを低減でき、撮像装置ＩＭの歩留まりを容易に向上できる。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

ＩＭ 撮像装置
ＰＤ１ 埋め込み型のホトダイオード
ＰＤ２ 表面型のホトダイオード
α 第１光電変換特性（線形変換特性）
β 第２光電変換特性（対数変換特性）
１ 撮像ユニット
２ 高解像度化画像処理部
１１ 複数の撮像部
１１１ 第１撮像部
１１２ 第２撮像部
１１１１ 第１光電変換素子
１１１２ 第２光電変換素子

Claims (13)

1. 複数の撮像光学系と、
   前記複数の撮像光学系に対応し、各撮像面が互いに同一平面となるように配列され、前記複数の撮像光学系それぞれによって前記各撮像面に結像された被写体の光学像をそれぞれ撮像する複数の撮像部とを備え、
   前記複数の撮像部は、互いに異なる少なくとも２種類以上の光電変換特性を含み、
   前記複数の撮像部それぞれは、１種類の光電変換特性の１または複数の光電変換素子から成ること
   を特徴とする撮像装置。
2. 前記複数の撮像部は、
   入射光に対して出力が線形に変化する線形変換特性を持つ第１光電変換素子から成る複数の第１撮像部と、
   入射光に対して出力が対数的に変化する対数変換特性を持つ第２光電変換素子から成る複数の第２撮像部とを含むこと
   を特徴とする請求項１に記載の撮像装置。
3. 前記第１光電変換素子の第１リセット電圧は、前記第２光電変換素子の第２リセット電圧より高電位であること
   を特徴とする請求項２に記載の撮像装置。
4. 前記第１光電変換素子は、完全転送型または埋め込み型ホトダイオードであり、
   前記第２光電変換素子は、表面型ホトダイオードであること
   を特徴とする請求項２または請求項３に記載の撮像装置。
5. 前記複数の撮像部は、同一半導体ウェハ上に一体的に形成されていること
   を特徴とする請求項１ないし請求項４のいずれか１項に記載の撮像装置。
6. 前記複数の第１撮像部それぞれから出力される各第１画像信号に基づいて超解像処理によって第１高解像度合成画像を作成する第１高解像度合成画像作成部と、
   前記複数の第２撮像部それぞれから出力される各第２画像信号に基づいて超解像処理によって第２高解像度合成画像を作成する第２高解像度合成画像作成部と、
   前記第１高解像度合成画像作成部で作成された第１高解像度合成画像および前記第２高解像度合成画像作成部で作成された第２高解像度合成画像に基づいてよりダイナミックレンジの広い高解像度合成画像を作成する高解像度合成画像作成部とをさらに備えること
   を特徴とする請求項１ないし請求項５のいずれか１項に記載の撮像装置。
7. 前記複数の第１撮像部それぞれから出力される各第１画像信号に基づいて第１階調範囲の複数の第１階調画像信号と前記第１階調範囲より明るい第２階調範囲の複数の第２階調画像信号とに分離する第１階調分離部と、
   前記複数の第２撮像部それぞれから出力される各第２画像信号に基づいて前記第２階調範囲の複数の第３階調画像信号と前記第２階調範囲より明るい第３階調範囲の複数の第４階調画像信号とに分離する第２階調分離部と、
   前記第１階調範囲の複数の第１階調画像信号に基づいて超解像処理によって第１階調高解像度合成画像を作成する第１階調高解像度合成画像作成部と、
   前記第２階調範囲の複数の第２および第３階調画像信号に基づいて超解像処理によって第２階調高解像度合成画像を作成する第２階調高解像度合成画像作成部と、
   前記第３階調範囲の複数の第４階調画像信号に基づいて超解像処理によって第３階調高解像度合成画像を作成する第３階調高解像度合成画像作成部と、
   前記第１階調高解像度合成画像作成部で作成された第１階調高解像度合成画像、前記第２階調高解像度合成画像作成部で作成された第２階調高解像度合成画像および前記第３階調高解像度合成画像作成部で作成された第３階調高解像度合成画像に基づいてよりダイナミックレンジの広い高解像度合成画像を作成する第２高解像度合成画像作成部とをさらに備えること
   を特徴とする請求項１ないし請求項５のいずれか１項に記載の撮像装置。
8. 前記複数の撮像部に対応し、撮像面側に配置された複数の色フィルタ部をさらに備え、
   前記色フィルタ部は、赤色フィルタ、第１緑色フィルタ、第２緑色フィルタおよび青色フィルタを２次元マトリックス状に配列したフィルタであること
   を特徴とする請求項１ないし請求項７のいずれか１項に記載の撮像装置。
9. 前記複数の撮像部に対応し、撮像面側に配置された複数の色フィルタ部をさらに備え、
   前記色フィルタ部は、黄色フィルタ、マゼンダ色フィルタ、シアン色フィルタおよび緑色フィルタを２次元マトリックス状に配列したフィルタであること
   を特徴とする請求項１ないし請求項７のいずれか１項に記載の撮像装置。
10. 前記複数の撮像部に対応し、撮像面側に配置された複数の色フィルタ部をさらに備え、
    前記色フィルタ部は、第１白色フィルタ、黄色フィルタ、赤色フィルタおよび第２白色フィルタを２次元マトリックス状に配列したフィルタであること
    を特徴とする請求項１ないし請求項７のいずれか１項に記載の撮像装置。
11. 前記複数の撮像部に対応し、撮像面側に配置された複数の色フィルタ部をさらに備え、
    前記色フィルタ部は、白色フィルタ、赤外フィルタ、赤色フィルタおよび黄色フィルタを２次元マトリックス状に配列したフィルタであること
    を特徴とする請求項１ないし請求項７のいずれか１項に記載の撮像装置。
12. 請求項１ないし請求項５のいずれか１項に記載の撮像装置で用いられる撮像画像の形成方法であって、
    前記複数の第１撮像部それぞれから出力される各第１画像信号に基づいて超解像処理によって第１高解像度合成画像を作成する第１高解像度合成画像作成工程と、
    前記複数の第２撮像部それぞれから出力される各第２画像信号に基づいて超解像処理によって第２高解像度合成画像を作成する第２高解像度合成画像作成工程と、
    前記第１高解像度合成画像作成工程で作成された第１高解像度合成画像および前記第２高解像度合成画像作成工程で作成された第２高解像度合成画像に基づいてよりダイナミックレンジの広い高解像度合成画像を作成する高解像度合成画像作成部とをさらに備えること
    を特徴とする撮像画像の形成方法。
13. 請求項１ないし請求項５のいずれか１項に記載の撮像装置で用いられる撮像画像の形成方法であって、
    前記複数の第１撮像部それぞれから出力される各第１画像信号に基づいて第１階調範囲の複数の第１階調画像信号と前記第１階調範囲より明るい第２階調範囲の複数の第２階調画像信号とに分離する第１階調分離工程と、
    前記複数の第２撮像部それぞれから出力される各第２画像信号に基づいて前記第２階調範囲の複数の第３階調画像信号と前記第２階調範囲より明るい第３階調範囲の複数の第４階調画像信号とに分離する第２階調分離工程と、
    前記第１階調範囲の複数の第１階調画像信号に基づいて超解像処理によって第１階調高解像度合成画像を作成する第１階調高解像度合成画像作成工程と、
    前記第２階調範囲の複数の第２および第３階調画像信号に基づいて超解像処理によって第２階調高解像度合成画像を作成する第２階調高解像度合成画像作成工程と、
    前記第３階調範囲の複数の第４階調画像信号に基づいて超解像処理によって第３階調高解像度合成画像を作成する第３階調高解像度合成画像作成工程と、
    前記第１階調高解像度合成画像作成工程で作成された第１階調高解像度合成画像、前記第２階調高解像度合成画像作成工程で作成された第２階調高解像度合成画像および前記第３階調高解像度合成画像作成工程で作成された第３階調高解像度合成画像に基づいてよりダイナミックレンジの広い高解像度合成画像を作成する第２高解像度合成画像作成工程とをさらに備えること
    を特徴とする撮像画像の形成方法。

Images