JP3627711B2 - カラー撮像装置 - Google Patents
カラー撮像装置 Download PDFInfo
- Publication number
- JP3627711B2 JP3627711B2 JP2002037404A JP2002037404A JP3627711B2 JP 3627711 B2 JP3627711 B2 JP 3627711B2 JP 2002037404 A JP2002037404 A JP 2002037404A JP 2002037404 A JP2002037404 A JP 2002037404A JP 3627711 B2 JP3627711 B2 JP 3627711B2
- Authority
- JP
- Japan
- Prior art keywords
- light receiving
- image
- image signal
- exposure time
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、マトリクス状に配列された複数の受光素子及びその前面に所定の色配列を有する色フィルタを備えてなる受光部と、所定の露光時間において前記受光部を露光することにより被写体のカラー画像を生成する制御部とを備えたカラー撮像装置に関するものである。
【０００２】
【従来の技術】
従来の銀塩式のカメラに代えて、ＣＣＤ（電荷結合素子）等の固体撮像素子を用いたディジタルカメラが近年普及し始めている。このディジタルカメラに用いられるＣＣＤのダイナミックレンジは、銀塩フィルムのダイナミックレンジに比べて狭いため、ディジタルカメラのダイナミックレンジの拡大のために種々の工夫がなされている。
【０００３】
例えば、ＣＣＤの感度を変化させながら連続して撮像した複数枚の画像を合成することにより、ダイナミックレンジを実質的に拡大する方法が知られている。しかし、この方法では、各画像の撮像時刻が異なり、画像間で時間遅れが発生する。このため、静止した被写体に対してのみ撮像することができ、また、ディジタルカメラを三脚等の固定台に固定して撮像する必要があった。
【０００４】
また、特開平７−７９３７２号公報に開示される電子カメラ装置では、奇数フィールドと偶数フィールドとで露光時間を異ならせることにより、奇数フィールドの画像信号を高感度にするとともに、偶数フィールドの画像信号を低感度にし、奇数フィールドの画像信号に白とびが発生した場合、当該奇数フィールドに隣接する偶数フィールドの画像信号を用いて白とびが発生した画像信号を補間している。これにより、ダイナミックレンジを見かけ上拡張して白とびを補正した画像を得るようにしている。
【０００５】
特開平１１−２２０６５９号公報に開示される撮像装置では、１フィールド期間においてＣＣＤから複数フィールド分の画像信号を読み出して記録し、再生時に記録した複数フィールド分の画像信号を読み出して加算することにより、各ＣＣＤを飽和レベル以下に抑えつつ、ダイナミックレンジを拡大している。
【０００６】
さらに、特開平１１−２９８８０１号公報に開示される撮像装置でも、１フィールド期間又は１フレーム期間においてＣＣＤから複数フィールド分の画像信号を読み出して記録し、再生時に、記録した複数フィールド分の画像信号を加算することにより、各ＣＣＤを飽和レベル以下に抑えつつ、ダイナミックレンジを拡大している。
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の電子カメラ装置では、露光時間を単に短くすることにより低感度の画像信号を作成しているため、当該画像信号のＳ／Ｎ比が低下する。このため、Ｓ／Ｎ比の低い画像信号を用いて白とびが発生した画像信号を補間しても、当該補間部分の画質の向上には限界があり、良好な画像を得ることは困難となる。
【０００８】
また、従来の各撮像装置は、時間的にずれた露光期間で各フィールドの画像信号を加算するものであるため、画像にブレが生じ、良好な画像を得ることは容易ではない。特に、動体を撮影する場合やディジタルカメラを手持ちして撮影する場合、画像のブレがより顕著となり、画像の画質は劣化してしまう。
【０００９】
そこで、本出願人は、適正露光時間である第１の露光時間と、これを分割して作成した第２及び第３の露光時間とを利用して、第１の露光時間において奇数ラインから第１の画像信号を、第２及び第３の露光時間において偶数ラインからそれぞれ第２及び第３の画像信号を得、第２及び第３の画像信号を加算した第４の画像信号を使用して、第１の画像信号の白とび部が検出された場合に当該白とび部を補間する撮像装置を提案した（特願２００１−０９１８６１号）。
【００１０】
この撮像装置は、重複した露光時間内で得られた画像信号を加算した第４の画像信号を用いて、第１の画像信号の白とび部が検出された場合に当該白とび部を補間しているので、ダイナミックレンジを拡張することができるとともに、良好な画質を有する画像を得ることができる。
【００１１】
一方、カラー画像を撮像する場合には、ＣＣＤの前面側（被写体側）にベイヤー方式等に基づいて色配列された色フィルタ（原色フィルタまたは補色フィルタ）が配設される。例えば、ベイヤー方式に基づいて色配列された原色フィルタを用いて上記の撮像装置によってカラー画像を撮像する場合には、第２及び第３の画像信号は３原色全てが含まれていないことになる（具体的にはＲ色またはＢ色の信号が含まれていない）。従って、第２及び第３の画像信号を加算した第４の画像信号を用いて第１の画像信号を補間しているため、カラー画像としては補間精度が充分とはいえず、画像の品位が低下するという課題があった。
【００１２】
本発明は上記課題に鑑みてなされたもので、ダイナミックレンジを拡張することができるとともに、良好な画質を有するカラー画像を得ることができる撮像装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
請求項１に記載の撮像装置は、マトリクス状に配列された複数の受光素子及びその前面に所定の色配列を有する色フィルタを備えてなる受光部と、所定の露光時間において前記受光部を露光することにより被写体のカラー画像を生成する制御部とを備えたカラー撮像装置であって、前記制御部は、第１の露光時間と前記第１の露光時間を分割した第２及び第３の露光時間とを設定する露光時間設定手段と、前記受光素子の内、連続する複数ライン分の受光素子群であって同一複数ライン置きの受光素子群からなる第１の受光部での前記第１の露光時間における各受光素子の蓄積電荷から第１の画像信号を生成し、前記受光素子の内、前記第１の受光部以外の受光素子群からなる第２の受光部での前記第２の露光時間における各受光素子の蓄積電荷から第２の画像信号を生成し、前記第２の受光部での前記第３の露光時間における各受光素子の蓄積電荷から第３の画像信号を生成する画像生成手段と、前記第１、第２及び第３の画像信号を合成して被写体の画像信号を生成する画像合成手段とを備えることを特徴としている。
【００１４】
上記の構成によれば、露光時間設定手段によって、第１の露光時間と第１の露光時間を分割した第２及び第３の露光時間とが設定される。画像生成手段によって、受光素子の内、連続する複数ライン分の受光素子群であって同一複数ライン置きの受光素子群からなる第１の受光部での第１の露光時間における各受光素子の蓄積電荷から第１の画像信号が生成され、受光素子の内、第１の受光部以外の受光素子群からなる第２の受光部での第２の露光時間における各受光素子の蓄積電荷から第２の画像信号が生成され、第２の受光部での第３の露光時間における各受光素子の蓄積電荷から第３の画像信号が生成される。そして、画像合成手段によって、第１、第２及び第３の画像信号が合成されて被写体の画像信号が生成される。
【００１５】
このとき、第２及び第３の露光時間は第１の露光時間を分割して作成したものであるため、第２及び第３の露光時間は第１の露光時間よりも短く、これにより第２及び第３の画像信号は第１の画像信号に比して飽和しにくいものとなっている。
【００１６】
さらに、第２及び第３の露光時間は第１の露光時間を分割して作成したものであるため、第２及び第３の露光時間は第１の露光時間と時間的に重なっており、第１の画像信号と第２及び第３の画像信号とがほぼ同時に撮影された画像信号となり、第２及び第３の画像信号は第１の画像信号に対してブレのない画像信号となる。
【００１７】
また、第１の画像信号は、連続する複数ライン分の受光素子群であって同一複数ライン置きの受光素子群からなる第１の受光部での各受光素子の蓄積電荷から生成され、第２及び第３の画像信号は、受光素子の内、第１の受光部以外の受光素子群からなる第２の受光部での各受光素子の蓄積電荷から生成されるため、例えば、ベイヤー方式に基づいて色配列された原色フィルタを用いてカラー画像を撮像する場合にも、第１、第２及び第３の画像信号はそれぞれ３原色全てが含まれていることになる。
【００１８】
従って、被写体の画像信号は、露光時間が異なり、且つ、原色（または補色）全てが含まれている第１、第２及び第３の画像信号が合成されて生成されるため、ダイナミックレンジの広い画像の品位の良好な画像信号が得られる。
【００１９】
請求項２に記載の撮像装置は、請求項１に記載のカラー撮像装置であって、前記画像生成手段が、前記第１の露光時間において前記第１の受光部により光電変換された信号電荷を第１の画像信号として読み出し、前記第２の露光時間において前記第２の受光部により光電変換された信号電荷を第２の画像信号として読み出し、前記第３の露光時間において前記第２の受光部により光電変換された信号電荷を第３の画像信号として読み出す信号読出し手段を備えることを特徴としている。
【００２０】
上記の構成によれば、信号読出し手段によって、第１の露光時間において第１の受光部により光電変換された信号電荷が第１の画像信号として読み出され、第２の露光時間において第２の受光部により光電変換された信号電荷が第２の画像信号として読み出され、第３の露光時間において第２の受光部により光電変換された信号電荷が第３の画像信号として読み出される。従って、信号電荷を読み出すことによって第１、第２及び第３の画像信号が生成されるため、容易に且つ短時間に第１、第２及び第３の画像信号が生成される。
【００２１】
請求項３に記載の撮像装置は、請求項１または２に記載のカラー撮像装置であって、前記合成手段が、前記第１の画像信号を用いて前記第２の受光部に対応する画像信号を補間して第４の画像信号を生成する第１補間手段と、前記第２の画像信号を用いて前記第１の受光部に対応する画像信号を補間して第５の画像信号を生成する第２補間手段と、前記第３の画像信号を用いて前記第１の受光部に対応する画像信号を補間して第６の画像信号を生成する第３補間手段とを備え、前記第４、第５及び第６の画像信号を合成して被写体の画像信号を生成することを特徴としている。
【００２２】
上記の構成によれば、第１補間手段によって、第１の画像信号を用いて第２の受光部に対応する画像信号が補間されて第４の画像信号が生成される。また、第２補間手段によって、第２の画像信号を用いて第１の受光部に対応する画像信号が補間されて第５の画像信号が生成される。さらに、第３補間手段によって、第３の画像信号を用いて第１の受光部に対応する画像信号が補間されて第６の画像信号が生成される。そして、合成手段によって第４、第５及び第６の画像信号が合成されて被写体の画像信号が生成される。
【００２３】
そこで、原色（または補色）全てが含まれている第１、第２及び第３の画像信号から、それぞれ第４、第５及び第６の画像信号が補間されて生成されるため、補間精度が良好となり、画質の良好な画像信号が得られる。
【００２４】
また、上述のように第２及び第３の画像信号は第１の画像信号に対してブレのない画像信号であるため、第２及び第３の画像信号から、それぞれ補間されて生成される第５及び第６の画像信号は、第１の画像信号から補間されて生成される第４の画像信号に対してブレのない画像信号となる。
【００２５】
従って、第４、第５及び第６の画像信号が合成されて生成される被写体の画像信号は、画質の良好な露光時間の異なる３つの画像信号が合成されることによって得られるため、ダイナミックレンジの広い画質の良好な画像信号となる。
【００２６】
請求項４に記載の撮像装置は、請求項１〜３のいずれかに記載のカラー撮像装置であって、前記第２の露光時間が適正露光時間の０．３〜０．９倍であり、前記第３の露光時間が適正露光時間の略１．０倍であることを特徴としている。
【００２７】
上記の構成によれば、第２の露光時間は適正露光時間の０．３〜０．９倍であり、第３の露光時間は適正露光時間の略１．０倍であるため、第１、第２及び第３の露光時間はそれぞれ適正露光時間の１．３〜１．９倍、０．３〜０．９倍及び１．０倍となり、第１の露光時間における受光素子の蓄積電荷から生成された第１の画像信号と、第２の露光時間における受光素子の蓄積電荷から生成された第２の画像信号と、第３の露光時間における受光素子の蓄積電荷から生成された第３の画像信号とは露光時間の適度に異なる画像信号となる。そこで、第１、２及び第３の画像信号が合成されて生成される被写体の画像信号は、ダイナミックレンジの広い画像信号となる。
【００２８】
請求項５に記載の撮像装置は、請求項１または２に記載のカラー撮像装置であって、前記第２の露光時間は前記第３の露光時間より短く、前記合成手段は、前記第１の画像信号を用いて前記第２の受光部に対応する画像信号を補間して第４の画像信号を生成する第１補間手段と、前記第２の画像信号を用いて前記第１の受光部に対応する画像信号を補間して第５の画像信号を生成する第２補間手段とを備え、前記第４及び第５の画像信号を合成して被写体の画像信号を生成することを特徴としている。
【００２９】
上記の構成によれば、第１補間手段によって、第１の画像信号を用いて第２の受光部に対応する画像信号が補間されて第４の画像信号が生成される。また、第２補間手段によって、第２の画像信号を用いて第１の受光部に対応する画像信号が補間されて第５の画像信号が生成される。そして、合成手段によって第４及び第５の画像信号が合成されて被写体の画像信号が生成される。
【００３０】
そこで、原色（または補色）全てが含まれている第１及び第２の画像信号から、それぞれ第４、及び第５の画像信号が補間されて生成されるため、補間精度が良好となり、得られる画像信号も画質の良好な画像信号となる。
【００３１】
また、上述のように第２画像信号は第１の画像信号に対してブレのない画像信号であるため、第２の画像信号から補間されて生成される第５の画像信号は、第１の画像信号から補間されて生成される第４の画像信号に対してブレのない画像信号となる。
【００３２】
従って、第４及び第５の画像信号が合成されて生成される被写体の画像信号は、画質の良好な露光時間の異なる２つの画像信号が合成されることによって得られるため、ダイナミックレンジの広い画質の良好な画像信号となる。
【００３３】
【発明の実施の形態】
図１は、本発明に係る一実施形態であるディジタルカメラの主要部の構成を示すブロック図である。
【００３４】
図１に示すディジタルカメラは、被写体からの光を集光するレンズ１と、複数の受光素子が配列され、被写体からの光をそれぞれの受光素子で光電変換し、変換された電荷を蓄積するＣＣＤ（電荷結合素子）２（画像生成手段に相当する）と、ＣＣＤ２を駆動するＣＣＤ駆動部３と、ＣＣＤ２で撮像された画像信号を一時的に格納するメモリ４と、メモリ４に格納された画像信号に所定の処理を施す画像データ処理部５と、カメラを構成する各部に対して制御信号を出力する全体制御部６と、外部からの操作を受け付ける操作部７１と、液晶表示素子（ＬＣＤ）等から構成され種々の情報を表示する表示部７２と、一時的に画像データを格納するメモリ８と、メモリカードレコーダ等で構成され圧縮された画像データを格納する記録部９とを備える。
【００３５】
撮像レンズ１は、例えば電動式のズームレンズであり、撮像レンズ１の合焦動作及びズーミング動作を行なうレンズ駆動部１１を備えている。撮像レンズ１の光軸Ｌ上の光束の結像位置には、絞り及び露光制御用のメカニカルシャッタ１２を介してＣＣＤ２が設けられている。なお、図示していないが、必要に応じて光学式ローパスフィルタ、赤外線カットフィルタ、又は光量調節用のＮＤフィルタ等が設けられている。ＣＣＤ２の前面（被写体側）には、所定の色配列を有する色フィルタ１３が配設されている。
【００３６】
ＣＣＤ２は、フォトダイオードからなる受光素子ＰＥｉ，ｊ（ｉ＝１〜Ｍ，ｊ＝１〜Ｎ）がマトリクス状に配列されたインタライン転送型ＣＣＤである。また、ＣＣＤ２はタイミングジェネレータ３１（信号読出し手段の一部及び露光時間設定手段に相当する）から出力される後述する制御信号ＳＣ１に応じて所定の動作を行ない、入射される光を光電変換し、更に蓄積電荷を画像信号として信号処理部３２へ出力する。
【００３７】
色フィルタ１３は、ここではベイヤー（Ｂａｙｅｒ）方式の色配列を有する原色フィルタである。図２は、色フィルタ１３の色配列の説明図である。図２に示すように、まず、高解像度が必要な輝度信号に対する寄与の割合が大きいＧ（緑）色フィルタが市松状に配列され、残りの部分にＲ（赤）及びＢ（青）色フィルタが更に市松状に配列されている。なお、各色フィルタは、ＣＣＤ２の受光素子ＰＥｉ，ｊに対応する位置に配列されている（もしくは、ＣＣＤ２の受光素子ＰＥｉ，ｊと一体に構成されている）。
【００３８】
ここで、ＣＣＤ２について詳細に説明する。図３は、ＣＣＤ２の構成を示すブロック図である。ＣＣＤ２は、受光素子ＰＥｉ，ｊ、垂直転送部２１１〜２１Ｎ（信号読出し手段の一部に相当する）、水平転送部２２（信号読出し手段の一部に相当する）及び出力部２３（信号読出し手段の一部に相当する）を備えている。
【００３９】
受光素子ＰＥｉ，ｊは、連続する２ライン（２行）分の受光素子群であって２ライン（２行）置きの受光素子群ＰＥｉ，ｊ（ｉ＝４の倍数＋（１または２）、ｊ＝１〜Ｎ）からなる第１の受光部ＰＥＡと、第１の受光部ＰＥＡ以外の受光素子群ＰＥｉ，ｊ（ｉ＝４の倍数＋（３または０）、ｊ＝１〜Ｎ）からなる第２の受光部ＰＥＢとから構成されている。
【００４０】
各受光素子ＰＥｉ，ｊは、フォトダイオードから構成され、露光時間に入射される光を光電変換し、入射光量に応じて蓄積した信号電荷を垂直転送部２１１〜２１Ｎへ一括で転送する。
【００４１】
各垂直転送部２１１〜２１Ｎは、図３における斜線部及び白抜き部にそれぞれ１受光素子分の信号電荷を転送する能力を有する。すなわち、垂直転送部２１１〜２１Ｎは、それぞれ、受光素子（Ｍ／２）個分（ここで、Ｍは受光素子ＰＥｉ，ｊの行数）の信号電荷を水平転送部２２へ転送できるものである。
【００４２】
各垂直転送部２１１〜２１Ｎは、転送された信号電荷を水平転送部２２へシリアルに転送する。水平転送部２２は、転送された信号電荷をシリアルに出力部２３へ転送する。出力部２３は、転送される信号電荷に応じた画像信号を出力する。
【００４３】
つぎに、上記のように構成されたＣＣＤ２の動作について説明する。第１の受光部ＰＥＡに配置された各受光素子ＰＥｉ，ｊ（ｉ＝４の倍数＋（１または２）、ｊ＝１〜Ｎ）に蓄積された信号電荷は、垂直転送部２１１〜２１Ｎへ並列に転送され、垂直転送部２１１〜２１Ｎにより２ライン分の信号電荷が水平転送部２２へ順次転送される。次に、転送された２ライン分の信号電荷が水平転送部２２により出力部２３へ順次転送され、後述するＡフィールドの画像信号（第１の画像信号に相当する）として出力部２３から１画素ずつ出力される。
【００４４】
ここで、各受光素子ＰＥｉ，ｊから垂直転送部２１１〜２１Ｎへの信号電荷の転送方法についてより詳細に説明する。ここでは、便宜上、垂直転送部２１１について説明する。
【００４５】
まず、タイミングジェネレータ３１からのシフトパルスＳＧ１ａに応答して、第１の受光部ＰＥＡの内、Ｒ色フィルタに対応する受光素子ＰＲｉ，１（ｉ＝４の倍数＋１）の信号電荷が垂直転送部２１１（図３の斜線部）に転送される。つぎに、タイミングジェネレータ３１からの垂直転送パルスＳＧ１ｂに応答して、垂直転送部２１１に転送済みの信号電荷が１受光素子分だけ図３の下方（水平転送部２２の向き）に（図３の斜線部から白抜き部へ）シフトされる。
【００４６】
そして、タイミングジェネレータ３１からのシフトパルスＳＧ１ｃに応答して、第１の受光部ＰＥＡの内、Ｇ色フィルタに対応する受光素子ＰＲｉ，１（ｉ＝４の倍数＋２）の信号電荷が垂直転送部２１１（図３の斜線部）に転送される。このようにして、垂直転送部２１１には、第１の受光部ＰＥＡのＲ色フィルタに対応する受光素子ＰＲｉ，１（ｉ＝４の倍数＋１、ｊ＝１〜Ｎ）の信号電荷とＧ色フィルタに対応する受光素子ＰＲｉ，１（ｉ＝４の倍数＋２、ｊ＝１〜Ｎ）の信号電荷とが交互に配列されることとなる。
【００４７】
ついで、垂直転送部２１１〜２１Ｎにより上記のように配列された２ライン分の（受光素子ＰＲｉ，ｊ（ｉ＝４の倍数＋１）と受光素子ＰＲｉ，ｊ（ｉ＝４の倍数＋２）とに対応する）信号電荷が水平転送部２２へ順次転送されるのである。
【００４８】
なお、後述するシフトパルスＳＧ１（図６参照）は、シフトパルスＳＧ１ａと、垂直転送パルスＳＧ１ｂと、シフトパルスＳＧ１ｃとを纏めて表記したものである。
【００４９】
上記の第１の受光部ＰＥＡに配置された各受光素子ＰＥｉ，ｊ（ｉ＝４の倍数＋（１または２）、ｊ＝１〜Ｎ）に蓄積された信号電荷の転送タイミングとは別のタイミングで、第２の受光部ＰＥＢに配置された各受光素子ＰＥｉ，ｊ（ｉ＝４の倍数＋（３または０）、ｊ＝１〜Ｎ）に蓄積された信号電荷も、上記と同様にして垂直転送部２１１〜２１Ｎ及び水平転送部２２により転送され、後述するＢまたはＣフィールドの画像信号（第２、第３の画像信号に相当する）として出力部２３から１画素ずつ出力される。
【００５０】
上述のように、Ａ，Ｂ及びＣフィールドの画像信号は、連続する２ライン（２行）分の受光素子群であって２ライン（２行）置きの受光素子群（第１の受光部または第２の受光部）からの信号電荷に応じた画像信号である。なお、ＣＣＤ２としては、上記のような動作が可能であれば、他の種類のＣＣＤを用いることができる。
【００５１】
図１に戻って、信号処理部３２は、ＣＣＤ２から出力された信号を相関二重サンプリング処理やＡ／Ｄ変換処理等の信号処理を施し、ディジタル化された画像データ信号としてメモリ４に出力するものである。
【００５２】
メモリ４は、Ａフィールドの画像を格納するＡフィールドメモリ４１と、Ｂフィールドの画像を格納するＢフィールドメモリ４２と、Ｃフィールドの画像を格納するＣフィールドメモリ４３とを備えている。
【００５３】
画像データ処理部５は、Ａ，Ｂ及びＣフィールドに格納された各画像データを読み出して所定の補間処理を施す画像データ補間部５１（第１、第２及び第３補間手段に相当する）と、補間された３つの画像データを合成して１つの画像データを生成する画像データ合成部５２（画像合成手段に相当する）と、合成して得られた画像データをＲ（赤）、Ｇ（緑）及びＢ（青）の３原色の各色ごとにホワイトバランスを調節するホワイトバランス処理部（ＷＢ）５３と、ホワイトバランスが調節された画像データに所定のγ補正処理を施し各色毎にメモリ８に格納するγ補正部５４と、γ補正された画像データ（被写体画像データ）に含まれるＲ、Ｇ及びＢの各色の信号を所定の輝度信号及び色差信号に変換し表示部７２等に出力する色差マトリックス処理部５５と、変換された輝度信号や色差信号を記録媒体９１に記録するためにＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の圧縮処理を施す画像データ圧縮部５６と、表示部７２に画像表示するために圧縮処理された輝度信号や色差信号を記録媒体９１から読み出して伸張処理を施す画像データ伸張部５７とを備えている。
【００５４】
ここで、図４を用いて、画像データ補間部５１によって行なわれる補間処理について説明する。ここでは、Ａフィールドの画像信号を補間する場合について説明する。すなわち、連続する２ライン（２行）分の受光素子群であって２ライン（２行）置きの受光素子群である第１の受光部ＰＥＡからの信号電荷に応じた画像信号を用いて、その他の受光素子群である第２の受光部ＰＥＢに対応する画像信号を補間する場合について説明する。ここで、画像信号ＱＥｉ，ｊ（ｉ＝１〜Ｍ，ｊ＝１〜Ｎ）を、受光素子ＰＥｉ，ｊ（ｉ＝１〜Ｍ，ｊ＝１〜Ｎ）の信号電荷に対応した画像信号とする。
【００５５】
第２の受光部ＰＥＢに対応する画像信号ＱＥｉ，ｊ（ｉ＝４の倍数＋（３または０）、ｊ＝１〜Ｎ）の内、色フィルタ１３のＲ及びＢ色フィルタに対応する位置の画像信号ＱＥｉ，ｊは、注目位置に対して距離の近い周囲の６つの画像信号ＱＥｉ，ｊを用いて補間する。具体的には、次の（１）式を用いて補間する。
ＱＥｉ，ｊ＝（ＱＥｉ−２，ｊ−２＋ＱＥｉ−２，ｊ＋ＱＥｉ−２，ｊ＋２＋ＱＥｉ＋２，ｊ−２＋ＱＥｉ＋２，ｊ＋ＱＥｉ＋２，ｊ＋２）／６ （１）
【００５６】
第２の受光部ＰＥＢに対応する画像信号ＱＥｉ，ｊ（ｉ＝４の倍数＋（３または０）、ｊ＝１〜Ｎ）の内、色フィルタ１３のＧ色フィルタに対応する位置の画像信号ＱＥｉ，ｊは、注目位置に対して距離の近い周囲の４つの画像信号ＱＥｉ，ｊを用いて補間する。具体的には、次の（２）または（３）式を用いて補間する。
ＱＥｉ，ｊ＝（ＱＥｉ−１，ｊ−１＋ＱＥｉ−１，ｊ＋１＋ＱＥｉ−２，ｊ＋ＱＥｉ＋２，ｊ）／４ （２）
ＱＥｉ，ｊ＝（ＱＥｉ＋１，ｊ−１＋ＱＥｉ＋１，ｊ＋１＋ＱＥｉ−２，ｊ＋ＱＥｉ＋２，ｊ）／４ （３）
【００５７】
Ｂ及びＣフィールドの画像信号についても同様の方法で補間処理が施される。なお、ここでは、各画像信号ＱＥｉ，ｊを単純平均することによって補間しているが、その他の方法を用いて補間する形態でもよい。例えば、予め設定された重みを用いて加重平均することによって補間してもよい。また、色フィルタ１３のＲ及びＢ色フィルタに対応する位置の画像信号ＱＥｉ，ｊは、注目位置に対して距離の近い周囲の６つの画像信号ＱＥｉ，ｊを用いて補間し、色フィルタ１３のＧ色フィルタに対応する位置の画像信号ＱＥｉ，ｊは、注目位置に対して距離の近い周囲の４つの画像信号ＱＥｉ，ｊを用いて補間しているが、補間に使用する画素信号の数は上記に限定されず、適宜、選択することが可能である。
【００５８】
つぎに、図５を用いて画像データ合成部５２によって行なわれる画像データの合成処理について説明する。ここでは、画像データ補間部５１によって補間された画像データが各画素について１０ビットである場合について説明する。Ａフィールドの画像信号に対応する補間後の１０ビットの画像データＱＥＡｉ，ｊと、Ｂフィールドの画像信号に対応する補間後の１０ビットの画像データＱＥＢｉ，ｊと、Ｃフィールドの画像信号に対応する補間後の１０ビットの画像データＱＥＣｉ，ｊとを加算して、１２ビットの画像データＱＥＤｉ，ｊを得る。ただし、ｉ＝１〜Ｍ，ｊ＝１〜Ｎであって、上記演算は対応する位置の画素毎に行なうものである。
【００５９】
なお、本実施形態では、Ａ、Ｂ及びＣフィールドの画像信号に対応する補間後の画像データを加算することによって合成する場合について説明したが、他の方法を用いて合成する形態でもよい。例えば、Ａ、Ｂ及びＣフィールドの画像信号に対応する補間後の画像データを予め設定された所定の重みを用いて加重平均する形態でもよい。
【００６０】
再び、図１に戻って、全体制御部６は、外部から操作された操作部７１からの信号に応じて、レンズ駆動部１１、メカニカルシャッタ１２、ＣＣＤ駆動部３、画像データ処理部５、記録部９及び測光部１０等を制御するものである。
【００６１】
操作部７１は、電源スイッチ、レリーズボタン、記録／再生等のモード切替スイッチ、画像再生時のコマ送りスイッチ、ズームスイッチ等であって、ディジタルカメラに設けられており、外部より操作されるスイッチ群で構成される。
【００６２】
メモリ８は、γ補正部５４によりγ補正された各色の画像データを格納するものであり、格納された画像データは色差マトリックス処理部５５に出力される。また、図示していないが、撮像日時等の関連情報も画像ファイルのヘッダ情報として、画像データと同時に記録部９により記録媒体９１に記録される。
【００６３】
測光部１０は、レリーズボタンの半押しで撮影準備動作としての測光（その他測距）を行ない、測光値から適性絞り値と、適正露光時間とを設定する。なお、本実施形態においては、後述する図６に示すように適正露光時間Ｔ２に基づいて露光時間Ｔ１、Ｔ３を設定している。
【００６４】
なお、上記各スイッチ群及び各部に電力を供給するための電源は図示を省略する。また、上記ディジタルカメラを構成する各部は、必要に応じてＣＰＵ、ＲＯＭ、ＲＡＭ等で構成されているものとする。
【００６５】
次に、上記のように構成されたディジタルカメラの動作について説明する。図６は、図１に示すディジタルカメラのＣＣＤ２及びタイミングジェネレータ３１の動作を説明するためのタイミングチャートである。なお、図６に示す制御パルスＳＵＢ、シフトパルスＳＧ１，ＳＧ２は、タイミングジェネレータ３１からＣＣＤ２へ制御信号ＳＣ１として出力される信号である。
【００６６】
まず、外部からレリーズボタン（図示省略）が押下されるレリーズ操作が行なわれると、メカニカルシャッタ１２が設定された絞り値に応じた開度で開状態とされる。図６では、メカニカルシャッタ１２を開閉させる信号をメカニカルシャッタ信号ＭＳとして図示しており、メカニカルシャッタ信号ＭＳがローレベルの間、メカニカルシャッタ１２が閉状態であることを示し、ハイレベルの間、メカニカルシャッタ１２が開状態であることを示している。
【００６７】
上記の状態において、タイミングジェネレータ３１は、設定された露光時間を正確に制御するため、時刻ｔａにおいて制御パルスＳＵＢを発生させる。発生された制御パルスＳＵＢに応答して、ＣＣＤ２の第１の受光部ＰＥＡ及び第２の受光部ＰＥＢ、すなわち、全受光素子ＰＥｉ，ｊに蓄積されている残留電荷が吐き出される（初期化される）。制御パルスＳＵＢと同期してメカニカルシャッタ信号ＭＳがローレベルからハイレバルに変更される。従って、時刻ｔａを露光時間Ｔ１，Ｔ２の始点として、第１の受光部ＰＥＡ及び第２の受光部ＰＥＢの露光が開始され、第１の受光部ＰＥＡを構成する各受光素子ＰＥｉ，ｊ（ｉ＝４の倍数＋（１または２）、ｊ＝１〜Ｎ）に蓄積されている信号電荷ＡＣ及び第２の受光部ＰＥＢを構成する各受光素子ＰＥｉ，ｊ（ｉ＝４の倍数＋（３または０）、ｊ＝１〜Ｎ）に蓄積されている信号電荷ＢＣの量が時間とともに増加される（電荷が蓄積される）。
【００６８】
次に、タイミングジェネレータ３１は、露光時間Ｔ２が経過した時刻ｔｂにおいてシフトパルスＳＧ１を発生させる。発生されたシフトパルスＳＧ１に応答して、ＣＣＤ２の第２の受光部ＰＥＢを構成する各受光素子ＰＥｉ，ｊの信号電荷が垂直転送部２１１〜２１Ｎへ転送されるとともに、２ラインずつ垂直転送部２１１〜２１Ｎから水平転送部２２へ転送され、第２の受光部ＰＥＢの第１の画像信号ＢＦＤ（Ｂフィールドの画像信号）が読み出される。その結果、出力部２３から出力される画像信号ＲＤとして、第２の受光部ＰＥＢの第１の画像信号ＢＦＤが出力される。同時にこの第２の受光部ＰＥＢに対して時刻ｔｂからの新たな露光が開始される。
【００６９】
次に、露光時間Ｔ３が経過した時刻ｔｃにおいて、メカニカルシャッタ信号ＭＳがハイレベル（開状態）からローレベル（閉状態）に変化して、メカニカルシャッタ１２が閉状態になると、第１及び第２の各受光部の露光が終了し、第２の受光部ＰＥＢの各受光素子ＰＥｉ，ｊの信号電荷は、露光時間Ｔ３において蓄積された信号電荷となり、第１の受光部ＰＥＡの各受光素子ＰＥｉ，ｊの信号電荷は、露光時間Ｔ１において蓄積された信号電荷となる。
【００７０】
そして、タイミングジェネレータ３１は、第２の受光部ＰＥＢの第１の画像信号ＢＦＤの読み出しが終了した時刻ｔｄにおいてシフトパルスＳＧ１を発生させる。発生されたシフトパルスＳＧ１に応答して、ＣＣＤ２の第２の受光部ＰＥＢの各受光素子ＰＥｉ，ｊの信号電荷ＢＣが垂直転送部２１１〜２１Ｎへ転送されるとともに、２ラインずつ垂直転送部２１１〜２１Ｎから水平転送部２２へ転送され、第２の受光部ＰＥＢの第２の画像信号ＣＦＤ（Ｃフィールドの画像信号）が読み出される。その結果、出力部２３から出力される画像信号ＲＤとして、第２の受光部ＰＥＢの第２の画像信号ＣＦＤが出力される。
【００７１】
次いで、タイミングジェネレータ３１は、第２の受光部ＰＥＢの第２の画像信号ＣＦＤの読み出しが終了した時刻ｔｅにおいてシフトパルスＳＧ２を発生させる。発生されたシフトパルスＳＧ２に応答して、ＣＣＤ２の第１の受光部ＰＥＡの各受光素子ＰＥｉ，ｊの信号電荷ＡＣが垂直転送部２１１〜２１Ｎへ転送されるとともに、２ラインずつ垂直転送部２１１〜２１Ｎから水平転送部２２へ転送され、第１の受光部ＰＥＡの画像信号ＡＦＤ（Ａフィールドの画像信号）が読み出される。その結果、出力部２３から出力される画像信号ＲＤとして、第１の受光部ＰＥＡの画像信号ＡＦＤが出力される。
【００７２】
本実施形態では、露光時間Ｔ２は適正露光時間の０．５倍に、露光時間Ｔ３は適正露光時間の１．０倍に予め設定されているものとする（その結果、後述するように露光時間Ｔ１は適正露光時間の約１．５倍に設定されることになる）。そのため、露光時間Ｔ２において形成された第２の受光部ＰＥＢの第１の画像信号ＢＦＤを、露光時間Ｔ１において形成された第１の受光部ＰＥＡの画像信号ＡＦＤより約３倍飽和しにくくすることができる。
【００７３】
また、露光時間Ｔ２，Ｔ３は、露光時間Ｔ１を分割して作成したものであり、シフトパルスＳＧ１のパルス幅が充分に短く、このパルス幅を無視すると、Ｔ１＝Ｔ２＋Ｔ３となり、第１の受光部ＰＥＡの露光時間Ｔ１と第２の受光部ＰＥＢの露光時間Ｔ２，Ｔ３とが時間的に重なっていることになる。従って、第２の受光部ＰＥＢの第１及び第２の画像信号ＢＦＤ，ＣＦＤと、第１の受光部ＰＥＡの画像信号ＰＥＡとが、ほぼ同時に撮影された画像信号となり、第２の受光部ＰＥＢの第１及び第２の画像信号ＢＦＤ，ＣＦＤを、第１の受光部ＰＥＡの画像信号ＰＥＡに対してブレのない画像信号にすることができる。
【００７４】
更に、第２の受光部ＰＥＢの第１の画像信号ＢＦＤが読み出された後に、第２の受光部ＰＥＢの第２の画像信号ＣＦＤが読み出され、第２の受光部ＰＥＢの第２の画像信号ＣＦＤが読み出された後に、第１の受光部ＰＥＡの画像信号ＡＦＤが読み出されているので、露光時間の短い順に各画像信号が読み出され、露光終了から読み出しまでの期間に発生するノイズの影響を少なくすることができる。
【００７５】
また、露光時間Ｔ２をＣＣＤ３に電子シャッタ動作により制御しているので、最も短い露光時間Ｔ２を正確に制御することができるとともに、露光時間Ｔ１，Ｔ３の終点をメカニカルシャッタのメカニカルシャッタ動作により制御しているので、露光時間Ｔ１，Ｔ３を同時に終了させて第１の受光部ＰＥＡ及び第２の受光部ＰＥＢに入射される光を遮断することができ、充分な読み出し時間を確保して第２の受光部ＰＥＢの第１及び第２の画像信号ＢＦＤ，ＣＦＤ並びに第１の受光部ＰＥＡの画像信号ＡＦＤを順に読み出すことができる。
【００７６】
なお、露光時間Ｔ１、Ｔ２、Ｔ３は、上記の例に特に限定されず、種々の時間を用いることができるが、合成された画像（被写体画像）信号をダイナミックレンジの広い画像信号となるようにするために、露光時間Ｔ２は適正露光時間の０．３〜０．９倍であり、露光時間Ｔ３は適正露光時間の略１．０倍であることが好ましい。露光時間Ｔ１、Ｔ２及びＴ３が、適正露光時間を中心として適度に異なる露光時間となるからである。また、露光時間Ｔ２より露光時間Ｔ３が短くなるように、露光時間Ｔ２，Ｔ３を設定してもよい。この場合には、適正露光時間の画像信号（第２の受光部ＰＥＢの第１及び第２の画像信号ＢＦＤ）がレリーズ操作のタイミングに近い画像信号となるため、シャッタータイミングを優先させた被写体画像信号が得られる。
【００７７】
上記のようにして読み出された第２の受光部ＰＥＢの第１及び第２の画像信号ＢＦＤ，ＣＦＤ並びに第１の受光部ＰＥＡの画像信号ＡＦＤは、信号処理部３２により相関二重サンプリング処理された後に、例えば、１０ビットのディジタルデータに変換され、第２の受光部ＰＥＢの第１及び第２の画像データＢＦＤ，ＣＦＤ並びに第１の受光部ＰＥＡの画像データＡＦＤとして出力される。
【００７８】
次に、１０ビットの第１の受光部ＰＥＡの画像データＡＦＤは、メモリ４のＡフィールドメモリ４１に格納され、１０ビットの第２の受光部ＰＥＢの第１の画像データＢＦＤはＢフィールドメモリ４２に格納され、１０ビットの第２の受光部ＰＥＢの第２の画像データＣＦＤはＣフィールドメモリ４２に格納される。
【００７９】
そして、画像データ補間部５１によって、Ａフィールドメモリ４１、Ｂフィールドメモリ４２及びＣフィールドメモリ４３からそれぞれ画像データＡＦＤ，ＢＦＤ及びＣＦＤが読み出され、それぞれ補間処理が施されて全画面に対応する３つの画像データが生成される。そして、画像データ合成部５２によって、生成された３つの画像データに合成処理が施され、１つの画像データが生成される。
【００８０】
ついで、ホワイトバランス処理部（ＷＢ）５３によって、この画像データのホワイトバランスが調節され、γ補正部５４によって、画像データに所定のγ補正が施され、所望のγ特性を有する画像データに変換され、被写体画像データとしてメモリ３に格納される。
【００８１】
そして、被写体画像を表示部７２に出力する場合には、色差マトリックス処理部５５によって、被写体画像データに含まれるＲ、Ｇ及びＢの各色の信号が所定の輝度信号及び色差信号に変換されて、表示部７２に出力される。また、変換された輝度信号や色差信号は、画像データ圧縮部５６によって、圧縮処理が施され記録媒体９１に格納される。また、記録媒体９１に格納された画像データを表示部７２に画像表示する場合には、画像データ伸張部５７によって、読み出され伸張処理が施され、表示部７２に出力される。
【００８２】
このように、時間的に重なってほぼ同時に撮影された、低感度（低Ｓ／Ｎ比）ではあるが飽和しにくい第２の受光部ＰＥＢの第１の画像データＢＦＤ及び通常の感度の第２の受光部ＰＥＢの第２の画像データＣＦＤと、高感度（高Ｓ／Ｎ比）の第１の受光部ＰＥＡの画像信号ＡＦＤとを用いて、ダイナミックレンジを拡張し、かつ良好な画質を有する１枚のカラー静止画像（被写体画像）を得ることができる。
【００８３】
すなわち、本実施の形態では、露光時間Ｔ２は適正露光時間の０．５倍に設定され、露光時間Ｔ１は適正露光時間の約１．５倍に設定されているため、第２の受光部ＰＥＢの第１の画像信号ＢＦＤを第１の受光部ＰＥＡの画像信号ＡＦＤより約３倍飽和しにくくなる。
【００８４】
また、露光時間Ｔ１と露光時間Ｔ２，Ｔ３とが時間的に重なっているため、第２の受光部ＰＥＢの第１及び第２の画像信号ＢＦＤ，ＣＦＤと第１の受光部ＰＥＡの画像信号ＡＦＤとがほぼ同時に撮影された画像信号となるので、第１の受光部ＰＥＡの画像信号ＡＦＤに対してブレのない第２の受光部ＰＥＢの第１及び第２の画像信号ＢＦＤ，ＣＦＤを得ることができる。
【００８５】
更に、露光時間Ｔ１，Ｔ２，Ｔ３はそれぞれ適正露光時間の約１．５倍、０．５倍及び１．０倍となり、第２の受光部ＰＥＢの第１の画像信号ＢＦＤと、第２の受光部ＰＥＢの第２の画像信号ＣＦＤと、第１の受光部ＰＥＡの画像信号ＡＦＤとは露光時間の適度に異なる画像信号となる。そこで、これら３つの画像信号を補間した後に合成されて生成される被写体の画像信号は、ダイナミックレンジの広い画像信号となる。
【００８６】
なお、本発明は以下の形態をとることができる。
【００８７】
（Ａ）本実施形態においては、第１及び第２の受光部が連続する２ライン分の受光素子群であって２ライン置きの受光素子群である場合について説明したが、連続する複数ライン分の受光素子群であって同一複数ライン置きの受光素子群である形態でもよい。
【００８８】
（Ｂ）本実施形態においては、Ａ，Ｂ，Ｃフィールドの画像信号が連続する２ライン分の受光素子群であって２ライン置きの受光素子群からの信号電荷に対応する画像信号である場合について説明したが、少なくともＢフィールドの画像信号が連続する２ライン分の受光素子群であって２ライン置きの受光素子群からの信号電荷に対応する画像信号である形態であればよい。すなわち、Ａ及びＣフィールドの画像信号は、例えば、一般的なインターレース読出しによって得られる画像信号である形態でもよい。この場合に、例えばＡ’フィールドを奇数ラインとし、Ｃ’フィールドを偶数ラインとする形態でもよい。ただし、この場合には、メモリ４と画像データ補間部５１との間、または、信号制御部３２とメモリ４との間に画像信号を振り分ける機能部が必要となる。
【００８９】
メモリ４と画像データ補間部５１との間に画像信号を振り分ける信号振り分け部を設ける場合について、信号振り分け部の機能を具体的に説明する。ここで、Ａ’、Ｂ’及びＣ’フィールドの画像信号に対応する画像データＲＥＡｉ，ｊ（ｉ＝１〜Ｍの奇数，ｊ＝１〜Ｎ）、ＲＥＢｉ，ｊ（ｉ＝４の倍数＋（３または０）、ｊ＝１〜Ｎ）及びＲＥＣｉ，ｊ（ｉ＝１〜Ｍの偶数，ｊ＝１〜Ｎ）は、それぞれ、Ａフィールドメモリ４１、Ｂフィールドメモリ４２及びＣフィールドメモリ４３に格納されているものとする。
【００９０】
信号振り分け部は、Ａ’フィールドの画像信号に対応する画像データＲＥＡｉ，ｊの内、第１の受光部ＰＥＡに含まれる受光素子からの画像データＲＥＡｉ，ｊ（ｉ＝４の倍数＋１、ｊ＝１〜Ｎ）と、Ｃ’フィールドの画像信号に対応する画像データＲＥＣｉ，ｊの内、第１の受光部ＰＥＡに含まれる受光素子からの画像データＲＥＣｉ，ｊ（ｉ＝４の倍数＋２、ｊ＝１〜Ｎ）とをメモリ４から読み出して、画像データ補間部５１に出力する。データ補間部５１は、これらの画像データを用いて本実施形態と同様の補間処理を行ない画像データ合成部５２に供給する第１の受光部ＰＥＡでの露光時間Ｔ１における画像信号（第１の画像信号）に基づく画像データを生成する。
【００９１】
また、信号振り分け部は、Ｂ’（＝Ｂ）フィールドの画像信号に対応する画像データＲＥＢｉ，ｊをメモリ４から読み出して、画像データ補間部５１に出力する。データ補間部５１は、これらの画像データを用いて本実施形態と同様の補間処理を行ない画像データ合成部５２に供給する第２の受光部ＰＥＢでの露光時間Ｔ２における画像信号（第２の画像信号）に基づく画像データを生成する。
【００９２】
さらに、信号振り分け部は、Ａ’フィールドの画像信号に対応する画像データＲＥＡｉ，ｊの内、第２の受光部ＰＥＢに含まれる受光素子からの画像データＲＥＡｉ，ｊ（ｉ＝４の倍数＋３、ｊ＝１〜Ｎ）と、Ｃ’フィールドの画像信号に対応する画像データＲＥＣｉ，ｊの内、第２の受光部ＰＥＢに含まれる受光素子からの画像データＲＥＣｉ，ｊ（ｉ＝４の倍数＋０、ｊ＝１〜Ｎ）とをメモリ４から読み出して、画像データ補間部５１に出力する。データ補間部５１は、これらの画像データを用いて本実施形態と同様の補間処理を行ない画像データ合成部５２に供給する第２の受光部ＰＥＢでの露光時間Ｔ３における画像信号（第３の画像信号）に基づく画像データを生成する。
【００９３】
（Ｃ）本実施形態においては、Ａ，Ｂ，Ｃフィールドの画像信号をそれぞれ補間して得られる３枚の全面画像データを合成する場合について説明したが、Ａ，Ｂフィールドの画像信号をそれぞれ補間して得られる２枚の全面画像データを合成する形態でもよい。この場合には、合成された画像信号のダイナミックレンジを広くするために、露光時間Ｔ１を適正露光時間の１．５〜２．５倍とし、露光時間Ｔ２を適正露光時間の約０．５倍とすることが好ましい。露光時間Ｔ１及びＴ２が、適正露光時間を中心として適度に異なる露光時間となるからである。
【００９４】
（Ｄ）本実施形態においては、Ａ，Ｂ，Ｃフィールドの画像信号をそれぞれ補間して得られる３枚の全面画像データを合成する場合について説明したが、Ｂ，Ｃフィールドの画像信号を階調合成したものとＡフィールドの画像信号とを補間合成する形態でもよい。
【００９５】
この場合の一例についてより具体的に説明する。Ｂ，Ｃフィールドの画像信号、すなわち、第２の受光部ＰＥＢの第１の画像データＢＦＤ（例えば１０ビットのデータ）と、第２の受光部ＰＥＢの第２の画像データＣＦＤ（例えば１０ビットのデータ）とを階調合成して、第２の受光部ＰＥＢの画像データＤＦＤ（１１ビットのデータ）を生成する。つぎに、Ａフィールドの画像信号、すなわち、第１の受光部ＰＥＡの画像データＡＦＤ（例えば１０ビットのデータ）を２倍して１１ビットの画像データＡＦＤ２を生成する。そして、第２の受光部ＰＥＢの画像データＤＦＤ（１１ビットのデータ）と第１の受光部ＰＥＡの画像データＡＦＤ２（１１ビットのデータ）とを補間合成して全面画像データを得る。
【００９６】
【発明の効果】
請求項１に記載の発明によれば、被写体の画像信号は、露光時間が異なり、且つ、原色（または補色）全てが含まれている第１、第２及び第３の画像信号が合成されて生成されるため、ダイナミックレンジの広い画像の品位の良好な画像信号とすることができる。
【００９７】
請求項２に記載の発明によれば、信号電荷を読み出すことによって第１、第２及び第３の画像信号が生成されるため、容易に且つ短時間に第１、第２及び第３の画像信号を生成することができる。
【００９８】
請求項３に記載の発明によれば、第４、第５及び第６の画像信号が合成されて生成される被写体の画像信号は、画質の良好な露光時間の異なる３つの画像信号が合成されることによって得られるため、ダイナミックレンジの広い画質の良好な画像信号とすることができる。
【００９９】
請求項４に記載の発明によれば、第１、第２及び第３の画像信号は露光時間の適度に異なる画像信号となるため、これらが合成されて生成される被写体の画像信号を、ダイナミックレンジの広い画像信号とすることができる。
【０１００】
請求項５に記載の発明によれば、被写体の画像信号が、画質の良好な露光時間の異なる第４及び第５の画像信号が合成されて生成されるため、ダイナミックレンジの広い画質の良好な画像信号を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態であるディジタルカメラの主要部の構成を示すブロック図である。
【図２】色フィルタの色配列の説明図である。
【図３】ＣＣＤの構成を示すブロック図である。
【図４】画像データ補間部によって行なわれる補間処理の説明図である。
【図５】画像データの合成処理の説明図である。
【図６】図１に示すディジタルカメラのＣＣＤ及びタイミングジェネレータの動作を説明するためのタイミングチャートである。
【符号の説明】
１ レンズ
１０ 測光部
１１ レンズ駆動部
１２ メカニカルシャッタ
１３ 色フィルタ
２ ＣＣＤ（画像生成手段）
２１１〜２１Ｎ 垂直転送部（信号読出し手段の一部）
２２ 水平転送部（信号読出し手段の一部）
２３ 出力部（信号読出し手段の一部）
３ ＣＣＤ駆動部
３１ タイミングジェネレータ（信号読出し手段の一部及び露光時間設定手段）
３２ 信号処理部
４ メモリ
５ 画像データ処理部
５１ 画像データ補間部（第１、第２及び第３補間手段）
５２ 画像データ合成部（画像合成手段）
５３ ホワイトバランス処理部
５４ γ補正部
５５ 色差マトリックス処理部
５６ 画像データ圧縮部
５７ 画像データ伸張部
６ 全体制御部
７１ 操作部
７２ 表示部
８ メモリ
９ 記録部
【発明の属する技術分野】
本発明は、マトリクス状に配列された複数の受光素子及びその前面に所定の色配列を有する色フィルタを備えてなる受光部と、所定の露光時間において前記受光部を露光することにより被写体のカラー画像を生成する制御部とを備えたカラー撮像装置に関するものである。
【０００２】
【従来の技術】
従来の銀塩式のカメラに代えて、ＣＣＤ（電荷結合素子）等の固体撮像素子を用いたディジタルカメラが近年普及し始めている。このディジタルカメラに用いられるＣＣＤのダイナミックレンジは、銀塩フィルムのダイナミックレンジに比べて狭いため、ディジタルカメラのダイナミックレンジの拡大のために種々の工夫がなされている。
【０００３】
例えば、ＣＣＤの感度を変化させながら連続して撮像した複数枚の画像を合成することにより、ダイナミックレンジを実質的に拡大する方法が知られている。しかし、この方法では、各画像の撮像時刻が異なり、画像間で時間遅れが発生する。このため、静止した被写体に対してのみ撮像することができ、また、ディジタルカメラを三脚等の固定台に固定して撮像する必要があった。
【０００４】
また、特開平７−７９３７２号公報に開示される電子カメラ装置では、奇数フィールドと偶数フィールドとで露光時間を異ならせることにより、奇数フィールドの画像信号を高感度にするとともに、偶数フィールドの画像信号を低感度にし、奇数フィールドの画像信号に白とびが発生した場合、当該奇数フィールドに隣接する偶数フィールドの画像信号を用いて白とびが発生した画像信号を補間している。これにより、ダイナミックレンジを見かけ上拡張して白とびを補正した画像を得るようにしている。
【０００５】
特開平１１−２２０６５９号公報に開示される撮像装置では、１フィールド期間においてＣＣＤから複数フィールド分の画像信号を読み出して記録し、再生時に記録した複数フィールド分の画像信号を読み出して加算することにより、各ＣＣＤを飽和レベル以下に抑えつつ、ダイナミックレンジを拡大している。
【０００６】
さらに、特開平１１−２９８８０１号公報に開示される撮像装置でも、１フィールド期間又は１フレーム期間においてＣＣＤから複数フィールド分の画像信号を読み出して記録し、再生時に、記録した複数フィールド分の画像信号を加算することにより、各ＣＣＤを飽和レベル以下に抑えつつ、ダイナミックレンジを拡大している。
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の電子カメラ装置では、露光時間を単に短くすることにより低感度の画像信号を作成しているため、当該画像信号のＳ／Ｎ比が低下する。このため、Ｓ／Ｎ比の低い画像信号を用いて白とびが発生した画像信号を補間しても、当該補間部分の画質の向上には限界があり、良好な画像を得ることは困難となる。
【０００８】
また、従来の各撮像装置は、時間的にずれた露光期間で各フィールドの画像信号を加算するものであるため、画像にブレが生じ、良好な画像を得ることは容易ではない。特に、動体を撮影する場合やディジタルカメラを手持ちして撮影する場合、画像のブレがより顕著となり、画像の画質は劣化してしまう。
【０００９】
そこで、本出願人は、適正露光時間である第１の露光時間と、これを分割して作成した第２及び第３の露光時間とを利用して、第１の露光時間において奇数ラインから第１の画像信号を、第２及び第３の露光時間において偶数ラインからそれぞれ第２及び第３の画像信号を得、第２及び第３の画像信号を加算した第４の画像信号を使用して、第１の画像信号の白とび部が検出された場合に当該白とび部を補間する撮像装置を提案した（特願２００１−０９１８６１号）。
【００１０】
この撮像装置は、重複した露光時間内で得られた画像信号を加算した第４の画像信号を用いて、第１の画像信号の白とび部が検出された場合に当該白とび部を補間しているので、ダイナミックレンジを拡張することができるとともに、良好な画質を有する画像を得ることができる。
【００１１】
一方、カラー画像を撮像する場合には、ＣＣＤの前面側（被写体側）にベイヤー方式等に基づいて色配列された色フィルタ（原色フィルタまたは補色フィルタ）が配設される。例えば、ベイヤー方式に基づいて色配列された原色フィルタを用いて上記の撮像装置によってカラー画像を撮像する場合には、第２及び第３の画像信号は３原色全てが含まれていないことになる（具体的にはＲ色またはＢ色の信号が含まれていない）。従って、第２及び第３の画像信号を加算した第４の画像信号を用いて第１の画像信号を補間しているため、カラー画像としては補間精度が充分とはいえず、画像の品位が低下するという課題があった。
【００１２】
本発明は上記課題に鑑みてなされたもので、ダイナミックレンジを拡張することができるとともに、良好な画質を有するカラー画像を得ることができる撮像装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
請求項１に記載の撮像装置は、マトリクス状に配列された複数の受光素子及びその前面に所定の色配列を有する色フィルタを備えてなる受光部と、所定の露光時間において前記受光部を露光することにより被写体のカラー画像を生成する制御部とを備えたカラー撮像装置であって、前記制御部は、第１の露光時間と前記第１の露光時間を分割した第２及び第３の露光時間とを設定する露光時間設定手段と、前記受光素子の内、連続する複数ライン分の受光素子群であって同一複数ライン置きの受光素子群からなる第１の受光部での前記第１の露光時間における各受光素子の蓄積電荷から第１の画像信号を生成し、前記受光素子の内、前記第１の受光部以外の受光素子群からなる第２の受光部での前記第２の露光時間における各受光素子の蓄積電荷から第２の画像信号を生成し、前記第２の受光部での前記第３の露光時間における各受光素子の蓄積電荷から第３の画像信号を生成する画像生成手段と、前記第１、第２及び第３の画像信号を合成して被写体の画像信号を生成する画像合成手段とを備えることを特徴としている。
【００１４】
上記の構成によれば、露光時間設定手段によって、第１の露光時間と第１の露光時間を分割した第２及び第３の露光時間とが設定される。画像生成手段によって、受光素子の内、連続する複数ライン分の受光素子群であって同一複数ライン置きの受光素子群からなる第１の受光部での第１の露光時間における各受光素子の蓄積電荷から第１の画像信号が生成され、受光素子の内、第１の受光部以外の受光素子群からなる第２の受光部での第２の露光時間における各受光素子の蓄積電荷から第２の画像信号が生成され、第２の受光部での第３の露光時間における各受光素子の蓄積電荷から第３の画像信号が生成される。そして、画像合成手段によって、第１、第２及び第３の画像信号が合成されて被写体の画像信号が生成される。
【００１５】
このとき、第２及び第３の露光時間は第１の露光時間を分割して作成したものであるため、第２及び第３の露光時間は第１の露光時間よりも短く、これにより第２及び第３の画像信号は第１の画像信号に比して飽和しにくいものとなっている。
【００１６】
さらに、第２及び第３の露光時間は第１の露光時間を分割して作成したものであるため、第２及び第３の露光時間は第１の露光時間と時間的に重なっており、第１の画像信号と第２及び第３の画像信号とがほぼ同時に撮影された画像信号となり、第２及び第３の画像信号は第１の画像信号に対してブレのない画像信号となる。
【００１７】
また、第１の画像信号は、連続する複数ライン分の受光素子群であって同一複数ライン置きの受光素子群からなる第１の受光部での各受光素子の蓄積電荷から生成され、第２及び第３の画像信号は、受光素子の内、第１の受光部以外の受光素子群からなる第２の受光部での各受光素子の蓄積電荷から生成されるため、例えば、ベイヤー方式に基づいて色配列された原色フィルタを用いてカラー画像を撮像する場合にも、第１、第２及び第３の画像信号はそれぞれ３原色全てが含まれていることになる。
【００１８】
従って、被写体の画像信号は、露光時間が異なり、且つ、原色（または補色）全てが含まれている第１、第２及び第３の画像信号が合成されて生成されるため、ダイナミックレンジの広い画像の品位の良好な画像信号が得られる。
【００１９】
請求項２に記載の撮像装置は、請求項１に記載のカラー撮像装置であって、前記画像生成手段が、前記第１の露光時間において前記第１の受光部により光電変換された信号電荷を第１の画像信号として読み出し、前記第２の露光時間において前記第２の受光部により光電変換された信号電荷を第２の画像信号として読み出し、前記第３の露光時間において前記第２の受光部により光電変換された信号電荷を第３の画像信号として読み出す信号読出し手段を備えることを特徴としている。
【００２０】
上記の構成によれば、信号読出し手段によって、第１の露光時間において第１の受光部により光電変換された信号電荷が第１の画像信号として読み出され、第２の露光時間において第２の受光部により光電変換された信号電荷が第２の画像信号として読み出され、第３の露光時間において第２の受光部により光電変換された信号電荷が第３の画像信号として読み出される。従って、信号電荷を読み出すことによって第１、第２及び第３の画像信号が生成されるため、容易に且つ短時間に第１、第２及び第３の画像信号が生成される。
【００２１】
請求項３に記載の撮像装置は、請求項１または２に記載のカラー撮像装置であって、前記合成手段が、前記第１の画像信号を用いて前記第２の受光部に対応する画像信号を補間して第４の画像信号を生成する第１補間手段と、前記第２の画像信号を用いて前記第１の受光部に対応する画像信号を補間して第５の画像信号を生成する第２補間手段と、前記第３の画像信号を用いて前記第１の受光部に対応する画像信号を補間して第６の画像信号を生成する第３補間手段とを備え、前記第４、第５及び第６の画像信号を合成して被写体の画像信号を生成することを特徴としている。
【００２２】
上記の構成によれば、第１補間手段によって、第１の画像信号を用いて第２の受光部に対応する画像信号が補間されて第４の画像信号が生成される。また、第２補間手段によって、第２の画像信号を用いて第１の受光部に対応する画像信号が補間されて第５の画像信号が生成される。さらに、第３補間手段によって、第３の画像信号を用いて第１の受光部に対応する画像信号が補間されて第６の画像信号が生成される。そして、合成手段によって第４、第５及び第６の画像信号が合成されて被写体の画像信号が生成される。
【００２３】
そこで、原色（または補色）全てが含まれている第１、第２及び第３の画像信号から、それぞれ第４、第５及び第６の画像信号が補間されて生成されるため、補間精度が良好となり、画質の良好な画像信号が得られる。
【００２４】
また、上述のように第２及び第３の画像信号は第１の画像信号に対してブレのない画像信号であるため、第２及び第３の画像信号から、それぞれ補間されて生成される第５及び第６の画像信号は、第１の画像信号から補間されて生成される第４の画像信号に対してブレのない画像信号となる。
【００２５】
従って、第４、第５及び第６の画像信号が合成されて生成される被写体の画像信号は、画質の良好な露光時間の異なる３つの画像信号が合成されることによって得られるため、ダイナミックレンジの広い画質の良好な画像信号となる。
【００２６】
請求項４に記載の撮像装置は、請求項１〜３のいずれかに記載のカラー撮像装置であって、前記第２の露光時間が適正露光時間の０．３〜０．９倍であり、前記第３の露光時間が適正露光時間の略１．０倍であることを特徴としている。
【００２７】
上記の構成によれば、第２の露光時間は適正露光時間の０．３〜０．９倍であり、第３の露光時間は適正露光時間の略１．０倍であるため、第１、第２及び第３の露光時間はそれぞれ適正露光時間の１．３〜１．９倍、０．３〜０．９倍及び１．０倍となり、第１の露光時間における受光素子の蓄積電荷から生成された第１の画像信号と、第２の露光時間における受光素子の蓄積電荷から生成された第２の画像信号と、第３の露光時間における受光素子の蓄積電荷から生成された第３の画像信号とは露光時間の適度に異なる画像信号となる。そこで、第１、２及び第３の画像信号が合成されて生成される被写体の画像信号は、ダイナミックレンジの広い画像信号となる。
【００２８】
請求項５に記載の撮像装置は、請求項１または２に記載のカラー撮像装置であって、前記第２の露光時間は前記第３の露光時間より短く、前記合成手段は、前記第１の画像信号を用いて前記第２の受光部に対応する画像信号を補間して第４の画像信号を生成する第１補間手段と、前記第２の画像信号を用いて前記第１の受光部に対応する画像信号を補間して第５の画像信号を生成する第２補間手段とを備え、前記第４及び第５の画像信号を合成して被写体の画像信号を生成することを特徴としている。
【００２９】
上記の構成によれば、第１補間手段によって、第１の画像信号を用いて第２の受光部に対応する画像信号が補間されて第４の画像信号が生成される。また、第２補間手段によって、第２の画像信号を用いて第１の受光部に対応する画像信号が補間されて第５の画像信号が生成される。そして、合成手段によって第４及び第５の画像信号が合成されて被写体の画像信号が生成される。
【００３０】
そこで、原色（または補色）全てが含まれている第１及び第２の画像信号から、それぞれ第４、及び第５の画像信号が補間されて生成されるため、補間精度が良好となり、得られる画像信号も画質の良好な画像信号となる。
【００３１】
また、上述のように第２画像信号は第１の画像信号に対してブレのない画像信号であるため、第２の画像信号から補間されて生成される第５の画像信号は、第１の画像信号から補間されて生成される第４の画像信号に対してブレのない画像信号となる。
【００３２】
従って、第４及び第５の画像信号が合成されて生成される被写体の画像信号は、画質の良好な露光時間の異なる２つの画像信号が合成されることによって得られるため、ダイナミックレンジの広い画質の良好な画像信号となる。
【００３３】
【発明の実施の形態】
図１は、本発明に係る一実施形態であるディジタルカメラの主要部の構成を示すブロック図である。
【００３４】
図１に示すディジタルカメラは、被写体からの光を集光するレンズ１と、複数の受光素子が配列され、被写体からの光をそれぞれの受光素子で光電変換し、変換された電荷を蓄積するＣＣＤ（電荷結合素子）２（画像生成手段に相当する）と、ＣＣＤ２を駆動するＣＣＤ駆動部３と、ＣＣＤ２で撮像された画像信号を一時的に格納するメモリ４と、メモリ４に格納された画像信号に所定の処理を施す画像データ処理部５と、カメラを構成する各部に対して制御信号を出力する全体制御部６と、外部からの操作を受け付ける操作部７１と、液晶表示素子（ＬＣＤ）等から構成され種々の情報を表示する表示部７２と、一時的に画像データを格納するメモリ８と、メモリカードレコーダ等で構成され圧縮された画像データを格納する記録部９とを備える。
【００３５】
撮像レンズ１は、例えば電動式のズームレンズであり、撮像レンズ１の合焦動作及びズーミング動作を行なうレンズ駆動部１１を備えている。撮像レンズ１の光軸Ｌ上の光束の結像位置には、絞り及び露光制御用のメカニカルシャッタ１２を介してＣＣＤ２が設けられている。なお、図示していないが、必要に応じて光学式ローパスフィルタ、赤外線カットフィルタ、又は光量調節用のＮＤフィルタ等が設けられている。ＣＣＤ２の前面（被写体側）には、所定の色配列を有する色フィルタ１３が配設されている。
【００３６】
ＣＣＤ２は、フォトダイオードからなる受光素子ＰＥｉ，ｊ（ｉ＝１〜Ｍ，ｊ＝１〜Ｎ）がマトリクス状に配列されたインタライン転送型ＣＣＤである。また、ＣＣＤ２はタイミングジェネレータ３１（信号読出し手段の一部及び露光時間設定手段に相当する）から出力される後述する制御信号ＳＣ１に応じて所定の動作を行ない、入射される光を光電変換し、更に蓄積電荷を画像信号として信号処理部３２へ出力する。
【００３７】
色フィルタ１３は、ここではベイヤー（Ｂａｙｅｒ）方式の色配列を有する原色フィルタである。図２は、色フィルタ１３の色配列の説明図である。図２に示すように、まず、高解像度が必要な輝度信号に対する寄与の割合が大きいＧ（緑）色フィルタが市松状に配列され、残りの部分にＲ（赤）及びＢ（青）色フィルタが更に市松状に配列されている。なお、各色フィルタは、ＣＣＤ２の受光素子ＰＥｉ，ｊに対応する位置に配列されている（もしくは、ＣＣＤ２の受光素子ＰＥｉ，ｊと一体に構成されている）。
【００３８】
ここで、ＣＣＤ２について詳細に説明する。図３は、ＣＣＤ２の構成を示すブロック図である。ＣＣＤ２は、受光素子ＰＥｉ，ｊ、垂直転送部２１１〜２１Ｎ（信号読出し手段の一部に相当する）、水平転送部２２（信号読出し手段の一部に相当する）及び出力部２３（信号読出し手段の一部に相当する）を備えている。
【００３９】
受光素子ＰＥｉ，ｊは、連続する２ライン（２行）分の受光素子群であって２ライン（２行）置きの受光素子群ＰＥｉ，ｊ（ｉ＝４の倍数＋（１または２）、ｊ＝１〜Ｎ）からなる第１の受光部ＰＥＡと、第１の受光部ＰＥＡ以外の受光素子群ＰＥｉ，ｊ（ｉ＝４の倍数＋（３または０）、ｊ＝１〜Ｎ）からなる第２の受光部ＰＥＢとから構成されている。
【００４０】
各受光素子ＰＥｉ，ｊは、フォトダイオードから構成され、露光時間に入射される光を光電変換し、入射光量に応じて蓄積した信号電荷を垂直転送部２１１〜２１Ｎへ一括で転送する。
【００４１】
各垂直転送部２１１〜２１Ｎは、図３における斜線部及び白抜き部にそれぞれ１受光素子分の信号電荷を転送する能力を有する。すなわち、垂直転送部２１１〜２１Ｎは、それぞれ、受光素子（Ｍ／２）個分（ここで、Ｍは受光素子ＰＥｉ，ｊの行数）の信号電荷を水平転送部２２へ転送できるものである。
【００４２】
各垂直転送部２１１〜２１Ｎは、転送された信号電荷を水平転送部２２へシリアルに転送する。水平転送部２２は、転送された信号電荷をシリアルに出力部２３へ転送する。出力部２３は、転送される信号電荷に応じた画像信号を出力する。
【００４３】
つぎに、上記のように構成されたＣＣＤ２の動作について説明する。第１の受光部ＰＥＡに配置された各受光素子ＰＥｉ，ｊ（ｉ＝４の倍数＋（１または２）、ｊ＝１〜Ｎ）に蓄積された信号電荷は、垂直転送部２１１〜２１Ｎへ並列に転送され、垂直転送部２１１〜２１Ｎにより２ライン分の信号電荷が水平転送部２２へ順次転送される。次に、転送された２ライン分の信号電荷が水平転送部２２により出力部２３へ順次転送され、後述するＡフィールドの画像信号（第１の画像信号に相当する）として出力部２３から１画素ずつ出力される。
【００４４】
ここで、各受光素子ＰＥｉ，ｊから垂直転送部２１１〜２１Ｎへの信号電荷の転送方法についてより詳細に説明する。ここでは、便宜上、垂直転送部２１１について説明する。
【００４５】
まず、タイミングジェネレータ３１からのシフトパルスＳＧ１ａに応答して、第１の受光部ＰＥＡの内、Ｒ色フィルタに対応する受光素子ＰＲｉ，１（ｉ＝４の倍数＋１）の信号電荷が垂直転送部２１１（図３の斜線部）に転送される。つぎに、タイミングジェネレータ３１からの垂直転送パルスＳＧ１ｂに応答して、垂直転送部２１１に転送済みの信号電荷が１受光素子分だけ図３の下方（水平転送部２２の向き）に（図３の斜線部から白抜き部へ）シフトされる。
【００４６】
そして、タイミングジェネレータ３１からのシフトパルスＳＧ１ｃに応答して、第１の受光部ＰＥＡの内、Ｇ色フィルタに対応する受光素子ＰＲｉ，１（ｉ＝４の倍数＋２）の信号電荷が垂直転送部２１１（図３の斜線部）に転送される。このようにして、垂直転送部２１１には、第１の受光部ＰＥＡのＲ色フィルタに対応する受光素子ＰＲｉ，１（ｉ＝４の倍数＋１、ｊ＝１〜Ｎ）の信号電荷とＧ色フィルタに対応する受光素子ＰＲｉ，１（ｉ＝４の倍数＋２、ｊ＝１〜Ｎ）の信号電荷とが交互に配列されることとなる。
【００４７】
ついで、垂直転送部２１１〜２１Ｎにより上記のように配列された２ライン分の（受光素子ＰＲｉ，ｊ（ｉ＝４の倍数＋１）と受光素子ＰＲｉ，ｊ（ｉ＝４の倍数＋２）とに対応する）信号電荷が水平転送部２２へ順次転送されるのである。
【００４８】
なお、後述するシフトパルスＳＧ１（図６参照）は、シフトパルスＳＧ１ａと、垂直転送パルスＳＧ１ｂと、シフトパルスＳＧ１ｃとを纏めて表記したものである。
【００４９】
上記の第１の受光部ＰＥＡに配置された各受光素子ＰＥｉ，ｊ（ｉ＝４の倍数＋（１または２）、ｊ＝１〜Ｎ）に蓄積された信号電荷の転送タイミングとは別のタイミングで、第２の受光部ＰＥＢに配置された各受光素子ＰＥｉ，ｊ（ｉ＝４の倍数＋（３または０）、ｊ＝１〜Ｎ）に蓄積された信号電荷も、上記と同様にして垂直転送部２１１〜２１Ｎ及び水平転送部２２により転送され、後述するＢまたはＣフィールドの画像信号（第２、第３の画像信号に相当する）として出力部２３から１画素ずつ出力される。
【００５０】
上述のように、Ａ，Ｂ及びＣフィールドの画像信号は、連続する２ライン（２行）分の受光素子群であって２ライン（２行）置きの受光素子群（第１の受光部または第２の受光部）からの信号電荷に応じた画像信号である。なお、ＣＣＤ２としては、上記のような動作が可能であれば、他の種類のＣＣＤを用いることができる。
【００５１】
図１に戻って、信号処理部３２は、ＣＣＤ２から出力された信号を相関二重サンプリング処理やＡ／Ｄ変換処理等の信号処理を施し、ディジタル化された画像データ信号としてメモリ４に出力するものである。
【００５２】
メモリ４は、Ａフィールドの画像を格納するＡフィールドメモリ４１と、Ｂフィールドの画像を格納するＢフィールドメモリ４２と、Ｃフィールドの画像を格納するＣフィールドメモリ４３とを備えている。
【００５３】
画像データ処理部５は、Ａ，Ｂ及びＣフィールドに格納された各画像データを読み出して所定の補間処理を施す画像データ補間部５１（第１、第２及び第３補間手段に相当する）と、補間された３つの画像データを合成して１つの画像データを生成する画像データ合成部５２（画像合成手段に相当する）と、合成して得られた画像データをＲ（赤）、Ｇ（緑）及びＢ（青）の３原色の各色ごとにホワイトバランスを調節するホワイトバランス処理部（ＷＢ）５３と、ホワイトバランスが調節された画像データに所定のγ補正処理を施し各色毎にメモリ８に格納するγ補正部５４と、γ補正された画像データ（被写体画像データ）に含まれるＲ、Ｇ及びＢの各色の信号を所定の輝度信号及び色差信号に変換し表示部７２等に出力する色差マトリックス処理部５５と、変換された輝度信号や色差信号を記録媒体９１に記録するためにＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の圧縮処理を施す画像データ圧縮部５６と、表示部７２に画像表示するために圧縮処理された輝度信号や色差信号を記録媒体９１から読み出して伸張処理を施す画像データ伸張部５７とを備えている。
【００５４】
ここで、図４を用いて、画像データ補間部５１によって行なわれる補間処理について説明する。ここでは、Ａフィールドの画像信号を補間する場合について説明する。すなわち、連続する２ライン（２行）分の受光素子群であって２ライン（２行）置きの受光素子群である第１の受光部ＰＥＡからの信号電荷に応じた画像信号を用いて、その他の受光素子群である第２の受光部ＰＥＢに対応する画像信号を補間する場合について説明する。ここで、画像信号ＱＥｉ，ｊ（ｉ＝１〜Ｍ，ｊ＝１〜Ｎ）を、受光素子ＰＥｉ，ｊ（ｉ＝１〜Ｍ，ｊ＝１〜Ｎ）の信号電荷に対応した画像信号とする。
【００５５】
第２の受光部ＰＥＢに対応する画像信号ＱＥｉ，ｊ（ｉ＝４の倍数＋（３または０）、ｊ＝１〜Ｎ）の内、色フィルタ１３のＲ及びＢ色フィルタに対応する位置の画像信号ＱＥｉ，ｊは、注目位置に対して距離の近い周囲の６つの画像信号ＱＥｉ，ｊを用いて補間する。具体的には、次の（１）式を用いて補間する。
ＱＥｉ，ｊ＝（ＱＥｉ−２，ｊ−２＋ＱＥｉ−２，ｊ＋ＱＥｉ−２，ｊ＋２＋ＱＥｉ＋２，ｊ−２＋ＱＥｉ＋２，ｊ＋ＱＥｉ＋２，ｊ＋２）／６ （１）
【００５６】
第２の受光部ＰＥＢに対応する画像信号ＱＥｉ，ｊ（ｉ＝４の倍数＋（３または０）、ｊ＝１〜Ｎ）の内、色フィルタ１３のＧ色フィルタに対応する位置の画像信号ＱＥｉ，ｊは、注目位置に対して距離の近い周囲の４つの画像信号ＱＥｉ，ｊを用いて補間する。具体的には、次の（２）または（３）式を用いて補間する。
ＱＥｉ，ｊ＝（ＱＥｉ−１，ｊ−１＋ＱＥｉ−１，ｊ＋１＋ＱＥｉ−２，ｊ＋ＱＥｉ＋２，ｊ）／４ （２）
ＱＥｉ，ｊ＝（ＱＥｉ＋１，ｊ−１＋ＱＥｉ＋１，ｊ＋１＋ＱＥｉ−２，ｊ＋ＱＥｉ＋２，ｊ）／４ （３）
【００５７】
Ｂ及びＣフィールドの画像信号についても同様の方法で補間処理が施される。なお、ここでは、各画像信号ＱＥｉ，ｊを単純平均することによって補間しているが、その他の方法を用いて補間する形態でもよい。例えば、予め設定された重みを用いて加重平均することによって補間してもよい。また、色フィルタ１３のＲ及びＢ色フィルタに対応する位置の画像信号ＱＥｉ，ｊは、注目位置に対して距離の近い周囲の６つの画像信号ＱＥｉ，ｊを用いて補間し、色フィルタ１３のＧ色フィルタに対応する位置の画像信号ＱＥｉ，ｊは、注目位置に対して距離の近い周囲の４つの画像信号ＱＥｉ，ｊを用いて補間しているが、補間に使用する画素信号の数は上記に限定されず、適宜、選択することが可能である。
【００５８】
つぎに、図５を用いて画像データ合成部５２によって行なわれる画像データの合成処理について説明する。ここでは、画像データ補間部５１によって補間された画像データが各画素について１０ビットである場合について説明する。Ａフィールドの画像信号に対応する補間後の１０ビットの画像データＱＥＡｉ，ｊと、Ｂフィールドの画像信号に対応する補間後の１０ビットの画像データＱＥＢｉ，ｊと、Ｃフィールドの画像信号に対応する補間後の１０ビットの画像データＱＥＣｉ，ｊとを加算して、１２ビットの画像データＱＥＤｉ，ｊを得る。ただし、ｉ＝１〜Ｍ，ｊ＝１〜Ｎであって、上記演算は対応する位置の画素毎に行なうものである。
【００５９】
なお、本実施形態では、Ａ、Ｂ及びＣフィールドの画像信号に対応する補間後の画像データを加算することによって合成する場合について説明したが、他の方法を用いて合成する形態でもよい。例えば、Ａ、Ｂ及びＣフィールドの画像信号に対応する補間後の画像データを予め設定された所定の重みを用いて加重平均する形態でもよい。
【００６０】
再び、図１に戻って、全体制御部６は、外部から操作された操作部７１からの信号に応じて、レンズ駆動部１１、メカニカルシャッタ１２、ＣＣＤ駆動部３、画像データ処理部５、記録部９及び測光部１０等を制御するものである。
【００６１】
操作部７１は、電源スイッチ、レリーズボタン、記録／再生等のモード切替スイッチ、画像再生時のコマ送りスイッチ、ズームスイッチ等であって、ディジタルカメラに設けられており、外部より操作されるスイッチ群で構成される。
【００６２】
メモリ８は、γ補正部５４によりγ補正された各色の画像データを格納するものであり、格納された画像データは色差マトリックス処理部５５に出力される。また、図示していないが、撮像日時等の関連情報も画像ファイルのヘッダ情報として、画像データと同時に記録部９により記録媒体９１に記録される。
【００６３】
測光部１０は、レリーズボタンの半押しで撮影準備動作としての測光（その他測距）を行ない、測光値から適性絞り値と、適正露光時間とを設定する。なお、本実施形態においては、後述する図６に示すように適正露光時間Ｔ２に基づいて露光時間Ｔ１、Ｔ３を設定している。
【００６４】
なお、上記各スイッチ群及び各部に電力を供給するための電源は図示を省略する。また、上記ディジタルカメラを構成する各部は、必要に応じてＣＰＵ、ＲＯＭ、ＲＡＭ等で構成されているものとする。
【００６５】
次に、上記のように構成されたディジタルカメラの動作について説明する。図６は、図１に示すディジタルカメラのＣＣＤ２及びタイミングジェネレータ３１の動作を説明するためのタイミングチャートである。なお、図６に示す制御パルスＳＵＢ、シフトパルスＳＧ１，ＳＧ２は、タイミングジェネレータ３１からＣＣＤ２へ制御信号ＳＣ１として出力される信号である。
【００６６】
まず、外部からレリーズボタン（図示省略）が押下されるレリーズ操作が行なわれると、メカニカルシャッタ１２が設定された絞り値に応じた開度で開状態とされる。図６では、メカニカルシャッタ１２を開閉させる信号をメカニカルシャッタ信号ＭＳとして図示しており、メカニカルシャッタ信号ＭＳがローレベルの間、メカニカルシャッタ１２が閉状態であることを示し、ハイレベルの間、メカニカルシャッタ１２が開状態であることを示している。
【００６７】
上記の状態において、タイミングジェネレータ３１は、設定された露光時間を正確に制御するため、時刻ｔａにおいて制御パルスＳＵＢを発生させる。発生された制御パルスＳＵＢに応答して、ＣＣＤ２の第１の受光部ＰＥＡ及び第２の受光部ＰＥＢ、すなわち、全受光素子ＰＥｉ，ｊに蓄積されている残留電荷が吐き出される（初期化される）。制御パルスＳＵＢと同期してメカニカルシャッタ信号ＭＳがローレベルからハイレバルに変更される。従って、時刻ｔａを露光時間Ｔ１，Ｔ２の始点として、第１の受光部ＰＥＡ及び第２の受光部ＰＥＢの露光が開始され、第１の受光部ＰＥＡを構成する各受光素子ＰＥｉ，ｊ（ｉ＝４の倍数＋（１または２）、ｊ＝１〜Ｎ）に蓄積されている信号電荷ＡＣ及び第２の受光部ＰＥＢを構成する各受光素子ＰＥｉ，ｊ（ｉ＝４の倍数＋（３または０）、ｊ＝１〜Ｎ）に蓄積されている信号電荷ＢＣの量が時間とともに増加される（電荷が蓄積される）。
【００６８】
次に、タイミングジェネレータ３１は、露光時間Ｔ２が経過した時刻ｔｂにおいてシフトパルスＳＧ１を発生させる。発生されたシフトパルスＳＧ１に応答して、ＣＣＤ２の第２の受光部ＰＥＢを構成する各受光素子ＰＥｉ，ｊの信号電荷が垂直転送部２１１〜２１Ｎへ転送されるとともに、２ラインずつ垂直転送部２１１〜２１Ｎから水平転送部２２へ転送され、第２の受光部ＰＥＢの第１の画像信号ＢＦＤ（Ｂフィールドの画像信号）が読み出される。その結果、出力部２３から出力される画像信号ＲＤとして、第２の受光部ＰＥＢの第１の画像信号ＢＦＤが出力される。同時にこの第２の受光部ＰＥＢに対して時刻ｔｂからの新たな露光が開始される。
【００６９】
次に、露光時間Ｔ３が経過した時刻ｔｃにおいて、メカニカルシャッタ信号ＭＳがハイレベル（開状態）からローレベル（閉状態）に変化して、メカニカルシャッタ１２が閉状態になると、第１及び第２の各受光部の露光が終了し、第２の受光部ＰＥＢの各受光素子ＰＥｉ，ｊの信号電荷は、露光時間Ｔ３において蓄積された信号電荷となり、第１の受光部ＰＥＡの各受光素子ＰＥｉ，ｊの信号電荷は、露光時間Ｔ１において蓄積された信号電荷となる。
【００７０】
そして、タイミングジェネレータ３１は、第２の受光部ＰＥＢの第１の画像信号ＢＦＤの読み出しが終了した時刻ｔｄにおいてシフトパルスＳＧ１を発生させる。発生されたシフトパルスＳＧ１に応答して、ＣＣＤ２の第２の受光部ＰＥＢの各受光素子ＰＥｉ，ｊの信号電荷ＢＣが垂直転送部２１１〜２１Ｎへ転送されるとともに、２ラインずつ垂直転送部２１１〜２１Ｎから水平転送部２２へ転送され、第２の受光部ＰＥＢの第２の画像信号ＣＦＤ（Ｃフィールドの画像信号）が読み出される。その結果、出力部２３から出力される画像信号ＲＤとして、第２の受光部ＰＥＢの第２の画像信号ＣＦＤが出力される。
【００７１】
次いで、タイミングジェネレータ３１は、第２の受光部ＰＥＢの第２の画像信号ＣＦＤの読み出しが終了した時刻ｔｅにおいてシフトパルスＳＧ２を発生させる。発生されたシフトパルスＳＧ２に応答して、ＣＣＤ２の第１の受光部ＰＥＡの各受光素子ＰＥｉ，ｊの信号電荷ＡＣが垂直転送部２１１〜２１Ｎへ転送されるとともに、２ラインずつ垂直転送部２１１〜２１Ｎから水平転送部２２へ転送され、第１の受光部ＰＥＡの画像信号ＡＦＤ（Ａフィールドの画像信号）が読み出される。その結果、出力部２３から出力される画像信号ＲＤとして、第１の受光部ＰＥＡの画像信号ＡＦＤが出力される。
【００７２】
本実施形態では、露光時間Ｔ２は適正露光時間の０．５倍に、露光時間Ｔ３は適正露光時間の１．０倍に予め設定されているものとする（その結果、後述するように露光時間Ｔ１は適正露光時間の約１．５倍に設定されることになる）。そのため、露光時間Ｔ２において形成された第２の受光部ＰＥＢの第１の画像信号ＢＦＤを、露光時間Ｔ１において形成された第１の受光部ＰＥＡの画像信号ＡＦＤより約３倍飽和しにくくすることができる。
【００７３】
また、露光時間Ｔ２，Ｔ３は、露光時間Ｔ１を分割して作成したものであり、シフトパルスＳＧ１のパルス幅が充分に短く、このパルス幅を無視すると、Ｔ１＝Ｔ２＋Ｔ３となり、第１の受光部ＰＥＡの露光時間Ｔ１と第２の受光部ＰＥＢの露光時間Ｔ２，Ｔ３とが時間的に重なっていることになる。従って、第２の受光部ＰＥＢの第１及び第２の画像信号ＢＦＤ，ＣＦＤと、第１の受光部ＰＥＡの画像信号ＰＥＡとが、ほぼ同時に撮影された画像信号となり、第２の受光部ＰＥＢの第１及び第２の画像信号ＢＦＤ，ＣＦＤを、第１の受光部ＰＥＡの画像信号ＰＥＡに対してブレのない画像信号にすることができる。
【００７４】
更に、第２の受光部ＰＥＢの第１の画像信号ＢＦＤが読み出された後に、第２の受光部ＰＥＢの第２の画像信号ＣＦＤが読み出され、第２の受光部ＰＥＢの第２の画像信号ＣＦＤが読み出された後に、第１の受光部ＰＥＡの画像信号ＡＦＤが読み出されているので、露光時間の短い順に各画像信号が読み出され、露光終了から読み出しまでの期間に発生するノイズの影響を少なくすることができる。
【００７５】
また、露光時間Ｔ２をＣＣＤ３に電子シャッタ動作により制御しているので、最も短い露光時間Ｔ２を正確に制御することができるとともに、露光時間Ｔ１，Ｔ３の終点をメカニカルシャッタのメカニカルシャッタ動作により制御しているので、露光時間Ｔ１，Ｔ３を同時に終了させて第１の受光部ＰＥＡ及び第２の受光部ＰＥＢに入射される光を遮断することができ、充分な読み出し時間を確保して第２の受光部ＰＥＢの第１及び第２の画像信号ＢＦＤ，ＣＦＤ並びに第１の受光部ＰＥＡの画像信号ＡＦＤを順に読み出すことができる。
【００７６】
なお、露光時間Ｔ１、Ｔ２、Ｔ３は、上記の例に特に限定されず、種々の時間を用いることができるが、合成された画像（被写体画像）信号をダイナミックレンジの広い画像信号となるようにするために、露光時間Ｔ２は適正露光時間の０．３〜０．９倍であり、露光時間Ｔ３は適正露光時間の略１．０倍であることが好ましい。露光時間Ｔ１、Ｔ２及びＴ３が、適正露光時間を中心として適度に異なる露光時間となるからである。また、露光時間Ｔ２より露光時間Ｔ３が短くなるように、露光時間Ｔ２，Ｔ３を設定してもよい。この場合には、適正露光時間の画像信号（第２の受光部ＰＥＢの第１及び第２の画像信号ＢＦＤ）がレリーズ操作のタイミングに近い画像信号となるため、シャッタータイミングを優先させた被写体画像信号が得られる。
【００７７】
上記のようにして読み出された第２の受光部ＰＥＢの第１及び第２の画像信号ＢＦＤ，ＣＦＤ並びに第１の受光部ＰＥＡの画像信号ＡＦＤは、信号処理部３２により相関二重サンプリング処理された後に、例えば、１０ビットのディジタルデータに変換され、第２の受光部ＰＥＢの第１及び第２の画像データＢＦＤ，ＣＦＤ並びに第１の受光部ＰＥＡの画像データＡＦＤとして出力される。
【００７８】
次に、１０ビットの第１の受光部ＰＥＡの画像データＡＦＤは、メモリ４のＡフィールドメモリ４１に格納され、１０ビットの第２の受光部ＰＥＢの第１の画像データＢＦＤはＢフィールドメモリ４２に格納され、１０ビットの第２の受光部ＰＥＢの第２の画像データＣＦＤはＣフィールドメモリ４２に格納される。
【００７９】
そして、画像データ補間部５１によって、Ａフィールドメモリ４１、Ｂフィールドメモリ４２及びＣフィールドメモリ４３からそれぞれ画像データＡＦＤ，ＢＦＤ及びＣＦＤが読み出され、それぞれ補間処理が施されて全画面に対応する３つの画像データが生成される。そして、画像データ合成部５２によって、生成された３つの画像データに合成処理が施され、１つの画像データが生成される。
【００８０】
ついで、ホワイトバランス処理部（ＷＢ）５３によって、この画像データのホワイトバランスが調節され、γ補正部５４によって、画像データに所定のγ補正が施され、所望のγ特性を有する画像データに変換され、被写体画像データとしてメモリ３に格納される。
【００８１】
そして、被写体画像を表示部７２に出力する場合には、色差マトリックス処理部５５によって、被写体画像データに含まれるＲ、Ｇ及びＢの各色の信号が所定の輝度信号及び色差信号に変換されて、表示部７２に出力される。また、変換された輝度信号や色差信号は、画像データ圧縮部５６によって、圧縮処理が施され記録媒体９１に格納される。また、記録媒体９１に格納された画像データを表示部７２に画像表示する場合には、画像データ伸張部５７によって、読み出され伸張処理が施され、表示部７２に出力される。
【００８２】
このように、時間的に重なってほぼ同時に撮影された、低感度（低Ｓ／Ｎ比）ではあるが飽和しにくい第２の受光部ＰＥＢの第１の画像データＢＦＤ及び通常の感度の第２の受光部ＰＥＢの第２の画像データＣＦＤと、高感度（高Ｓ／Ｎ比）の第１の受光部ＰＥＡの画像信号ＡＦＤとを用いて、ダイナミックレンジを拡張し、かつ良好な画質を有する１枚のカラー静止画像（被写体画像）を得ることができる。
【００８３】
すなわち、本実施の形態では、露光時間Ｔ２は適正露光時間の０．５倍に設定され、露光時間Ｔ１は適正露光時間の約１．５倍に設定されているため、第２の受光部ＰＥＢの第１の画像信号ＢＦＤを第１の受光部ＰＥＡの画像信号ＡＦＤより約３倍飽和しにくくなる。
【００８４】
また、露光時間Ｔ１と露光時間Ｔ２，Ｔ３とが時間的に重なっているため、第２の受光部ＰＥＢの第１及び第２の画像信号ＢＦＤ，ＣＦＤと第１の受光部ＰＥＡの画像信号ＡＦＤとがほぼ同時に撮影された画像信号となるので、第１の受光部ＰＥＡの画像信号ＡＦＤに対してブレのない第２の受光部ＰＥＢの第１及び第２の画像信号ＢＦＤ，ＣＦＤを得ることができる。
【００８５】
更に、露光時間Ｔ１，Ｔ２，Ｔ３はそれぞれ適正露光時間の約１．５倍、０．５倍及び１．０倍となり、第２の受光部ＰＥＢの第１の画像信号ＢＦＤと、第２の受光部ＰＥＢの第２の画像信号ＣＦＤと、第１の受光部ＰＥＡの画像信号ＡＦＤとは露光時間の適度に異なる画像信号となる。そこで、これら３つの画像信号を補間した後に合成されて生成される被写体の画像信号は、ダイナミックレンジの広い画像信号となる。
【００８６】
なお、本発明は以下の形態をとることができる。
【００８７】
（Ａ）本実施形態においては、第１及び第２の受光部が連続する２ライン分の受光素子群であって２ライン置きの受光素子群である場合について説明したが、連続する複数ライン分の受光素子群であって同一複数ライン置きの受光素子群である形態でもよい。
【００８８】
（Ｂ）本実施形態においては、Ａ，Ｂ，Ｃフィールドの画像信号が連続する２ライン分の受光素子群であって２ライン置きの受光素子群からの信号電荷に対応する画像信号である場合について説明したが、少なくともＢフィールドの画像信号が連続する２ライン分の受光素子群であって２ライン置きの受光素子群からの信号電荷に対応する画像信号である形態であればよい。すなわち、Ａ及びＣフィールドの画像信号は、例えば、一般的なインターレース読出しによって得られる画像信号である形態でもよい。この場合に、例えばＡ’フィールドを奇数ラインとし、Ｃ’フィールドを偶数ラインとする形態でもよい。ただし、この場合には、メモリ４と画像データ補間部５１との間、または、信号制御部３２とメモリ４との間に画像信号を振り分ける機能部が必要となる。
【００８９】
メモリ４と画像データ補間部５１との間に画像信号を振り分ける信号振り分け部を設ける場合について、信号振り分け部の機能を具体的に説明する。ここで、Ａ’、Ｂ’及びＣ’フィールドの画像信号に対応する画像データＲＥＡｉ，ｊ（ｉ＝１〜Ｍの奇数，ｊ＝１〜Ｎ）、ＲＥＢｉ，ｊ（ｉ＝４の倍数＋（３または０）、ｊ＝１〜Ｎ）及びＲＥＣｉ，ｊ（ｉ＝１〜Ｍの偶数，ｊ＝１〜Ｎ）は、それぞれ、Ａフィールドメモリ４１、Ｂフィールドメモリ４２及びＣフィールドメモリ４３に格納されているものとする。
【００９０】
信号振り分け部は、Ａ’フィールドの画像信号に対応する画像データＲＥＡｉ，ｊの内、第１の受光部ＰＥＡに含まれる受光素子からの画像データＲＥＡｉ，ｊ（ｉ＝４の倍数＋１、ｊ＝１〜Ｎ）と、Ｃ’フィールドの画像信号に対応する画像データＲＥＣｉ，ｊの内、第１の受光部ＰＥＡに含まれる受光素子からの画像データＲＥＣｉ，ｊ（ｉ＝４の倍数＋２、ｊ＝１〜Ｎ）とをメモリ４から読み出して、画像データ補間部５１に出力する。データ補間部５１は、これらの画像データを用いて本実施形態と同様の補間処理を行ない画像データ合成部５２に供給する第１の受光部ＰＥＡでの露光時間Ｔ１における画像信号（第１の画像信号）に基づく画像データを生成する。
【００９１】
また、信号振り分け部は、Ｂ’（＝Ｂ）フィールドの画像信号に対応する画像データＲＥＢｉ，ｊをメモリ４から読み出して、画像データ補間部５１に出力する。データ補間部５１は、これらの画像データを用いて本実施形態と同様の補間処理を行ない画像データ合成部５２に供給する第２の受光部ＰＥＢでの露光時間Ｔ２における画像信号（第２の画像信号）に基づく画像データを生成する。
【００９２】
さらに、信号振り分け部は、Ａ’フィールドの画像信号に対応する画像データＲＥＡｉ，ｊの内、第２の受光部ＰＥＢに含まれる受光素子からの画像データＲＥＡｉ，ｊ（ｉ＝４の倍数＋３、ｊ＝１〜Ｎ）と、Ｃ’フィールドの画像信号に対応する画像データＲＥＣｉ，ｊの内、第２の受光部ＰＥＢに含まれる受光素子からの画像データＲＥＣｉ，ｊ（ｉ＝４の倍数＋０、ｊ＝１〜Ｎ）とをメモリ４から読み出して、画像データ補間部５１に出力する。データ補間部５１は、これらの画像データを用いて本実施形態と同様の補間処理を行ない画像データ合成部５２に供給する第２の受光部ＰＥＢでの露光時間Ｔ３における画像信号（第３の画像信号）に基づく画像データを生成する。
【００９３】
（Ｃ）本実施形態においては、Ａ，Ｂ，Ｃフィールドの画像信号をそれぞれ補間して得られる３枚の全面画像データを合成する場合について説明したが、Ａ，Ｂフィールドの画像信号をそれぞれ補間して得られる２枚の全面画像データを合成する形態でもよい。この場合には、合成された画像信号のダイナミックレンジを広くするために、露光時間Ｔ１を適正露光時間の１．５〜２．５倍とし、露光時間Ｔ２を適正露光時間の約０．５倍とすることが好ましい。露光時間Ｔ１及びＴ２が、適正露光時間を中心として適度に異なる露光時間となるからである。
【００９４】
（Ｄ）本実施形態においては、Ａ，Ｂ，Ｃフィールドの画像信号をそれぞれ補間して得られる３枚の全面画像データを合成する場合について説明したが、Ｂ，Ｃフィールドの画像信号を階調合成したものとＡフィールドの画像信号とを補間合成する形態でもよい。
【００９５】
この場合の一例についてより具体的に説明する。Ｂ，Ｃフィールドの画像信号、すなわち、第２の受光部ＰＥＢの第１の画像データＢＦＤ（例えば１０ビットのデータ）と、第２の受光部ＰＥＢの第２の画像データＣＦＤ（例えば１０ビットのデータ）とを階調合成して、第２の受光部ＰＥＢの画像データＤＦＤ（１１ビットのデータ）を生成する。つぎに、Ａフィールドの画像信号、すなわち、第１の受光部ＰＥＡの画像データＡＦＤ（例えば１０ビットのデータ）を２倍して１１ビットの画像データＡＦＤ２を生成する。そして、第２の受光部ＰＥＢの画像データＤＦＤ（１１ビットのデータ）と第１の受光部ＰＥＡの画像データＡＦＤ２（１１ビットのデータ）とを補間合成して全面画像データを得る。
【００９６】
【発明の効果】
請求項１に記載の発明によれば、被写体の画像信号は、露光時間が異なり、且つ、原色（または補色）全てが含まれている第１、第２及び第３の画像信号が合成されて生成されるため、ダイナミックレンジの広い画像の品位の良好な画像信号とすることができる。
【００９７】
請求項２に記載の発明によれば、信号電荷を読み出すことによって第１、第２及び第３の画像信号が生成されるため、容易に且つ短時間に第１、第２及び第３の画像信号を生成することができる。
【００９８】
請求項３に記載の発明によれば、第４、第５及び第６の画像信号が合成されて生成される被写体の画像信号は、画質の良好な露光時間の異なる３つの画像信号が合成されることによって得られるため、ダイナミックレンジの広い画質の良好な画像信号とすることができる。
【００９９】
請求項４に記載の発明によれば、第１、第２及び第３の画像信号は露光時間の適度に異なる画像信号となるため、これらが合成されて生成される被写体の画像信号を、ダイナミックレンジの広い画像信号とすることができる。
【０１００】
請求項５に記載の発明によれば、被写体の画像信号が、画質の良好な露光時間の異なる第４及び第５の画像信号が合成されて生成されるため、ダイナミックレンジの広い画質の良好な画像信号を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態であるディジタルカメラの主要部の構成を示すブロック図である。
【図２】色フィルタの色配列の説明図である。
【図３】ＣＣＤの構成を示すブロック図である。
【図４】画像データ補間部によって行なわれる補間処理の説明図である。
【図５】画像データの合成処理の説明図である。
【図６】図１に示すディジタルカメラのＣＣＤ及びタイミングジェネレータの動作を説明するためのタイミングチャートである。
【符号の説明】
１ レンズ
１０ 測光部
１１ レンズ駆動部
１２ メカニカルシャッタ
１３ 色フィルタ
２ ＣＣＤ（画像生成手段）
２１１〜２１Ｎ 垂直転送部（信号読出し手段の一部）
２２ 水平転送部（信号読出し手段の一部）
２３ 出力部（信号読出し手段の一部）
３ ＣＣＤ駆動部
３１ タイミングジェネレータ（信号読出し手段の一部及び露光時間設定手段）
３２ 信号処理部
４ メモリ
５ 画像データ処理部
５１ 画像データ補間部（第１、第２及び第３補間手段）
５２ 画像データ合成部（画像合成手段）
５３ ホワイトバランス処理部
５４ γ補正部
５５ 色差マトリックス処理部
５６ 画像データ圧縮部
５７ 画像データ伸張部
６ 全体制御部
７１ 操作部
７２ 表示部
８ メモリ
９ 記録部
Claims (5)
- マトリクス状に配列された複数の受光素子及びその前面に所定の色配列を有する色フィルタを備えてなる受光部と、所定の露光時間において前記受光部を露光することにより被写体のカラー画像を生成する制御部とを備えたカラー撮像装置において、
前記制御部は、第１の露光時間と前記第１の露光時間を分割した第２及び第３の露光時間とを設定する露光時間設定手段と、
前記受光素子の内、連続する複数ライン分の受光素子群であって同一複数ライン置きの受光素子群からなる第１の受光部での前記第１の露光時間における各受光素子の蓄積電荷から第１の画像信号を生成し、前記受光素子の内、前記第１の受光部以外の受光素子群からなる第２の受光部での前記第２の露光時間における各受光素子の蓄積電荷から第２の画像信号を生成し、前記第２の受光部での前記第３の露光時間における各受光素子の蓄積電荷から第３の画像信号を生成する画像生成手段と、
前記第１、第２及び第３の画像信号を合成して被写体の画像信号を生成する画像合成手段とを備えることを特徴とするカラー撮像装置。 - 前記画像生成手段は、前記第１の露光時間において前記第１の受光部により光電変換された信号電荷を第１の画像信号として読み出し、前記第２の露光時間において前記第２の受光部により光電変換された信号電荷を第２の画像信号として読み出し、前記第３の露光時間において前記第２の受光部により光電変換された信号電荷を第３の画像信号として読み出す信号読出し手段を備えることを特徴とする請求項１に記載のカラー撮像装置。
- 前記合成手段は、前記第１の画像信号を用いて前記第２の受光部に対応する画像信号を補間して第４の画像信号を生成する第１補間手段と、前記第２の画像信号を用いて前記第１の受光部に対応する画像信号を補間して第５の画像信号を生成する第２補間手段と、前記第３の画像信号を用いて前記第１の受光部に対応する画像信号を補間して第６の画像信号を生成する第３補間手段とを備え、前記第４、第５及び第６の画像信号を合成して被写体の画像信号を生成することを特徴とする請求項１または２に記載のカラー撮像装置。
- 前記第２の露光時間は適正露光時間の０．３〜０．９倍であり、前記第３の露光時間は適正露光時間の略１．０倍であることを特徴とする請求項１〜３のいずれかに記載のカラー撮像装置。
- 前記第２の露光時間は前記第３の露光時間より短く、前記合成手段は、前記第１の画像信号を用いて前記第２の受光部に対応する画像信号を補間して第４の画像信号を生成する第１補間手段と、前記第２の画像信号を用いて前記第１の受光部に対応する画像信号を補間して第５の画像信号を生成する第２補間手段とを備え、前記第４及び第５の画像信号を合成して被写体の画像信号を生成することを特徴とする請求項１または２に記載のカラー撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002037404A JP3627711B2 (ja) | 2002-02-14 | 2002-02-14 | カラー撮像装置 |
| US10/107,909 US20020141002A1 (en) | 2001-03-28 | 2002-03-27 | Image pickup apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002037404A JP3627711B2 (ja) | 2002-02-14 | 2002-02-14 | カラー撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003244710A JP2003244710A (ja) | 2003-08-29 |
| JP3627711B2 true JP3627711B2 (ja) | 2005-03-09 |
Family
ID=27779014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002037404A Expired - Fee Related JP3627711B2 (ja) | 2001-03-28 | 2002-02-14 | カラー撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3627711B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7830435B2 (en) * | 2003-09-03 | 2010-11-09 | Eastman Kodak Company | Image sensor and image capture system with extended dynamic range |
| KR100763656B1 (ko) | 2006-06-02 | 2007-10-11 | 엠텍비젼 주식회사 | 이미지 센서 및 이미지 처리 방법 |
| JP4877359B2 (ja) | 2009-02-10 | 2012-02-15 | ソニー株式会社 | 固体撮像装置及び撮像装置 |
| JP5302058B2 (ja) * | 2009-03-17 | 2013-10-02 | 富士フイルム株式会社 | 撮像装置および撮像方法 |
| JP2014086889A (ja) | 2012-10-24 | 2014-05-12 | Toshiba Corp | 固体撮像装置 |
-
2002
- 2002-02-14 JP JP2002037404A patent/JP3627711B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003244710A (ja) | 2003-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20020141002A1 (en) | Image pickup apparatus | |
| EP2181349B1 (en) | Image sensing apparatus | |
| JP5150795B2 (ja) | 撮像装置及び撮像方法 | |
| JP2009268073A (ja) | 撮像装置及び撮像装置の信号処理方法 | |
| JPH10210367A (ja) | 電子的撮像装置 | |
| JP2007221423A (ja) | 撮像装置 | |
| JP2011114558A (ja) | 撮像装置及び撮像方法 | |
| JPWO2012014553A1 (ja) | 撮像装置及び撮像方法 | |
| JP2002084449A (ja) | 固体撮像素子を用いた撮像装置 | |
| US20060197854A1 (en) | Image capturing apparatus and computer software product | |
| JP2007027845A (ja) | 撮像装置 | |
| JP2006261929A (ja) | 撮像装置 | |
| JP5138521B2 (ja) | 撮像装置及び撮像方法 | |
| JP2011055327A (ja) | 撮影装置及びその制御方法 | |
| JP2009021985A (ja) | 撮像装置及び撮像装置の駆動方法 | |
| JP3627711B2 (ja) | カラー撮像装置 | |
| KR100525690B1 (ko) | 촬상 장치 | |
| JP2004007133A (ja) | 撮像装置 | |
| JP4282262B2 (ja) | 撮像装置 | |
| JP4279562B2 (ja) | 固体撮像装置の制御方法 | |
| JP2010161739A (ja) | 複眼撮像装置及び撮像制御方法 | |
| JP4243462B2 (ja) | 固体撮像装置および受光素子の感度対応出力調整方法 | |
| JP2007088842A (ja) | 撮像装置、および撮像素子の駆動方法 | |
| JP3738654B2 (ja) | デジタルカメラ | |
| JP2004194248A (ja) | 撮像素子及び撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041129 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071217 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081217 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081217 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091217 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091217 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101217 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111217 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121217 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121217 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131217 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |