JP2003116147A - 固体撮像装置 - Google Patents
固体撮像装置Info
- Publication number
- JP2003116147A JP2003116147A JP2001311354A JP2001311354A JP2003116147A JP 2003116147 A JP2003116147 A JP 2003116147A JP 2001311354 A JP2001311354 A JP 2001311354A JP 2001311354 A JP2001311354 A JP 2001311354A JP 2003116147 A JP2003116147 A JP 2003116147A
- Authority
- JP
- Japan
- Prior art keywords
- image pickup
- color
- color filters
- color filter
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
像データを得ることができると共に、高感度な撮像がで
きる固体撮像装置の提供を目的とする。 【解決手段】 一方の撮像手段の色フィルタ配置パター
ンを、正方格子62の4隅にCyを配置し、何れかのC
yを中心に配置すると共に正方格子62に対して水平及
び垂直方向に半ピッチずれた正方格子64の対角の組が
MgとGとなるように配置し、それぞれ水平方向に隣接
して同色を配置する。他方の撮像手段の色フィルタ配置
パターンを、正方格子66の4隅にYeを配置し、何れ
かのYeを中心に配置すると共に正方格子66に対して
水平及び垂直方向に半ピッチずれた正方格子68の対角
の組がGとMgとなるように配置し、それぞれ水平方向
に隣接して同色を配置する。そして、それぞれの色フィ
ルタを介して得られる画素データが重複しない正方格子
となるように合成し、完全色差順次の配列の画素データ
を得る。
Description
かり、特に、デジタルカメラや動画撮影に用いられる固
体撮像装置に関する。
カメラが普及しつつある。この普及は、銀塩カメラの解
像度に相当する画像が得られ、搭載した液晶表示モニタ
ですぐに鑑賞できる点や撮影することによって得られる
画像データをコンピュータに取り込んで活用できる点な
どが挙げられる。特に、画像の解像度を向上させると共
に、コストダウンも鑑みて、撮像素子の画素サイズは小
さくなる傾向にある。この場合、光源変換を行なう固体
撮像素子(受光素子)は画素数の増加に伴って1個あた
りの受光単位面積が小さくなるため感度を低下させてし
まう。画像の高画質化には、解像度と感度の両方を高め
る必要があるが、解像度と感度は相反するものである。
共に、各CCDにそれぞれ赤色、緑色及び青色を透過さ
せるフィルタを設けた、所謂3板色撮像装置を採用して
高解像度なRGB信号を得ることが可能である。しかし
ながら、原色フィルタを用いるため補色に比べて感度が
低い。
としては、例えば、特開平6−86301号公報や特開
平7−288824号公報に記載の技術などが挙げられ
る。
−288824号公報に記載の技術では、2つのCCD
上にそれぞれ同じ配列の補色市松カラーフィルタを設
け、それぞれのCCD上に設ける補色市松カラーフィル
タの位置関係が水平方向に1画素ずれるように配置して
いる。すなわち、第1のフィルタのマゼンタ(Mg)に
第2のフィルタのグリーン(G)が対応し、第1のフィ
ルタのイエロー(Ye)に第2のフィルタのシアン(C
y)が対応する、と言ったように配置し、垂直方向に並
ぶ4画素の信号からR、G、Bを抽出するようにしてい
る。このように配置することによって、水平方向の解像
度を上げることができ、補色フィルタを用いることによ
る感度を向上させることができる。
6−86301号公報及び特開平7−288824号公
報に記載の技術では、水平方向の解像度を向上すること
ができるので、動画では解像度向上が見込めるが、静止
画では垂直方向の解像度を向上できない、という問題が
ある。
ので、静止画、動画共に汎用性のある高解像度な画像デ
ータを得ることができると共に、高感度な撮像ができる
固体撮像装置の提供を目的とする。
に請求項1に記載の発明は、光電変換する複数の受光素
子が2次元的に配列された受光部における単位受光部配
列が非正方格子配列とされ、光入射側に補色の色フィル
タが設けられた2つの撮像手段と、前記2つの撮像手段
の各々に同一被写体像を結像するように入射光を案内す
る案内手段と、前記2つの撮像手段のそれぞれの光電変
換により得られる非正方格子配列の画像データにおける
それぞれの前記受光部中心位置を重ね合わせることによ
り、前記撮像手段の各々の受光素子の各々の位置が重複
しない正方格子配列の画像データとなるように合成する
合成手段と、を含むことを特徴としている。
像手段は、光電変換する複数の受光素子が2次元的に配
列された受光部における単位受光部配列が非正方格子配
列とされている。例えば、非正方格子配列とされたそれ
ぞれの撮像手段は、受光素子と該受光素子に隣接する受
光素子とが水平及び垂直方向にそれぞれずらされて配置
された、所謂ハニカム形状のCCDを用いることができ
る。また、それぞれの撮像手段の光入射側には、補色の
色フィルタが設けられており、原色の色フィルタに比べ
て撮像手段の感度を高感度にすることができる。
体像が結像するように入射光が案内されるので、2つの
撮像手段には、同一被写体像が結像される。案内手段と
しては、例えば、ビームスプリッタやハーフミラー等を
用いることが可能である。
り得られる非正方格子配列の画像データにおける受光部
中心位置を重ね合わせることにより、撮像手段の各々の
受光素子の各々の位置が重複しない正方格子配列の画像
データとなるように合成される。すなわち、非正方格子
配列の2つの撮像手段それぞれより得られる画像データ
における仮想画素がそれぞれの撮像手段より得られる画
像データにより補間され、静止画や動画に拘わらず虚画
素補間処理を行うことなく高解像度な正方格子配列の画
像データを得ることができる。
解像度な画像データを得ることができると共に、高感度
な撮像ができる。
成後の正方格子配列の画像データにおける色配列が完全
色差順次配列となるように2つの撮像手段の補色フィル
タを配列することにより、静止画、動画共に汎用性のあ
る高解像度な画像データを得ることができると共に、高
感度な撮像が可能となる。
補色フィルタ配列としては、例えば、請求項3に記載の
発明のように、一方の撮像手段に設けられた補色の色フ
ィルタ配列を、シアンの色フィルタを4隅に配置する正
方格子と、水平方向に隣接する色フィルタが同色でかつ
対角の組がマゼンタ及びグリーンの色フィルタとなるよ
うに配置すると共に、4隅に配置されたシアンの色フィ
ルタの何れかが中心となるように水平及び垂直方向にそ
れぞれずらした正方格子と、を含む配列とし、他方の撮
像手段に設けられた補色の色フィルタ配列を、イエロー
の色フィルタを4隅に配置する正方格子と、水平方向に
隣接する色フィルタが同色かつ対角の組がグリーン及び
マゼンタの色フィルタとなるように配置すると共に、4
隅に配置されたイエローの色フィルタの何れかが中心と
なるように水平及び垂直方向にそれぞれずらした正方格
子と、を含む配列とし、それぞれの撮像手段より得られ
る画像データを合成することによって完全色差順次配列
の画像データを得ることが可能である。
合成後の正方格子配列の画像データにおける色配列が色
差順次配列となるように2つの撮像手段の補色フィルタ
を配列することにより、静止画、動画共に汎用性のある
高解像度な画像データを得ることができると共に、高感
度な撮像が可能となる。
フィルタ配列としては、例えば、請求項5に記載の発明
のように、一方の撮像手段に設けられた補色の色フィル
タ配列を、シアンの色フィルタを4隅に配置する正方格
子と、マゼンタの色フィルタを4隅に配置すると共に、
4隅に配置されたシアンの色フィルタの何れかが中心と
なるように水平及び垂直方向にそれぞれずらした正方格
子と、を含む配列とし、他方の撮像手段に設けられた補
色の色フィルタ配列を、イエローの色フィルタを4隅に
配置する正方格子と、グリーンの色フィルタを4隅に配
置すると共に、4隅に配置されたイエローの色フィルタ
の何れかが中心となるように水平及び垂直方向にそれぞ
れずらした正方格子と、を含む配列とし、それぞれの撮
像手段より得られる画像データを合成することによって
色差順次配列の画像データを得ることが可能である。
施の形態の一例を詳細に説明する。
カメラ10の構成を図1に示す。
係るデジタルスチルカメラ10は、光学レンズ系12、
操作部14、システム制御部18、信号発生部20、タ
イミング信号発生部22、ドライバ部24、絞り調節機
構26、光学ローパスフィルタ28、赤外光遮光フィル
タ(IRカットフィルタ)IR、撮像部30、前処理部
32、A/D変換部34、信号処理部(Digital Signal
Processor:DSP)36、圧縮/伸張部38、記録再
生部40、及びモニタ42が備えられている。これら各
部を順次説明する。光学レンズ系12は、例えば、複数
枚の光学レンズを組み合わせて構成されている。光学レ
ンズ系12には、図示しないこれら光学レンズを配置す
る位置を調節して画面の画角を操作部14からの操作信
号14Aに応じて調節するズーム機構や被写体とデジタ
ルスチルカメラ10との距離に応じてピント調節するA
F(Automatic Focus:自動焦点)調節機構が含まれて
いる。操作部14より出力される操作信号14Aは、シ
ステムバス16を介してシステム制御部18に供給され
る。光学レンズ系12には、後述する信号発生部20、
タイミング信号発生部22、ドライバ部24を介してこ
れらの機構を動作させる駆動信号24Aが供給される。
ッチや例えばモニタ画面に表示される項目を選択するカ
ーソル選択機能等が備えられている。特に、シャッタス
イッチは、複数の段階のそれぞれでデジタルスチルカメ
ラ10の操作を行なうようにシステムバス16を介して
第1のモードと第2のモードの何れかが選択されたかを
操作信号14Aによりシステム制御部18に出力して報
知する。
ntral Processing Unit:中央演算処理装置)を備えて
いる。システム制御部18には、デジタルスチルカメラ
10の動作手順が書き込まれたROM(Read Only Memo
ry:読み出し専用メモリ)が含まれる。システム制御部
18は、例えば、ユーザの操作に伴って操作部14から
供給される操作信号14AとこのROMに記憶された情
報を用いて各部の動作を制御する制御信号18Aを生成
する。システム制御部18は、生成した制御信号18A
を信号発生部20、前処理部32、A/D変換部34の
他に、システムバス16を介してDSP36、圧縮/伸
張部38、記録再生部40、及びモニタ42にも供給す
る。
の制御に応じてシステムクロック20Aを図示しない発
振器により発生する。信号発生部20は、このシステム
クロック20Aをタイミング信号発生部22及びDSP
36に供給する。また、システムクロック20Aは、例
えば、システムバス16を介してシステム制御部18の
動作タイミングとしても供給される。
システムクロック20Aを制御信号18Aに基づいて各
部を動作させるタイミング信号22Aを生成する回路を
含む。タイミング信号発生部22は、生成したタイミン
グ信号22Aを図1に示すように各部に出力すると共
に、ドライバ部24にも供給する。ドライバ部24は、
上述した光学レンズ系12のズーム調節機構及びAF調
節機構の他、絞り調節機構26及び撮像部30にも駆動
信号24Aをそれぞれ供給する。
て最適な入射光の光束を撮像部30に供給するように入
射光束断面積(すなわち、絞り開口面積)を調節する機
構である。絞り調節機構26にもドライバ部24から駆
動信号24Aが供給される。この駆動信号24Aは、上
述したシステム制御部18からの制御に応じて行なう動
作のための信号である。この場合、システム制御部18
は、撮像部30で光電変換した信号電荷を基にAE(Au
tomatic Exposure:自動露出)処理として絞り・露光時
間を算出している。この算出した値に対応する制御信号
24Aがタイミング信号発生部22に供給された後、絞
り調節機構26には、このタイミング信号発生部22か
らのタイミング信号22Aに応じた駆動信号24Aがド
ライバ部24から供給される。
ラー30Z及び2つの撮像手段30X、30Yが設けら
れている。ハーフミラー30Zは、光学レンズ系12よ
り入射される入射光を案内し、それぞれ2つの撮像手段
30X、30Yに入射光を結像するようになっている。
なお、案内手段としては、ハーフミラー30Zの他にビ
ームスプリッタ等を用いることも可能である。
電変換する撮像素子(受光素子)を光学レンズ系12よ
り入射される光の光軸と直交する平面(撮像面)が形成
されるように配置されていると共に、それぞれの撮像手
段30X、30Yの光入射側には、入射される光を色分
解する色フィルタCF(図3参照)が設けられている。
また、ハーフミラー30Zの入射光側には、個々の撮像
素子に対応して光学像の空間周波数をナイキスト周波数
以下に制限する光学ローパスフィルタ28と一体的に赤
外光を遮光するIRカットフィルタIRが一体的に配設
されている。撮像手段30X、30Yには、CCD(Ch
arge Coupled Device:電荷結合素子)やMOS(Metal
Oxide Semiconductor:金属酸化型半導体)タイプの固
体撮像デバイスが適用される。撮像手段30X、30Y
では、供給される駆動信号24Aに応じて光電変換によ
って得られた信号電荷を所定のタイミングとして、例え
ば、信号読み出し期間における電子シャッタのオフの期
間にフィールドシフトにより垂直転送路に読み出され、
この垂直転送路をラインシフトした信号電荷が水平転送
路に供給され、この水平転送路を経た信号電荷が図示し
ない出力回路による電流/電圧変換によってアナログ電
圧信号30Aにされ、前処理部32に出力される。撮像
手段30X、30Yは、CCDタイプでは信号電荷の読
み出しモードに応じてフィールド蓄積2行混合読み出し
の色多重化方式や全画素読み出し方式を用いる。これら
の信号読み出し方式については後述する。
rrelated Double Sampling:相関二重サンプリング:以
下CDSという)部を含んで構成されている。CDS部
は、例えば、CCD型の撮像素子を用いて、基本的にそ
の素子により生じる各種のノイズをタイミング信号発生
部22からのタイミング信号22Aによりクランプする
クランプ回路と、タイミング信号22Aによりアナログ
電圧信号30Aをホールドするサンプルホールド回路を
有する。CDS部は、ノイズ成分を除去してアナログ出
力信号32AをA/D変換部34に送る。A/D変換部
34は、供給されるアナログ出力信号32Aの信号レベ
ルを所定の量子化レベルにより量子化してデジタル信号
34Aに変換するA/D変換器を有する。A/D変換部
34は、タイミング信号発生部22から供給される変換
クロック等のタイミング信号22Aにより変換したデジ
タル信号34AをDSP36に出力する。
ド(フィールド蓄積2行混合読み出し等の多重化方式や
全画素読み出し方式)に応じて信号処理を行なうように
なっている。
して、図2に示すように、データ補正部44、Yh補間
部46、及び加算器48を含んで構成されている。デー
タ補正部44は、入力されるデジタルデータのゲインバ
ランスを調整するゲイン補正、補色を原色に変換するマ
トリクス(3×3行の行列等を使用)、自動的にホワイ
トバランスの調整を行なうAWB(Automatic White Ba
lance)や色の補正を行なうガンマ補正等を行なう。特
にガンマ補正は、ROM(Read Only Memory)に供給さ
れるデジタル信号とこのデジタル信号に対応して出力す
る補正データとを組にした複数のデータセットの集まり
であるルックアップテーブルを用いる。これら一連のデ
ータ補正においてもタイミング信号発生部22からのタ
イミング信号22Aに応じて各補正を行なう。データ補
正部44は、この処理した補正信号(補正データ)を補
色から原色に色変換した色(R、G、B)毎に加算器4
8に出力する。
手段30X、30Yの撮像によってA/D変換部34を
介して得られるデジタル信号(G、Cy、Ye色フィル
タセグメントの3色の画素データ)を基に、それぞれの
撮像手段30X、30Yの色セグメント配列が重複しな
い正方格子となるように合成、すなわち、一方の撮像手
段30Xより得られるデジタル信号の仮想画素が他方の
撮像手段30Yより得られるデジタル信号画素で補間さ
れるように合成を行う。合成は、図7に示すように色フ
ィルタセグメントの配置が完全色差順次配列となるよう
に合成する。そして、合成されたデジタル信号から輝度
データ(Yh信号)を生成する機能を有する。Yh補間
部46は、Hpf(High Pass Filter)50を介して生
成したYh信号を加算器48に出力する。なお、Hpf
50は、供給されるプレーンなYh信号の高域成分だけ
を通過させるデジタルフィルタである。
各補正が行なわれることによって得られるRGB画素デ
ータ(r、g、b)及びYh補間部46によって生成さ
れたYh信号50Aを加算することにより、高域成分を
有するプレーンな画素データを生成する。加算器48は
プレーンな画素データを色差マトリクス52に出力す
る。
ンな画素データ(R、G、B各色毎のデータ)に基づい
て帯域の延びた輝度データY、色差データ(R−Y)、
(B−Y)を生成する。これら3つの画素データは、各
色に定めた混合割合で乗算演算することによって得られ
る。混合割合を決める係数は、従来からの値を用いる。
色差マトリクス52は得られたデータを各成分毎にLp
f(Low Pass Filter)54に出力する。
給される信号に周波数折り返し歪が生じないように緩や
かな傾斜でレベルを低下させる周波数特性を持たせてい
る。Lpf54は、輝度データY、色差データ(R−
Y)、(B−Y)の各帯域をカバーする3つのローパス
フィルタからなる。Lpf54を通過した輝度データY
は、輝度データ補正部56へ出力され、色差データ(R
−Y)、(B−Y)は、色差ゲイン調整部58、60に
出力される。
データYに対して高域でのレスポンスの低下を補うよう
に、例えばトランスバーサルフィルタ等によって構成さ
れている。この処理を施すことにより、画像表示した際
に画像の輪郭が強調される。また、色差ゲイン調整部5
8、60は、それぞれ色差データ(R−Y)、(B−
Y)を表す色差データのゲインを調整する。このよう
に、輝度データ補正部56、色差ゲイン調整部58、6
0によってデータが処理されて色信号のレベルが向上す
ることにより、画像表示した際の映像を高品位な解像度
及び彩度の高いものにすることができる。輝度データ補
正部56、色差ゲイン調整部58、60はそれぞれ、輝
度データY、色差データ(R−Y)、(B−Y)を図1
に示す圧縮/伸張部38に出力する。
用いたJPEG(Joint Photographic Experts Group)
規格での圧縮を施す回路と、この圧縮した画像を再び元
のデータに伸張する回路とを有する。圧縮/伸張部38
は、システム制御部18の制御により記録時には圧縮し
たデータをシステムバス16を介して記録再生部40に
供給する。また、圧縮/伸張部38は、図2に示す色差
マトリクス52で得られるデータをシステム制御部18
の制御によりスルーさせ、システムバス16を介してモ
ニタ42に供給することもできる。圧縮/伸張部38が
伸張処理を行なう場合、逆に記録再生部40から読み出
したデータをシステムバス16を介して圧縮/伸張部3
8に取り込んで処理する。ここで、処理されたデータも
モニタ42に供給して表示させる。
対応して、モニタ36に表示するために、撮像手段30
X、30Yより得られた補色を含む画素データを、上述
とは異なる方法で、輝度データY、色差データ(R−
Y)、(B−Y)に変換する処理も行なうようになって
いる。例えば、周知の技術を用いて、撮像手段30X、
30Yより得られる補色を含む画素データからフィール
ド蓄積2行混合の色多重方式に基づいてそれぞれを合成
して3原色RGBの画素データを生成し、生成された3
原色RGBの画素データを基に輝度データY、色差デー
タ(R−Y)、(B−Y)をマトリクス演算等によって
生成し、生成された輝度データY、色差データ(R−
Y)、(B−Y)をモニタに供給することにより、ムー
ビーモードやシャッターの半押しによるファインダモー
ドの表示を行なうようになっている。なお、ムービーモ
ードやファインダモード等で行なう上述の多重化方式の
信号処理選択は、システム制御部18からの制御信号1
8Aに基づいて行なわれる。
録処理部と、記録媒体から記録した画像データを読み出
す再生処理部とを含む。記録媒体には、例えば、所謂ス
マートメディアのような半導体メモリや磁気ディスク、
光ディスク等がある。磁気ディスク、光ディスクを用い
る場合、画像データを変調する変調部と共に、この画像
データを書き込むヘッドがある。
に応じてシステムバス16を介して供給される輝度デー
タ及び色差データ、又は3原色RGBのデータを、画面
の大きさを考慮すると共に、タイミング調整して表示す
る機能を有する。
10は、このように構成して補色を含んで得られたカラ
ー撮像信号の広帯域化を図っている。このデジタルスチ
ルカメラ10の動作を説明する前に色フィルタCFの色
配置と撮像部30の撮像手段30X、30Yの関係につ
いて説明する。撮像手段30X、30Yは、図3に示す
ように、入射する光を光電変換する受光素子PDに隣接
した受光素子PDが垂直方向及び水平方向にずらされた
2次元配置された受光部30Pと、この受光部30Pの
前面に形成された開口部APを迂回するように配置さ
れ、かつ受光素子PDからの信号を取り出す電極EL
と、この電極ELを介して供給される信号を受光部30
Pの垂直方向に順次転送する垂直転送レジスタVR1〜
VR4とを備えている。
される垂直転送駆動信号V1〜V4に応じて信号を転送
している。すなわち、垂直転送レジスタは1受光部あた
り4電極構造になっている。また、1受光部領域の水平
隣接領域が2電極構造で上述した画素ずれしている。本
実施の形態の撮像部30に形成された開口部APは、六
角形のハニカム形状に形成する。開口形状は、一般的に
正方格子であるがこの形状は、感度を向上させると共
に、素直転送レジスタの幅を同じにして転送効率を低下
させないようにする条件を満たせばよい。このことから
判る形状は、多角形でもよく、この他の例としては、正
方格子45°回転させた開口形状として、例えば、菱形
等があり、さらに八角形等にしてもよい。
APを覆う色フィルタCFの直下にそれぞれ対応して配
置される受光素子PDの間隔を各方向毎の画素ピッチP
Pとするとき、開口部APの配列は、一列毎に垂直方向
にあるいは一行毎に水平方向に画素ピッチPP分だけ移
動させた2次元配置になっている。四角形以上の多角形
を用いる場合、開口形状に合わせて開口部APを隙間な
く、隣接する開口部APが稠密な配置するようにしても
よい。図3のように六角形の場合、稠密な配置は、水平
・垂直方向とも上述した画素ピッチPPの半分だけずら
した配置により形成できる。このように稠密な配置を得
るには開口部APの形状に依存する。
に用いられる正方格子状の場合とハニカム形状の場合の
配置関係を比較すると、ハニカム形状の配置は、画素ピ
ッチPPをそれぞれN(μm)の正方格子状には位置し
た受光素子がそれぞれ45°回転させた場合の配置であ
る。ハニカム形状の配置、すなわち画素の半ピッチずれ
を有する配置では、正方格子状の配置における水平/垂
直方向の隣接画素間距離|PP|=N(μm)を基準に
検討すると、輪説画素間距離がN×(2)-1/2と隣接画
素間距離|PP|=Nより短くなる。従って、ハニカム
形状の配置は、正方格子状の配置よりも画素が稠密に配
置されるので、原理的に水平・垂直方向の解像度を
(2)1/2倍に向上させることができる。また、本実施
の形態では、ハニカム形状の配置から出力形態に見合う
正方格子状の配置に展開する場合、2つの撮像手段30
X、30Yより得られる画素データにおける仮想画素を
それぞれの撮像手段30X、30Yより得られる画素デ
ータで補間し合うようにDSP36で合成処理が行われ
るようになっている。この合成処理を行うことにより、
解像度は単に正方格子状に受光素子PDを配置したとき
より高くできる。
タCFに補色の色フィルタセグメントを用いている。こ
の色フィルタを用いる特徴について簡単に説明する。現
在、チップサイズの小型化を図っても撮像の感度特性を
保つために入射光を有効に用いる必要が生じている。こ
こで、分光エネルギーが波長に関わらず一定な入射光3
0Iを入射させた際に、波長に応じた比視感度(比視感
度曲線30C)とアンプゲインを掛けて波長に依存した
測光量を求めると図4に示す測光の分光曲線30Mが得
られる。さらに、原色フィルタR、G、Bで撮像した場
合(A)と補色フィルタMg、Ye、G、Cyで撮影し
た場合(B)との分光感度の比較を相対感度表示(図5
参照)及び最大感度によるRGB正規化表示(図6参
照)で行なう。相対感度表示から補色フィルタで撮像し
た場合(B)の方が原色フィルタを用いた場合(A)よ
り高い相対感度が得られることがわかる。この関係をR
GB正規化表示で見ると、この表示でも補色フィルタで
撮像した場合(B)の方が原色フィルタを用いた場合
(A)より各曲線で作る面積が大きい。すなわち入射光
を有効に信号電荷への変換にも寄与している。このよう
な検討結果から補色フィルタが入射光量の有効な利用に
効果的であることがわかる。
価な補色系の色フィルタセグメントを用いた色フィルタ
CFの例を模式的に図8に示す。図8(A)(B)には
それぞれ撮像手段30X、30Yに適用する補色系の色
フィルタセグメントを用いた色フィルタ配列を示す。
は、G、Cy、Mgの補色系の3色を用いる。この配置
パターンは、正方格子62の4隅にCyの色フィルタセ
グメントを配置し、正方格子62の何れかのCyの色フ
ィルタセグメントを中心に配置すると共に、正方格子6
2に対して水平及び垂直方向にピッチの半分の距離ずれ
た正方格子64の対角の組がMgとGとなるように色フ
ィルタセグメントを配置し、それぞれ水平方向に隣接す
る色フィルタセグメントを同色に配置する。
ターンは、Ye、G、Mgの補色系の3色を用いる。こ
の配置パターンは、正方格子66の4隅にYeの色フィ
ルタセグメントを配置し、正方格子66の何れかのYe
の色フィルタセグメントを中心に配置すると共に、正方
格子66に対して水平及び垂直方向にピッチの半分の距
離ずれた正方格子68の対角の組がGとMgとなるよう
に色フィルタセグメントを配置し、それぞれ水平方向に
隣接する色フィルタセグメントを同色に配置する。
Yに設けられた色フィルタセグメントは、撮像手段30
X、30Yより得られる画素データを重ね合わせてそれ
ぞれの撮像手段30X、30Yの画素が重複しない正方
格子となるように合成すると、図7に示すように、完全
色差順次の配列の画素データを得ることができる。
いて説明する。デジタルスチルカメラ10は、図9に示
すメインフローチャートに従って動作する。デジタルス
チルカメラ10に電源を投入した後に、システム制御部
18によって各種の初期設定が行われ、操作可能状態に
なる。このとき一般的にデジタルスチルカメラ10はモ
ニタ42に撮像画像を表示させるモード(ムービーモー
ドやファインダモード)にしてモニタ表示させたり、ユ
ーザによるレリーズボタンの半押し操作が行われる。す
なわち、ステップ100では、レリーズボタンが半押し
又はムービーであるか否か判定される。該判定が肯定さ
れた場合にはステップ102へ移行して、否定すなわち
レリーズボタンが全押し操作された場合には、ステップ
116へ移行する。
れの色フィルタCFの色フィルタセグメントの配置は、
図8に示した色フィルタセグメントの配置を適用してい
る。この色フィルタCFを用いて、ステップ102で混
合読み出しする場合、供給される駆動信号に応じて撮像
部30のそれぞれの撮像手段30X、30Yからの撮像
信号の読出しが行われる。この読出しは、インターレー
ス走査して得られた同一フィールドの信号電荷を混合し
て読み出すフィールド蓄積2ライン混合読出しである。
02で読み出された信号に対して、前処理が行われる。
前処理としては、前処理部32で例えば、CDS処理を
行って撮像部30からの信号に含まれるノイズ成分を除
去している。
施されたアナログ出力信号32AをA/D変換部34で
デジタル信号34Aに変換する。この変換により各受光
素子PDからの信号電荷が画素データに変換される。こ
の変換により以後の信号処理をデジタル処理で行う。
が行われる。すなわち、上述したように、撮像手段30
X、30Yより得られる補色を含む画素データからフィ
ールド蓄積2ライン混合の色多重方式で信号電荷が読み
出され、それぞれの撮像手段30X、30Yより得られ
る画素データが重複しない正方格子となるように合成さ
れる。すなわち、図7に示すように完全色差順次配列と
なるようにそれぞれの撮像手段30X、30Yより得ら
れる画素データが合成される。従って、仮想画素(虚画
素)を補間することなく良好な色解像度の画素データを
得ることができる。
の画素データが生成され、該生成された3原色の画素デ
ータがマトリクス演算当によって、輝度データY、色差
データ(R−Y)、(B−Y)に変換されて、システム
バス16を介してモニタ42に供給される。なお、上述
の色多重方式に基づいて生成された3原色の画素データ
は、AE処理を行うためにシステムバス16を介してシ
ステム制御部18に供給される。
生成は、例えば、以下に示すような方法によって生成す
ることができる。
で、原色系の色と補色系の色Mg、Cy、Yeとの間に
は以下のような関係がある。
1、C2)を算出すると共に、混合画素データの総和S
を算出し、これらの得られたパラメータをデータに用い
て3原色の画素データRGBを生成している。すなわ
ち、以下のようにしてC1、C2、Sを求める。
Bを以下に示すように算出する。
た色フィルタセグメントの配列それぞれを合成すること
によって完全色差順次配列となるように配置するので、
従来の動画処理を活用して、3原色の画素データを得る
ことができる。また、2つの撮像手段30X、30Yよ
り得られる画素データの合成は、2つの撮像手段30
X、30Yより得られる画素データのそれぞれの仮想画
素がそれぞれの撮像手段30X、30Yより得られる画
素データによって補間し合うので、仮想画素(虚画素)
の補間処理を行うことなく高解像度の画素データを得る
ことができる。
において、自動的に適正な露出制御を行わせるための自
動制御演算処理が行われる。自動制御演算処理は、上述
のようにしてえられる3原色の画素データRGBを用い
て行われる。さらに、ここで得られた値に応じて制御信
号18Aが上述した各部に供給され絞り調節機構26や
AF(Automatic Focus:自動焦点)調節機構が調節さ
れる。
のフローチャートを参照して詳細に説明する。なお、本
実施の形態における自動制御としては、AF、AE、A
WB等がある。このうち、AF、AEについて説明す
る。
で、供給された画素データから被写体とデジタルスチル
カメラ10との間の距離が測定される。ステップ152
では、測距により得られたデータに基づいて、システム
制御部18では制御信号が生成され、AF調節機構に供
給される。この制御を受けてAF(Automatic Focus:
自動焦点)調節機構が調節される。なお、このとき光学
レンズの位置において第2の測光を行っている。
2における光学レンズの移動後の測光で得られた結果、
光学レンズが撮像部30のCCD受光面に焦点の合った
光学像を結ぶか否か判断される。該判断が肯定すなわち
焦点が合った場合には、ステップ156へ移行し、判定
が否定すなわち焦点が合わない場合には、上述のステッ
プ150〜ステップ154が繰り返される。
54のAF制御で得られている3原色の画素データを用
いて最適な露出値、シャッタ速度が、システム制御部1
8で、例えばプログラム線図によって対応する値の組が
抽出されることによって算出される。システム制御部1
8では算出した値に応じて制御信号が生成される。生成
された制御信号はシステムバス16を介してドライバ部
24に供給されてステップ158へ移行する。
いて供給された制御信号に応じた駆動信号が生成されて
絞り調節機構26に供給される。これによって絞り調節
機構26では、駆動信号24Aにより指示された調節が
施され、ステップ160へ移行する。
節が行われた結果、絞りが所定の値に対応した位置に設
定されたか否か判定される。該判定が否定、すなわち、
調節が不十分な場合や測光が継続中に非写界の明るさが
変化した場合当に応じてそれぞれステップ156又はス
テップ158に戻る。なお、図10では、調節が不十分
な場合を想定して処理を戻す場合を示す。この調節が良
好に行われた場合、すなわち、ステップ160の判定が
肯定された場合には、リターンに進んで自動制御処理が
終了される。
E、AWB等の自動制御演算処理を、2つの撮像手段3
0X、30Yより得られる画素データに基づいて生成さ
れた3原色の画素データを用いて行うことができる。
プ110の自動制御演算処理が行われると、ステップ1
12へ移行する。ステップ112では、モニタ42にデ
ータ(輝度データ、色差データ)が供給されると、画像
がモニタ42に表示される。この後、デジタルスチルカ
メラ10の動作を停止させる。すなわち、ステップ11
4では、電源オフになったか否か判定される。電源がオ
フになっていない時、すなわち、ステップ114の判定
が肯定された場合には、ステップ100に戻って上述の
処理が繰り返される。電源がオフになっている時、すな
わち、ステップ114の判定が肯定された場合には、全
ての処理が終了される。
押しされた場合、操作部14にはこのモードに応じた駆
動信号24Aが供給される。この場合、操作部14で
は、全画素読出しが行われる(ステップ116)。これ
以後、読み出された信号に対して順次前処理、A/D変
換処理が行われる(ステップ118、ステップ12
0)。ここでの各処理は上述したステップ104及び1
06と同様に処理されるので、説明を省略する。
画素読出しされた信号(補色の画素データ)は、DSP
36に供給される。DSP36のデータ補正部44で
は、供給された画素データに対して各種補正が施され、
Yh補間部46では、それぞれの撮像手段30X、30
Yより得られる画素データが重複しない正方格子となる
ように合成されて輝度データ(Yh信号)が生成され、
加算器48では、データ補正部44によって各種補正が
なされることによって得られた3原色RGBの画素デー
タr、g、bと、Yh補間部46で生成されたYh信号
50Aと、が加算されて高解像度広帯域信号の3原色画
素データが生成される(ステップ122)。
画素(それぞれ2つの撮像手段30X、30Yより得ら
れる画素)の加算により生成することができる。すなわ
ち、S=Ye+Mg+Cy+G=3G+2R+2BをH
PF(高域通過)処理することによってYh信号を生成
することが可能である。ここで、水平、垂直又は対角方
向の相関を検出して相関のある方向の重み付け加算をす
るとさらによい。
解像度広帯域信号生成処理によって得られた画像データ
に対して周波数領域で見た場合、信号処理を施すことに
よってより画素データの帯域を広帯域化している。広帯
域化する方法も各種ある。
度データY、色差データ(R−Y)、(R−B)(又は
Cr、Cb)へと信号出力形式の変換がなされると共
に、画像として表示した際の品質をより高くする信号処
理がなされる。すなわち、静止画においても動画と同様
に従来からの静止画処理を活用して、高品質の信号処理
を行うことができる。
理によって得られた輝度データY、色差データ(R−
Y)、(R−B)が図1に示す圧縮/伸張部38、シス
テムバス16を介して記録再生部40やモニタ42にそ
れぞれ供給される。この供給に際してシステム制御部1
8は、表示と記録の場合に応じて圧縮/伸張部38に異
なる制御をするようにしてもよい。この制御としては、
例えば、信号処理したこれらのデータを表示させる場
合、圧縮/伸張部38はスルー処理し、すでに記録済み
の圧縮データを再生する場合、圧縮/伸張部38は圧縮
データに伸張処理を施してモニタ42に出力する手順と
がある。
タを記録する場合、圧縮/伸張部38は、例えば、JP
EGといった圧縮処理を施し(ステップ126)、情報
量を減少させて半導体メモリ、光記録媒体、磁気記録媒
体、又は光磁気記録媒体等を含む記録再生部40に供給
される。そして、ステップ128では、圧縮されたデー
タが記録再生部40の記録媒体に記録される。このと
き、圧縮前の画像を間引いてモニタ42に表示させる
と、撮像タイミングでの取り込んだ画像の良否もチェッ
クすることができる。この圧縮前の画像を外部の高品位
なモニタに供給すると、従来の補間した画像に比べても
一層高い画質の画像を表示することができることは言う
までもない。この記録処理の後、上述したステップ11
4へ移行する。
フか否か判定している。撮影を継続する場合には、判定
が否定されたステップ100に戻って、上述の処理が繰
り返される。また、判定が肯定されて撮影が終了された
場合、一連の処理が終了される。
手段30X、30Yの色フィルタ配列を図8に示すよう
に配置し、それぞれを合成して完全色差順次配列となる
ようにしたが、これに限るものではなく、例えば、2つ
の撮像手段30X、30Yの色フィルタ配列を図11
(A)、(B)に示すように配置し、それぞれを合成し
て図12に示すように色差順次配列となるようにしても
よい。すなわち、図11(A)に示す色フィルタ配置パ
ターンは、Cy、Mgの補色系の2色を用いる。この配
置パターンは、正方格子70の4隅にCyの色フィルタ
セグメントを配置し、正方格子70の何れかのCyの色
フィルタセグメントを中心に配置すると共に、正方格子
70に対して水平及び垂直方向にピッチの半分の距離ず
れた正方格子72の4隅がMgとなるように色フィルタ
セグメントを配置する。また、図11(B)に示す色フ
ィルタ配置パターンは、Ye、Gの補色系の2色を用い
る。この配置パターンは、正方格子74の4隅にYeの
色フィルタセグメントを配置し、正方格子74の何れか
のYeの色フィルタセグメントを中心に配置すると共
に、正方格子74に対して水平及び垂直方向にピッチの
半分の距離ずれた正方格子76の4隅がGとなるように
色フィルタセグメントを配置する。
30Yの色フィルタCFを配置して、それぞれの撮像手
段30X、30Yより得られる画素データを合成するこ
とにより、図12に示すような色差順次配列の画素デー
タを得ることができる。
手段30X、30Yを用いてそれぞれの撮像手段30
X、30Yより得られる画像データを合成するようにし
たが、2つの撮像手段に限るものではなく、例えば、3
つ以上の撮像手段を用いるようにしてもよい。例えば、
3つ以上の撮像手段を用いて各色が重複しないように3
つ以上の撮像手段より得られる画像データを合成するこ
とにより、完全色差順次配列または色差順次配列の画像
データを得ることが可能である。
数の受光素子が2次元的に配列された受光部における単
位受光部中心が非正方格子配列とされ、光入射側に補色
の色フィルタが設けられた2つの撮像手段に、同一被写
体像を結像して、それぞれの撮像手段より得られる非正
方格子配列の画像データにおけるそれぞれの受光部中心
位置を重ね合わせることにより、撮像手段の各々の受光
素子の各々の位置が重複しない正方格子配列の画像デー
タとなるように合成するので、非正方格子配列の2つの
撮像手段それぞれより得られる画素データにおける仮想
画素がそれぞれの撮像手段より得られる画像データによ
り補間されて、静止画や動画に拘わらず虚画素補間処理
を行うことなく高解像度な正方格子配列の画像データを
得ることができ、補色の色フィルタにより撮像手段の感
度を高感度化できるので、静止画、動画共に汎用性のあ
る高解像度な画像データを得ることができると共に、高
感度な撮像ができる、という効果がある。
ラの概略的な構成を示すブロック図である。
ラにおけるDSPの概略的な構成を示すブロック図であ
る。
ラにおける撮像手段の受光部を入射光の入射側から見た
色フィルタ、受光素子の開口部、及び転送路の関係を示
す模式図である。
特性及び測定した際の波長依存の分光エネルギーの関係
を表すグラフである。
た際の波長に対する相対感度を表すグラフである。
た際における最大感度で正規化した波長に対する相対感
度を表すグラフである。
る。
ラにおける2つの撮像手段に適用する色フィルタ配列を
示す図である。
ラの動作の一例を示すメインフローチャートである。
処理を表すフローチャートである。
メラにおける2つの撮像手段に適用する色フィルタ配列
の他の例を示す図である。
正方格子 CF 色フィルタ PD 受光素子
Claims (5)
- 【請求項1】 光電変換する複数の受光素子が2次元的
に配列された受光部における単位受光部配列が非正方格
子配列とされ、光入射側に補色の色フィルタが設けられ
た2つの撮像手段と、 前記2つの撮像手段の各々に同一被写体像を結像するよ
うに入射光を案内する案内手段と、 前記2つの撮像手段のそれぞれの光電変換により得られ
る非正方格子配列の画像データにおけるそれぞれの前記
受光部中心位置を重ね合わせることにより、前記撮像手
段の各々の受光素子の各々の位置が重複しない正方格子
配列の画像データとなるように合成する合成手段と、 を含む固体撮像装置。 - 【請求項2】 前記合成後の正方格子配列の画像データ
における色配列が完全色差順次配列となるように前記2
つの撮像手段の補色フィルタを配列することを特徴とす
る請求項1に記載の固体撮像装置。 - 【請求項3】 一方の前記撮像手段に設けられた補色の
色フィルタ配列は、シアンの色フィルタを4隅に配置す
る正方格子と、水平方向に隣接する色フィルタが同色で
かつ対角の組がマゼンタ及びグリーンの色フィルタとな
るように配置すると共に、前記シアンの色フィルタの何
れかが中心となるように水平及び垂直方向にそれぞれず
らした正方格子と、を含む配列とし、 他方の前記撮像手段に設けられた補色の色フィルタ配列
は、イエローの色フィルタを4隅に配置する正方格子
と、水平方向に隣接する色フィルタが同色かつ対角の組
がグリーン及びマゼンタの色フィルタとなるように配置
すると共に、前記イエローの色フィルタの何れかが中心
となるように水平及び垂直にずらした正方格子と、を含
む配列とすることを特徴とする請求項2に記載の固体撮
像装置。 - 【請求項4】 前記合成後の正方格子配列の画像データ
における色配列が色差順次配列となるように前記2つの
撮像手段の補色フィルタを配列することを特徴とする請
求項1に記載の固体撮像装置。 - 【請求項5】 一方の前記撮像手段に設けられた補色の
色フィルタ配列は、シアンの色フィルタを4隅に配置す
る正方格子と、マゼンタの色フィルタを4隅に配置する
と共に、前記シアンの色フィルタの何れかが中心となる
ように水平及び垂直方向にそれぞれずらした正方格子
と、を含む配列とし、 他方の前記撮像手段に設けられた補色の色フィルタ配列
は、イエローの色フィルタを4隅に配置する正方格子
と、グリーンの色フィルタを4隅に配置すると共に、前
記イエローの色フィルタの何れかが中心となるように水
平及び垂直方向にそれぞれずらした正方格子と、を含む
配列とすることを特徴とする請求項4に記載の固体撮像
装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001311354A JP3905342B2 (ja) | 2001-10-09 | 2001-10-09 | 固体撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001311354A JP3905342B2 (ja) | 2001-10-09 | 2001-10-09 | 固体撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003116147A true JP2003116147A (ja) | 2003-04-18 |
JP3905342B2 JP3905342B2 (ja) | 2007-04-18 |
Family
ID=19130198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001311354A Expired - Fee Related JP3905342B2 (ja) | 2001-10-09 | 2001-10-09 | 固体撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3905342B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005151077A (ja) * | 2003-11-14 | 2005-06-09 | Fuji Film Microdevices Co Ltd | 2板式カラー固体撮像装置及びデジタルカメラ |
JP2006352466A (ja) * | 2005-06-15 | 2006-12-28 | Fujitsu Ltd | 撮像装置 |
US7961227B2 (en) | 2005-02-28 | 2011-06-14 | Panasonic Corporation | Digital camera |
-
2001
- 2001-10-09 JP JP2001311354A patent/JP3905342B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005151077A (ja) * | 2003-11-14 | 2005-06-09 | Fuji Film Microdevices Co Ltd | 2板式カラー固体撮像装置及びデジタルカメラ |
JP4495949B2 (ja) * | 2003-11-14 | 2010-07-07 | 富士フイルム株式会社 | 2板式カラー固体撮像装置及びデジタルカメラ |
US7961227B2 (en) | 2005-02-28 | 2011-06-14 | Panasonic Corporation | Digital camera |
JP2006352466A (ja) * | 2005-06-15 | 2006-12-28 | Fujitsu Ltd | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3905342B2 (ja) | 2007-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7148925B2 (en) | Solid-state honeycomb type image pickup apparatus using a complementary color filter and signal processing method therefor | |
JP4421793B2 (ja) | ディジタルカメラ | |
JP4738907B2 (ja) | 固体撮像素子および固体撮像装置 | |
JP5501448B2 (ja) | 撮像装置及び固体撮像素子の駆動方法 | |
JP4291793B2 (ja) | 固体撮像素子および固体撮像装置 | |
JP4253634B2 (ja) | デジタルカメラ | |
JP2006165975A (ja) | 撮像素子、撮像装置、画像処理方法 | |
US8111298B2 (en) | Imaging circuit and image pickup device | |
JP2006270364A (ja) | 固体撮像素子および固体撮像装置、ならびにその駆動方法 | |
KR100970030B1 (ko) | 화상 처리 장치, 및 화상 처리 방법, 기록 매체 | |
JP5033711B2 (ja) | 撮像装置及び撮像装置の駆動方法 | |
JP4317117B2 (ja) | 固体撮像装置および撮像方法 | |
JP2002335454A (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
JP2001078210A (ja) | 固体撮像装置および信号読出し方法 | |
JP2001148805A (ja) | 固体撮像装置 | |
JP5663573B2 (ja) | 撮像装置及び撮像方法 | |
JP4279562B2 (ja) | 固体撮像装置の制御方法 | |
JP3905342B2 (ja) | 固体撮像装置 | |
JP3967500B2 (ja) | 固体撮像装置および信号読出し方法 | |
WO2013100097A1 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP2000224598A (ja) | 固体撮像装置および信号読出し方法 | |
JP4278893B2 (ja) | 固体撮像装置 | |
JPWO2011132619A1 (ja) | 固体撮像素子及び撮像装置 | |
JP2006148591A (ja) | 固体撮像装置および固体撮像素子駆動方法 | |
JP2024012869A (ja) | 撮像装置及び撮像装置の画像データ読み出し方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061016 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070111 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |