JP5150796B2 - 固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置 - Google Patents

固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置 Download PDF

Info

Publication number
JP5150796B2
JP5150796B2 JP2012540202A JP2012540202A JP5150796B2 JP 5150796 B2 JP5150796 B2 JP 5150796B2 JP 2012540202 A JP2012540202 A JP 2012540202A JP 2012540202 A JP2012540202 A JP 2012540202A JP 5150796 B2 JP5150796 B2 JP 5150796B2
Authority
JP
Japan
Prior art keywords
pixel
sensitivity
pixels
solid
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012540202A
Other languages
English (en)
Other versions
JPWO2012133551A1 (ja
Inventor
和田  哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2012540202A priority Critical patent/JP5150796B2/ja
Application granted granted Critical
Publication of JP5150796B2 publication Critical patent/JP5150796B2/ja
Publication of JPWO2012133551A1 publication Critical patent/JPWO2012133551A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置に係り、特に、高解像度,広ダイナミックレンジの被写体カラー画像を撮像するのに好適な単板式固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置に関する。
水平方向,垂直方向の解像度が高い被写体カラー画像を撮像することができる固体撮像素子が下記の特許文献1,2に記載されている。この固体撮像素子の画素配列,カラーフィルタ配列について図8,図9を用いて説明する。
図8は、正方格子配列された複数の画素(光電変換素子:フォトダイオード)の上に積層された3原色カラーフィルタR(赤)G(緑)B(青)の配列を示している。RGBの各配置位置が容易に分かる様に、RフィルタとBフィルタには○印を付けてある。
この図8に示すカラーフィルタ配列では、偶数列と偶数行の各画素上にGフィルタを積層し、残りの位置の画素には、列方向,行方向でRフィルタとBフィルタを交互に積層している。換言すると、Gフィルタの積層画素(G画素)は、升目を形成する線の位置に配置され、升目状の目の位置にRフィルタの積層画素(R画素)とBフィルタの積層画素(B画素)が配置される
この図8の画素配列,カラーフィルタ配列を、斜め45度に傾けた配列を示す図が図9である。画素配列は、所謂ハニカム画素配列となり、奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずれた配置となる。
ハニカム画素配列つまり市松位置の撮像画像信号が得られるため、隣接する縦横2画素の計4画素の中心位置の撮像画像信号を周囲の撮像画像信号を補間演算して求めると、画素数の2倍の撮像画像信号が得られ、縦方向,横方向に高解像度な被写体画像信号を得ることができる。
日本国特開平11―355790号公報 日本国特開2006―211631号公報
上述した図9に示す画素配列,カラーフィルタ配列の固体撮像素子では、高解像度の被写体カラー画像を撮影することができる。しかし、ダイナミックレンジの広い画像を撮影できないという問題がある。隣接同色画素の撮像画像信号を加算する画素加算の手法でダイナミックレンジを拡大することも可能であるが、この場合には、解像度が犠牲になってしまうという問題がある。
本発明の目的は、高解像度を維持したまま広ダイナミックレンジの被写体カラー画像を撮像することができる固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置を提供することである。
本発明のある観点によれば、固体撮像素子の駆動方法は、奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずらして配置され、右斜め上方向に延びる画素ラインと左斜め上方向に延びる画素ラインとが共に1ライン置きに緑色フィルタ積層画素のみで構成され、上記緑色フィルタ積層画像が配置されていない残りの市松位置に配置される画素のうち奇数行又は偶数行の一方を構成する画素を赤色フィルタ積層画素にすると共に他方を構成する画素を青色フィルタ積層画素とした固体撮像素子の駆動方法であって、上記右斜め上方向に延びる画素ライン又は上記左斜め上方向に延びる画素ラインのうち一方の画素ラインの4ライン毎に1ライン上に存在する上記赤色フィルタ積層画素及び上記青色フィルタ積層画素及び上記赤色フィルタ積層画素若しくは上記青色フィルタ積層画素に最隣接する上記緑色フィルタ積層画素を低感度画素として駆動し、残りの画素を高感度画素として駆動する。
本発明の他の観点によれば、固体撮像素子は、低感度画素と、高感度画素を備え、奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずらして配置され、右斜め上方向に延びる画素ラインと左斜め上方向に延びる画素ラインとが共に1ライン置きに緑色フィルタ積層画素のみで構成され、上記緑色フィルタ積層画像が配置されていない残りの市松位置に配置される画素のうち奇数行又は偶数行の一方を構成する画素を赤色フィルタ積層画素にすると共に他方を構成する画素を青色フィルタ積層画素とし、上記右斜め上方向に延びる画素ライン又は上記左斜め上方向に延びる画素ラインのうち一方の画素ラインの4ライン毎に1ライン上に存在する上記赤色フィルタ積層画素及び上記青色フィルタ積層画素及び上記赤色フィルタ積層画素若しくは上記青色フィルタ積層画素に最隣接する上記緑色フィルタ積層画素を上記低感度画素で構成し、残りの画素を上記高感度画素で構成する。
本発明の他の観点によれば、撮像装置は、上記記載の固体撮像素子と、上記固体撮像素子を駆動する駆動部と、上記低感度画素の画素位置の撮像画像信号を周囲の上記高感度画素の撮像画像信号で補間演算して求める信号処理部とを備える。
本発明によれば、高解像度かつ低偽色,広ダイナミックレンジの被写体カラー画像を撮像することができる。
本発明の一実施形態に係る撮像装置の機能ブロック図である。 図1に示すデジタル信号処理部の高解像度撮影モード時における機能ブロック図である。 本発明の第1実施形態に係る固体撮像素子の駆動方法の説明図である。 図1に示すデジタル信号処理部の広ダイナミックレンジ撮影モード時における機能ブロック図である。 図3に代わる実施形態の説明図である。 図5に代わる実施形態の説明図である。 図6の実施形態の説明図である。 画素配列,カラーフィルタ配列の説明図である。 図8の画素配列,カラーフィルタ配列を45度回転させた図である。
以下、本発明の一実施形態について、図面を参照して説明する。
図1は、本発明の一実施形態に係る固体撮像素子22aを搭載したデジタルカメラ(撮像装置)10の機能ブロック構成図である。このデジタルカメラ10は、撮影レンズ21aや絞り21b等を備える撮影光学系21、この撮影光学系21の後段に配置された撮像素子チップ22とを備える。
撮像素子チップ22は、信号読出部がCCD型やCMOS型等のカラー画像撮像用単板式の固体撮像素子22aと、固体撮像素子22aから出力されるアナログの画像データを自動利得調整(AGC)や相関二重サンプリング処理等のアナログ処理するアナログ信号処理部(AFE)22bと、アナログ信号処理部22bから出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部(A/D)22cとを備える。本実施形態では、固体撮像素子22aとしてCMOS型を例に説明する。
このデジタルカメラ10は更に、後述のシステム制御部(CPU)29からの指示によって,固体撮像素子22a,アナログ信号処理部22b,A/D22cの駆動制御を行う駆動部(タイミングジェネレータTGを含む)23と、CPU29からの指示によって発光するフラッシュ25とを備える。駆動部23を撮像素子チップ22内に一緒に搭載する場合もある。
本実施形態のデジタルカメラ10は更に、A/D22cから出力されるデジタル画像データを取り込み補間処理やホワイトバランス補正,RGB/YC変換処理等の周知の画像処理を行うデジタル信号処理部26と、画像データをJPEG形式などの画像データに圧縮したり逆に伸長したりする圧縮/伸長処理部27と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部28と、デジタルカメラ全体を統括制御するシステム制御部(CPU)29と、フレームメモリ等の内部メモリ30と、JPEG画像データ等を格納する記録メディア32との間のインタフェース処理を行うメディアインタフェース(I/F)部31と、これらを相互に接続するバス34とを備え、また、システム制御部29には、ユーザからの指示入力を行う操作部33が接続されている。
CMOS型の固体撮像素子22aの画素配列,カラーフィルタ配列は、図9で説明した固体撮像素子と同じであり、各画素の受光面積は同一に形成され、遮光膜開口も同一広さに形成され、同一形状のマイクロレンズが搭載されるなど、その構造は同じである。
そして、奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずれた所謂ハニカム画素配列となっている。即ち、右斜め上に45度傾いた画素行(斜めに傾いた画素行を、以下、「ライン」ということにする。)のうち1ライン置きの全ての画素にGフィルタが積層され、左斜め上に45度傾いた画素ラインも1ライン置きの全ての画素にGフィルタが積層されている。
Gフィルタを積層しない残りの画素位置は市松位置となる。この市松位置を、市松位置の奇数行の位置にくる第1正方配列位置と偶数行の位置にくる第2正方配列位置とに分けたとき、第1正方配列位置の各画素にRフィルタが積層され、第2正方配列位置の各画素にBフィルタが積層される。つまり、市松位置の奇数行(又は偶数行)をRフィルタ積層画素とし、市松位置の偶数行(又は奇数行)をBフィルタ積層画素としている。
図1に示すデジタルカメラ10には、被写体のカラー画像を撮影するモードとして、高解像度撮影モードと、広ダイナミックレンジ撮影モードとが設けられている。ユーザが図1の操作部33から、高解像度撮影モード/広ダイナミックレンジ撮影モードのいずれかを手動で選択することも可能である。また、撮影モードの自動設定が選択されている場合には、固体撮像素子22aからスルー画像として出力される撮像画像信号をデジタル信号処理部26が解析し、明暗差が所定閾値より大きいとき広ダイナミックレンジ撮影モードが自動選択されるようにすることもできる。
高解像度撮影モードが設定されている場合には、図9の全画素の露光時間を同一時間とし、各画素の撮像画像信号を読み出す。この実施形態では、CMOS型であるため、図9の1画素行順に撮像画像信号を読み出し、図1のデジタル信号処理部26が、図2に示す画像処理手順によって全画素位置の、R信号量,G信号量,B信号量を算出して、被写体のカラー画像データを生成する。
固体撮像素子22aから撮像画像信号が読み出されると、この撮像画像信号は、図1のデジタル信号処理部26に入力される。この撮像画像信号には、G画素から出力される高感度G信号(次の実施形態で説明する広ダイナミックレンジ撮影モードで使用する「低感度」信号と区別するため、この高解像度撮影モード時の信号を「高感度」信号とする。)と、R画素からの高感度R信号と、B画素からの高感度B信号とがある。
図2は、デジタル信号処理部26の高解像度撮影モード時に機能する所要部分の機能ブロック図である。デジタル信号処理部26に入力された高感度G信号は、先ず、全画素部G画素補間処理部26aに入力される。例えば、図9のR画素41の画素位置では、高感度R信号は出力されるが、このR画素41の位置における高感度G信号,高感度B信号は無い。このため、R画素41の位置の高感度G信号と高感度B信号とは、周りのG画素の出力信号、周りのB画素の出力信号から算出することになる。
そこで、デジタル信号処理部26の全画素部G画素補間処理部26aは、固体撮像素子22aから取り込んだ高感度G信号に基づき、R画素位置の高感度G信号量がどの程度であるかを、また、B画素位置の高感度G信号量がどの程度であるかを、例えば当該R画素,B画素位置の周囲8個のG画素の出力信号の平均値として算出し、出力する。G画素位置の高感度G信号量は、当該G画素が検出信号高感度G信号量を出力する。
固体撮像素子22aから出力された高感度R信号と高感度B信号は、デジタル信号処理部26のRB画素部GR差/GB差算出処理部26bに取り込まれる。この算出処理部26bには、G画素補間処理部26aで算出された高感度G信号量も取り込まれている。このため、図9の各R画素41の位置の夫々において、高感度G信号量と、自身の検出した高感度R信号量とが分かっている。このため、R画素41の位置毎の高感度〔G−R〕値が算出処理部26bにより算出される。同様に、B画素42の位置毎における高感度〔G−B〕値も算出処理部26bにより算出される。
デジタル信号処理部26のGR差・GB差補間処理部26cは、R画素41の位置毎に算出された高感度〔G−R〕値を用いて、残りの全G画素位置及び全B画素位置の高感度〔G−R〕値を、線形補間演算等により算出すると共に、B画素42の位置毎に算出された高感度〔G−B〕値を用いて、残りの全G画素位置及び全R画素位置の高感度〔G−B〕値を、線形補間演算等により算出する。
以上の線形補間演算等により、補間処理部26cからは、全画素(G画素,R画素,B画素)位置毎の高感度〔G−R〕値及び高感度〔G−B〕値がR信号量・B信号量生成処理部26dに出力される。生成処理部26dには、補間処理部26aからの全画素位置毎の高感度G信号量が入力されるため、生成処理部26dは、全画素位置毎に、{G−〔G−R〕}=R,{G−〔G−B〕}=Bの演算を行い、全画素位置毎の高感度R信号量と高感度B信号量とを求めて出力する。
以上により、全画素位置毎の高感度G信号量が補間処理部26aから出力され、全画素位置毎の高感度R信号量と高感度B信号量とが生成処理部26dから出力されるため、デジタル信号処理部26の図示省略の画像処理部はこれら各R,G,B信号量を用いてガンマ補正やRGB/YC変換処理,正方変換処理等の周知の画像処理を施して、被写体の高解像度,低偽色のカラー画像データが生成される。
広ダイナミックレンジ撮影モードが設定された場合には、全画素のうち大部分の画素を高感度撮影駆動し、残りの画素を低感度撮影駆動する。例えば、高感度撮影駆動する画素の露光時間に対して低感度撮影駆動する画素の露光時間を短く制御する。
図3は、広ダイナミックレンジ撮影モード時における固体撮像素子22aの駆動方法の一例を示す図である。大文字のRGBを標記した画素が高感度撮影駆動する画素を示し、小文字のrgbを標記した画素が低感度撮影駆動する画素を示している。低感度撮影駆動する低感度画素ライン45(斜め画素行)を破線枠でも示している。
図3に示す画素配列,カラーフィルタ配列では、斜めの画素ラインが1行置きにG画素のみとなっており、残りの画素ラインに、B画素とR画素が入っている。このため、B画素とR画素が含まれる斜め画素ラインを交互に、高感度撮影駆動画素ライン,低感度撮影駆動画素ラインとしている。つまり、全体的に言えば、斜め画素ラインの4ライン毎にRフィルタ(Bフィルタ)を含む1ラインを低感度撮影駆動画素ラインとしている。これにより、低感度撮影駆動画素ライン上のr画素又はb画素に最隣接(斜め方向に隣接)する緑色フィルタ積層画素の1つ又は2つの緑色フィルタ積層画素が低感度駆動されるg画素となる。
図4は、デジタル信号処理部26の広ダイナミックレンジ撮影モード時に機能する部分の機能ブロック図である。図3に示す低感度撮影駆動された低感度画素ライン45の構成画素から出力される撮像画像信号(低感度g信号,低感度r信号,低感度b信号)が全画素部rgb近傍補間処理部26fに取り込まれる。
この補間処理部26fは、全画素位置(高感度撮影駆動される各画素位置、低感度撮影駆動される各画素位置)の各々の位置における低感度r信号量,低感度g信号量,低感度b信号量を、実際の低感度撮影駆動画素が取得した撮像画像信号量(低感度r信号量,低感度g信号量,低感度b信号量)を用いて線形補間して求め、算出結果を全画素部高感度RGBレベル判定&低感度・高感度データ合成処理部26gに出力する。
補間処理部26fが線形補間演算を行う場合、低感度撮影駆動される全画素に対して画素数が少ないため、あまり広い領域の低感度信号を用いて線形補間してしまうと更に解像度が低下してしまう。このため、例えば隣接する同色低感度信号だけを用いた近傍補間演算処理を行う。
合成処理部26gには、補間処理部26fからの低感度信号が取り込まれる他に、高感度撮影駆動画素からの撮像画像信号(高感度R信号,高感度G信号,高感度B信号)が取り込まれる。合成処理部26gは、取り込まれた撮像画像信号を用いて、全画素位置の各々の位置における高感度R信号量,高感度G信号量,高感度B信号量を補間演算等で求める。
そして次に、合成処理部26gは、被写体画像の通常露光部分については、高感度信号を主体(低感度信号は、低感度画素数が少ないため解像度がとれないので、通常露光部分については低感度信号は使わなくても良い。)として被写体画像データを生成し、被写体画像のハイライト部分については低感度信号を主体として被写体画像データを生成する。ハイライト部分については、あまり解像度を細かくしても画像品質を向上させることにはならないため、解像度のとれない低感度信号を主体としてダイナミックレンジを優先する。ハイライト部分であるか否かは、高感度信号量のレベルが所定閾値以上であるか否かで検出できる。
合成処理部26gの合成結果による赤色信号,緑色信号,青色信号は、後段の画像処理部により周知の画像処理が施され、高解像度かつ広ダイナミックレンジの被写体カラー画像データが生成される。
以上述べた図3の実施形態における低感度撮影駆動される斜め低感度画素ライン45は、ダイナミックレンジ拡大用であり高輝度な情報を取得することはできず、撮像画像の高解像度への寄与は難しい。しかし、低感度撮影駆動される各画素(低感度画素)の上下左右が必ず高感度撮影駆動されるG画素となり、この周囲のG画素の検出信号によって低感度画素位置の画像データが補間されるため、低感度画素を設けることによる解像度低下は抑制される。この結果、高解像度かつ広ダイナミックレンジの画像データを得ることができる。
画素の低感度化を露光時間で行う場合、画素自体の単位時間当たりの感度は高感度画素と同等なため、ダイナミックレンジの拡大を行わない場合には、全画素の露光時間を同一とし、上述した様に、高解像度撮影モードによって高解像度な画像データを得ることができる。
ダイナミックレンジの拡大を行う場合は、低感度画素の露光時間を高感度画素の露光時間に比べて短時間にする必要が生じる。この駆動制御は、本実施形態の場合、低感度画素が斜め画素ライン上に配置されているため、水平方向に隣接する低感度画素のアドレス差は固定となり、容易に低感度画素へのアドレッシングができる。
図5は、図3の実施形態に代わる別実施形態の説明図である。図3の実施形態では、低感度画素ライン45の全ての画素を低感度画素としている。これに対し、図5の実施形態では、図3の低感度画素ライン45上のg画素を1つ置きに高感度G画素とし、低感度画素ライン46をこのG画素間の3画素毎に分断して設けている。これにより、低感度撮影駆動画素ライン上のr画素又はb画素に最隣接(斜め方向に隣接)する緑色フィルタ積層画素の1つの緑色フィルタ積層画素が低感度駆動されるg画素となる。
この様に、斜めの低感度画素ラインのうち4画素に1画素を高感度G画素とすることで、斜め画素ライン方向の解像度低下を抑制することができる。
図6は、本発明の更に別実施形態の説明図である。図5の実施形態では、図3の低感度画素ライン45の中のg画素を1つ置きに高感度G画素に置き換えている。この様にして、低感度画素ライン45上に高感度G画素を配置すると、低感度画素数が減少し、低感度解像度が低下してしまう。
そこで、図3を再掲した図7に示す様に、双頭矢印で示した高感度G画素と低感度g画素の位置を交換(隣接b画素又はr画素に対して位置関係を90度回転させる)して図6の構成とすることで、低感度画素数を減らさずに、斜め方向の高感度解像度を、図5の実施形態と同様に改善することができる。この結果、5×5の斜め高感度G画素の升目配列の内部に、低感度の隣接するr画素g画素のペアとr画素b画素のペアとを1組みづつ配置したことになる。これにより、低感度撮影駆動画素ライン上のr画素又はb画素に最隣接(斜め方向に隣接)する緑色フィルタ積層画素の1つの緑色フィルタ積層画素が低感度駆動されるg画素となる。
高感度G画素は、輝度情報に占める割合が高いため、G画素が多いと解像度を高めることができ、また、画像の解像度は縦横方向の解像度に大きく影響されることも知られている。低感度r画素,b画素及び高感度R画素,B画素は、高感度G画素ほど解像度には寄与しない。また、低感度g画素も、ハイライト部分以外では解像度に寄与しない。
この図6に示す実施形態では、高感度G画素を左斜め上方向に延びる画素ラインの1行置きにストライプ状に配置したことになり、水平方向及び垂直方向では狭い画素間隔となる。このため、縦横方向に高い解像度の情報を得ることができる。
高感度R画素,B画素及び低感度r画素,g画素,b画素の上下左右方向に必ず高感度G画素が配置される結果、縦横方向に高解像度の高感度画像を作成することができ、また、低感度r画素,g画素を隣接配置し、低感度r画素,b画素を隣接配置することで、色ズレが少ない低感度情報を得ることが可能となる。このため、高解像かつ色ズレの少ない広ダイナミックレンジの被写体カラー画像を得ることができる。
なお、上述した実施形態では、同一受光面積の各画素のうち露光時間を他の画素(高感度画素)の露光時間より短くした画素を低感度画素としているが、露光時間を変えるのではなく、全画素の露光時間を同一とし、図1のAFE22bで利得増幅するときのゲインを高感度画素では大きく、低感度画素では小さくしても良い。
また、駆動方法を変えることで高感度画素と低感度画素の違いを出したが、画素構造で高感度画素と低感度画素の違いを出すことも可能である。例えば、低感度画素の遮光膜開口の開口面積を高感度画素の遮光膜開口の開口面積よりも小さくしてもよい。また、高感度画素のみがマイクロレンズを積層した構造を有し、低感度画素がマイクロレンズを積層しない構造とし、全画素の駆動方法を同一とすることも可能である。
以上述べた実施形態の固体撮像素子の駆動方法は、奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずらして配置され、右斜め上方向に延びる画素ラインと左斜め上方向に延びる画素ラインとが共に1ライン置きに緑色フィルタ積層画素のみで構成され、上記緑色フィルタ積層画素が配置されていない残りの市松位置に配置される画素のうち奇数行又は偶数行の一方を構成する画素を赤色フィルタ積層画素にすると共に他方を構成する画素を青色フィルタ積層画素とした固体撮像素子の駆動方法であって、上記右斜め上方向に延びる画素ライン又は上記左斜め上方向に延びる画素ラインのうち一方の画素ラインの4ライン毎に1ライン上に存在する上記赤色フィルタ積層画素及び上記青色フィルタ積層画素及び上記赤色フィルタ積層画素若しくは上記青色フィルタ積層画素に最隣接する上記緑色フィルタ積層画素を低感度画素として駆動し、残りの画素を高感度画素として駆動する。
また、実施形態の固体撮像素子の駆動方法では、上記低感度画素として駆動する上記緑色フィルタ積層画素が、上記低感度画素として駆動する上記赤色フィルタ積層画素及び上記青色フィルタ積層画素と同一ライン上のみに存在する。
また、実施形態の固体撮像素子の駆動方法では、上記低感度画素として駆動する上記緑色フィルタ積層画素が、上記同一ライン上に存在する上記緑色フィルタ積層画素のうちの1個おきの緑色フィルタ積層画素である。
また、実施形態の固体撮像素子の駆動方法では、上記低感度画素を構成する上記赤色フィルタ積層画素と上記青色フィルタ積層画素を含む上記画素ラインに含まれる上記緑色フィルタ積層画素を高感度画素として駆動すると共に、上記画素ラインに隣接する画素ラインを構成する上記緑色フィルタ積層画素のうち上記低感度画素の上記赤色フィルタ積層画素と上記青色フィルタ積層画素に隣接する上記緑色フィルタ積層画素を低感度画素として駆動する。
また、実施形態の固体撮像素子の駆動方法では、上記低感度画素の露光時間を上記高感度画素の露光時間に比べて短時間とすることで、上記高感度画素に比べて上記低感度画素の低感度化をはかる。
また、実施形態の固体撮像素子の駆動方法では、上記低感度画素の出力信号を増幅する増幅率を上記高感度画素の出力信号を増幅する増幅率より低くすることで上記高感度画素に比べて上記低感度画素の低感度化をはかる。
また、実施形態の撮像装置は、上記のいずれかに記載の駆動方法で駆動する駆動部と、上記低感度画素の画素位置の撮像画像信号を周囲の上記高感度画素の撮像画像信号で補間演算して求める信号処理部を備える。
また、実施形態の撮像装置では、上記補間演算で用いる上記高感度画素が緑色フィルタ積層画素の撮像画像信号である。
また、実施形態の撮像装置では、上記高感度画素が飽和したとき上記高感度画素の画素位置の上記撮像画像信号を上記高感度画素に近接する上記低感度画素の撮像画像信号を用いて補間演算し求める。
また、実施形態の固体撮像素子は、低感度画素と、高感度画素を備え、奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずらして配置され、右斜め上方向に延びる画素ラインと左斜め上方向に延びる画素ラインとが共に1ライン置きに緑色フィルタ積層画素のみで構成され、上記緑色フィルタ積層画素が配置されていない残りの市松位置に配置される画素のうち奇数行又は偶数行の一方を構成する画素を赤色フィルタ積層画素にすると共に他方を構成する画素を青色フィルタ積層画素とし、上記右斜め上方向に延びる画素ライン又は上記左斜め上方向に延びる画素ラインのうち一方の画素ラインの4ライン毎に1ライン上に存在する上記赤色フィルタ積層画素及び上記青色フィルタ積層画素及び上記赤色フィルタ積層画素若しくは上記青色フィルタ積層画素に最隣接する上記緑色フィルタ積層画素を上記低感度画素で構成し、残りの画素を上記高感度画素で構成する。
また、実施形態の固体撮像素子では、上記低感度画素の上記緑色フィルタ積層画素が、上記低感度画素の上記赤色フィルタ積層画素及び上記青色フィルタ積層画素と同一ライン上のみに存在する。
また、実施形態の固体撮像素子では、上記低感度画素の上記緑色フィルタ積層画素が、上記同一ライン上に存在する上記緑色フィルタ積層画素のうちの1個おきの緑色フィルタ積層画素である。
また、実施形態の固体撮像素子では、上記低感度画素を構成する上記赤色フィルタ積層画素と上記青色フィルタ積層画素を含む上記画素ラインに含まれる上記緑色フィルタ積層画素を高感度画素にすると共に、上記画素ラインに隣接する画素ラインを構成する上記緑色フィルタ積層画素のうち上記低感度画素の上記赤色フィルタ積層画素と上記青色フィルタ積層画素に隣接する上記緑色フィルタ積層画素を低感度画素とする。
また、実施形態の固体撮像素子では、上記低感度画素の遮光膜開口の開口面積が上記高感度画素の遮光膜開口の開口面積より小さい。
また、実施形態の固体撮像素子では、上記高感度画素にマイクロレンズを搭載し上記低感度画素にマイクロレンズを非搭載とする。
また、実施形態の撮像装置は、上記固体撮像素子を駆動する駆動部と、上記低感度画素の画素位置の撮像画像信号を周囲の上記高感度画素の撮像画像信号で補間演算して求める信号処理部を備える。
また、実施形態の撮像装置では、上記補間演算で用いる上記高感度画素の撮像画像信号が緑色フィルタ積層画素の撮像画像信号である。
また、実施形態の撮像装置では、上記信号処理部は、上記高感度画素が飽和したとき上記高感度画素の画素位置の上記撮像画像信号を上記高感度画素に近接する上記低感度画素の撮像画像信号を用いて補間演算し求める。
以上述べた実施形態によれば、高解像度かつ低偽色の広ダイナミックレンジの被写体カラー画像を撮像することが可能となる。
本発明を詳細に又は特定の実施形態を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。本出願は、2011年3月30日出願の日本特許出願(特願2011−076343)に基づくものであり、その内容はここに参照として取り込まれる。
本発明に係る固体撮像素子の駆動方法は、高解像度かつ色ズレの少ない広ダイナミックレンジの被写体カラー画像を撮像でき、デジタルカメラやカメラ付携帯電話機等に適用すると有用である。
10 デジタルカメラ(撮像装置)
21 撮影光学系
22 撮像素子チップ
22a 固体撮像素子
22b アナログ信号処理部(AFE)
23 駆動部
26 デジタル信号処理部
29 システム制御部
45,46 低感度撮影画素ライン

Claims (15)

  1. 奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずらして配置され、右斜め上方向に延びる画素ラインと左斜め上方向に延びる画素ラインとが共に1ライン置きに緑色フィルタ積層画素のみで構成され、該緑色フィルタ積層画素が配置されていない残りの市松位置に配置される画素のうち奇数行又は偶数行の一方を構成する画素を赤色フィルタ積層画素にすると共に他方を構成する画素を青色フィルタ積層画素とした固体撮像素子の駆動方法であって、
    前記右斜め上方向に延びる画素ライン又は前記左斜め上方向に延びる画素ラインのうち一方の画素ラインの4ライン毎に1ライン上に存在する前記赤色フィルタ積層画素及び前記青色フィルタ積層画素及び該赤色フィルタ積層画素若しくは該青色フィルタ積層画素に最隣接する前記緑色フィルタ積層画素を低感度画素として駆動し、
    残りの画素を高感度画素として駆動する固体撮像素子の駆動方法。
  2. 請求項1に記載の固体撮像素子の駆動方法であって、
    前記低感度画素として駆動する前記緑色フィルタ積層画素は、前記低感度画素として駆動する該赤色フィルタ積層画素及び該青色フィルタ積層画素と同一ライン上のみに存在する固体撮像素子の駆動方法。
  3. 請求項2に記載の固体撮像素子の駆動方法であって、
    前記低感度画素として駆動する前記緑色フィルタ積層画素は、前記同一ライン上に存在する前記緑色フィルタ積層画素のうちの1個おきの緑色フィルタ積層画素である固体撮像素子の駆動方法。
  4. 請求項1に記載の固体撮像素子の駆動方法であって、
    前記低感度画素を構成する前記赤色フィルタ積層画素と前記青色フィルタ積層画素を含む前記画素ラインに含まれる前記緑色フィルタ積層画素を高感度画素として駆動すると共に、該画素ラインに隣接する画素ラインを構成する前記緑色フィルタ積層画素のうち前記低感度画素の前記赤色フィルタ積層画素と前記青色フィルタ積層画素に隣接する前記緑色フィルタ積層画素を低感度画素として駆動する固体撮像素子の駆動方法。
  5. 請求項1から請求項4のいずれか一項に記載の固体撮像素子の駆動方法であって、
    前記低感度画素の露光時間を前記高感度画素の露光時間に比べて短時間とすることで、前記高感度画素に比べて前記低感度画素の低感度化をはかる固体撮像素子の駆動方法。
  6. 請求項1から請求項4のいずれか一項に記載の固体撮像素子の駆動方法であって、
    前記低感度画素の出力信号を増幅する増幅率を前記高感度画素の出力信号を増幅する増幅率より低くすることで、前記高感度画素に比べて前記低感度画素の低感度化をはかる固体撮像素子の駆動方法。
  7. 低感度画素と、
    高感度画素を備え、
    奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずらして配置され、右斜め上方向に延びる画素ラインと左斜め上方向に延びる画素ラインとが共に1ライン置きに緑色フィルタ積層画素のみで構成され、
    該緑色フィルタ積層画素が配置されていない残りの市松位置に配置される画素のうち奇数行又は偶数行の一方を構成する画素を赤色フィルタ積層画素にすると共に他方を構成する画素を青色フィルタ積層画素とし、
    前記右斜め上方向に延びる画素ライン又は前記左斜め上方向に延びる画素ラインのうち一方の画素ラインの4ライン毎に1ライン上に存在する前記赤色フィルタ積層画素及び前記青色フィルタ積層画素及び該赤色フィルタ積層画素若しくは該青色フィルタ積層画素に最隣接する前記緑色フィルタ積層画素を前記低感度画素で構成し、残りの画素を前記高感度画素で構成した固体撮像素子。
  8. 請求項7に記載の固体撮像素子であって、
    前記低感度画素の前記緑色フィルタ積層画素は、前記低感度画素の前記赤色フィルタ積層画素及び前記青色フィルタ積層画素と同一ライン上のみに存在する固体撮像素子。
  9. 請求項8に記載の固体撮像素子であって、
    前記低感度画素の前記緑色フィルタ積層画素は、前記同一ライン上に存在する前記緑色フィルタ積層画素のうちの1個おきの緑色フィルタ積層画素である固体撮像素子。
  10. 請求項7に記載の固体撮像素子であって、
    前記低感度画素を構成する前記赤色フィルタ積層画素と前記青色フィルタ積層画素を含む前記画素ラインに含まれる前記緑色フィルタ積層画素を高感度画素にすると共に、該画素ラインに隣接する画素ラインを構成する前記緑色フィルタ積層画素のうち前記低感度画素の前記赤色フィルタ積層画素と前記青色フィルタ積層画素に隣接する前記緑色フィルタ積層画素を低感度画素とする固体撮像素子。
  11. 請求項7から請求項10のいずれか一項に記載の固体撮像素子であって、
    前記低感度画素の遮光膜開口の開口面積が前記高感度画素の遮光膜開口の開口面積より小さい固体撮像素子。
  12. 請求項7から請求項11のいずれか一項に記載の固体撮像素子であって、
    前記高感度画素にマイクロレンズを搭載し、前記低感度画素にマイクロレンズを非搭載とした固体撮像素子。
  13. 請求項7から請求項12のいずれか一項に記載の固体撮像素子と、
    前記固体撮像素子を駆動する駆動部と、
    前記低感度画素の画素位置の撮像画像信号を周囲の前記高感度画素の撮像画像信号で補間演算して求める信号処理部と、を備える撮像装置。
  14. 請求項13に記載の撮像装置であって、
    前記補間演算で用いる前記高感度画素の撮影画像信号が緑色フィルタ積層画素の撮像画像信号である撮像装置。
  15. 請求項13又は請求項14に記載の撮像装置であって、
    前記信号処理部は、前記高感度画素が飽和したとき該高感度画素の画素位置の前記撮像画像信号を該高感度画素に近接する前記低感度画素の撮像画像信号を用いて補間演算し求める撮像装置。
JP2012540202A 2011-03-30 2012-03-28 固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置 Expired - Fee Related JP5150796B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012540202A JP5150796B2 (ja) 2011-03-30 2012-03-28 固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011076343 2011-03-30
JP2011076343 2011-03-30
PCT/JP2012/058182 WO2012133551A1 (ja) 2011-03-30 2012-03-28 固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置
JP2012540202A JP5150796B2 (ja) 2011-03-30 2012-03-28 固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置

Publications (2)

Publication Number Publication Date
JP5150796B2 true JP5150796B2 (ja) 2013-02-27
JPWO2012133551A1 JPWO2012133551A1 (ja) 2014-07-28

Family

ID=46931259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012540202A Expired - Fee Related JP5150796B2 (ja) 2011-03-30 2012-03-28 固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置

Country Status (4)

Country Link
US (1) US8830364B2 (ja)
JP (1) JP5150796B2 (ja)
CN (1) CN102959959B (ja)
WO (1) WO2012133551A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104412582B (zh) * 2012-07-06 2016-04-13 富士胶片株式会社 彩色摄像元件和摄像装置
CN104253946B (zh) * 2013-06-27 2018-03-20 聚晶半导体股份有限公司 产生高动态范围图像的方法及其图像传感器
CN103680325A (zh) * 2013-12-17 2014-03-26 京东方科技集团股份有限公司 显示基板、显示面板和立体显示装置
JP6233424B2 (ja) 2016-01-05 2017-11-22 ソニー株式会社 撮像システムおよび撮像方法
CN106454286A (zh) * 2016-09-29 2017-02-22 杭州雄迈集成电路技术有限公司 一种g模式色彩滤波阵列
CN106298826A (zh) * 2016-09-29 2017-01-04 杭州雄迈集成电路技术有限公司 一种图像传感器
US9892487B1 (en) * 2016-11-28 2018-02-13 Sony Corporation Method and apparatus for combining pixel values in array including linear pixels and logarithmic pixels
WO2018170918A1 (en) * 2017-03-24 2018-09-27 Huawei Technologies Co., Ltd. Multi-camera system for low light
JP6750594B2 (ja) * 2017-10-25 2020-09-02 ソニー株式会社 撮像システムおよび撮像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000125209A (ja) * 1998-10-12 2000-04-28 Fuji Photo Film Co Ltd 固体撮像装置および信号読出し方法
JP2005286104A (ja) * 2004-03-30 2005-10-13 Fuji Film Microdevices Co Ltd 広ダイナミックレンジカラー固体撮像装置及びこの固体撮像装置を搭載したデジタルカメラ
JP2008219598A (ja) * 2007-03-06 2008-09-18 Sony Corp 固体撮像装置、撮像装置
JP2010166580A (ja) * 2007-12-07 2010-07-29 Panasonic Corp 画像処理装置および画像処理方法ならびに撮像装置
JP2010263305A (ja) * 2009-04-30 2010-11-18 Fujifilm Corp 撮像装置及びその駆動方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355790A (ja) 1998-06-09 1999-12-24 Fuji Film Microdevices Co Ltd 二次元カラー撮像素子
JP4162111B2 (ja) * 1999-07-27 2008-10-08 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
JP2004112768A (ja) * 2002-08-29 2004-04-08 Sanyo Electric Co Ltd 撮像装置
JP2006211631A (ja) 2004-12-27 2006-08-10 Sony Corp 固体撮像装置および撮像装置
US7570290B2 (en) 2004-12-27 2009-08-04 Sony Corporation Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus
US7551214B2 (en) * 2005-12-01 2009-06-23 Megachips Lsi Solutions Inc. Pixel interpolation method
JP4449936B2 (ja) * 2006-03-31 2010-04-14 ソニー株式会社 撮像装置、カメラシステムおよびその駆動方法
JP5292689B2 (ja) * 2006-10-31 2013-09-18 日本電気株式会社 熱型赤外線撮像装置及びその動作方法
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
US8022994B2 (en) * 2007-08-31 2011-09-20 Omnivision Technologies, Inc. Image sensor with high dynamic range in down-sampling mode
WO2011142774A1 (en) * 2010-05-14 2011-11-17 Omnivision Technologies, Inc. Alternative color image array and associated methods
JP5002738B2 (ja) * 2010-07-12 2012-08-15 パナソニック株式会社 画像生成装置
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013021636A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000125209A (ja) * 1998-10-12 2000-04-28 Fuji Photo Film Co Ltd 固体撮像装置および信号読出し方法
JP2005286104A (ja) * 2004-03-30 2005-10-13 Fuji Film Microdevices Co Ltd 広ダイナミックレンジカラー固体撮像装置及びこの固体撮像装置を搭載したデジタルカメラ
JP2008219598A (ja) * 2007-03-06 2008-09-18 Sony Corp 固体撮像装置、撮像装置
JP2010166580A (ja) * 2007-12-07 2010-07-29 Panasonic Corp 画像処理装置および画像処理方法ならびに撮像装置
JP2010263305A (ja) * 2009-04-30 2010-11-18 Fujifilm Corp 撮像装置及びその駆動方法

Also Published As

Publication number Publication date
CN102959959B (zh) 2016-02-24
US20130057736A1 (en) 2013-03-07
WO2012133551A1 (ja) 2012-10-04
JPWO2012133551A1 (ja) 2014-07-28
US8830364B2 (en) 2014-09-09
CN102959959A (zh) 2013-03-06

Similar Documents

Publication Publication Date Title
JP5150796B2 (ja) 固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置
JP6440844B2 (ja) 固体撮像装置
US9729805B2 (en) Imaging device and defective pixel correction method
US8576315B2 (en) Imaging device and imaging apparatus for performing focus alignment
JP4448889B2 (ja) 撮像素子及び撮像装置
US8723991B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
JP4253634B2 (ja) デジタルカメラ
JP2009268073A (ja) 撮像装置及び撮像装置の信号処理方法
JP4997359B2 (ja) 撮像装置及び混色補正方法
US8928785B2 (en) Imaging device and storage medium storing an imaging program
US8111298B2 (en) Imaging circuit and image pickup device
JP5526287B2 (ja) 撮像装置及び撮像方法
JP5033711B2 (ja) 撮像装置及び撮像装置の駆動方法
JP5634614B2 (ja) 撮像素子及び撮像装置
JP6127368B2 (ja) 撮像装置
JP5124549B2 (ja) 固体撮像素子の動画像信号読出方法及び撮像装置
JP2007235877A (ja) 多板式固体撮像素子モジュール及び撮像装置
JP5066476B2 (ja) 撮像装置
JP4848349B2 (ja) 撮像装置及び固体撮像素子の駆動方法
JP5511205B2 (ja) 撮像装置及び撮像方法
JP5256084B2 (ja) 撮像装置及び撮像装置の駆動方法
JP6451315B2 (ja) 撮像装置
JP2016063467A (ja) 画像信号処理方法及びそれを用いた撮像装置
JP2012080297A (ja) 撮像装置及びその撮像制御方法
JP2009033015A (ja) 固体撮像素子及び撮像装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121203

R150 Certificate of patent or registration of utility model

Ref document number: 5150796

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees