JP2009021985A - 撮像装置及び撮像装置の駆動方法 - Google Patents

撮像装置及び撮像装置の駆動方法 Download PDF

Info

Publication number
JP2009021985A
JP2009021985A JP2008136505A JP2008136505A JP2009021985A JP 2009021985 A JP2009021985 A JP 2009021985A JP 2008136505 A JP2008136505 A JP 2008136505A JP 2008136505 A JP2008136505 A JP 2008136505A JP 2009021985 A JP2009021985 A JP 2009021985A
Authority
JP
Japan
Prior art keywords
color
pixel
pixels
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008136505A
Other languages
English (en)
Other versions
JP5033711B2 (ja
Inventor
Satoru Wada
和田  哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008136505A priority Critical patent/JP5033711B2/ja
Publication of JP2009021985A publication Critical patent/JP2009021985A/ja
Application granted granted Critical
Publication of JP5033711B2 publication Critical patent/JP5033711B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】高いフレームレートで画像データを読み出しつつ、間引きを行わず高画質を実現できる撮像装置及び撮像装置の駆動方法を提供する。
【解決手段】3原色の入射光量を検出する、第1色〜第3色の色画素と、色画素のそれぞれに隣接して輝度検出画素とが設けられた撮像素子を搭載した撮像装置であって、縮小画像のデータを生成するとき、第1の色画素と、隣接する第2の色画素のデータとを加算して第1の補色情報を生成し、第2の色画素と、隣接する第3の色画素のデータとを加算して第2の補色情報を生成し、隣接する輝度検出画素のデータ同士を加算して輝度情報を生成し、第1の補色情報と第2の補色情報と輝度情報を信号処理して撮像画像を再生する信号処理手段とを備え、撮像素子が、第1と第2の色画素とを繰り返し並べた列と、第2と第3の色画素とを繰り返し並べた列と、輝度検出画素のみを並べた列とからなる画素配列を有する。
【選択図】図4

Description

本発明は、撮像装置及び撮像装置の駆動方法に関し、特に、R(赤)、G(緑)、B(青)の色検出用画素と、W(白)の輝度検出用画素を有する撮像素子を備えた撮像装置及びその駆動方法に関する。
デジタルカメラに搭載されるカラー画像撮影用の固体撮像素子は、例えばベイヤー配列されたR,G,Bの3原色のカラーフィルタを持っているが、R,G,Bのカラーフィルタだけでは、被写体の色が偏っていた場合、撮像画像の輝度解像度が劣化してしまうという問題がある。
このため、従来では、固体撮像素子を構成する各画素のうち、市松状に配置された画素を輝度検出用の画素とし、残りの市松配置位置の各画素の上にR,G,Bの3原色のカラーフィルタのいずれかを形成し、撮像画像の輝度解像度が被写体の色に依存しないようにしている。
また、輝度検出用画素が形成されたカラー画像撮影用固体撮像素子を搭載したデジタルカメラで、例えば動画を撮影するときなど、フレームレートを高めるために、縮小した画像データを固体撮像素子から読み出す場合がある。この場合、輝度検出用画素からは画像データを読み出さず、R,G,Bのカラーフィルタを持つ色検出用画素からのみ画像データを読み出し、画像解像度を精度良く縦横共に1/2にしている。しかし、近年の固体撮像素子は高画素化が技術的限界にまで達しており、1画素で受光できる信号電荷量は非常に小さい。このため、画素間引きを行って画像データを固体撮像素子から読み出すと、輝度感度が小さくなってしまうという問題がある。
この問題を解決するため、下記特許文献1は、縮小した画像データを固体撮像素子から読み出す場合、間引きを行わずに画素データを読み出すことで、輝度感度を低下させることなく、1/2の縮小画像を得ることを実現している。
特開2006−157600号公報
ところで、上記特許文献1の固体撮像素子は、縦横に配列形成された個々の画素の表面に、輝度検出用のフィルタYとカラーフィルタR,G,Bとが設けられている。フィルタYは、縦横に配列された個々の画素のうち、市松状の配置位置となっている画素の表面に設けられ、カラーフィルタR,G,Bは、残りの市松状の配置位置となっている画素の表面に設けられている。偶数行の画素の個々の表面に「Y,G,Y,G,…」とフィルタが並び、奇数行の画素の個々の表面には、「R,Y,B,Y,R,…」と並ぶ行と、「B,Y,R,Y,B,…」と並ぶ行とが交互に配置される。そして、固体撮像素子で撮像した画像データを用い、縦横ともに1/2の解像度の縮小画像を生成する場合には、本実施形態では、縦方向(垂直方向)に隣接する2画素の画像データを加算して固体撮像素子から読み出している。ここで、縦方向の2画素のペアは、フィルタYを持つ画素であるY画素と、カラーフィルタR,G,Bのいずれかを持つ画素とからなり、R画素とY画素とからなるペアに対して縦方向に隣り合うペアはB画素とY画素とからなるペアとなる。すると、画像データを読み出す際に更にフレームレートを高めるため、1/2より小さい比率で縮小画像を生成しようとする場合には、縦方向において画素データの間引きをしなくてはならず、高いフレームレートによる読み出し速度の高速性と高画質との両立を図る点で更なる改善の余地があった。
本発明は、上記事情に鑑みてなされたもので、その目的は、高いフレームレートで画像データを読み出しつつ、間引きを行わず高画質を実現できる撮像装置及び撮像装置の駆動方法を提供することにある。
本発明の上記目的は、下記構成によって達成される。
(1)3原色の第1色の入射光量を検出する第1の色画素と、3原色の第2色の入射光量を検出する第2の色画素と、3原色の第3色の入射光量を検出する第3の色画素と、前記色画素のそれぞれに隣接して設けられ輝度情報を検出する輝度検出画素とが設けられた撮像素子を搭載した撮像装置であって、
前記撮像素子の全画素分の解像度より解像度を縮小した縮小画像のデータを生成するとき、前記第1の色画素のデータと、該第1の色画素と隣接する前記第2の色画素のデータとを加算して第1の補色情報を生成し、前記第2の色画素のデータと該第2の色画素に隣接する前記第3の色画素のデータとを加算して第2の補色情報を生成し、隣接する前記輝度検出画素のデータ同士を加算して輝度情報を生成する制御手段と、
前記第1の補色情報と前記第2の補色情報と前記輝度情報を信号処理して撮像画像を再生する信号処理手段とを備え、
前記撮像素子が、前記第1の色画素と前記第2の色画素とを繰り返し並べた列と、前記第2の色画素と前記第3の色画素とを繰り返し並べた列と、前記輝度検出画素のみを並べた列とからなる画素配列を有することを特徴とする撮像装置。
(2)前記撮像素子は、前記色画素が縦方向及び横方向に対して同じピッチで市松状に配列され、前記輝度検出画素が前記色画素の前記縦方向及び前記横方向に対して1/2ピッチずれた位置に市松状に配列されたことを特徴とする上記(1)に記載の撮像装置。
(3)前記撮像素子は、複数の画素が正方格子状に配列され、前記複数の画素のうち市松状の配置位置にある画素を前記輝度検出画素とし、残りの市松状の配置位置にある各画素を前記色画素とすることを特徴とする上記(1)に記載の撮像装置。
(4)前記撮像素子はCCD型であり、前記撮像素子の各画素からデータを読み出すときに、前記色画素のデータを加算と、前記輝度情報画素同士のデータの加算とを行って読み出す加算読出手段を備えることを特徴とする上記(1)から(3)のいずれか1つに記載の撮像装置。
(5)前記撮像素子はCMOS型であり、前記撮像素子の各画素からデータを読み出した後に、前記色画素のデータを加算と、前記輝度情報画素同士のデータの加算とを行って読み出すデータ加算手段を備えることを特徴とする上記(1)から(3)のいずれか1つに記載の撮像装置。
(6)3原色の第1色の入射光量を検出する第1の色画素と、3原色の第2色の入射光量を検出する第2の色画素と、3原色の第3色の入射光量を検出する第3の色画素と、前記色画素のそれぞれに隣接して設けられ輝度情報を検出する輝度検出画素とが設けられた撮像素子を搭載した撮像装置の駆動方法であって、
前記撮像素子の全画素分の解像度より解像度を縮小した縮小画像のデータを生成するとき、前記第1の色画素のデータと、該第1の色画素と隣接する前記第2の色画素のデータとを加算して第1の補色情報を生成し、前記第2の色画素のデータと該第2の色画素に隣接する前記第3の色画素のデータとを加算して第2の補色情報を生成し、隣接する前記輝度検出画素のデータ同士を加算して輝度情報を生成する工程と、
前記第1の補色情報と前記第2の補色情報と前記輝度情報を信号処理して撮像画像を再生する工程とを備え、
前記撮像素子が、前記第1の色画素と前記第2の色画素とを繰り返し並べた列と、前記第2の色画素と前記第3の色画素とを繰り返し並べた列と、前記輝度検出画素のみを並べた列とからなる画素配列を有することを特徴とする撮像装置の駆動方法。
(7)前記撮像素子は、前記色画素が縦方向及び横方向に対して同じピッチで市松状に配列され、前記輝度検出画素が前記色画素の前記縦方向及び前記横方向に対して1/2ピッチずれた位置に市松状に配列されたことを特徴とする上記(6)に記載の撮像装置の駆動方法。
(8)前記撮像素子は、複数の画素が正方格子状に配列され、前記複数の画素のうち市松状の配置位置にある画素を前記輝度検出画素とし、残りの市松状の配置位置にある各画素を前記色画素とすることを特徴とする上記(6)に記載の撮像装置の駆動方法。
(9)前記撮像素子はCCD型であり、前記撮像素子の各画素からデータを読み出すときに、前記色画素のデータを加算と、前記輝度情報画素同士のデータの加算とを行って読み出す工程を備えることを特徴とする上記(6)から(8)のいずれか1つに記載の撮像装置の駆動方法。
(10)前記撮像素子はCMOS型であり、前記撮像素子の各画素からデータを読み出した後に、前記色画素のデータを加算と、前記輝度情報画素同士のデータの加算とを行って読み出す工程を備えることを特徴とする上記(6)から(8)のいずれか1つに記載の撮像装置の駆動方法。
本発明は、撮像素子は、第1の色画素と第2の色画素とを繰り返し並べた列と、第2の色画素と第3の色画素とを繰り返し並べた列と、輝度検出画素のみを並べた列とからなる画素配列を有する。このような画素配列において、間引くことなく読み出しを行うため、第1の補色情報を生成する際に、第1の色画素と第2の色画素とを繰り返し並べた列から第1の色画素のデータと第2の色画素のデータとのペアを所定の数だけ読み出す。このとき、第1の色画素と第2の色画素とが、同じ列において繰り返し配置されているため、間引きをすることなく読み出すことができる。同様に、第2の補色情報を生成する際に、第2の色画素と第3の色画素とを繰り返し並べた列から第2の色画素のデータと第3の色画素のデータとのペアを所定の数だけ間引きすることなく読み出すことができる。また、輝度検出画素のみからなる列が形成されているため、該輝度検出画素同士のペアのデータを読み出す場合には間引きすることなく読み出すことができる。こうすれば、高いフレームレートで画像データを読み出すために、撮像素子の全画素分の解像度より解像度を縮小した縮小画像のデータを生成するときに、前記色画素のデータ及び前記輝度情報画素のデータを加算させるペアの数が増えても、間引くことなく読み出すことができ、1/2の縮小画像だけでなく所定の縮小比の縮小画像を高画質で再生することができる。
本発明によれば、高いフレームレートで画像データを読み出しつつ、間引きを行わず高画質を実現できる撮像装置及び撮像装置の駆動方法を提供できる。
以下、本発明の実施形態を図面に基づいて詳しく説明する。
図1は、本発明の一実施形態に係る撮像装置の構成図である。この実施形態ではデジタルスチルカメラを例に説明するが、デジタルビデオカメラや携帯電話機等の小型電子機器に搭載されたカメラ等の他の種類のデジタルカメラにも本発明を適用可能である。
図1に示すデジタルスチルカメラは、撮影レンズ10と、CCD型の撮像素子11と、この両者の間に設けられた絞り12と、赤外線カットフィルタ13と、光学ローパスフィルタ14とを備える。デジタルスチルカメラ全体を制御するCPU15は、フラッシュ用の発光部16及び受光部17を制御し、また、レンズ駆動部18を制御して撮影レンズ10の位置をフォーカス位置に調整し、絞り駆動部19を介し絞りの開口量を制御して露光量が適正露光量となるように調整する。
撮像素子11は、本実施形態では、赤色(R)の入射光量に応じた信号を検出する色画素と、緑色(G)の入射光量に応じた信号を検出する色画素と、青色(B)の入射光量に応じた信号を検出する色画素の他に、輝度検出信号(W)を検出する輝度検出画素とが設けられている。尚、撮像素子11は、CCD型でなくCMOS型などの他の形式のものでもよい。
また、CPU15は、撮像素子駆動部20を介して、撮像素子11を詳細は後述するようにして駆動し、撮影レンズ10を通して撮像した被写体画像を色信号として出力させる。CPU15には、操作部21を通してユーザの指示信号が入力され、CPU15はこの指示に従って各種制御を行う。
操作部21はシャッタボタンを含み、シャッタボタンが半押し状態(スイッチS1)になったときにフォーカス調整が為され、シャッタボタンが全押し状態(スイッチS2)になると、撮像が行われる。
デジタルスチルカメラの電気制御系は、撮像素子11の出力に接続されたアナログ信号処理部22と、このアナログ信号処理部22から出力されたR,G,Bの各色信号及び輝度検出信号Yをそれぞれデジタル信号に変換するA/D変換回路23とを備え、これらはCPU15によって制御される。
更に、このデジタルスチルカメラの電気制御系は、メインメモリ(フレームメモリ)24に接続されたメモリ制御部25と、詳細は後述する信号処理を行うデジタル信号処理部26と、撮像画像をJPEG画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部27と、測光データを積算してホワイトバランスのゲインを調整させる積算部28と、着脱自在の記録媒体29が接続される外部メモリ制御部30と、カメラ背面等に搭載された液晶表示部31が接続される表示制御部32とを備え、これらは、制御バス33及びデータバス34によって相互に接続され、CPU15からの指令によって制御される。
図2は、図1に示すデジタル信号処理部26の詳細構成図である。このデジタル信号処理部26は、A/D変換回路23から出力されるデジタルのRGB色信号及び輝度検出信号Yを取り込んでオフセット処理を行うオフセット補正回路41と、ホワイトバランスをとるゲイン補正回路42と、ホワイトバランス補正後の色信号に対してガンマ補正を行うガンマ補正回路43を備える。オフセット補正後の信号に対してリニアマトリクス処理やニー補正を行う場合には、ゲイン補正回路42とガンマ補正回路43との間で行う。
このデジタル信号処理部26は更に、ガンマ補正後のRGB色信号を補間演算して各画素位置におけるRGB3色の信号を求めるRGB補間演算部44と、RGB信号及び輝度検出信号Wから輝度信号Y及び色差信号Cr,Cbを求めるRGB/YC変換部45と、変換部45から出力される輝度信号Yからノイズを低減するノイズフィルタ46と、ノイズ低減後の輝度信号Yに対して輪郭補正を行う輪郭補正回路47と、色差信号Cr,Cbに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路48とを備える。
RGB補間演算部44は、3板式の撮像素子であれば不要であるが、本実施形態で使用する撮像素子11は単板式の撮像素子であり、各画素からは、R,G,Bのうちの一色の信号または輝度検出信号Yしか出力されないため、出力しない色、即ち、Rを出力する画素では、この画素位置においてG,Bの色信号がどの程度になるかを、周りの画素のG,B信号から補間演算により求めるものである。
図3は、本実施形態で使用する撮像素子11の画素配列を示す表面模式図である。図4は、画素のデータを加算して読み出しときの処理を説明する撮像素子の表面模式図である。固体撮像素子11には、多数の画素が正方格子状に配列されており、そのうちの5×5=25の画素部分を図3に示している。
図3に示すように、撮像素子11は、偶数行の画素の個々の表面に「W,G,W,G,…」とフィルタが並び、奇数行の画素の個々の表面には、「R,W,B,W,R,…」と並ぶ行と、「B,W,R,W,B,…」と並ぶ行とが交互に配置されている。
フィルタWは、輝度情報と相関のある分光特性を持ったフィルタすなわち輝度フィルタといえるものであり、NDフィルタや、透明フィルタ、白色フィルタ、グレーのフィルタ等が該当するが、画素表面に何もフィルタを設けずに光が直接画素表面に入射する構成も、輝度フィルタを設けたということができる。
以下、フィルタRを持つ画素を「R画素」、フィルタGを持つ画素を「G画素」、フィルタBを持つ画素を「B画素」、フィルタWを持つ画素を「W画素」として説明する。
本実施形態では、撮像素子11は、R画素とG画素とを斜め方向に繰り返し並べた列と、G画素とB画素とを斜め方向に繰り返し並べた列と、W画素のみを斜め方向に並べた列とからなる画素配列である。ここで、斜め方向とは、図3における上下方向を時計回りの反対回りに45°傾けた状態で、R,G画素とかならる列、G、B画素とかなる列、W画素のみからなる列のそれぞれの列が延びている方向をいう。また、撮像素子11は、2つのW画素に対してR,G,B画素が1つの割合で形成され、言い換えると、R,G,B,Wの画素数の比率は、1:2:1:4となる。
上述した構成の撮像素子11で撮像した画像データを用い、例えば最大解像度の静止画像を生成する場合には、従来と同様に撮像素子11の個々の画素から個別にR,G,B,Wの画像データを読み出し、デジタル信号処理部26で画像処理する。
これに対し、撮像素子11で撮像した画像データを用い、低解像度の縮小画像を生成する場合には、本実施形態では、図4に破線で囲んで示すように、斜め方向に隣接する2画素を加算ペアとして画像データを加算して撮像素子11から読み出すように、CPU15が撮像素子駆動部20を制御する。CCD型の撮像素子11であれば、垂直転送路上で画像データ(信号電荷量)を加算してもよいし、CMOS型の撮像素子11であれば、各画素の信号電荷量に応じて信号読出用トランジスタが読み出した信号量を加算すればよい。
本実施形態では、加算ペアを形成する際に、斜め方向に全て画素が加算に使用することができるため、従来のように加算ペアに含まれず画素の信号量が読み出されずに掃きだされてしまうことを回避することができる。
以下、撮像素子の全画素分の解像度より解像度を縮小した縮小画像のデータを生成する場合に、R,G,Bの色画素のデータ及びWの輝度検出画素のデータに基づいて撮像画像を再生する手段を説明する。ここで、撮像素子11から読み出した本来のR信号を「R」、本来のG信号を「G」、本来のB信号を「B」、本来のW信号を「W」と表す。
図4の撮像素子11を斜め方向に加算すると、下記式のようになる。下記式においてYeはRGB三原色に対する補色のイエローを表し、Cyは、補色のシアンを表している。
Figure 2009021985
上記式のように、本実施形態では、3原色の色画素のデータのうち、配置の隣り合う2つの色画素のデータから補色情報を生成している。具体的には、R(第1の色画素のデータ)と、当該Rと隣接するG(第2の色画素のデータ)とを加算してYe(第1の補色情報)を生成し、Gと当該Gに隣接するB(第3の色画素のデータ)とを加算してCy(第2の補色情報)を生成している。
上記式より、下記の近似式を求めることができる。
Figure 2009021985
この結果、RGBを下記の一般式により求めることができる。なお、下記式において、A(r),A(g),A(b)は各RGBごとに設定された定数項を表している。
Figure 2009021985
このように、R,G,Bは、W,Ye,Cyと定数項Aをマトリクス演算することで算出することができ、算出されたR,G,BがそれぞれRGB/YC変換部45に出力される。
本実施形態の撮像装置は、撮像素子11が、斜めの方向に対して、R画素とG画素とを繰り返し並べた列と、G画素とB画素とを繰り返し並べた列と、W画素のみを並べた列とからなる画素配列を有している。このため、R画素とG画素とを繰り返し並べた列からR,G画素のデータからなる加算ペアを所定の数だけ読み出し、補色情報Yeを生成することができる。このとき、R画素とG画素とが、同じ列において繰り返し配置されているため、間引きをすることなく読み出すことができる。同様に、補色情報Cyを生成する際に、G画素とB画素とを繰り返し並べた列からG,B画素からなる加算ペアを所定の数だけ、間引きすることなく読み出すことができる。また、W画素のみからなる列が形成されているため、W画素のデータを読み出す場合には間引きすることなく読み出すことができる。そして、得られた補色情報Ye,Cyと輝度情報Wより、近似的にRGBを得ることができる。こうすれば、動画撮像時のように高いフレームレートで画像データを読み出す際に、撮像素子の全画素分の解像度より解像度を縮小した縮小画像のデータを生成するため、色画素のデータ及び輝度情報画素のデータを加算させるペアの数が増えても間引くことなく読み出すことができ、1/2の縮小画像だけでなく所定の縮小比の縮小画像を高画質で再生することができる。
本実施形態の画素配列における加算読み出しのパターンは、図4に示すものに限定されない。例えば、図5に示すように、R画素,W画素,B画素,W画素,R画素、と並べられた第1の列の各画素と、第1の列に下方に配列された、W画素,G画素,W画素,G画素,W画素とを有する第2の列のうち、第1の列の各画素とそれぞれの右斜め下に位置する画素とをペアで加算し、読み出してもよい。こうすれば、画素配列に対して加算されるペアの位置関係が整然となるため、加算による画像の劣化を抑えることができる。
次に、本発明にかかる撮像装置の別の実施形態を示す。なお、以下に説明する実施形態において、すでに説明した部材などと同等な構成・作用を有する部材等については、図中に同一符号又は相当符号を付すことにより、説明を簡略化或いは省略する。
図6は、他の実施形態にかかる撮像素子11の画素配列を示す表面模式図である。図6に示すように、撮像素子11は、R画素、G画素、B画素が縦方向及び横方向に対して同じピッチで市松状に配列(所謂、ベイヤー配列)され、これら色画素の縦方向及び横方向に対して1/2ピッチずれた位置に、W画素が市松状に配列されている。W画素は、縦方向及び横方向に対して色画素と同じピッチで配置されている。
撮像素子11は、R画素(第1の色画素)とG画素(第2の色画素)とを縦方向に繰り返し並べた列と、G画素とB画素(第3の色画素)とを縦方向に繰り返し並べた列と、W画素のみを縦方向に並べた列とからなる画素配列である。
撮像素子11で撮像した画像データを用い、解像度の縮小画像を生成する場合には、本実施形態では、図6において長方形で囲んで示すように、列の延びる方向に隣接する2画素を加算ペアとして画像データを加算して撮像素子11から読み出すように、CPU15が撮像素子駆動部20を制御する。CCD型の撮像素子11であれば、垂直転送路上で画像データ(信号電荷量)を加算してもよいし、CMOS型の撮像素子11であれば、各画素の信号電荷量に応じて信号読出用トランジスタが読み出した信号量を加算すればよい。本実施形態では、縦方向に繰り返し加算ペアを形成する際に、全て画素が加算に使用することができるため、従来のように加算ペアに含まれない画素の信号量が、読み出されずに掃きだされてしまうことを回避することができる。
このとき、RGBの色画素のデータ及び輝度検出画素のデータに基づき、上記実施形態と同様の演算式によって、補色情報Ye,Cy及び輝度情報Wを算出し、近似によってRGBの画素データを得ることができる。
本発明の一実施形態に係る撮像装置の構成図である。 信号処理部の詳細構成図である。 撮像素子の画素配列を示す表面模式図である。 画素のデータを加算して読み出しときの処理を説明する撮像素子の表面模式図である。 図4に示す撮像素子において、他の加算読み出しの例を示す表面模式図である。 別実施形態の撮像素子の画素配列を示す表面模式図である。
符号の説明
11 撮像素子
26 デジタル信号処理部

Claims (10)

  1. 3原色の第1色の入射光量を検出する第1の色画素と、3原色の第2色の入射光量を検出する第2の色画素と、3原色の第3色の入射光量を検出する第3の色画素と、前記色画素のそれぞれに隣接して設けられ輝度情報を検出する輝度検出画素とが設けられた撮像素子を搭載した撮像装置であって、
    前記撮像素子の全画素分の解像度より解像度を縮小した縮小画像のデータを生成するとき、前記第1の色画素のデータと、該第1の色画素と隣接する前記第2の色画素のデータとを加算して第1の補色情報を生成し、前記第2の色画素のデータと該第2の色画素に隣接する前記第3の色画素のデータとを加算して第2の補色情報を生成し、隣接する前記輝度検出画素のデータ同士を加算して輝度情報を生成する制御手段と、
    前記第1の補色情報と前記第2の補色情報と前記輝度情報を信号処理して撮像画像を再生する信号処理手段とを備え、
    前記撮像素子が、前記第1の色画素と前記第2の色画素とを繰り返し並べた列と、前記第2の色画素と前記第3の色画素とを繰り返し並べた列と、前記輝度検出画素のみを並べた列とからなる画素配列を有することを特徴とする撮像装置。
  2. 前記撮像素子は、前記色画素が縦方向及び横方向に対して同じピッチで市松状に配列され、前記輝度検出画素が前記色画素の前記縦方向及び前記横方向に対して1/2ピッチずれた位置に市松状に配列されたことを特徴とする請求項1に記載の撮像装置。
  3. 前記撮像素子は、複数の画素が正方格子状に配列され、前記複数の画素のうち市松状の配置位置にある画素を前記輝度検出画素とし、残りの市松状の配置位置にある各画素を前記色画素とすることを特徴とする請求項1に記載の撮像装置。
  4. 前記撮像素子はCCD型であり、前記撮像素子の各画素からデータを読み出すときに、前記色画素のデータを加算と、前記輝度情報画素同士のデータの加算とを行って読み出す加算読出手段を備えることを特徴とする請求項1から3のいずれか1つに記載の撮像装置。
  5. 前記撮像素子はCMOS型であり、前記撮像素子の各画素からデータを読み出した後に、前記色画素のデータを加算と、前記輝度情報画素同士のデータの加算とを行って読み出すデータ加算手段を備えることを特徴とする請求項1から3のいずれか1つに記載の撮像装置。
  6. 3原色の第1色の入射光量を検出する第1の色画素と、3原色の第2色の入射光量を検出する第2の色画素と、3原色の第3色の入射光量を検出する第3の色画素と、前記色画素のそれぞれに隣接して設けられ輝度情報を検出する輝度検出画素とが設けられた撮像素子を搭載した撮像装置の駆動方法であって、
    前記撮像素子の全画素分の解像度より解像度を縮小した縮小画像のデータを生成するとき、前記第1の色画素のデータと、該第1の色画素と隣接する前記第2の色画素のデータとを加算して第1の補色情報を生成し、前記第2の色画素のデータと該第2の色画素に隣接する前記第3の色画素のデータとを加算して第2の補色情報を生成し、隣接する前記輝度検出画素のデータ同士を加算して輝度情報を生成する工程と、
    前記第1の補色情報と前記第2の補色情報と前記輝度情報を信号処理して撮像画像を再生する工程とを備え、
    前記撮像素子が、前記第1の色画素と前記第2の色画素とを繰り返し並べた列と、前記第2の色画素と前記第3の色画素とを繰り返し並べた列と、前記輝度検出画素のみを並べた列とからなる画素配列を有することを特徴とする撮像装置の駆動方法。
  7. 前記撮像素子は、前記色画素が縦方向及び横方向に対して同じピッチで市松状に配列され、前記輝度検出画素が前記色画素の前記縦方向及び前記横方向に対して1/2ピッチずれた位置に市松状に配列されたことを特徴とする請求項6に記載の撮像装置の駆動方法。
  8. 前記撮像素子は、複数の画素が正方格子状に配列され、前記複数の画素のうち市松状の配置位置にある画素を前記輝度検出画素とし、残りの市松状の配置位置にある各画素を前記色画素とすることを特徴とする請求項6に記載の撮像装置の駆動方法。
  9. 前記撮像素子はCCD型であり、前記撮像素子の各画素からデータを読み出すときに、前記色画素のデータを加算と、前記輝度情報画素同士のデータの加算とを行って読み出す工程を備えることを特徴とする請求項6から8のいずれか1つに記載の撮像装置の駆動方法。
  10. 前記撮像素子はCMOS型であり、前記撮像素子の各画素からデータを読み出した後に、前記色画素のデータを加算と、前記輝度情報画素同士のデータの加算とを行って読み出す工程を備えることを特徴とする請求項6から8のいずれか1つに記載の撮像装置の駆動方法。
JP2008136505A 2007-06-13 2008-05-26 撮像装置及び撮像装置の駆動方法 Expired - Fee Related JP5033711B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008136505A JP5033711B2 (ja) 2007-06-13 2008-05-26 撮像装置及び撮像装置の駆動方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007156270 2007-06-13
JP2007156270 2007-06-13
JP2008136505A JP5033711B2 (ja) 2007-06-13 2008-05-26 撮像装置及び撮像装置の駆動方法

Publications (2)

Publication Number Publication Date
JP2009021985A true JP2009021985A (ja) 2009-01-29
JP5033711B2 JP5033711B2 (ja) 2012-09-26

Family

ID=40136053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008136505A Expired - Fee Related JP5033711B2 (ja) 2007-06-13 2008-05-26 撮像装置及び撮像装置の駆動方法

Country Status (2)

Country Link
US (1) US8031234B2 (ja)
JP (1) JP5033711B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4183635B2 (ja) * 2004-02-16 2008-11-19 富士フイルム株式会社 固体撮像装置
JP4747154B2 (ja) * 2007-11-22 2011-08-17 富士フイルム株式会社 固体撮像素子の駆動方法、固体撮像素子、及び撮像装置
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
US9445061B2 (en) * 2013-07-08 2016-09-13 Semiconductor Components Industries, Llc Image sensors with pixel array sub-sampling capabilities
JP2016092524A (ja) * 2014-10-31 2016-05-23 ソニー株式会社 信号処理装置及び信号処理方法
US20230037953A1 (en) * 2020-02-19 2023-02-09 Sony Group Corporation Image processing method and sensor device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004104516A (ja) * 2002-09-10 2004-04-02 Nikon Corp 撮像装置
JP2004304706A (ja) * 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
JP2006157600A (ja) * 2004-11-30 2006-06-15 Fuji Film Microdevices Co Ltd デジタルカメラ
JP2006352466A (ja) * 2005-06-15 2006-12-28 Fujitsu Ltd 撮像装置
WO2007015982A2 (en) * 2005-07-28 2007-02-08 Eastman Kodak Company Processing color and panchromatic pixels

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5323233A (en) * 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
JP2002010274A (ja) * 2000-06-20 2002-01-11 Olympus Optical Co Ltd カラー画像処理装置
US6476865B1 (en) * 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
JP4471166B2 (ja) * 2005-02-28 2010-06-02 パナソニック株式会社 デジタルカメラ
JP5011814B2 (ja) * 2006-05-15 2012-08-29 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004104516A (ja) * 2002-09-10 2004-04-02 Nikon Corp 撮像装置
JP2004304706A (ja) * 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
JP2006157600A (ja) * 2004-11-30 2006-06-15 Fuji Film Microdevices Co Ltd デジタルカメラ
JP2006352466A (ja) * 2005-06-15 2006-12-28 Fujitsu Ltd 撮像装置
WO2007015982A2 (en) * 2005-07-28 2007-02-08 Eastman Kodak Company Processing color and panchromatic pixels

Also Published As

Publication number Publication date
JP5033711B2 (ja) 2012-09-26
US8031234B2 (en) 2011-10-04
US20080316326A1 (en) 2008-12-25

Similar Documents

Publication Publication Date Title
US7626619B2 (en) Digital camera
JP4448888B2 (ja) 撮像装置及び撮像装置の信号処理方法
JP4738907B2 (ja) 固体撮像素子および固体撮像装置
JP5453173B2 (ja) 撮像装置及び位相差検出画素を持つ固体撮像素子並びに撮像装置の駆動制御方法
US8125547B2 (en) Driving method of solid-state imaging device, solid-state imaging device, and imaging apparatus including photoelectric conversion elements for luminance detection
JP2010020055A (ja) 撮像装置とその制御方法
US8111298B2 (en) Imaging circuit and image pickup device
US20060050956A1 (en) Signal processing apparatus, signal processing method, and signal processing program
JP2007104178A (ja) 撮像素子および撮像装置
US8830384B2 (en) Imaging device and imaging method
JP4639406B2 (ja) 撮像装置
JP2006270356A (ja) 固体撮像素子および固体撮像装置
JP5033711B2 (ja) 撮像装置及び撮像装置の駆動方法
JP2004221265A (ja) 固体撮像素子及びデジタルカメラ
JP2009065478A (ja) 固体撮像素子の駆動方法及び撮像装置
JP4284282B2 (ja) 撮像装置及び固体撮像素子
JP5124549B2 (ja) 固体撮像素子の動画像信号読出方法及び撮像装置
JPWO2013100097A1 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5066476B2 (ja) 撮像装置
JP2007166432A (ja) 撮像ユニット及び撮像装置
JP2006148591A (ja) 固体撮像装置および固体撮像素子駆動方法
JP5256084B2 (ja) 撮像装置及び撮像装置の駆動方法
JP2009033408A (ja) 撮像装置及びそのポストビュー画像生成方法
JP2006180108A (ja) デジタルカメラ
JP2011114474A (ja) 撮像装置及び固体撮像素子の駆動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110208

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120605

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120702

R150 Certificate of patent or registration of utility model

Ref document number: 5033711

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150706

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees