JP2016131326A - 固体撮像装置 - Google Patents

固体撮像装置 Download PDF

Info

Publication number
JP2016131326A
JP2016131326A JP2015005263A JP2015005263A JP2016131326A JP 2016131326 A JP2016131326 A JP 2016131326A JP 2015005263 A JP2015005263 A JP 2015005263A JP 2015005263 A JP2015005263 A JP 2015005263A JP 2016131326 A JP2016131326 A JP 2016131326A
Authority
JP
Japan
Prior art keywords
pixel
signal
solid
imaging device
state imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015005263A
Other languages
English (en)
Inventor
和浩 檜田
Kazuhiro Hida
和浩 檜田
立澤 之康
Koreyasu Tatezawa
之康 立澤
芦谷 達治
Tatsuji Ashitani
達治 芦谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2015005263A priority Critical patent/JP2016131326A/ja
Priority to US14/717,244 priority patent/US20160205335A1/en
Publication of JP2016131326A publication Critical patent/JP2016131326A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767Horizontal readout lines, multiplexers or registers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】高速度撮像を可能とし、かつ感度低下の抑制および画質劣化の抑制を可能とする固体撮像装置を提供すること。【解決手段】実施形態によれば、固体撮像装置は、画素アレイ12、走査回路、信号線、処理回路24および接続部15を備える。画素アレイ12の画素列1つ当たりに、1つの処理回路24と、複数の信号線とが設けられている。複数の信号線は、第1信号線および第2信号線である垂直信号線21−1,22−1を含む。各画素列は、第1画素および第2画素を含む。第1画素は、第1信号線へ画素信号を出力する。第2画素は、第2信号線へ画素信号を出力する。走査回路が第1画素行と第2画素行とを同時に選択するとき、接続部15は、画素列ごとの第1信号線と第2信号線とを、互いに異なる処理回路24に接続する。第1画素行は、第1画素を含む。第2画素行は、第2画素を含む。【選択図】図4

Description

本実施形態は、固体撮像装置に関する。
従来、固体撮像装置は、高速度撮像のための技術が提案されている。固体撮像装置は、高速度撮像において、良好な感度での撮像が可能であるとともに、良好な画質の画像を得られることが求められる。
特許第5233828号公報
一つの実施形態は、高速度撮像を可能とし、かつ感度低下の抑制および画質劣化の抑制を可能とする固体撮像装置を提供することを目的とする。
一つの実施形態によれば、固体撮像装置は、画素アレイ、走査回路、信号線、処理回路および接続部を備える。画素アレイは、行列状に配列された画素を備える。画素は、光電変換素子を含む。走査回路は、画素アレイのうち選択された画素行の画素へ駆動信号を供給する。駆動信号は、画素に蓄積された信号電荷に基づく画素信号を読み出すための信号である。信号線は、駆動信号に応じて読み出された画素信号を伝送する。処理回路は、信号線を伝送した画素信号を処理する。接続部は、信号線と処理回路とを接続する。画素アレイの画素列1つ当たりに、1つの処理回路と複数の信号線とが設けられている。複数の信号線は、第1信号線および第2信号線を含む。各画素列は、第1画素および第2画素を含む。第1画素は、第1信号線へ画素信号を出力する。第2画素は、第2信号線へ画素信号を出力する。走査回路が第1画素行と第2画素行とを同時に選択するとき、接続部は、画素列ごとの第1信号線と第2信号線とを、互いに異なる処理回路に接続する。第1画素行は、第1画素を含む。第2画素行は、第2画素を含む。
図1は、第1の実施形態の固体撮像装置の構成を示すブロック図である。 図2は、図1に示す固体撮像装置を備えるカメラシステムの構成を示すブロック図である。 図3は、図1に示す画素アレイの模式構成図である。 図4は、第1の実施形態の第1のモードにおける固体撮像装置の動作を説明する図である。 図5は、第1の実施形態の第2のモードにおける固体撮像装置の動作を説明する図である。 図6は、第2の実施形態の固体撮像装置に備えられた画素アレイの模式構成図である。 図7は、第2の実施形態の第1のモードにおける固体撮像装置の動作を説明する図である。 図8は、第2の実施形態の第1のモードにおいてイメージセンサから画素信号が読み出されるタイミングについて説明する図である。 図9は、図8に示す水平読み出し期間ごとにおいてイメージセンサから画素信号が読み出される経過を説明する図である。 図10は、第2の実施形態の第2のモードにおける固体撮像装置の動作を説明する図である。 図11は、第2の実施形態の第2のモードにおいてイメージセンサから画素信号が読み出されるタイミングについて説明する図である。 図12は、図11に示す水平読み出し期間ごとにおいてイメージセンサから画素信号が読み出される経過を説明する図である。 図13は、第2の実施形態の変形例を説明する図である。 図14は、第3の実施形態の固体撮像装置の構成を示すブロック図である。 図15は、第3の実施形態の第3のモードにおける間引き処理について説明する図である。 図16は、図15に示す第1のフレーム期間における固体撮像装置の動作を説明する図である。 図17は、図15に示す第2のフレーム期間における固体撮像装置の動作を説明する図である。 図18は、図15に示す第3のフレーム期間における固体撮像装置の動作を説明する図である。 図19は、図15に示す第4のフレーム期間における固体撮像装置の動作を説明する図である。 図20は、第4の実施形態の固体撮像装置に備えられた画素アレイの模式構成図である。 図21は、第4の実施形態の第1のモードにおける間引き処理について説明する図である。 図22は、図21に示す第1のフレーム期間における固体撮像装置の動作を説明する図である。 図23は、図21に示す第2のフレーム期間における固体撮像装置の動作を説明する図である。 図24は、図21に示す第3のフレーム期間における固体撮像装置の動作を説明する図である。 図25は、図21に示す第4のフレーム期間における固体撮像装置の動作を説明する図である。 図26は、第4の実施形態の第2のモードにおける固体撮像装置の動作を説明する図である。 図27は、第5の実施形態の固体撮像装置の構成を示すブロック図である。 図28は、第5の実施形態の第3のモードのうち、第1のフレーム期間における固体撮像装置の動作について説明する図である。 図29は、第5の実施形態の第3のモードのうち、第2のフレーム期間における固体撮像装置の動作について説明する図である。 図30は、図28および図29に示す第3のモードにおける固体撮像装置の動作により得られる画像データについて説明する図である。 図31は、図27に示す再構成処理部による再構成処理の第1から第4の方法について説明する図である。 図32は、図27に示す再構成処理部による再構成処理の第5の方法について説明する図である。
以下に添付図面を参照して、実施形態にかかる固体撮像装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
(第1の実施形態)
図1は、第1の実施形態の固体撮像装置の構成を示すブロック図である。図2は、図1に示す固体撮像装置を備えるカメラシステムの構成を示すブロック図である。
カメラシステム1は、カメラモジュール2を備える電子機器である。カメラシステム1は、例えばデジタルビデオカメラである。カメラシステム1は、デジタルスチルカメラあるいはカメラ付き携帯端末等の電子機器であっても良い。
カメラシステム1は、カメラモジュール2および後段処理部3を備える。カメラモジュール2は、撮像光学系4および固体撮像装置5を備える。後段処理部3は、イメージシグナルプロセッサ(ISP)6、記憶部7および表示部8を備える。
撮像光学系4は、被写体からの光を取り込む。撮像光学系4は、被写体像を結像させるレンズを備える。固体撮像装置5は、被写体像を撮像する。ISP6は、固体撮像装置5での撮像により得られた画像信号の信号処理を実施する。記憶部7は、ISP6での信号処理を経た画像を格納する。記憶部7は、ユーザの操作等に応じて、表示部8へ画像信号を出力する。
表示部8は、ISP6あるいは記憶部7から入力される画像信号に応じて、画像を表示する。表示部8は、例えば、液晶ディスプレイである。カメラシステム1は、ISP6での信号処理を経たデータに基づき、カメラモジュール2のフィードバック制御を実施する。
固体撮像装置5は、イメージセンサ10および信号処理回路11を備える。イメージセンサ10は、被写体像を撮像する。イメージセンサ10は、CMOSイメージセンサである。イメージセンサ10は、画素アレイ12、制御回路13、行走査回路14、接続部15、カラム処理部16および列走査回路17を備える。画素アレイ12、制御回路13、行走査回路14、接続部15、カラム処理部16および列走査回路17は、1つのチップ上に実装されている。
画素アレイ12は、行列状に配列された画素を備える。各画素は、光電変換素子であるフォトダイオードを備える。光電変換素子は、入射光量に応じた信号電荷を生成する。画素は、入射光量に応じて生成された信号電荷を蓄積する。画素アレイ12の入射側には、カラーフィルタが設けられている。画素アレイ12には、互いに異なる色の光を検出する複数の色画素が、規則的な配列をなして配置されている。本実施形態において、複数の色画素は、ベイヤー配列をなして配置されている。
制御回路13は、各種のタイミングを制御するためのパルス信号を生成する。制御回路13は、垂直同期信号に応じたパルス信号を、行走査回路14へ供給する。制御回路13は、水平同期信号に応じたパルス信号を、列走査回路17へ供給する。制御回路13は、接続部15およびカラム処理部16へ、駆動タイミングを指示するパルス信号をそれぞれ供給する。
第1の走査回路である行走査回路14は、画素信号が読み出される画素行を、制御回路13からのパルス信号に応じて選択する。画素行は、行方向(水平方向)へ配列された画素からなる。行走査回路14は、入射光量に応じて生成された画素信号を読み出すための駆動信号を、選択された画素行の画素へ供給する。行走査回路14は、シフトレジスタおよびアドレスデコーダ等を備える。駆動信号に応じて読み出された画素信号は、垂直信号線を通じて接続部15へ伝送される。接続部15は、垂直信号線とカラム処理部16とを接続する。接続部15の詳細については後述する。
カラム処理部16は、複数の処理回路を備える。処理回路は、画素列ごとに設けられている。処理回路は、垂直信号線を伝送した画素信号を処理する。カラム処理部16は、垂直信号線を伝送した画素信号に対する信号処理を、各処理回路にて実施する。処理回路は、画素信号へ、固定パターンノイズの低減のための相関二重サンプリング処理(CDS)を施す。処理回路は、画素信号のAD変換を実施する。処理回路は、CDSおよびAD変換以外の信号処理を実施しても良い。カラム処理部16は、信号処理を経た画素信号を、処理回路ごとに保持する。
第2の走査回路である列走査回路17は、カラム処理部16の各処理回路を、制御回路13からのパルス信号に応じて順次選択する。カラム処理部16は、列走査回路17による選択走査に応じて、各処理回路が保持している画素信号を順次出力する。イメージセンサ10は、カラム処理部16からの画素信号を成分とする画像信号を出力する。
信号処理回路11は、イメージセンサ10から入力される画像信号に対し、各種の信号処理を実施する。信号処理回路11は、イメージセンサ10と共通のチップ上に実装されている。信号処理回路11は、配列変換部20を備える。
配列変換部20は、イメージセンサ10からの画像信号のうち、画素ごとの信号成分の配列を所定の規則で変換する。配列変換部20は、画素アレイ12における画素の配列に応じて、画像信号における成分の配列順序を変換する。配列変換部20は、1つの画素行からの画像信号を保持可能なラインメモリ、例えばSRAMを備える。
信号処理回路11は、配列変換部20での配列変換以外に、ガンマ補正、ノイズ低減処理、レンズシェーディング補正、ホワイトバランス調整、歪曲補正、解像度復元等を実施する。図1には、信号処理回路11の構成のうち、配列変換部20以外の構成について、図示を省略している。
固体撮像装置5は、信号処理回路11での信号処理を経た画像信号をチップ外部へ出力する。固体撮像装置5は、信号処理回路11での信号処理を経たデータに基づき、イメージセンサ10のフィードバック制御を実施する。
カメラシステム1は、本実施形態において信号処理回路11が実施するものとした信号処理の少なくともいずれかを、後段処理部3のISP6が実施することとしても良い。カメラシステム1は、信号処理の少なくともいずれかを、信号処理回路11及びISP6の双方が実施しても良い。信号処理回路11及びISP6は、本実施形態で説明する信号処理以外の信号処理を実施することとしても良い。配列変換部20の機能は、信号処理回路11に代えて、ISP6が備えていても良い。
図3は、図1に示す画素アレイの模式構成図である。ベイヤー配列は、2×2の画素ブロックを単位とする。この画素ブロックの対角に赤色(R)画素及び青色(B)画素が配置され、残りの対角に2つの緑色(G)画素が配置される。画素ブロックに含まれる2つのG画素のうち、行方向においてR画素と隣り合うG画素を、Gr画素と称する。画素ブロックに含まれる2つのG画素のうち、行方向においてB画素と隣り合うG画素を、Gb画素と称する。
画素アレイ12において、列方向(垂直方向)へ配列された画素からなる画素列ごとに、2本の垂直信号線21,22が配置されている。画素アレイ12の画素列1つ当たりに、後述する1つの処理回路と、第1および第2信号線とが設けられている。画素アレイ12は、画素セル23ごとに、垂直信号線21,22のいずれかへ画素信号を出力する。画素セル23は、複数の画素を備える。第1の実施形態では、画素セル23は、列方向へ配列された4個の画素を備える。
画素セル23を構成する4個の画素は、画素の構成要素であるMOSトランジスタを共有している。第1の実施形態における画素共有構造を、以下の説明では4V1Hの画素共有構造と称する。画素セル23を構成する4つの画素は、例えば、MOSトランジスタである転送トランジスタ、フローティングディフュージョン(FD)、リセットトランジスタ、増幅トランジスタおよび行選択トランジスタを共有している。
画素セル23は、光電変換素子である4つのフォトダイオード(PD)を備える。PDは、入射光量に応じた信号電荷を生成する。転送トランジスタは、行走査回路14からの駆動信号である読み出し信号に応じて、PDからFDへ信号電荷を転送する。FDは、転送トランジスタによって転送された信号電荷を、電位へ変換する。増幅トランジスタは、FDの電位変化を増幅し、画素信号とする。リセットトランジスタは、行走査回路14からの駆動信号であるリセット信号に応じて、FDの電荷を排出するとともに、FDの電位を一定レベルに初期化する。
イメージセンサ10は、画素共有構造を備えることで、画素ごとにMOSトランジスタを配置する場合に比べて、画素ピッチを縮小できる。画素共有構造は、イメージセンサ10の小型化に適している。画素共有構造を備えることで、固体撮像装置5は、飽和電荷量の増加、感度の向上、ランダムノイズの低減が可能となる。
列方向へ配列された画素セル23のうち第1画素セルは、第1信号線である垂直信号線21に接続されている。第1画素セルの各画素は、垂直信号線21へ画素信号を出力する第1画素である。列方向へ配列された画素セル23のうち第2画素セルは、第2信号線である垂直信号線22に接続されている。第2画素セルの各画素は、垂直信号線22へ画素信号を出力する第2画素である。各列の第1画素セルおよび第2画素セルは、列方向において交互に配置されている。各画素列は、第1画素と第2画素とを含む。
画素アレイ12は、BGr画素セルおよびRGb画素セルを含む。BGr画素セルは、2個のGr画素と2個のB画素とを備える画素セル23である。RGb画素セルは、2個のR画素と2個のGb画素とを備える画素セル23である。画素アレイ12には、BGr画素セルからなる列と、RGb画素セルからなる列とが、行方向において交互に配置されている。
固体撮像装置5は、複数の撮像モードでの撮像が可能であるものとする。ISP6は、例えばカメラシステム1へのユーザの操作に応じて、モード選択信号を生成する。固体撮像装置5は、ISP6から入力されたモード選択信号に応じて、撮像モードを切り換える。制御回路13は、モード選択信号に応じて、イメージセンサ10の各部の制御を切り換える。
第1の実施形態では、固体撮像装置5は、第1のモードと第2のモードとに、撮像モードを切り換え可能であるものとする。固体撮像装置5は、第1のモードにて、複数の画素からの画素信号を同時に読み出すビニング処理を実施する。第1のモードにおけるビニング処理では、画素アレイ12の有効画素数に対し、行方向のデータ量と列方向のデータ量とをそれぞれ半分にする。固体撮像装置5は、第2のモードではビニング処理を停止させる。固体撮像装置5は、第2のモードにて、画素アレイ12の各行および各列の画素から画素信号を順次読み出す。
図4は、第1の実施形態の第1のモードにおける固体撮像装置の動作を説明する図である。固体撮像装置5は、行方向の2つの画素と、列方向の2つの画素とについて、画素信号を同時に読み出す2×2ビニングを実施する。
カラム処理部16は、画素列ごとに設けられた処理回路24(24−1,24−2・・・)を備える。カラム処理部16は、画素アレイ12の画素列の数と同じ数の処理回路24を備える。処理回路24−1〜24−4は、それぞれ画素列C1〜C4に対応して設けられている。画素列C1およびC3は、Gr画素およびB画素からなる画素列である。画素列C2およびC4は、R画素およびGb画素からなる画素列である。
垂直信号線21−1は、画素列C1の各第1画素セルに接続されている。垂直信号線21−2は、画素列C2の各第1画素セルに接続されている。垂直信号線21−3は、画素列C3の各第1画素セルに接続されている。垂直信号線21−4は、画素列C4の各第1画素セルに接続されている。
垂直信号線22−1は、画素列C1の各第2画素セルに接続されている。垂直信号線22−2は、画素列C2の各第2画素セルに接続されている。垂直信号線22−3は、画素列C3の各第2画素セルに接続されている。垂直信号線22−4は、画素列C4の各第2画素セルに接続されている。
接続部15は、垂直信号線21(21−1,21−2・・・),22(22−1,22−2・・・)と処理回路24とを接続する。第1のモードでは、接続部15は、第1の接続状態となる。第1の接続状態は、第1信号線である2つの垂直信号線同士(21−1と21−3、21−2と21−4・・・)の短絡と、第2信号線である2つの垂直信号線同士(22−1と22−3、22−2と22−4・・・)の短絡とを含む。
撮像モードを第1のモードとするモード選択信号が制御回路13へ入力されると、制御回路13は、第1のモードに応じた制御信号を接続部15へ出力する。接続部15は、制御回路13からの制御信号に応じて、図4に示す第1の接続状態となる。
接続部15は、画素列C1についての垂直信号線21−1,22−1を、それぞれ処理回路24−1,24−3に接続する。第1のモードでは、接続部15は、各画素列について、第1信号線と第2信号線とを、互いに異なる処理回路24に接続する。
接続部15は、画素列C1〜C4以外の画素列についても、4つの画素列ごとに、画素列C1〜C4の場合と同様の接続状態となる。撮像モードが第1のモードである間、接続部15は、垂直信号線21,22および処理回路24の接続状態を維持する。
第1のモードにて、制御回路13は、4つの画素行を同時に選択させるパルス信号を、行走査回路14へ供給する。行走査回路14は、制御回路13からのパルス信号に応じて、4つの画素行を同時に選択する。選択される4つの画素行は、それぞれ1つの画素行を跨いで位置する。
行走査回路14は、選択された4つの画素行の画素へ駆動信号を供給する。行走査回路14は、選択対象とする4つの画素行を行方向において順次遷移させる選択走査を行う。第1のモードでは、行走査回路14は、2つの第1画素行と2つの第2画素行とを同時に選択する。第1画素行は、第1画素を含む画素行である。第2画素行は、第2画素を含む画素行である。
行走査回路14は、フレーム期間のうちのあるタイミングにて、画素行L1,L3,L5,L7へ駆動信号を供給する。行走査回路14は、画素行L1,L3,L5およびL7への駆動信号の供給を終えた次に、画素行L2,L4,L6,L8へ駆動信号を供給する。行走査回路14は、それ以降の画素行についても同様に、4つの画素行ごとの選択および駆動信号の供給を順次行う。
なお、図中上から奇数番目の画素行L1,L3,L5,L7・・・は、Gr画素およびR画素からなる画素列である。図中上から偶数番目の画素行L2,L4,L6,L8・・・は、B画素およびGb画素からなる画素列である。画素行L1〜L4は、第1画素行である。画素行L5〜L8は、第2画素行である。
接続部15は、第1画素列である画素列C1に設けられている垂直信号線21−1と、第2画素列である画素列C3に設けられている垂直信号線21−3を、第1処理回路である処理回路24−1に接続する。接続部15は、画素列C1に設けられている垂直信号線22−1と、画素列C3に設けられている垂直信号線22−3を、第2処理回路である処理回路24−3に接続する。
画素行L1,L3へ同時に駆動信号が供給されることで、画素列C1の画素セル23−11では、2つのGr画素から同時に信号が読み出される。画素セル23−11は、2つのGr画素からの電荷が加算されてなる画素信号を、垂直信号線21−1へ出力する。画素列C3の画素セル23−13は、2つのGr画素からの電荷が加算されてなる画素信号を、垂直信号線21−3へ出力する。
画素セル23−11から垂直信号線21−1へ出力された画素信号と、画素セル23−13から垂直信号線21−3へ出力された画素信号とは、処理回路24−1へ入力される。処理回路24−1へ入力された画素信号の電圧は互いに平均化される。これにより、処理回路24−1は、2つの画素セル23−11,23−13に含まれる4つのGr画素に由来する画素信号を得る。
接続部15は、第1画素列である画素列C2に設けられている垂直信号線21−2と、第2画素列である画素列C4に設けられている垂直信号線21−4を、第1処理回路である処理回路24−2に接続する。接続部15は、画素列C2に設けられている垂直信号線22−2と、画素列C4に設けられている垂直信号線22−4を、第2処理回路である処理回路24−4に接続する。
画素列C2の画素セル23−12は、2つのR画素からの電荷が加算されてなる画素信号を、垂直信号線21−2へ出力する。画素列C4の画素セル23−14は、2つのR画素からの電荷が加算されてなる画素信号を、垂直信号線21−4へ出力する。垂直信号線21−2,21−4からの各画素信号の電圧は、処理回路24−2にて互いに平均化される。これにより、処理回路24−2は、2つの画素セル23−12,23−14に含まれる4つのR画素に由来する画素信号を得る。
さらに、画素行L5,L7へ同時に駆動信号が供給されることで、画素セル23−21は、2つのGr画素からの電荷が加算されてなる画素信号を、垂直信号線22−1へ出力する。画素セル23−23は、2つのGr画素からの電荷が加算されてなる画素信号を、垂直信号線22−3へ出力する。処理回路24−3は、2つの画素セル23−21,23−23に含まれる4つのGr画素に由来する画素信号を得る。
画素セル23−22は、2つのR画素からの電荷が加算されてなる画素信号を、垂直信号線22−2へ出力する。画素セル23−24は、2つのR画素からの電荷が加算されてなる画素信号を、垂直信号線22−4へ出力する。処理回路24−4は、2つの画素セル23−22,23−24に含まれる4つのR画素に由来する画素信号を得る。
処理回路24−1〜24−4は、接続部15から入力された画素信号をそれぞれ処理する。処理回路24−1〜24−4は、処理を経た画素信号を、水平読み出し期間T1における列走査回路17の選択走査に応じて順次出力する。イメージセンサ10は、水平読み出し期間T1において、図中「1」と示した各画素にて検出された情報を持つ画像信号を出力する。
水平読み出し期間T1においてイメージセンサ10から読み出される画像信号のうち、処理回路24−1での処理を経た信号成分Gr13は、画素行L1,L3に位置する4つのGr画素「1」により検出された画素信号である。処理回路24−2での処理を経た信号成分R13は、画素行L1,L3に位置する4つのR画素「1」により検出された画素信号である。信号成分Gr13,R13は、第1画素の信号成分である。
処理回路24−3での処理を経た信号成分Gr57は、画素行L5,L7に位置する4つのGr画素「1」により検出された画素信号である。処理回路24−4での処理を経た信号成分R57は、画素行L5,L7に位置する4つのR画素「1」により検出された画素信号である。信号成分Gr57,R57は、第2画素の信号成分である。配列変換部20は、水平読み出し期間T1においてイメージセンサ10から読み出された画像信号を保持する。
次の水平読み出し期間T2では、画素アレイ12は、画素行L2,L4,L6,L8へ同時に駆動信号が供給される。処理回路24−1は、2つの画素セル23−11,23−13に含まれる4つのB画素に由来する画素信号を得る。処理回路24−2は、2つの画素セル23−12,23−14に含まれる4つのGb画素に由来する画素信号を得る。
処理回路24−3は、2つの画素セル23−21,23−23に含まれる4つのB画素に由来する画素信号を得る。処理回路24−4は、2つの画素セル23−22,23−24に含まれる4つのGb画素に由来する画素信号を得る。
処理回路24−1〜24−4は、処理を経た画素信号を、水平読み出し期間T2における列走査回路17の選択走査に応じて順次出力する。イメージセンサ10は、水平読み出し期間T2において、図中「2」と示した各画素にて検出された情報を持つ画像信号を出力する。
水平読み出し期間T2においてイメージセンサ10から読み出される画像信号のうち、処理回路24−1での処理を経た信号成分B24は、画素行L2,L4に位置する4つのB画素「2」により検出された画素信号である。処理回路24−2での処理を経た信号成分Gb24は、画素行L2,L4に位置する4つのGb画素「2」により検出された画素信号である。信号成分B24,Gb24は、第1画素の信号成分である。
処理回路24−3での処理を経た信号成分B68は、画素行L6,L8に位置する4つのB画素「2」により検出された画素信号である。処理回路24−4での処理を経た信号成分Gb68は、画素行L6,L8に位置する4つのGb画素「2」により検出された画素信号である。信号成分B68,Gb68は、第2画素の信号成分である。水平読み出し期間T2においてイメージセンサ10から読み出された画像信号は、配列変換部20へ入力される。
固体撮像装置5は、図示する画素アレイ12において、行方向では左から右へ、列方向では上から下への順序規則に従い、画素信号を読み出す。配列変換部20は、画素ごとの信号成分の配列が、画素アレイ12における画素の配列順序に適合するように、画像信号の信号成分の配列を変換する。
水平読み出し期間T1,T2内において、第1画素の信号成分B24,Gb24は、第2画素の信号成分Gr57,R57より後に読み出されている。配列変換部20は、信号成分B24,Gb24と、信号成分Gr57,R57とを入れ換える。配列変換部20は、2つの水平読み出し期間内に読み出された第1画素の信号成分と第2画素の信号成分とを入れ換える。配列変換部20は、かかる入れ換えによって、信号成分の配列を、画素アレイ12における画素の配列順序に適合させる。
配列変換部20は、画素列C1,C4以外の画素列についても、画素列C1,C4の場合と同様に、画像信号の信号成分の配列を変換する。固体撮像装置5は、配列変換部20にてかかる入れ換えを実施することで、画素アレイ12における画素の配列に、画素ごとの情報の順序を適合させた画像信号を得ることができる。
固体撮像装置5は、画素行L1〜L8以降の画素行についても、画素行L1〜L8の場合と同様の動作を行う。固体撮像装置5は、2×2ビニングを実施することで、列方向および行方向のそれぞれについて画像信号のデータ量を2分の1に削減する。固体撮像装置5は、イメージセンサ10から読み出される画像信号のデータ量を削減することで、高速な撮像が可能となる。
固体撮像装置5は、画素列に対し処理回路24を倍増させた構成としなくても、画素信号の高速な読み出しを実現できる。固体撮像装置5は、処理回路24を倍増させた構成とする場合に対し、回路規模を抑制できる。
図5は、第1の実施形態の第2のモードにおける固体撮像装置の動作を説明する図である。固体撮像装置5は、第2のモードでは、複数の画素からの信号成分の電荷加算および電圧平均を行わず、画素アレイ12の各画素からの信号成分を順次読み出す。第2のモードでは、接続部15は、処理回路24ごとのスイッチ25を含めた接続状態となる。
撮像モードを第2のモードとするモード選択信号が制御回路13へ入力されると、制御回路13は、第2のモードに応じた制御信号を接続部15へ出力する。接続部15は、制御回路13からの制御信号に応じて、第2の接続状態となる。図5には、第2の接続状態のうちの1つの態様における接続部15を示している。
図5に示すように、接続部15は、スイッチ25を介して、処理回路24と垂直信号線21,22とを接続する。スイッチ25の可動接点は、処理回路24に接続されている。スイッチ25の固定接点は、処理回路24に対応する垂直信号線21,22にそれぞれ接続されている。スイッチ25は、画素列ごとに、垂直信号線21,22のうち選択された一方と、処理回路24とを接続する。スイッチ25は、制御回路13からの制御信号に応じて、垂直信号線21,22の選択を切り換える。
接続部15は、図4に示す第1の接続状態と、図5に示す第2の接続状態との間の切り換えを可能とするいずれの構成であっても良い。接続部15は、第1の接続状態では、図5に示すスイッチ25を停止させるとともに、図4に示すように垂直信号線21,22および処理回路24を接続する。接続部15は、第2の接続状態では、図4に示す垂直信号線21,22および処理回路24の接続を解除するとともに、図5に示す各スイッチ25を駆動する。
接続部15は、図5に示すスイッチ25以外のスイッチ機構(図示省略)を備えていても良い。スイッチ機構は、配線同士の接続と、接続の解除とを切り換え可能な機構である。接続部15は、スイッチ機構を駆動することにより、第1の接続状態と第2の接続状態との間の切り換えを行う。
第2のモードでは、制御回路13は、1つずつの画素行を順次選択させるパルス信号を、行走査回路14へ供給する。行走査回路14は、制御回路13からのパルス信号に応じて、順次選択された1つずつの画素行の画素へ駆動信号を供給する。行走査回路14は、選択対象とする1つの画素行を行方向において順次遷移させる選択走査を行う。
行走査回路14は、画素行L1,L2・・・の順序で駆動信号を供給する。画素行L1へ駆動信号が供給されることで、画素セル23−11は、画素行L1のGr画素からの画素信号を垂直信号線21−1へ出力する。
行走査回路14が第1画素行を選択するとき、接続部15のスイッチ25は、垂直信号線21と処理回路24を接続する。垂直信号線21−1を伝送した画素信号は、処理回路24−1へ入力される。画素セル23−11と同様に、画素セル23−12,23−13,23−14でも、画素行L1の画素から画素信号を、それぞれ垂直信号線21−2,21−3,21−4へ出力する。垂直信号線21−2,21−3,21−4を伝送した画素信号は、それぞれ処理回路24−2,24−3,24−4へ入力される。
処理回路24−1〜24−4は、接続部15から入力された画素信号をそれぞれ処理する。処理回路24−1〜24−4は、処理を経た画素信号を、水平読み出し期間T1における列走査回路17の選択走査に応じて順次出力する。
水平読み出し期間T1においてイメージセンサ10から読み出される画像信号は、いずれも画素行L1に位置するGr画素「1」およびR画素「1」からの信号成分からなる。例えば、処理回路24−1での処理を経た信号成分Gr1は、画素行L1に位置する1つのGr画素「1」からの画素信号である。
水平読み出し期間T2においてイメージセンサ10から読み出される画像信号は、いずれも画素行L2に位置するGr画素「2」およびR画素「2」からの信号成分からなる。例えば、処理回路24−1での処理を経た信号成分B2は、画素行L2に位置する1つのB画素「2」からの画素信号である。
第2のモードでは、イメージセンサ10から読み出される画像信号において、画素ごとの信号成分の配列が、画素アレイ12における画素の配列に適合している。このため、第2のモードでは、配列変換部20は、信号成分の配列の変換を行わない。水平読み出し期間T1,T2においてイメージセンサ10から読み出された画像信号は、いずれも配列変換部20での保持を経ず、固体撮像装置5から出力される。
固体撮像装置5は、画素行L3,L4についても、画素行L1,L2の場合と同様の動作を行う。第1画素行である画素行L1〜L4の画素からの画素信号の読み出しを終えると、接続部15は、垂直信号線22と処理回路24を接続する。行走査回路14が第2画素行を選択するとき、接続部15のスイッチ25は、垂直信号線22と処理回路24を接続する。
第2画素行である画素行L5〜L8の画素からの画素信号は、垂直信号線22を介して処理回路24へ入力される。固体撮像装置5は、画素行L1〜L8以降の画素行についても、画素行L1〜L8の場合と同様の動作を繰り返す。
固体撮像装置5は、画素アレイ12で得た情報から、ビニング処理による信号成分の電荷加算および電圧平均をせずに、画像信号を生成する。固体撮像装置5は、第2のモードでは、高精細な画像を得ることができる。
固体撮像装置5は、第2のモードにおけるフレームレートに対し、第1のモードにおけるフレームレートを理論上4倍とすることができる。第1のモードでの撮像は、高速動画の撮像、およびスローモーション動画の撮像に適している。
固体撮像装置5は、接続部15を第2の接続状態として、画素セル23内の2個の画素から同時に信号を読み出すビニング処理を行うこととしても良い。行走査回路14は、2つの画素行を同時に選択する。この場合、固体撮像装置5は、上述の第2のモードにおけるフレームレートに対し、2倍のフレームレートでの撮像が可能となる。
固体撮像装置5は、行方向のビニングを実施する場合に、処理回路24の駆動周波数を向上させても良い。固体撮像装置5は、第1のモードにおける処理回路24の駆動周波数を、第2のモードにおける処理回路24の駆動周波数より増加させても良い。これにより、固体撮像装置5は、第1のモードにおけるフレームレートを向上させることができる。
固体撮像装置5は、4V1Hの画素共有構造の画素セル23に代えて、2V1Hの画素共有構造の画素セルを備えるものとしても良い。2V1Hの画素共有構造の画素セルは、列方向へ配列された2個の画素を備える。第1信号線に接続された2つの第1画素セルと、第2信号線に接続された2つの第2画素セルとが、列方向において交互に配置される。2つの第1画素セルから第1信号線へ同時に出力された画素信号の電圧は互いに平均化される。2つの第2画素セルから第2信号線へ同時に出力された画素信号の電圧は互いに平均化される。この場合も、固体撮像装置5は、4V1Hの場合と同様に、第1のモードにおいて画素信号を高速に読み出すことができる。
第1の実施形態によると、固体撮像装置5は、第1のモードにて、画素列ごとの第1信号線と第2信号線とを、互いに異なる処理回路に接続する。同じ画素列の第1画素からの画素信号と、第2画素からの画素信号とは、互いに異なる処理回路24にて同時に処理される。固体撮像装置5は、画素列に対応して設けられた処理回路のうち、第1画素セルからの画素信号の処理に使用される処理回路以外の処理回路を、第2画素セルからの画素信号の処理に活用する。
固体撮像装置5は、第1画素セルから第1信号線を介する画素信号の読み出しと、第2画素セルから第2信号線を介する画素信号の読み出しとを同時に実施する。固体撮像装置5は、同じ画素列の第1画素セルと第2画素セルから同時に画素信号を読み出すことで、行方向における画素信号の読み出しを高速化させる。固体撮像装置5は、画像信号を高速に読み出すことができる。固体撮像装置5は、画素列の数に対して処理回路を増加させなくても、画素信号の高速な読み出しを実現できる。固体撮像装置5は、行方向および列方向におけるビニング処理を可能とする。固体撮像装置5は、ビニング処理を実施することで、画質劣化の抑制と、感度低下の抑制とを実現できる。
(第2の実施形態)
図6は、第2の実施形態の固体撮像装置に備えられた画素アレイの模式構成図である。上記の第1の実施形態と同一の部分には同一の符号を付し、重複する説明は適宜省略する。第2の実施形態の固体撮像装置5は、第1の実施形態の固体撮像装置5の画素アレイ12に代えて、画素アレイ30が設けられている。
画素アレイ30は、行列状に配列された画素セル35を備える。画素セル35は、4個の画素を備える。4個の画素は、行方向へ2個、列方向へ2個の行列をなす。4個の画素は、画素の構成要素であるMOSトランジスタを共有している。第2の実施形態における画素共有構造を、以下の説明では2V2Hの画素共有構造と称する。画素セル35内の4個の画素は、ベイヤー配列の単位とする画素ブロックと共通している。
画素アレイ30において、列方向へ配列された画素セル35の列ごとに、4本の垂直信号線31〜34が配置されている。画素アレイ30の画素列1つ当たりに、1つの処理回路24と、第1および第2信号線とが設けられている。画素アレイ30は、画素セル35ごとに、垂直信号線31〜34のいずれかへ画素信号を出力する。
垂直信号線31,32は、第1信号線である。垂直信号線33,34は、第2信号線である。第1画素セルである画素セル35−1,35−2は、それぞれ共通の垂直信号線31に接続されている。第1画素セルである画素セル35−3,35−4は、それぞれ共通の垂直信号線32に接続されている。
第2画素セルである画素セル35−5,35−6は、それぞれ共通の垂直信号線33に接続されている。第2画素セルである画素セル35−7,35−8は、それぞれ共通の垂直信号線34に接続されている。画素セル35の各列にて、4個の第1画素セルのグループと4個の第2画素セルのグループとが、列方向において交互に配置されている。
第2の実施形態では、固体撮像装置5は、第1のモードと第2のモードとに、撮像モードを切り換え可能であるものとする。固体撮像装置5は、第1のモードにて、第1の実施形態における第1のモードの場合と同様のビニング処理を実施する。固体撮像装置5は、第2のモードにて、第1の実施形態における第2のモードの場合と同様に、ビニング処理を停止させる。
図7は、第2の実施形態の第1のモードにおける固体撮像装置の動作を説明する図である。固体撮像装置5は、行方向の2つの画素と、列方向の2つの画素とについて、画素信号を同時に読み出す2×2ビニングを実施する。
接続部15は、垂直信号線31−1,31−2,32−1,32−2,33−1,33−2,34−1,34−2と処理回路24とを接続する。第1のモードでは、接続部15は、2つの垂直信号線同士の短絡を含めた第1の接続状態となる。第1の接続状態は、第1信号線である2つの垂直信号線同士(31−1と31−2、32−1と32−2・・・)の短絡と、第2信号線である2つの垂直信号線同士(33−1と33−2、34−1と34−2・・・)の短絡とを含む。
撮像モードを第1のモードとするモード選択信号が制御回路13へ入力されると、制御回路13は、第1のモードに応じた制御信号を接続部15へ出力する。接続部15は、制御回路13からの制御信号に応じて、図7に示す第1の接続状態となる。
接続部15は、各画素セルの列について、第1信号線と第2信号線とを、互いに異なる処理回路24に接続する。接続部15は、画素列C1〜C4以外の画素セル35の列についても、画素列C1〜C4の画素セル35の列の場合と同様の接続状態となる。撮像モードが第1のモードである間、接続部15は、垂直信号線31〜34および処理回路24の接続状態を維持する。
第2の実施形態では、固体撮像装置5は、画素セル35にて行方向へ配列された2個の画素からの信号をそれぞれ異なるタイミングで読み出し可能とされている。固体撮像装置5は、例えば、画素行ごとに2つの画素駆動線が配置されている。固体撮像装置5は、2つの画素駆動線を用いることで、行方向に配列された2個の画素から異なるタイミングで信号を読み出す。
接続部15は、第1画素列である画素列C1,C2に設けられている垂直信号線31−1と、第2画素列である画素列C3,C4に設けられている垂直信号線31−2を、第1処理回路である処理回路24−1に接続する。接続部15は、画素列C1,C2に設けられている垂直信号線32−1と、画素列C3,C4に設けられている垂直信号線32−2を、第1処理回路である処理回路24−2に接続する。
行走査回路14は、フレーム期間のうちの最初のタイミングにて、第1画素行である2つの画素行L1,L3を同時に選択する。行走査回路14は、画素行L1,L3のR画素へ駆動信号を供給する。画素列C1,C2の2つの画素セル35は、R画素の信号を同時に読み出す。2つの画素セル35から垂直信号線31−1へ同時に出力された画素信号の電圧は互いに平均化される。これと同様に、画素列C3およびC4の画素セル35から垂直信号線31−2へ同時に出力された画素信号の電圧は互いに平均化される。
垂直信号線31−1を伝送した画素信号と、垂直信号線31−2を伝送した画素信号とは、処理回路24−1へ入力される。処理回路24−1へ入力された画素信号の電圧は互いに平均化される。これにより、処理回路24−1は、4つの画素セル35に含まれる4つのR画素に由来する画素信号を得る。処理回路24−1は、接続部15から入力された画素信号を処理する。
イメージセンサ10は、水平読み出し期間T1において、処理回路24−1での処理を経た信号成分R13を含む画像信号を出力する。信号成分R13は、画素行L1,L3に位置する4つのR画素「1」により検出された画素信号である。
次に、行走査回路14は、第1画素行である4つの画素行L1,L3,L5,L7を同時に選択する。行走査回路14は、画素行L1,L3のGr画素と、画素行L5,L7のR画素へ駆動信号を供給する。イメージセンサ10は、水平読み出し期間T2において、信号成分Gr13,R57を含む画像信号を出力する。
信号成分Gr13は、処理回路24−1での処理を経た信号成分であって、画素行L1,L3に位置する4つのGr画素「2」により検出された画素信号である。信号成分R57は、処理回路24−2での処理を経た信号成分であって、画素行L5,L7に位置する4つのR画素「2」により検出された画素信号である。
次に、行走査回路14は、6つの画素行L2,L4,L5,L7,L9,L11を同時に選択する。画素行L2,L4,L5,L7は、第1画素行である。画素行L9,L11は、第2画素行である。
接続部15は、第1画素列である画素列C1,C2に設けられている垂直信号線33−1と、第2画素列である画素列C3,C4に設けられている垂直信号線33−2を、第2処理回路である処理回路24−3に接続する。接続部15は、画素列C1,C2に設けられている垂直信号線34−1と、画素列C3,C4に設けられている垂直信号線34−2を、第2処理回路である処理回路24−4に接続する。
行走査回路14は、画素行L2,L4のGb画素、画素行L5,L7のGr画素、画素行L9,L11のR画素へ駆動信号を供給する。イメージセンサ10は、水平読み出し期間T3において、信号成分Gb24,Gr57,R911を含む画像信号を出力する。
信号成分Gb24は、処理回路24−1での処理を経た信号成分であって、画素行L2,L4に位置する4つのGb画素「3」により検出された画素信号である。信号成分Gr57は、処理回路24−2での処理を経た信号成分であって、画素行L5,L7に位置する4つのGr画素「3」により検出された信号成分である。信号成分R911は、処理回路24−3での処理を経た信号成分であって、画素行L9,L11に位置する4つのR画素「3」により検出された信号成分である。
次に、行走査回路14は、8つの画素行L2,L4,L5,L7,L9,L11,L13,L15を同時に選択する。画素行L2,L4,L5,L7は、第1画素行である。画素行L9,L11,L13,L15は、第2画素行である。行走査回路14は、画素行L2,L4のB画素、画素行L5,L7のGb画素、画素行L9,L11のGr画素、画素行L13,L15のR画素へ駆動信号を供給する。イメージセンサ10は、水平読み出し期間T4において、信号成分B24,Gb68,Gr911,R1315を含む画像信号を出力する。
信号成分B24は、処理回路24−1での処理を経た信号成分であって、画素行L2,L4に位置する4つのB画素「4」により検出された画素信号である。信号成分Gb68は、処理回路24−2での処理を経た信号成分であって、画素行L6,L8に位置する4つのGb画素「4」により検出された信号成分である。
信号成分Gr911は、処理回路24−3での処理を経た信号成分であって、画素行L9,L11に位置する4つのGr画素「4」により検出された信号成分である。信号成分R1315は、処理回路24−4での処理を経た信号成分であって、画素行L13,L15に位置する4つのR画素「4」により検出された信号成分である。
行走査回路14は、水平読み出し期間T1〜T4の場合と同様の規則に従い、8つの画素列からの画素信号の読み出しを繰り返す。行走査回路14は、4つの第1画素行と、4つの第2画素行とを同時に選択する。配列変換部20は、画素ごとの信号成分の配列が、画素アレイ30における画素の配列順序に適合するように、画像信号の信号成分の配列を変換する。
固体撮像装置5は、画素行L1〜L16以降の画素行についても、画素行L1〜L16の場合と同様の動作を行う。固体撮像装置5は、2×2ビニングを実施することで、列方向および行方向のそれぞれについて画像信号のデータ量を2分の1に削減する。固体撮像装置5は、イメージセンサ10から読み出される画像信号のデータ量を削減することで、高速な撮像が可能となる。
図8は、第2の実施形態の第1のモードにおいてイメージセンサから画素信号が読み出されるタイミングについて説明する図である。図8では、左右方向を時間軸として、画素信号が同時に読み出される画素行ごとにおける露光時間と画像信号が読み出される期間とを示している。図中白抜きの部分は露光時間、ハッチングを付した部分は画素信号が読み出される期間である水平読み出し期間を示している。図9は、図8に示す水平読み出し期間ごとにおいてイメージセンサから画素信号が読み出される経過を説明する図である。
信号成分R13,Gr13,Gb24,B24は、画素アレイ12のうち、画素行L1〜L4および画素列C1〜C4の画素ブロック内の画素から生成された画素信号である。制御回路13は、かかる4×4の画素ブロックからの各色の信号成分の読み出し順序が、R,Gr,Gb,Bとなるように、行走査回路14を制御する。
イメージセンサ10は、4×4の画素ブロックごとに、GrおよびGbの信号成分の読み出し順序を連続させる。G画素は、R画素およびB画素に比べて、画像の輝度に及ぼす影響が大きい画素である。GrおよびGbの信号成分には、RおよびBの信号成分に比べて、被写体の輝度情報が多く含まれる。固体撮像装置5は、GrおよびGbの信号成分について、読み出しタイミングのずれを低減することで、画質の悪化を低減できる。固体撮像装置5は、高速に移動している移動体を撮影した場合のノイズを、効果的に低減できる。
図10は、第2の実施形態の第2のモードにおける固体撮像装置の動作を説明する図である。固体撮像装置5は、第2のモードでは、複数の画素からの信号成分の電圧平均を行わず、画素アレイ30の各画素からの信号成分を順次読み出す。第2のモードでは、接続部15は、処理回路24ごとのスイッチ25を含めた接続状態となる。図10には、第2の接続状態のうちの1つの態様における接続部15を示している。接続部15は、第1の実施形態と同様に、スイッチ機構(図示省略)を備えていても良い。
撮像モードを第2のモードとするモード選択信号が制御回路13へ入力されると、制御回路13は、第2のモードに応じた制御信号を接続部15へ出力する。接続部15は、制御回路13からの制御信号に応じて、スイッチ25を含めた接続状態となる。
図10に示すように、接続部15は、スイッチ25を介して、処理回路24と垂直信号線31〜34とを接続する。接続部15は、列方向へ配列された画素セル35の列に、2つのスイッチ25−1,25−2を対応させている。スイッチ25−1,25−2の可動接点は、処理回路24に接続されている。スイッチ25−1,25−2の固定接点は、2つの処理回路24に対応する垂直信号線31〜34にそれぞれ接続されている。
スイッチ25−1は、垂直信号線31,33のうち選択された一方と、処理回路24−1とを接続する。スイッチ25−1は、制御回路13からの制御信号に応じて、垂直信号線31,33の選択を切り換える。スイッチ25−2は、垂直信号線32,34のうち選択された一方と、処理回路24−2とを接続する。スイッチ25−2は、制御回路13からの制御信号に応じて、垂直信号線32,34の選択を切り換える。
行走査回路14が画素行L1〜L6へ駆動信号を供給するとき、スイッチ25−1は、垂直信号線31を選択する。スイッチ25−2は、垂直信号線32を選択する。
行走査回路14は、フレーム期間の最初にて、画素行L1,L2に位置する画素セル35−1の各画素へ順次駆動信号を供給する。画素セル35−1の各画素からの画素信号は、順次処理回路24−1へ入力される。イメージセンサ10は、水平読み出し期間T1〜T4において、処理回路24−1からの信号成分R1,Gr1,Gb2,B2を含む画像信号を出力する。
次に、行選択回路14は、2つの画素行L3,L5を同時に選択する。行走査回路14は、画素行L3のR画素、および画素行L5のR画素へ駆動信号を供給する。イメージセンサ10は、水平読み出し期間T5において、信号成分R3,R5を含む画像信号を出力する。行選択回路14は、画素行L3〜L6に位置する画素セル35−2,35−3の画素に対し、R,Gr,Gb,Bの順に駆動信号を供給する。イメージセンサ10は、水平読み出し期間T5〜T8において、処理回路24−1からの信号成分R3,Gr3,Gb4,B4と、処理回路24−2からの信号成分R5,Gr5,Gb6,B6を含む画像信号を出力する。
行選択回路14は、画素行L3〜L6以降の画素行についても、2つの画素行を同時に選択する。行走査回路14が画素行L7〜L10へ駆動信号を供給するとき、スイッチ25−1は、垂直信号線33を選択する。スイッチ25−2は、垂直信号線32を選択する。行走査回路14が画素行L11〜L14へ駆動信号を供給するとき、スイッチ25−1は、垂直信号線33を選択する。スイッチ25−2は、垂直信号線34を選択する。
行走査回路14が画素行L15〜L18へ駆動信号を供給するとき、スイッチ25−1は、垂直信号線31を選択する。スイッチ25−2は、垂直信号線34を選択する。行走査回路14は、水平読み出し期間T5〜T8の場合と同様の規則に従い、2つの画素行からの画素信号の読み出しを繰り返す。配列変換部20は、画素ごとの信号成分の配列が、行方向における画素の配列に適合するように、画像信号の信号成分の配列を変換する。
固体撮像装置5は、画素アレイ12で得た情報から、ビニング処理による画素信号の加算をせずに、画像信号を生成する。固体撮像装置5は、高精細な画像を得ることができる。
固体撮像装置5は、第2のモードにおけるフレームレートに対し、第1のモードにおけるフレームレートを理論上4倍とすることができる。第1のモードでの撮像は、高速動画の撮像、およびスローモーション動画の撮像に適している。
図11は、第2の実施形態の第2のモードにおいてイメージセンサから画素信号が読み出されるタイミングについて説明する図である。図12は、図11に示す水平読み出し期間ごとにおいてイメージセンサから画素信号が読み出される経過を説明する図である。制御回路13は、画素セル35からの各色の信号成分の読み出し順序が、R,Gr,Gb,Bとなるように、行走査回路14を制御する。
イメージセンサ10は、画素セル35ごとに、GrおよびGbの信号成分の読み出し順序を連続させる。固体撮像装置5は、第1のモードの場合と同様に、GrおよびGbの信号成分の読み出しタイミングのずれを低減することで、画質の悪化を低減できる。
第2の実施形態において、行走査回路14は、第1および第2のモード以外の第3のモードにおいて、画素行を1つずつ選択することとしても良い。固体撮像装置5は、第3のモードでは、画素行L1,L2・・・の順序で画素信号を順次読み出す。
図13は、第2の実施形態の変形例を説明する図である。変形例にかかる固体撮像装置5は、4V2Hの画素供給構造の画素セル36を備える。画素セル36は、8個の画素を備える。8個の画素は、行方向へ2個、列方向へ4個の行列をなす。
画素セル36は、列方向において4つの画素行L1〜L4,L5〜L8・・・ごとに配置されている。固体撮像装置5は、画素セル36を備える本変形例においても、画素セル35を備える上述の構成の場合と同様に、第1および第2のモードによる画像信号の読み出しを実施する。本変形例の場合も、固体撮像装置5は、高速動画の撮像を可能とし、かつ感度低下の抑制および画質劣化の抑制が可能となる。
第2の実施形態によると、固体撮像装置5は、第1画素セルから第1信号線を介する画素信号の読み出しと、第2画素セルから第2信号線を介する画素信号の読み出しとを同時に実施する。固体撮像装置5は、高速動画の撮像を可能とし、かつ感度低下の抑制および画質劣化の抑制を実現できる。
(第3の実施形態)
図14は、第3の実施形態の固体撮像装置の構成を示すブロック図である。上記の第1の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。
第3の実施形態の固体撮像装置40は、第1の実施形態の固体撮像装置5と同様の第1および第2のモードによる画像信号の読み出しと、さらに第3のモードによる画像信号の読み出しを実施する。
固体撮像装置40は、イメージセンサ10および信号処理回路41を備える。信号処理回路41は、配列変換部20および色位相変換部42を備える。色位相変換部42は、イメージセンサ10からの画像信号に対し、フレームごとの色位相変換を実施する。色位相変換部42は、色位相変換を実施することで、互いに異なる色の光を検出する画素に由来する成分が所定の配列順とされた画像信号を得る。
カメラシステム1は、本実施形態において信号処理回路41が実施するものとした信号処理の少なくともいずれかを、後段処理部3のISP6が実施することとしても良い。色位相変換部42の機能は、信号処理回路41に代えて、ISP6が備えていても良い。
固体撮像装置40は、第1の実施形態と同様に、第1のモードにて、複数の画素からの画素信号を同時に読み出すビニング処理を実施する。固体撮像装置40は、第1の実施形態と同様に、第2のモードにて、画素アレイ12の各行および各列の画素から画素信号を順次読み出す。さらに、固体撮像装置40は、第3のモードにて、画素信号が読み出される画素を間引くための間引き処理を実施する。
図15は、第3の実施形態の第3のモードにおける間引き処理について説明する図である。固体撮像装置40は、各フレームにおいて、画素アレイ12の有効画素の総数に対して4分の1の数の画素から画素信号を読み出す。固体撮像装置40は、4つの連続するフレームにおいて、それぞれ異なる画素から画素信号を読み出す。固体撮像装置40は、4つのフレーム期間を周期として、画素信号を読み出す対象とする画素を順次変化させる。
イメージセンサ10は、連続する4つのフレーム期間F1〜F4のうちの第1のフレーム期間F1では、B画素の画素信号を最初に読み出す。ベイヤー配列の単位となる4個の画素は、位置Xを中心とする4行4列の画素ブロックの四隅に位置する。イメージセンサ10は、第1のフレーム期間F1の次の第2のフレーム期間F2では、Gb画素の画素信号を最初に読み出す。ベイヤー配列の単位となる4個の画素は、位置Xを中心とする4行2列の画素ブロックの四隅に位置する。
イメージセンサ10は、第2のフレーム期間F2の次の第3のフレーム期間F3では、R画素の画素信号を最初に読み出す。ベイヤー配列の単位となる4個の画素は、位置Xを中心とする2行4列の画素ブロックの四隅に位置する。イメージセンサ10は、第3のフレーム期間F3の次の第4のフレーム期間F4では、Gr画素の画素信号を最初に読み出す。ベイヤー配列の単位となる4個の画素は、位置Xを中心とする2行2列の画素ブロックを構成する。
図15に示す間引き処理を実施することで、いずれのフレーム期間においても、ベイヤー配列の単位となる4つの画素の重心が、当該4つの画素を含む画素ブロックの中心と一致する。
図16は、図15に示す第1のフレーム期間における固体撮像装置の動作を説明する図である。第3のモードでは、接続部15は、処理回路24ごとのスイッチ25を含めた接続状態となる。
撮像モードを第3のモードとするモード選択信号が制御回路13へ入力されると、制御回路13は、第3のモードに応じた制御信号を接続部15へ出力する。接続部15は、制御回路13から制御信号に応じて、スイッチ25を含めた第3の接続状態となる。
図16に示すように、接続部15は、スイッチ25を介して、処理回路24と垂直信号線21,22を接続する。接続部15において、スイッチ25は、画素列ごとに設けられている。スイッチ25の可動接点は、処理回路24に接続されている。スイッチ25の固定接点は、第1信号線である2つの垂直信号線21,21、あるいは第2信号線である2つの垂直信号線22,22にそれぞれ接続されている。
スイッチ25−1は、2つの画素列C1,C2において、垂直信号線21−1,21−2のうち選択された一方と、第1処理回路である処理回路24−1とを接続する。スイッチ25−1は、制御回路13からの制御信号に応じて、垂直信号線21−1,21−2の選択を切り換える。スイッチ25−2は、2つの画素列C1,C2において、垂直信号線22−1,22−2のうち選択された一方と、第2処理回路である処理回路24−2とを接続する。スイッチ25−2は、制御回路13からの制御信号に応じて、垂直信号線22−1,22−2の選択を切り換える。
スイッチ25−3は、2つの画素列C3,C4において、垂直信号線21−3,21−4のうち選択された一方と、第1処理回路である処理回路24−3とを接続する。スイッチ25−3は、制御回路13からの制御信号に応じて、垂直信号線21−3,21−4の選択を切り換える。スイッチ25−4は、2つの画素列C3,C4において、垂直信号線22−3,22−4のうち選択された一方と、第2処理回路である処理回路24−4とを接続する。スイッチ25−4は、制御回路13からの制御信号に応じて、垂直信号線22−3,22−4の選択を切り換える。
行走査回路14は、第1のフレーム期間F1の最初に、2つの画素行L4,L7へ同時に駆動信号を供給する。画素行L4は、第1画素行である。画素行L7は、第2画素行である。行走査回路14は、間引きの対象とする画素行L1〜L3,L5,L6へは駆動信号を供給しない。
行走査回路14は、画素行L4,L7のうち、画素列C1の画素と、画素列C4の画素から、それぞれ画素信号を読み出すための行走査を行う。行走査回路14は、第1のフレーム期間F1の間、画素列C2,C3の画素からの画素信号の読み出しは行わない。行走査回路14の行走査により、画素列C1,C4以降も、2つの画素列おきに画素信号が読み出される。
行走査回路14は、2つの画素列C1,C2のうち、第1画素列である画素列C1を選択する。スイッチ25−1は、垂直信号線21−1,21−2のうち、画素列C1に設けられている垂直信号線21−1と、第1処理回路である処理回路24−1を接続する。スイッチ25−2は、垂直信号線22−1,22−2のうち、画素列C1に設けられている垂直信号線22−1と、第2処理回路である処理回路24−2を接続する。
行走査回路14は、2つの画素列C3,C4のうち、第2画素列である画素列C4を選択する。スイッチ25−3は、垂直信号線21−3,21−4のうち、画素列C4に設けられている垂直信号線21−4と、第1処理回路である処理回路25−3を接続する。スイッチ25−4は、垂直信号線22−3,22−4のうち、画素列C4に設けられている垂直信号線22−4と、第2処理回路である処理回路25−4を接続する。
このように、第1のフレーム期間F1において、スイッチ25−1〜25−4は、それぞれ垂直信号線21−1,22−1,21−4,22−4を選択する。
画素列C1の画素セル23−11は、画素行L4のB画素から読み出された画素信号を垂直信号線21−1へ出力する。画素列C4の画素セル23−14は、画素行L4のGb画素から読み出された画素信号を垂直信号線21−4へ出力する。画素列C1の画素セル23−21は、画素行L7のGr画素から読み出された画素信号を垂直信号線22−1へ出力する。画素列C4の画素セル23−24は、画素列L7のR画素から読み出された画素信号を垂直信号線22−4へ出力する。
垂直信号線21−1,22−1,21−4,22−4を伝送した画素信号は、それぞれ処理回路24−1,24−2,24−3,24−4へ入力される。処理回路24−1〜24−4は、処理を経た画素信号を、水平読み出し期間T1における列走査回路17の選択走査に応じて順次出力する。水平読み出し期間T1に読み出される信号成分B4,Gr7,Gb4,R7は、それぞれ図中「1」と示したB,Gr,Gb,Rの各画素にて検出された画素信号である。
次に、行走査回路14は、2つの画素行L8,L11へ同時に駆動信号を供給する。画素行L8は、第2画素行である。画素行L11は、第1画素行である。行走査回路14は、間引きの対象とする画素行L9,L10へは駆動信号を供給しない。
イメージセンサ10は、水平読み出し期間T2にて、信号成分Gr11,B8,R11,Gb8を含む画像信号を出力する。かかる信号成分は、図中、画素セル23−21,23−24,23−31,23−34のうち「2」と示したGr,B,R,Gbの各画素にて検出された画素信号である。
配列変換部20は、画素ごとの信号成分の配列が、画素アレイ12における画素の配列順序に適合するように、画像信号の信号成分の配列を変換する。配列変換部20は、水平読み出し期間T1に読み出される信号成分B4,Gr7,Gb4,R7を、順序規則に従い、B4,Gb4,Gr7,R7の順序へ並べ替える。配列変換部20は、水平読み出し期間T2に読み出される信号成分Gr11,B8,R11,Gb8を、順序規則に従い、B8,Gb8,Gr11,R11の順序へ並べ替える。
固体撮像装置40は、ベイヤー配列の単位となる4個の画素の信号成分を、標準とする配列順、例えばGr,R,B,Gbの順序として、画像信号を出力する。色位相変換部42は、各色画素に由来する信号成分が当該標準の配列順とされた画像信号を得るための色位相変換を実施する。
色位相変換部42は、色位相変換として、フィルタリングによる補間処理を実施する。色位相変換部42は、例えば、Bの信号成分が得られた領域におけるGの信号成分を得るために、当該領域の周辺の領域にて得られたGの信号成分に基づく補間処理を実施する。
水平読み出し期間T1に読み出される4個の信号成分B4,Gb4,Gr7,R7は、ベイヤー配列の単位を構成する。色位相変換部42は、信号成分B4が得られた領域について、Grの信号成分(Gr4’)を生成する。色位相変換部42は、信号成分Gb4が得られた領域について、Rの信号成分(R4’)を生成する。色位相変換部42は、信号成分Gr7が得られた領域について、Bの信号成分(B7’)を生成する。色位相変換部42は、信号成分R7が得られた領域について、Gbの信号成分(Gb7’)を生成する。
水平読み出し期間T2に読み出される4個の信号成分B8,Gb8,Gr11,R11は、ベイヤー配列の単位を構成する。色位相変換部42は、信号成分B8,Gb8,Gr11,R11が得られた各領域について、Grの信号成分(Gr8’)、Rの信号成分(R8’)、Bの信号成分(B11’)、Gbの信号成分(Gb11’)をそれぞれ生成する。
色位相変換部42は、画素列C1,C4以降の画素列について、画素列C1,C4の場合と同様の色位相変換を行う。固体撮像装置40は、色位相変換部42にて色位相変換を実施することで、各色画素に由来する信号成分が標準の配列順で配列された画像信号を得ることができる。これにより、カメラシステム1は、固体撮像装置40の後段の処理手段、例えばISP6にて、一定の配列順の信号成分に対するデモザイク処理を行うことができる。
固体撮像装置40は、画素行L4,L7,L8,L11以降の画素行についても、画素行L4,L7,L8,L11の場合と同様の動作を行う。行走査回路14は、1つの第1画素行と、1つの第2画素行とを同時に選択する。
図17は、図15に示す第2のフレーム期間における固体撮像装置の動作を説明する図である。行走査回路14は、第2のフレーム期間F2の最初に、2つの画素行L4,L7へ同時に駆動信号を供給する。行走査回路14は、間引きの対象とする画素行L1〜L3,L5,L6へは駆動信号を供給しない。
行走査回路14は、画素行L4,L7のうち、画素列C2の画素と、画素列C3の画素から画素信号を読み出すための行走査を行う。行走査回路14の行走査により、画素列C2,C3以降も、2つの画素列おきに画素信号が読み出される。
行走査回路14は、2つの画素列C1,C2のうち、第2画素列である画素列C2を選択する。スイッチ25−1は、垂直信号線21−1,21−2のうち、画素列C2に設けられている垂直信号線21−2と、第1処理回路である処理回路24−1を接続する。スイッチ25−2は、垂直信号線22−1,22−2のうち、画素列C2に設けられている垂直信号線22−2と、第2処理回路である処理回路24−2を接続する。
行走査回路14は、2つの画素列C3,C4のうち、第1画素列である画素列C3を選択する。スイッチ25−3は、垂直信号線21−3,21−4のうち、画素列C3に設けられている垂直信号線21−3と、第1処理回路である処理回路25−3を接続する。スイッチ25−4は、垂直信号線22−3,22−4のうち、画素列C3に設けられている垂直信号線22−3と、第2処理回路である処理回路25−4を接続する。
このように、第2のフレーム期間F2において、スイッチ25−1〜25−4は、それぞれ垂直信号線21−2,22−2,21−3,22−3を選択する。
イメージセンサ10は、水平読み出し期間T1にて、信号成分Gb4,R7,B4,Gr7を含む画像信号を出力する。かかる信号成分は、図中、画素セル23−12,23−13,23−22,23−23のうち「1」と示したGb,R,B,Grの各画素にて検出された画素信号である。配列変換部20は、水平読み出し期間T1においてイメージセンサ10から読み出された画像信号を保持する。
次に、行走査回路14は、2つの画素行L8,L11へ同時に駆動信号を供給する。行走査回路14は、間引きの対象とする画素行L9,L10へは駆動信号を供給しない。イメージセンサ10は、水平読み出し期間T2にて、信号成分R11,Gb8,Gr11,B8を含む画像信号を出力する。かかる信号成分は、図中、画素セル23−12,23−13,23−22,23−23のうち「2」と示したR,Gb,Gr,Bの各画素にて検出された画素信号である。
配列変換部20は、水平読み出し期間T1に読み出される信号成分Gb4,R7,B4,Gr7を、順序規則に従い、Gb4,B4,R7,Gr7の順序へ並べ替える。配列変換部20は、水平読み出し期間T2に読み出される信号成分R11,Gb8,Gr11,B8を、順序規則に従い、Gb8,B8,R11,Gr11の順序へ並べ替える。
色位相変換部42は、信号成分Gb4,B4,R7,Gr7が得られた各領域について、Grの信号成分(Gr4’)、Rの信号成分(R4’)、Bの信号成分(B7’)、Gbの信号成分(Gb7’)をそれぞれ生成する。色位相変換部42は、信号成分Gb8,B8,R11,Gr11が得られた各領域について、Grの信号成分(Gr8’)、Rの信号成分(R8’)、Bの信号成分(B11’)、Gbの信号成分(Gb11’)をそれぞれ生成する。
色位相変換部42は、画素列C2,C3以降の画素列について、画素列C2,C3の場合と同様の色位相変換を行う。固体撮像装置40は、画素行L4,L7,L8,L11以降の画素行についても、画素行L4,L7,L8,L11の場合と同様の動作を行う。行走査回路14は、1つの第1画素行と、1つの第2画素行とを同時に選択する。
図18は、図15に示す第3のフレーム期間における固体撮像装置の動作を説明する図である。スイッチ25−1〜25−4は、第3のフレーム期間F3において、第1のフレーム期間F1のときと同様に、それぞれ垂直信号線21−1,22−1,21−4,22−4を選択する。
行走査回路14は、第3のフレーム期間F3の最初に、2つの画素行L5,L9へ同時に駆動信号を供給する。行走査回路14は、間引きの対象とする画素行L7,L8へは駆動信号を供給しない。
行走査回路14は、画素行L5,L9のうち、画素列C1の画素と、画素列C4の画素から画素信号を読み出すための行走査を行う。行走査回路14の行走査により、画素列C1,C4以降も、2つの画素列おきに画素信号が読み出される。
イメージセンサ10は、水平読み出し期間T1にて、信号成分Gr9,Gr5,R9,R5を含む画像信号を出力する。かかる信号成分は、図中、画素セル23−21,23−24,23−31,23−34のうち「1」と示したGr,Gr,R,Rの各画素にて検出された画素信号である。配列変換部20は、水平読み出し期間T1においてイメージセンサ10から読み出された画像信号を保持する。
次に、行走査回路14は、2つの画素行L6,L10へ同時に駆動信号を供給する。イメージセンサ10は、水平読み出し期間T2にて、信号成分B10,B6,Gb10,Gb6を含む画像信号を出力する。かかる信号成分は、図中、「2」と示したB,B,Gb,Gbの各画素にて検出された画素信号である。
配列変換部20は、水平読み出し期間T2においてイメージセンサ10から読み出された画像信号を保持する。配列変換部20は、水平読み出し期間T1,T2にて読み出された上記8個の信号成分を、Gr5,R5,B6,Gb6,Gr9,R9,B10,Gb10の順序へと並べ替える。
配列変換部20からの画像信号に含まれる4個の信号成分Gr5,R5,B6,Gb6は、ベイヤー配列の単位を構成する。かかる4個の信号成分は、上述する標準の配列順をなしている。4個の信号成分Gr9,R9,B10,Gb10も、標準の配列順をなしている。第3のフレーム期間F3では、ベイヤー配列の信号成分が標準の配列順をなすことから、色位相変換部42は、色位相変換を行わない。
固体撮像装置40は、画素行L5,L6,L9,L10以降の画素行についても、画素行L5,L6,L9,L10の場合と同様の動作を行う。行走査回路14は、1つの第1画素行と、1つの第2画素行とを同時に選択する。
図19は、図15に示す第4のフレーム期間における固体撮像装置の動作を説明する図である。スイッチ25−1〜25−4は、第4のフレーム期間F4において、第2のフレーム期間F2のときと同様に、それぞれ垂直信号線21−2,22−2,21−3,22−3を選択する。
行走査回路14は、第4のフレーム期間F4の最初に、2つの画素行L5,L9へ同時に駆動信号を供給する。行走査回路14は、間引きの対象とする画素行L7,L8へは駆動信号を供給しない。
行走査回路14は、画素行L5,L9のうち、画素列C2の画素と、画素列C3の画素から、それぞれ画素信号を読み出すための行走査を行う。行走査回路14の行走査により、画素列C2,C3以降も、2つの画素列おきに画素信号が読み出される。
イメージセンサ10は、水平読み出し期間T1にて、信号成分R9,R5,Gr9,Gr5を含む画像信号を出力する。かかる信号成分は、図中、画素セル23−22,23−23,23−32,23−33のうち「1」と示したR,R,Gr,Grの各画素にて検出された画素信号である。配列変換部20は、水平読み出し期間T1においてイメージセンサ10から読み出された画像信号を保持する。
次に、行走査回路14は、2つの画素行L6,L10へ同時に駆動信号を供給する。イメージセンサ10は、水平読み出し期間T2にて、信号成分Gb10,Gb6,B10,B6を含む画像信号を出力する。かかる信号成分は、図中、画素セル23−22,23−23,23−32,23−33のうち「2」と示したGb,Gb,B,Bの各画素にて検出された画素信号である。
配列変換部20は、水平読み出し期間T2においてイメージセンサ10から読み出された画像信号を保持する。配列変換部20は、水平読み出し期間T1,T2にて読み出された上記8個の信号成分を、R5,Gr5,Gb6,B6,R9,Gr9,Gb10,B10の順序へと並べ替える。
色位相変換部42は、信号成分R5,Gr5,Gb6,B6が得られた各領域について、Grの信号成分(Gr5’)、Rの信号成分(R5’)、Bの信号成分(B6’)、Gbの信号成分(Gb6’)をそれぞれ生成する。色位相変換部42は、R9,Gr9,Gb10,B10が得られた各領域について、Grの信号成分(Gr9’)、Rの信号成分(R9’)、Bの信号成分(B10’)、Gbの信号成分(Gb10’)をそれぞれ生成する。
固体撮像装置40は、画素行L5,L6,L9,L10以降の画素行についても、画素行L5,L6,L9,L10の場合と同様の動作を行う。行走査回路14は、1つの第1画素行と、1つの第2画素行とを同時に選択する。
固体撮像装置40は、第1の実施形態の固体撮像装置5と同様に、画素列ごとに第1信号線および第2信号線が備えられた構成を備える。固体撮像装置40は、第1の実施形態と同様の構成において、画素信号が読み出される画素をフレームごとに異ならせる間引き処理を実現できる。
固体撮像装置40は、行方向において4つの画素列のうちの2つと、列方向において4つの画素行のうちの2つとを間引いて画像信号を読み出す。固体撮像装置40は、かかる間引き処理を実施することで、列方向および行方向のそれぞれについて画像信号のデータ量を2分の1に削減する。
固体撮像装置40は、イメージセンサ10から読み出される画像信号のデータ量を削減することで、高速な撮像が可能となる。固体撮像装置40は、画素行ごとの間引きのみによって本実施形態と同等のデータ量低減を試みた場合に比べて、解像感の低下を抑制できる。固体撮像装置40は、動画の撮像において、被写体像の輪郭部分に生じる階段状のノイズ、いわゆるジャギーを抑制できる。固体撮像装置40は、画質の劣化を抑制できる。
固体撮像装置40は、画素アレイ12の各行および各列の画素から画素信号を読み出す場合の露光時間に対し、間引き処理を行う場合の露光時間を長くしても良い。制御回路13は、各画素における電荷のリセットから転送までの電荷蓄積時間が、第2のモードのときより、第3のモードのときに長くなるように、リセットおよび転送のタイミングを制御する。制御回路13による制御に応じて、第3のモードの各フレームにおける露光時間が、第2のモードにおける露光時間より長くなる。
これにより、固体撮像装置40は、低照度環境においても明るい画像を得ることができる。固体撮像装置40は、第3のモードにおける露光時間を、第2のモードにおける露光時間の4倍までとすると、第3のモードにおけるフレームレートを、第2のモードにおけるフレームレートと同等以上にできる。
固体撮像装置40は、連続する4つのフレーム期間に、互いに露光時間を異ならせたフレーム期間を含めることとしても良い。固体撮像装置40は、長い露光時間としたフレームと、短い露光時間としたフレームとによるハイダイナミックレンジ合成を実現できる。これにより、固体撮像装置40は、広い照度範囲において鮮明な画像を得ることができる。固体撮像装置40は、第3のモードにおける複数のフレーム期間のうちの少なくともいずれか1つにおける露光時間を、第2のモードにおける露光時間より長くすることで、明るく鮮明な画像を得ることができる。
カメラシステム1は、後段のデモザイク処理手段(図示省略)にて、画像信号の各信号成分が、いずれの色画素からの信号成分であるかを把握できるようにしても良い。デモザイク処理手段は、各色の信号成分の配列に応じた処理を実施することで、信号成分の順序に関わらず、正確なデモザイク処理を実施できる。この場合、固体撮像装置40は、色位相変換部42を省略しても良い。
固体撮像装置40は、接続部15を第3の接続状態として、画素セル23内の2個の画素から同時に信号を読み出すビニング処理を行うこととしても良い。行走査回路14は、4つの画素行を同時に選択する。この場合、固体撮像装置40は、上述の第3のモードの場合に対し、2倍の画素数の画素からの情報を含む画像信号を読み出すことができる。
固体撮像装置40は、上記の第2の実施形態の画素アレイ30を備える構成において、第3の実施形態と同様の間引き処理を行うこととしても良い。この場合も、固体撮像装置40は、高速動画の撮像を行うことができる。
第3の実施形態によると、固体撮像装置40は、第1画素セルから第1信号線を介する画素信号の読み出しと、第2画素セルから第2信号線を介する画素信号の読み出しとを同時に実施する。固体撮像装置40は、画素信号の同時読み出しと、間引き処理とにより、高速な撮像を行うことができる。固体撮像装置40は、高速動画の撮像を可能とし、かつ感度低下の抑制および画質劣化の抑制が可能となる。
(第4の実施形態)
図20は、第4の実施形態の固体撮像装置に備えられた画素アレイの模式構成図である。上記の第1および第2の実施形態と同一の部分には同一の符号を付し、重複する説明は適宜省略する。第4の実施形態の固体撮像装置40は、第3の実施形態の固体撮像装置40の画素アレイ12に代えて、画素アレイ50が設けられている。
画素アレイ50は、第2の実施形態の画素アレイ30と同様に、2V2Hの画素共有構造を含む画素セル35を備える。画素アレイ50において、列方向へ配列された画素セル35の列ごとに、2本の垂直信号線51,52が配置されている。画素アレイ50は、画素セル35ごとに、垂直信号線51,52のいずれかへ画素信号を出力する。
第1画素セルである画素セル35−1は、第1信号線である垂直信号線51に接続されている。第2画素セルである画素セル35−2は、第2信号線である垂直信号線52に接続されている。画素セル35の各列にて、第1画素セルと第2画素セルとが、列方向において交互に配置されている。
第4の実施形態では、固体撮像装置40は、第1のモードと第2のモードとに、撮像モードを切り換え可能であるものとする。固体撮像装置40は、第1のモードにて、第3の実施形態における第3のモードの場合と同様の間引き処理を実施する。固体撮像装置40は、第2のモードでは、間引き処理を停止させる。固体撮像装置40は、第2のモードにて、画素アレイ50の各行および各列の画素から画素信号を順次読み出す。
図21は、第4の実施形態の第1のモードにおける間引き処理について説明する図である。固体撮像装置40は、各フレームにおいて、画素アレイ12の有効画素の総数に対して4分の1の数の画素から画素信号を読み出す。固体撮像装置40は、4つの連続するフレームにおいて、それぞれ異なる画素から画素信号を読み出す。固体撮像装置40は、4つのフレーム期間を周期として、画素信号を読み出す対象とする画素を順次変化させる。
イメージセンサ10は、連続する4つのフレーム期間F1〜F4のうちの第1のフレーム期間F1では、B画素の画素信号を最初に読み出す。ベイヤー配列の単位となる4個の画素は、位置Xを中心とする2行4列の画素ブロックの四隅に位置する。イメージセンサ10は、第1のフレーム期間F1の次の第2のフレーム期間F2では、Gb画素の画素信号を最初に読み出す。ベイヤー配列の単位となる4個の画素は、2行2列の画素ブロックを構成する。
イメージセンサ10は、第2のフレーム期間F2の次の第3のフレーム期間F3では、Gr画素の画素信号を最初に読み出す。ベイヤー配列の単位となる4個の画素は、位置Xを中心とする4行4列の画素ブロックの四隅に位置する。イメージセンサ10は、第3のフレーム期間F3の次の第4のフレーム期間F4では、R画素の画素信号を最初に読み出す。ベイヤー配列の単位となる4個の画素は、位置Xを中心とする4行2列の画素ブロックの四隅に位置する。
図21に示す間引き処理を実施することで、いずれのフレーム期間においても、ベイヤー配列の単位となる4つの画素の重心が、当該4つの画素を含む画素ブロックの中心と一致する。
図22は、図21に示す第1のフレーム期間における固体撮像装置の動作を説明する図である。第4の実施形態では、画素セル35の列ごとに、第1および第2処理回路である2つの処理回路24と、第1および第2信号線である垂直信号線51,52が設けられている。
2つの処理回路24−1,24−2は、画素列C1,C2の画素セル35−11,35−21・・・の列に対して設けられている。接続部15は、第1処理回路である処理回路24−1と垂直信号線51−1を接続し、第2処理回路である処理回路24−2と垂直信号線52−1を接続する。
2つの処理回路24−3,24−4は、画素列C3,C4の画素セル35−12,35−22・・・の列に対して設けられている。接続部15は、第1処理回路である処理回路24−3と垂直信号線51−2を接続し、第2処理回路である処理回路24−4と垂直信号線52−2を接続する。接続部15は、第4の実施形態では、撮像モードに関わらず、かかる接続状態を維持する。
行選択回路14は、第1のフレーム期間F1の最初に、2つの画素行L2,L3へ同時に駆動信号を供給する。画素行L2は、第1画素行である。画素行L3は、第2画素行である。行走査回路14は、間引きの対象とする画素行L1,L4へは駆動信号を供給しない。
行走査回路14は、画素行L2,L3のうち、画素列C1の画素と、画素列C4の画素から画素信号を読み出す行走査を行う。行走査回路14は、第1のフレーム期間F1の間、画素列C2,C3の画素からの画素信号の読み出しは行わない。行走査回路14の行走査により、画素列C1,C4以降も、2つの画素列おきに画素信号が読み出される。
画素列C1,C2の画素セル35−11は、画素行L2のB画素から読み出された画素信号を垂直信号線51−1へ出力する。画素列C3,C4の画素セル35−12は、画素列L2のGb画素から読み出された画素信号を垂直信号線51−2へ出力する。
画素列C1,C2の画素セル35−21は、画素行L3のGr画素から読み出された画素信号を垂直信号線52−1へ出力する。画素列C3,C4の画素セル35−22は、画素列L3のR画素から読み出された画素信号を垂直信号線52−2へ出力する。
垂直信号線51−1,52−1,51−2,52−2を伝送した画素信号は、それぞれ処理回路24−1,24−2,24−3,24−4へ入力される。処理回路24−1〜24−4は、処理を経た画素信号を、水平読み出し期間T1における列走査回路17の選択走査に応じて順次出力する。水平読み出し期間T1に読み出される信号成分B2,Gr3,Gb2,R3は、それぞれ図中「1」と示したB,Gr,Gb,Rの各画素にて検出された画素信号である。
次に、行走査回路14は、2つの画素行L6,L7へ同時に駆動信号を供給する。画素行L6は、第1画素行である。画素行L7は、第2画素行である。行走査回路14は、間引きの対象とする画素行L5,L8へは駆動信号を供給しない。
イメージセンサ10は、水平読み出し期間T2にて、信号成分B6,Gr7,Gb6,R7を含む画像信号を出力する。かかる信号成分は、図中、画素セル35−31,35−41,35−32,35−42のうち「2」と示したB,Gb,Gr,Rの各画素にて検出された画素信号である。
配列変換部20は、水平読み出し期間T1に読み出される信号成分B2,Gr3,Gb2,R3を、順序規則に従い、B2,Gb2,Gr3,R3の順序へ並べ替える。配列変換部20は、水平読み出し期間T2に読み出される信号成分B6,Gr7,Gb6,R7を、順序規則に従い、B6,Gb6,Gr7,R7の順序へ並べ替える。
色位相変換部42は、信号成分B2,Gb2,Gr3,R3が得られた各領域について、Grの信号成分(Gr2’)、Rの信号成分(R2’)、Bの信号成分(B3’)、Gbの信号成分(Gb3’)をそれぞれ生成する。色位相変換部42は、信号成分B6,Gb6,Gr7,R7が得られた各領域について、Grの信号成分(Gr6’)、Rの信号成分(R6’)、Bの信号成分(B7’)、Gbの信号成分(Gb7’)をそれぞれ生成する。
色位相変換部42は、色位相変換を実施することで、互いに異なる色の光を検出する画素に由来する成分が所定の配列順で配列された画像信号を得る。これにより、カメラシステム1は、固体撮像装置40の後段の処理手段、例えばISP6にて、一定の配列順の信号成分に対するデモザイク処理を行うことができる。
固体撮像装置40は、画素行L2,L3,L6,L7以降の画素行についても、画素行L2,L3,L6,L7の場合と同様の動作を行う。行走査回路14は、1つの第1画素行と、1つの第2画素行とを同時に選択する。
図23は、図21に示す第2のフレーム期間における固体撮像装置の動作を説明する図である。行走査回路14は、第2のフレーム期間F2の最初に、2つの画素行L2,L3へ同時に駆動信号を供給する。行走査回路14は、間引きの対象とする画素行L1,L4へは駆動信号を供給しない。
行走査回路14は、画素行L2,L3のうち、画素列C2の画素と、画素列C3の画素から画素信号を読み出すための行走査を行う。行走査回路14の行走査により、画素列C2,C3以降も、2つの画素列おきに画素信号が読み出される。
イメージセンサ10は、水平読み出し期間T1にて、信号成分Gb2,R3,B2,Gr3を含む画像信号を出力する。かかる信号成分は、図中、画素セル35−11,35−21,35−12,35−22のうち「1」と示したGb,R,B,Grの各画素にて検出された画素信号である。
次に、行走査回路14は、2つの画素行L6,L7へ同時に駆動信号を供給する。行走査回路14は、間引きの対象とする画素行L5,L8へは駆動信号を供給しない。イメージセンサ10は、水平読み出し期間T2にて、信号成分Gb6,R7,B6,Gr7を含む画像信号を出力する。かかる信号成分は、図中、画素セル35−31,35−41,35−32,35−42のうち「2」と示したGb,R,B,Grの各画素にて検出された画素信号である。
配列変換部20は、水平読み出し期間T1に読み出される信号成分Gb2,R3,B2,Gr3を、順序規則に従い、Gb2,B2,R3,Gr3の順序へ並べ替える。配列変換部20は、水平読み出し期間T2に読み出される信号成分Gb6,R7,B6,Gr7を、順序規則に従い、Gb6,B6,R7,Gr7の順序へ並べ替える。
色位相変換部42は、信号成分Gb2,B2,R3,Gr3が得られた各領域について、Grの信号成分(Gr2’)、Rの信号成分(R2’)、Bの信号成分(B3’)、Gbの信号成分(Gb3’)をそれぞれ生成する。色位相変換部42は、信号成分Gb6,B6,R7,Gr7が得られた各領域について、Grの信号成分(Gr6’)、Rの信号成分(R6’)、Bの信号成分(B7’)、Gbの信号成分(Gb7’)をそれぞれ生成する。
固体撮像装置40は、画素行L2,L3,L6,L7以降の画素行についても、画素行L2,L3,L6,L7の場合と同様の動作を行う。行走査回路14は、1つの第1画素行と、1つの第2画素行とを同時に選択する。
図24は、図21に示す第3のフレーム期間における固体撮像装置の動作を説明する図である。行走査回路14は、第3のフレーム期間F3の最初に、2つの画素行L1,L4へ同時に駆動信号を供給する。画素行L1は、第1画素行である。画素行L4は、第2画素行である。行走査回路14は、間引きの対象とする画素行L2,L3へは駆動信号を供給しない。
行走査回路14は、画素行L1,L4のうち、画素列C1の画素と、画素列C4の画素から画素信号を読み出すための行走査を行う。行走査回路14の行走査により、画素列C1,C4以降も、2つの画素列おきに画素信号が読み出される。
イメージセンサ10は、水平読み出し期間T1にて、信号成分Gr1,B4,R1,Gb4を含む画像信号を出力する。かかる信号成分は、図中、画素セル35−11,35−21,35−12,35−22のうち「1」と示したGr,B,R,Gbの各画素にて検出された画素信号である。
次に、行走査回路14は、2つの画素行L5,L8へ同時に駆動信号を供給する。行走査回路14は、間引きの対象とする画素行L6,L7へは駆動信号を供給しない。イメージセンサ10は、水平読み出し期間T2にて、信号成分Gr5,B8,R5,Gb8を含む画像信号を出力する。かかる信号成分は、図中、画素セル35−31,35−41,35−32,35−42のうち「2」と示したGr,B,R,Gbの各画素にて検出された画素信号である。
配列変換部20は、水平読み出し期間T1に読み出される信号成分Gr1,B4,R1,Gb4を、順序規則に従い、Gr1,R1,B4,Gb4の順序へ並べ替える。配列変換部20は、水平読み出し期間T2に読み出される信号成分Gr5,B8,R5,Gb8を、順序規則に従い、Gr5,R5,B8,Gb8の順序へ並べ替える。
配列変換部20からの画像信号に含まれる4個の信号成分Gr1,R1,B4,Gb4は、ベイヤー配列の単位を構成する。かかる4個の信号成分は、上述する標準の配列順をなしている。4個の信号成分Gr5,R5,B8,Gb8も、標準の配列順をなしている。第3のフレーム期間F3では、ベイヤー配列の信号成分が標準の配列順をなすことから、色位相変換部42は、色位相変換を行わない。
固体撮像装置40は、画素行L1,L4,L5,L8以降の画素行についても、画素行L1,L4,L5,L8の場合と同様の動作を行う。行走査回路14は、1つの第1画素行と、1つの第2画素行とを同時に選択する。
図25は、図21に示す第4のフレーム期間における固体撮像装置の動作を説明する図である。行走査回路14は、第4のフレーム期間F4の最初に、2つの画素行L1,L4へ同時に駆動信号を供給する。行走査回路14は、間引きの対象とする画素行L2,L3へは駆動信号を供給しない。
行走査回路14は、画素行L1,L4のうち、画素列C2の画素と、画素列C3の画素から画素信号を読み出すための行走査を行う。行走査回路14の行走査により、画素列C2,C3以降も、2つの画素列おきに画素信号が読み出される。
イメージセンサ10は、水平読み出し期間T1にて、信号成分R1,Gb4,Gr1,B4を含む画像信号を出力する。かかる信号成分は、図中、画素セル35−11,35−21,35−12,35−22のうち「1」と示したR,Gb,Gr,Bの各画素にて検出された画素信号である。
次に、行走査回路14は、2つの画素行L5,L8へ同時に駆動信号を供給する。行走査回路14は、間引きの対象とする画素行L6,L7へは駆動信号を供給しない。イメージセンサ10は、水平読み出し期間T2にて、信号成分R5,Gb8,Gr5,B8を含む画像信号を出力する。かかる信号成分は、図中、画素セル35−31,35−41,35−32,35−42のうち「2」と示したR,Gb,Gr,Bの各画素にて検出された画素信号である。
配列変換部20は、水平読み出し期間T1に読み出される信号成分R1,Gb4,Gr1,B4を、順序規則に従い、R1,Gr1,Gb4,B4の順序へ並べ替える。配列変換部20は、水平読み出し期間T2に読み出される信号成分R5,Gb8,Gr5,B8を、順序規則に従い、R5,Gr5,Gb8,B8の順序へ並べ替える。
色位相変換部42は、信号成分R1,Gr1,Gb4,B4が得られた各領域について、Grの信号成分(Gr1’)、Rの信号成分(R1’)、Bの信号成分(B4’)、Gbの信号成分(Gb4’)をそれぞれ生成する。色位相変換部42は、信号成分R5,Gr5,Gb8,B8が得られた各領域について、Grの信号成分(Gr5’)、Rの信号成分(R5’)、Bの信号成分(B8’)、Gbの信号成分(Gb8’)をそれぞれ生成する。
固体撮像装置40は、画素行L1,L4,L5,L8以降の画素行についても、画素行L1,L4,L5,L8の場合と同様の動作を行う。行走査回路14は、1つの第1画素行と、1つの第2画素行とを同時に選択する。
固体撮像装置40は、行方向において4つの画素列のうちの2つと、列方向において4つの画素行のうちの2つとを間引いて画像信号を読み出す。固体撮像装置40は、かかる間引き処理を実施することで、列方向および行方向のそれぞれについて画像信号のデータ量を2分の1に削減する。
固体撮像装置40は、イメージセンサ10から読み出される画像信号のデータ量を削減することで、高速な撮像が可能となる。固体撮像装置40は、画素行ごとの間引きのみによって本実施形態と同等のデータ量低減を試みた場合に比べて、解像感の低下を抑制できる。固体撮像装置40は、動画の撮像においてジャギーを抑制できる。固体撮像装置40は、画質の劣化を抑制できる。
図26は、第4の実施形態の第2のモードにおける固体撮像装置の動作を説明する図である。固体撮像装置40は、第2のモードでは間引き処理を行わず、画素アレイ50の各画素からの信号成分を順次読み出す。
第4の実施形態では、固体撮像装置40は、画素セル35にて行方向へ配列された2個の画素からの信号をそれぞれ異なるタイミングで読み出し可能とされている。固体撮像装置40は、例えば、画素行ごとに2つの画素駆動線が配置されている。固体撮像装置40は、2つの画素駆動線を用いることで、行方向に配列された2個の画素から異なるタイミングで信号を読み出す。
行走査回路14は、フレーム期間の最初に、2つの画素行L1,L3を同時に選択する。画素列C1,C2に位置する画素セル35−11は、R画素からの画素信号と、Gr画素からの画素信号とを、垂直信号線51−1へ順次出力する。画素セル35−21は、R画素からの画素信号と、Gr画素からの画素信号とを、垂直信号線52−1へ順次出力する。画素列C1,C2以降の画素セル35も、画素セル35−11,35−21と同様に画素信号を出力する。
次に、行走査回路14は、2つの画素行L2,L4を同時に選択する。画素セル35−11は、Gb画素からの画素信号と、B画素からの画素信号とを、垂直信号線51−1へ順次出力する。画素セル35−21は、Gb画素からの画素信号と、B画素からの画素信号とを、垂直信号線52−1へ順次出力する。画素列C1,C2以降の画素セル35も、画素セル35−11,35−21と同様に画素信号を出力する。固体撮像装置40は、画素行L1〜L4以降の画素行についても、画素行L1〜L4の場合と同様の動作を行う。
第4の実施形態において、行走査回路14は、第1および第2のモード以外の第3のモードにおいて、画素行を1つずつ選択することとしても良い。固体撮像装置40は、第3のモードでは、画素行L1,L2・・・の順序で画素信号を順次読み出す。
固体撮像装置40は、第3の実施形態と同様に、第1のモードの各フレームにおける露光時間を、第2のモードにおける露光時間より長くしても良い。これにより、固体撮像装置40は、低照度環境において明るい画像を得ることができる。固体撮像装置40は、第1のモードにおける露光時間を、第2のモードにおける露光時間の4倍までとすると、第1のモードにおけるフレームレートを、第2のモードにおけるフレームレートと同等以上にできる。
固体撮像装置40は、第3の実施形態と同様に、連続する4つのフレーム期間に、互いに露光時間を異ならせたフレーム期間を含めることとしても良い。固体撮像装置40は、長い露光時間としたフレームと、短い露光時間としたフレームとによるハイダイナミックレンジ合成を実現できる。これにより、固体撮像装置40は、広い照度範囲において鮮明な画像を得ることができる。固体撮像装置40は、第1のモードにおける複数のフレーム期間のうちの少なくともいずれか1つにおける露光時間を、第2のモードにおける露光時間より長くすることで、明るく鮮明な画像を得ることができる。
カメラシステム1は、後段のデモザイク処理手段(図示省略)にて、画像信号の各信号成分が、いずれの色画素からの信号成分であるかを把握できるようにしても良い。デモザイク処理手段は、各色の信号成分の配列に応じた処理を実施することで、信号成分の順序に関わらず、正確なデモザイク処理を実施できる。この場合、固体撮像装置40は、色位相変換部42を省略しても良い。
第4の実施形態によると、固体撮像装置40は、第1画素セルから第1信号線を介する画素信号の読み出しと、第2画素セルから第2信号線を介する画素信号の読み出しとを同時に実施する。固体撮像装置40は、画素信号の同時読み出しと、間引き処理とにより、高速な撮像を行うことができる。固体撮像装置40は、高速動画の撮像を可能とし、かつ感度低下の抑制および画質劣化の抑制が可能となる。
(第5の実施形態)
図27は、第5の実施形態の固体撮像装置の構成を示すブロック図である。上記の第1の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。
第5の実施形態の固体撮像装置60は、第1の実施形態の固体撮像装置5と同様の第1および第2のモードによる画像信号の読み出しと、さらに第3のモードによる画像信号の読み出しを実施する。
固体撮像装置60は、第3のモードにて、第1の実施形態における第1のモードと同様のビニング処理を実施する。さらに、固体撮像装置60は、第3のモードにて、画素信号が読み出される画素行を間引くための間引き処理を実施する。固体撮像装置60は、複数のフレームの間で、間引きの対象とされる画素行を互いに異ならせる。
固体撮像装置60は、イメージセンサ10および信号処理回路61を備える。信号処理回路61は、配列変換部20および再構成処理部62を備える。補間部である再構成処理部62は、第3のモードにおいて間引きの対象とされた部分の画像データを補間するための再構成処理を実施する。
図28は、第5の実施形態の第3のモードのうち、第1のフレーム期間における固体撮像装置の動作について説明する図である。固体撮像装置60は、第1のモードと同様の2×2ビニングを実施する。
撮像モードを第3のモードとするモード選択信号が制御回路13へ入力されると、制御回路13は、第3のモードに応じた制御信号を接続部15へ出力する。接続部15は、制御回路13からの制御信号に応じて、第1の接続状態と同じである第3の接続状態となる。
固体撮像装置60は、画素行L1〜L8については、第1のモードと同様の動作を行う。固体撮像装置60は、画素行L1〜L8に続く8個の画素行L9〜L16を、間引き対象とする。固体撮像装置60は、画素行L9〜L16をスキップして、画素行L17以降の8個の画素行について、第1のモードと同様の動作を行う。固体撮像装置60は、8個の画素行おきに、画素信号の読み出しとスキップとを行う。
図29は、第5の実施形態の第3のモードのうち、第2のフレーム期間における固体撮像装置の動作について説明する図である。第2のフレーム期間は、第1のフレーム期間の次の期間とする。
固体撮像装置60は、8個の画素行L1〜L8を間引き対象とする。固体撮像装置60は、画素行L1〜L8をスキップして、画素行L9〜L16について、第1のモードと同様の動作を行う。固体撮像装置60は、画素行L17以降の8個の画素行L17〜L24について、間引き対象としてスキップする。固体撮像装置60は、8個の画素行おきに、画素信号の読み出しとスキップとを行う。
第5の実施形態にて、固体撮像装置60は、第1のフレーム期間における動作と、第2のフレーム期間における動作とを、フレーム期間ごとに交互に行う。固体撮像装置60は、第1および第2のフレーム期間において、間引きの対象とされる画素行を互いに異ならせている。
固体撮像装置60は、間引き処理を実施することで、列方向について画像信号のデータ量を2分の1に削減する。固体撮像装置60は、第1のモードにおける画像信号の読み出しに対して、第3のモードでは、理論上2倍の速度で画像信号を読み出すことができる。固体撮像装置60は、イメージセンサ10から読み出される画像信号のデータ量を削減することで、高速な撮像が可能となる。
図30は、図28および図29に示す第3のモードにおける固体撮像装置の動作により得られる画像データについて説明する図である。フレームF1は、第1のフレーム期間にて得られたフレームとする。フレームF2は、第2のフレーム期間にて得られたフレームとする。D1〜D4は、それぞれ8個の画素行ごとに得られる画像データを表す。
フレームF1は、画素行L1〜L8の画素信号からなるD1を含む。フレームF1のうち、第1のフレーム期間の動作において間引き対象とされた画素行L9〜L16に対応する部分は、データ空白部分となる。D3以降も、画像データ部分とデータ空白部分とが交互に並列している。
フレームF2は、画素行L9〜L16の画素信号からなるD2を含む。フレームF2のうち、第2のフレーム期間の動作において間引き対象とされた画素行L1〜L8,L17〜L24に対応する部分は、データ空白部分となる。D4以降も、画像データ部分とデータ空白部分とが交互に並列している。固体撮像装置60は、第1および第2のフレーム期間以降、フレームF1と同様のデータ空白部分を持つフレームと、フレームF2と同様のデータ空白部分を持つフレームとを交互に取得する。
図31は、図27に示す再構成処理部による再構成処理の第1から第4の方法について説明する図である。3個のフレームFi−1,Fi,Fi+1は、連続するフレームであるものとする。Dn〜Dn+3は、それぞれ8個の画素行ごとに得られる画像データを表す。フレームFi−1,Fi+1は、Dn,Dn+2を含む。フレームFiは、Dn+1,Dn+3を含む。再構成処理部62は、以下に説明するいずれの方法によって再構成処理を実施しても良い。
第1の方法では、再構成処理部62は、1つのフレームの画像データを使用して、当該フレームの画像データを再構成する。例えば、再構成処理部62は、フレームFiの画像データDn+1,Dn+3を使用して、フレームFiにおけるデータ空白部分の画像データDn,Dn+2を補間する。
再構成処理部62は、Dn+1,Dn+3の部分の間のデータ空白部分を、Dn+1,Dn+3に含まれる情報を使用して補間する。再構成処理部62は、データ空白部分に隣接する部分の画像データを使用するいかなる手法により、データ空白部分を補間することとしても良い。
第2の方法では、再構成処理部62は、2つのフレームの画像データを使用して、1つのフレームを再構成する。例えば、再構成処理部62は、フレームFi+1の画像データと、フレームFiの画像データとを、行走査順となるように、交互につなぎ合わせる。再構成処理部62は、フレームFi+1のDn,Dn+2と、フレームFiのDn+1,Dn+3を、Dn,Dn+1,Dn+2,Dn+3の順に繋ぎ合わせる。
これにより、再構成処理部62は、2つのフレームFi,Fi+1から1つのフレームを再構成する。また、再構成処理部62は、2つのフレームFi−1,Fiから1つのフレームを再構成する。
第3の方法では、再構成処理部62は、2つのフレームの一方に含まれる信号値と、他方に含まれる信号値との演算により、1つのフレームの画像データを再構成する。ここで、フレームFiのうちのある単位領域63についてGr成分の信号値を求める例を説明する。単位領域63は、Dn+1およびDn+3の部分の間のデータ空白部分に含まれる。
フレームFi−1の単位領域64は、フレームFiの単位領域63と同じ位置にある。単位領域65は、フレームFiの画像データ部分のうち、Gr成分の情報を持ち、かつ単位領域63に最も近い単位領域である。再構成処理部62は、単位領域64,65の信号値の平均を求める。再構成処理部62は、平均を求めた結果を、単位領域63について補間する。
再構成処理部62は、データ空白部分の各単位領域についても、単位領域63についてと同様に、平均を求めた結果を補間する。再構成処理部62は、重み付け平均を求めた結果を、データ空白部分の各単位領域について補間しても良い。
再構成処理部62は、データ空白部分の補間と併せて、画像データ部分のデータ変換を実施する。例えば、再構成処理部62は、単位領域65の信号値を、単位領域64との重み付け平均を求めた結果に置き換える。このようにして、再構成処理部62は、2つのフレームFi−1,Fiから1つのフレームFiを再構成する。
第4の方法では、再構成処理部62は、再構成の対象とするフレームの前および後のフレームから、当該対象とするフレームを再構成する。ここでも、単位領域63について信号値を補間する例を説明する。
フレームFi+1の単位領域66は、フレームFiの単位領域63と同じ位置にある。再構成処理部62は、単位領域64,66の信号値の平均を求める。再構成処理部62は、平均を求めた結果により、単位領域63を補間する。再構成処理部62は、データ空白部分の各単位領域についても、単位領域63についてと同様に、平均を求めた結果を補間する。再構成処理部62は、単位領域63,64,65の重み付け平均を求めた結果により、単位領域63を補間しても良い。
第1および第3の方法による再構成処理では、被写体の動きが大きく被写体のぶれ(モーションブラー)が生じ易い状況において、アーティファクト(画像の乱れ)を低減させることができる。モーションブラーが発生することで、信号値の平均を採用することによる解像感の低下を目立たせにくくすることができる。第1および第3の方法は、被写体の動きが大きい場合に適している。
第2および第4の方法による再構成処理では、被写体の動きが小さくモーションブラーが少ない状況において、高い解像感を得ることができる。第2および第4の方法は、被写体の動きが少ない場合に適している。
図32は、図27に示す再構成処理部による再構成処理の第5の方法について説明する図である。フレームSF(i−1),SF(i)は、それぞれ第1から第4の方法のいずれかによりフレームFi−1,Fiを再構成した結果とする。フレームSF(i−1),SF(i)は、例えば、第3の方法によりフレームFi−1,Fiを再構成した結果とする。
再構成処理部62は、フレームSF(i−1)のうち、ある領域Ri−1の画像データを抽出する。再構成処理部62は、フレームSF(i)のうち、領域Riの画像データを抽出する。フレームSF(i)における領域Riは、フレームSF(i−1)における領域Ri−1と同じ位置にある。領域Ri−1,Riは、例えば3行3列の単位領域からなる領域とする。
再構成処理部62は、領域Ri−1,Riのうち同じ位置の単位領域同士について、信号値の差を求める。再構成処理部62は、求めた差の絶対値の合計(Sum of Absolute Difference;SAD)を求める。
SADの値が大きいほど、2つのフレームSF(i−1),SF(i)の間における被写体の動きが大きかったことを示す。SADの値が小さいほど、2つのフレームSF(i−1),SF(i)の間における被写体の動きが小さかったことを示す。再構成処理部62は、SADを求めることで、被写体の動きの程度を推定する。
再構成処理部62は、SADが第1の閾値より大きい場合に、被写体の動きが大きかったものと判断する。この場合に、再構成処理部62は、第1または第3の方法により、フレームFiの再構成処理を再度実施する。
再構成処理部62は、SADが第2の閾値より小さい場合に、被写体の動きが小さかったものと判断する。この場合に、再構成処理部62は、第2または第4の方法により、フレームFiの再構成処理を再度実施する。
再構成処理部62は、SADが第1の閾値以下かつ第2の閾値以上である場合に、第1または第3の方法による第1の再構成処理の結果と、第2または第4の方法による第2の再構成処理の結果とを求める。再構成処理部62は、第1および第2の再構成処理の結果を混合させた第3の再構成処理の結果を求める。
再構成処理部62は、SADの算出結果に応じて、第1の再構成結果を混合させる割合と、第2の再構成結果を混合させる割合とを調整する。再構成処理部62は、SADの値が大きいほど、第1の再構成結果を混合させる割合を大きくする。これにより、被写体の動きが少ないほど解像感を重視する一方、被写体の動きが大きくなるにしたがいアーティファクトの低減を重視するように、フレームを再構成することができる。
このようにして、再構成処理部62は、第5の方法では、SADの値に応じて、第1から第3の再構成結果のいずれか1つを出力する。
固体撮像装置60は、第3の実施形態と同様に、第3のモードの各フレームにおける露光時間を、第2のモードにおける露光時間より長くしても良い。これにより、固体撮像装置60は、低照度環境において明るい画像を得ることができる。固体撮像装置60は、第3のモードにおける露光時間を、第2のモードにおける露光時間の2倍までとすると、第3のモードにおけるフレームレートを、第2のモードにおけるフレームレートと同等以上にできる。
固体撮像装置60は、連続する2つのフレーム期間において、互いに露光時間を異ならせることとしても良い。固体撮像装置60は、長い露光時間としたフレームと、短い露光時間としたフレームとによるハイダイナミックレンジ合成を実現できる。これにより、固体撮像装置60は、広い照度範囲において鮮明な画像を得ることができる。固体撮像装置60は、2つのフレーム期間のうち少なくともいずれか1つにおける露光時間を長くすることで、明るく鮮明な画像を得ることができる。
第5の実施形態によると、固体撮像装置60は、第1画素セルから第1信号線を介する画素信号の読み出しと、第2画素セルから第2信号線を介する画素信号の読み出しとを同時に実施する。固体撮像装置60は、画素信号の同時読み出しと、間引き処理とにより、高速な撮像を行うことができる。固体撮像装置60は、高速動画の撮像を可能とし、かつ感度低下の抑制および画質劣化の抑制が可能となる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
5,40,60 固体撮像装置、11,41,61 信号処理回路、12,30,50 画素アレイ、14 行走査回路、15 接続部、20 配列変換部、21,22,31〜34,51,52 垂直信号線、23,35,36 画素セル、24 処理回路、42 色位相変換部、62 再構成処理部。

Claims (6)

  1. 光電変換素子を含む画素が行列状に配列された画素アレイと、
    画素に蓄積された信号電荷に基づく画素信号を読み出すための駆動信号を、前記画素アレイのうち選択された画素行の画素へ供給する走査回路と、
    前記駆動信号に応じて読み出された画素信号を伝送する信号線と、
    前記信号線を伝送した画素信号を処理する処理回路と、
    前記信号線と前記処理回路とを接続する接続部と、を備え、
    前記画素アレイの画素列1つ当たりに、1つの前記処理回路と、第1信号線および第2信号線を含む複数の前記信号線と、が設けられ、
    各画素列は、前記第1信号線へ画素信号を出力する第1画素と、前記第2信号線へ画素信号を出力する第2画素とを含み、
    前記走査回路が、前記第1画素を含む第1画素行と、前記第2画素を含む第2画素行とを同時に選択するとき、前記接続部は、画素列ごとの前記第1信号線と前記第2信号線とを、互いに異なる処理回路に接続することを特徴とする固体撮像装置。
  2. 前記走査回路が前記第1画素行と前記第2画素行とを同時に選択するとき、前記接続部は、第1画素列に設けられている第1信号線と、第2画素列に設けられている第1信号線とを第1処理回路に接続し、前記第1画素列に設けられている第2信号線と、前記第2画素列に設けられている第2信号線とを第2処理回路に接続することを特徴とする請求項1に記載の固体撮像装置。
  3. 前記画素アレイは、列方向に配列された複数の第1画素を備える第1画素セルと、列方向に配列された複数の第2画素を備える第2画素セルと、を備え、
    前記走査回路は、前記第1画素セル内の第1画素が含まれる複数の第1画素行と、前記第2画素セル内の第2画素が含まれる複数の第2画素行とを同時に選択することを特徴とする請求項1に記載の固体撮像装置。
  4. 前記処理回路から読み出された画素信号を成分とする画像信号を処理する信号処理回路を備え、
    前記信号処理回路は、前記画素アレイにおける画素の配列に応じて、前記画像信号における成分の配列順序を変換する配列変換部を備えることを特徴とする請求項1から3のいずれか一項に記載の固体撮像装置。
  5. 前記走査回路は、撮像モードが第1のモードであるとき、前記第1画素行と前記第2画素行とを同時に選択し、撮像モードが第2のモードであるとき、各画素行を1つずつ選択し、
    前記接続部は、前記第1のモードでは、画素列ごとの前記第1信号線と前記第2信号線とを、互いに異なる処理回路に接続する第1の接続状態となり、前記第2のモードでは、前記第1の接続状態とは異なる第2の接続状態となることを特徴とする請求項1に記載の固体撮像装置。
  6. 前記走査回路は、前記第1画素行と前記第2画素行とを同時に選択するとき、選択された画素行および画素列の画素以外の画素への前記駆動信号の供給を停止させ、かつ複数のフレーム期間を周期として、前記複数のフレーム期間のそれぞれにて、画素行の選択および画素列の選択の少なくとも一方を異ならせることを特徴とする請求項1に記載の固体撮像装置。
JP2015005263A 2015-01-14 2015-01-14 固体撮像装置 Pending JP2016131326A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015005263A JP2016131326A (ja) 2015-01-14 2015-01-14 固体撮像装置
US14/717,244 US20160205335A1 (en) 2015-01-14 2015-05-20 Solid-state imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015005263A JP2016131326A (ja) 2015-01-14 2015-01-14 固体撮像装置

Publications (1)

Publication Number Publication Date
JP2016131326A true JP2016131326A (ja) 2016-07-21

Family

ID=56368427

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015005263A Pending JP2016131326A (ja) 2015-01-14 2015-01-14 固体撮像装置

Country Status (2)

Country Link
US (1) US20160205335A1 (ja)
JP (1) JP2016131326A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018110353A (ja) * 2017-01-05 2018-07-12 キヤノン株式会社 撮像素子及び撮像装置
JP2020068487A (ja) * 2018-10-25 2020-04-30 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108270952B (zh) * 2017-11-21 2020-08-07 深圳市芯舞时代科技有限公司 一种双目摄像机影像色差的校正方法及***
US11284045B2 (en) * 2020-04-22 2022-03-22 OmniVision Technologies. Inc. Image sensor with shifted color filter array pattern and bit line pairs

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015128253A (ja) * 2013-12-27 2015-07-09 キヤノン株式会社 固体撮像装置およびその駆動方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018110353A (ja) * 2017-01-05 2018-07-12 キヤノン株式会社 撮像素子及び撮像装置
US10425605B2 (en) 2017-01-05 2019-09-24 Canon Kabushiki Kaisha Image sensor and image capturing apparatus
JP2020068487A (ja) * 2018-10-25 2020-04-30 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP7175712B2 (ja) 2018-10-25 2022-11-21 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
US20160205335A1 (en) 2016-07-14

Similar Documents

Publication Publication Date Title
JP5546257B2 (ja) 固体撮像装置
US10798330B2 (en) Imaging device and imaging apparatus
US7570290B2 (en) Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus
JP5739640B2 (ja) 撮像素子及び撮像装置
JP6239975B2 (ja) 固体撮像装置及びそれを用いた撮像システム
CN102843526B (zh) 摄像设备及其控制方法
US10616509B2 (en) Imaging device and control method thereof, and electronic apparatus
JP2011109335A (ja) 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、プログラム、及び、撮像装置
US8610809B2 (en) Solid-state imaging device and camera system that controls a unit of plural rows
JP6541324B2 (ja) 固体撮像装置及びその駆動方法、並びに、撮像システム
US10171784B2 (en) Solid state imaging device and imaging apparatus having a plurality of addition read modes
KR20150084638A (ko) 고체 촬상 장치 및 카메라 시스템
EP2590413A1 (en) Solid-state image capture element and image capture device comprising said solid-state image capture element, and image capture control method and image capture control program
JP2016127373A (ja) 撮像装置、撮像システム、および撮像装置の駆動方法
JP2016225774A (ja) 撮像素子および撮像装置
JP2016131326A (ja) 固体撮像装置
US11716554B2 (en) Solid-state imaging device and method for driving the same, and electronic apparatus
JP2015228544A (ja) 固体撮像装置
JP6393087B2 (ja) 撮像素子及び撮像装置
JP5066476B2 (ja) 撮像装置
JP5511205B2 (ja) 撮像装置及び撮像方法
KR20150098547A (ko) 고체 촬상 장치 및 카메라 시스템
JP2017034508A (ja) 撮像素子及びその制御方法、及び、撮像装置
JP2015103972A (ja) デジタルカメラ及び固体撮像装置
JP2015173387A (ja) 撮像素子、その駆動方法、およびプログラム