JP6938352B2 - 撮像装置及び撮像システム - Google Patents

撮像装置及び撮像システム Download PDF

Info

Publication number
JP6938352B2
JP6938352B2 JP2017236393A JP2017236393A JP6938352B2 JP 6938352 B2 JP6938352 B2 JP 6938352B2 JP 2017236393 A JP2017236393 A JP 2017236393A JP 2017236393 A JP2017236393 A JP 2017236393A JP 6938352 B2 JP6938352 B2 JP 6938352B2
Authority
JP
Japan
Prior art keywords
pixel
color
pixels
signal
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017236393A
Other languages
English (en)
Other versions
JP2019106574A (ja
Inventor
川野　藤雄
藤雄 川野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017236393A priority Critical patent/JP6938352B2/ja
Priority to US16/205,819 priority patent/US20190182458A1/en
Publication of JP2019106574A publication Critical patent/JP2019106574A/ja
Application granted granted Critical
Publication of JP6938352B2 publication Critical patent/JP6938352B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、撮像装置及び撮像システムに関する。
単板式の撮像素子では、カラー画像を得るために、特定の波長成分、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの色の光が透過するカラーフィルタ（ＣＦ）が所定のパターンで画素上に配列されている。ＣＦのパターンとして、いわゆるベイヤ配列を持つものが多く利用されている。また、ＲＧＢのＣＦに加えて、可視光の全波長域の光を透過するフィルタを備えたＷ画素を有するＲＧＢＷ配列のＣＦの利用も進んでいる。
ＲＧＢＷ配列のＣＦを備えた撮像素子は、Ｗ画素を用いることで感度が向上しＳ／Ｎ比の高い画像を取得できる一方、カラー画素であるＲＧＢ画素と比較してＷ画素は飽和しやすいため高照度下における撮影が困難である。これは、同じ光量の撮影条件でも飽和しやすくダイナミックレンジが狭まることを意味しており、非分光信号や広波長領域成分信号の検出による高感度化を達成するうえでの共通の課題である。
特許文献１には、ＲＧＢＷ配列のＣＦを備えた固体撮像装置において、１フレーム中に複数回の露光動作と読み出し動作とを行うことでＷ画素における出力飽和の発生を低減する方法が記載されている。
特開２０１７−０５５３３０号公報
しかしながら、より良質の画像を得るために色再現性を確保しつつダイナミックレンジを更に拡大することが求められている。
本発明の目的は、ダイナミックレンジが広く色再現性の高い良質の画像を取得しうる撮像装置及び撮像システムを提供することにある。
本発明の一観点によれば、複数色のうちのいずれかの色情報を含む信号を各々が出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子と、前記撮像素子から出力される信号を処理する信号処理部と、を有し、前記信号処理部は、前記第２の画素から出力される信号に基づいて前記第１の画素の輝度値を取得する輝度値取得部と、所定の単位領域における前記複数色の色比を、前記第１の画素の色値及び前記輝度値から取得し、取得した前記色比から前記単位領域に含まれる前記第１の画素及び前記第２の画素の各々の色成分を取得する色取得部と、を有し、前記色取得部は、第１の撮像条件で取得した前記第１の画素の色値と、前記第１の撮像条件よりも感度の低い第２の撮像条件で取得した前記第２の画素の信号に基づく前記第１の画素の輝度値とを用いて前記色比を取得する撮像装置が提供される。
また、本発明の他の一観点によれば、複数色のうちのいずれかの色情報を含む信号を各々が出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子から出力される信号を処理する信号処理装置であって、前記第２の画素から出力される信号に基づいて前記第１の画素の輝度値を取得する輝度値取得部と、所定の単位領域における前記複数色の色比を、前記第１の画素の色値及び前記輝度値から取得し、取得した前記色比から前記単位領域に含まれる前記第１の画素及び前記第２の画素の各々の色成分を取得する色取得部と、を有し、前記色取得部は、第１の撮像条件で取得した前記第１の画素の色値と、前記第１の撮像条件よりも感度の低い第２の撮像条件で取得した前記第２の画素の信号に基づく前記第１の画素の輝度値とを用いて前記色比を取得する信号処理装置が提供される。
また、本発明の更に他の一観点によれば、複数色のうちのいずれかの色情報を含む信号を各々が出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子を含む撮像装置と、前記撮像装置から出力される信号を処理する信号処理部と、を有し、前記信号処理部は、前記第２の画素から出力される信号に基づいて前記第１の画素の輝度値を取得する輝度値取得部と、所定の単位領域における前記複数色の色比を、前記第１の画素の色値及び前記輝度値から取得し、取得した前記色比から前記単位領域に含まれる前記第１の画素及び前記第２の画素の各々の色成分を取得する色取得部と、を有し、前記色取得部は、第１の撮像条件で取得した前記第１の画素の色値と、前記第１の撮像条件よりも感度の低い第２の撮像条件で取得した前記第２の画素の信号に基づく前記第１の画素の輝度値とを用いて前記色比を取得する撮像システムが提供される。
本発明によれば、ダイナミックレンジが広く色再現性の高い良質の画像を取得することができる。
本発明の第１実施形態による撮像装置の概略構成を示すブロック図である。 本発明の第１実施形態による撮像装置の撮像素子の構成例を示すブロック図である。 本発明の第１実施形態による撮像装置の撮像素子の構成例を示す回路図である。 本発明の第１実施形態による撮像装置における撮像素子のカラーフィルタ配列示す模式図である。 撮像素子のカラーフィルタ配列の他の例を示す模式図である。 本発明の第１実施形態による撮像装置の撮像素子における垂直走査の動作を示すタイミング図である。 本発明の第１実施形態による撮像装置の撮像素子における読み出し動作を示すタイミング図である。 本発明の第１実施形態による撮像装置の撮像素子におけるリセット動作を示すタイミング図である。 本発明の第１実施形態による撮像装置のＲＧＢＷ１２信号処理部の動作を示す概略図である。 本発明の第１実施形態による撮像装置の高精度補間部における動作を示す概略図である。 ＲＧＢＷ１２配列における輝度変化の方向性を検出する方法を説明する図である。 本発明の第１実施形態による撮像装置における入射光量と信号出力及び解像度との関係を示すグラフである。 本発明の第１実施形態による撮像装置における信号処理方法を示すフローチャートである。 本発明の第２実施形態による撮像システムの概略構成を示すブロック図である。 本発明の第３実施形態による撮像システム及び移動体の構成例を示す図である。
［第１実施形態］
本発明の第１実施形態による撮像装置及びその駆動方法について、図１乃至図１３を用いて説明する。
はじめに、本実施形態による撮像装置の概略構成について、図１乃至図５を用いて説明する。図１は、本実施形態による撮像装置の概略構成を示すブロック図である。図２は、撮像素子の構成例を示すブロック図である。図３は、撮像素子の構成例を示す回路図である。図４及び図５は、撮像素子に用いられるカラーフィルタ配列を示す模式図である。
本実施形態による撮像装置は、図１に示すように、撮像素子１００と、信号処理部２００とを有している。
撮像素子１００は、図示しない光学系を介して入射した光信号（被写体像）を電気信号に変換して出力する。撮像素子１００は、例えば、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ上にカラーフィルタ（以下、「ＣＦ」とも表記する）が配置された、いわゆる単板式のカラーセンサにより構成される。図１に記載の「ＲＧＢＷ１２配列」は、本実施形態の撮像素子１００において使用するカラーフィルタ配列を表している。ＲＧＢＷ１２配列の詳細については、後述する。
信号処理部２００は、撮像素子１００から出力された信号に対して、後述する信号処理を実施する。信号処理部２００は、ＲＧＢＷ１２信号処理部２１０と、画像処理システム部２２０とを有している。ＲＧＢＷ１２信号処理部２１０は、前段処理部２１２と、高精度補間部２１４とを有している。
ＲＧＢＷ１２信号処理部２１０は、ＲＧＢＷ１２配列のカラーフィルタ配列を有する撮像素子１００からの出力信号を処理する。前段処理部２１２は、撮像素子１００からの出力信号に対して、信号処理の前処理、すなわち各信号のオフセット補正やゲイン補正等の補正処理を適宜実施する。高精度補間部２１４は、前段処理部２１２からの出力信号に対して、高精度の補間処理を実施する。高精度補間部２１４は、Ｗ画素から出力される信号に基づいて色画素の輝度値を取得する輝度情報取得部としての機能を備える。また、高精度補間部２１４は、色画素の色値及びＷ画素の輝度値から色比を取得し、取得した色比から各画素の色成分を取得する色取得部としての機能を備える。
画像処理システム部２２０は、ＲＧＢＷ１２信号処理部２１０からの出力を用いて、出力画像を作成する。画像処理システム部２２０は、ＲＧＢのカラー画像を作成する機能ブロックであることから、ＲＧＢ信号処理部と呼ぶこともできる。画像処理システム部２２０は、撮像素子１００からの出力をカラー画像にするために、デモザイク処理、カラーマトリクス取得、ホワイトバランス処理、デジタルゲイン、ガンマ処理、ノイズリダクション処理等の種々の処理を適宜実施する。これらの処理のうち、解像度情報にとってはデモザイク処理が特に重要であり、ベイヤ配列のＣＦを想定して高度な補間処理がなされる。
撮像素子１００と信号処理部２００とは、同一チップに設けてもよいし、別のチップや装置に設けてもよい。１つのチップで構成する場合、撮像素子１００と信号処理部２００とは、１つの半導体基板に設けてもよいし、別々の半導体基板に設けてこれらを積層してもよい。また、撮像素子１００と信号処理部２００とは、必ずしも一体として構成されている必要はなく、信号処理部２００を、撮像素子１００や撮像装置から出力される信号を処理する信号処理装置や画像処理装置として構成してもよい。
撮像素子１００は、図２に示すように、撮像領域１０と、垂直走査回路２０と、列読み出し回路３０と、水平走査回路４０と、出力回路５０と、制御回路６０と、を有する。
撮像領域１０には、複数の行及び複数の列に渡ってマトリクス状に配された複数の画素１２が設けられている。撮像領域１０には、例えば、列方向に１９２０画素、行方向に１０８０画素の合計２０７３６００画素が配される。撮像領域１０に配される画素数は限定されず、より多い画素数、若しくはより少ない画素数でもよい。
撮像領域１０の各行には、第１の方向（図２において横方向）に延在して、制御線１４が配されている。制御線１４は、第１の方向に並ぶ画素１２にそれぞれ接続され、これら画素１２に共通の信号線をなしている。本明細書では、制御線１４の延在する第１の方向を、行方向と表記することがある。また、撮像領域１０の各列には、第１の方向と交差する第２の方向（図２において縦方向）に延在して、出力線１６が配されている。出力線１６は、第２の方向に並ぶ画素１２にそれぞれ接続され、これら画素１２に共通の信号線をなしている。本明細書では、出力線１６の延在する第２の方向を、列方向と表記することがある。
各行の制御線１４は、垂直走査回路２０に接続されている。垂直走査回路２０は、画素１２のトランジスタをオン（導通状態）又はオフ（非導通状態）に制御するための制御信号を供給する。各列の出力線１６は、列読み出し回路３０に接続されている。列読み出し回路３０は、出力線１６を介して読み出された画素信号に対して所定の処理、例えば増幅処理を行い、処理後の信号を保持する。水平走査回路４０は、列読み出し回路３０の各列の信号保持部に接続されたスイッチを制御するための制御信号を供給する。出力回路５０は、バッファアンプや差動増幅回路から構成され、水平走査回路４０からの制御信号に応じて列読み出し回路３０の信号保持部から読み出された画素信号を信号処理部２００に出力する。制御回路６０は、垂直走査回路２０、列読み出し回路３０及び水平走査回路４０に、それらの動作やタイミングを制御する制御信号を供給するための回路部である。垂直走査回路２０、列読み出し回路３０及び水平走査回路４０に供給する制御信号の一部又は総ては、撮像素子１００の外部から供給してもよい。
それぞれの画素１２は、図３に示すように、光電変換部ＰＤと、転送トランジスタＭ１と、リセットトランジスタＭ２と、増幅トランジスタＭ３と、選択トランジスタＭ４と、を有する。光電変換部ＰＤは、例えばフォトダイオードである。光電変換部ＰＤを構成するフォトダイオードは、アノードが基準電圧ノード（電圧ＶＳＳ）に接続され、カソードが転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１のドレインは、リセットトランジスタＭ２のソース及び増幅トランジスタＭ３のゲートに接続されている。転送トランジスタＭ１のドレイン、リセットトランジスタＭ２のソース及び増幅トランジスタＭ３のゲートの接続ノードは、いわゆるフローティングディフュージョンＦＤである。フローティングディフュージョンＦＤは、容量成分を含み、電荷保持部として機能するとともに、この容量成分からなる電荷電圧変換部を構成する。リセットトランジスタＭ２のドレイン及び増幅トランジスタＭ３のドレインは、電源ノード（電圧ＶＤＤ）に接続されている。増幅トランジスタＭ３のソースは、選択トランジスタＭ４のドレインに接続されている。画素１２の出力ノードＰＤＯＵＴでもある選択トランジスタＭ４のソースは、出力線１６に接続されている。出力線１６には、電流源１８が接続されている。
図３に示す回路構成の画素１２の場合、各行の制御線１４は、転送トランジスタＭ１のゲートに接続された信号線と、リセットトランジスタＭ２のゲートに接続された信号線と、増幅トランジスタＭ３のゲートに接続された信号線と、を含む。転送トランジスタＭ１には、制御線１４を介して垂直走査回路２０から制御信号ＰＴＸが供給される。リセットトランジスタＭ２には、制御線１４を介して垂直走査回路２０から制御信号ＰＲＥＳが供給される。選択トランジスタＭ４には、制御線１４を介して垂直走査回路２０から制御信号ＰＳＥＬが供給される。撮像領域１０内の複数の画素１２は、垂直走査回路２０から供給される制御信号ＰＴＸ，ＰＲＥＳ，ＰＳＥＬにより、行単位で制御される。画素１２の各トランジスタがＮ型トランジスタで構成される場合、これら制御信号がＨｉｇｈレベル（Ｈレベル）のときに対応するトランジスタはオン状態となり、これら制御信号がＬｏｗレベル（Ｌレベル）のときに対応するトランジスタはオフ状態となる。
列読み出し回路３０は、図３に示すように、撮像領域１０の各列に、列増幅器３２、容量Ｃ０，Ｃ１ａ，Ｃ１ｂ，ＣＴＮ，ＣＴＳ、スイッチＳＷ０，ＳＷ１，ＳＷ２，ＳＷ３，ＳＷ４，ＳＷ５，ＳＷ６，ＳＷ７を、それぞれ有している。
列増幅器３２は、反転入力ノード、非反転入力ノード、出力ノードを備える差動増幅回路から構成されている。列増幅器３２の反転入力ノードは、容量Ｃ０及び信号ＰＬによって駆動されるスイッチＳＷ０を介して、出力線１６に接続されている。列増幅器３２の非反転入力ノードには、電圧ＶＲＥＦが供給される。列増幅器３２の反転入力ノードと出力ノードとの間には、信号φＣ１ａによって駆動されるスイッチＳＷ１と容量Ｃ１ａとの直列接続体で構成される第１の帰還路が設けられている。また、列増幅器３２の反転入力ノードと出力ノードとの間には、信号φＣ１ｂによって駆動されるスイッチＳＷ２と容量Ｃ１ｂとの直列接続体で構成される第２の帰還路が設けられている。更に、列増幅器３２の反転入力ノードと出力ノードとの間には、信号φＣによって駆動されるスイッチＳＷ３で構成される第３の帰還路が設けられている。
列増幅器３２の出力ノードには、スイッチＳＷ４を介して容量ＣＴＮ及びスイッチＳＷ６の一方の主ノードが、スイッチＳＷ５を介して容量ＣＴＳ及びスイッチＳＷ７の一方の主ノードが、それぞれ接続されている。スイッチＳＷ４，ＳＷ５は、それぞれ信号φＣＴＮ，φＣＴＳによって駆動される。
スイッチＳＷ６の他方の主ノードは、水平出力線３４に接続されている。また、スイッチＳＷ７の他方の主ノードは、水平出力線３６に接続されている。水平走査回路４０は、各列の列読み出し回路３０のスイッチＳＷ６，ＳＷ７の制御ノードに、信号φＨｎを順次出力する。出力回路５０は、出力増幅器５２を有する。水平出力線３４，３６は、出力増幅器５２に接続されている。
撮像領域１０に配列された各画素１２の上には、図４に示すカラーフィルタ配列（以下、「ＣＦ配列」と表記する）で、所定の分光感度特性を有するカラーフィルタがそれぞれ配置されている。図４において、矩形状の領域のそれぞれが、１つの画素１２に対応する。すなわち、図４は、８行×８列の画素アレイに対応したＣＦ配列を示したものである。本実施形態で用いるカラーフィルタは、赤色フィルタＲと、緑色フィルタＧと、青色フィルタＢと、白色フィルタＷとを含む。以後の説明では、赤色フィルタＲが設けられた画素１２を「Ｒ画素」、緑色フィルタＧが設けられた画素１２を「Ｇ画素」、青色フィルタＢが設けられた画素１２を「Ｂ画素」と、それぞれ表記する。Ｒ画素、Ｇ画素及びＢ画素は、主に色情報を出力するための画素であり、「カラー画素」或いは「ＲＧＢ画素」と呼ぶこともある。また、白色フィルタＷが設けられた画素１２を「Ｗ画素」と表記する。Ｗ画素は、主に輝度情報を出力するための画素であり、「ホワイト画素」と呼ぶこともある。
Ｗ画素は、入射光を色分離せず直接検出する画素である。Ｗ画素は、Ｒ画素、Ｇ画素及びＢ画素と比較して、分光感度特性における透過波長域が広く感度が高いことが特徴であり、例えば分光感度特性における透過波長域の波長半値幅は、Ｗ画素が最も広い。典型的には、Ｗ画素の分光感度特性における透過波長域は、Ｒ画素、Ｇ画素及びＢ画素の分高感度特性における透過波長域を包括している。
図４に示すＣＦ配列では、連続する４行×４列のブロックが、最小の繰り返し単位である。この単位ブロックに含まれる１６個の画素１２中、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素の比率は、Ｒ：Ｇ：Ｂ：Ｗ＝１：２：１：１２となっている。４行×４列の単位ブロックの中に１２個のＷ画素を有するこのＣＦ配列を、本明細書では「ＲＧＢＷ１２配列」と表記する。ＲＧＢＷ１２配列において、ＲＧＢ画素とＷ画素との比率、ＲＧＢ：Ｗは１：３である。ＲＧＢＷ１２配列の特徴としては、Ｒ画素、Ｇ画素及びＢ画素のいずれのカラー画素もＷ画素で囲まれていること、Ｗ画素が全画素に占める割合が３／４であること、が挙げられる。
換言すると、ＲＧＢＷ１２配列は、第１の画素としてカラー画素を有し、第２の画素としてホワイト画素を有しており、第２の画素群の総数が第１の画素群の総数の３倍（２倍以上）である。第１の画素は、複数色（Ｒ，Ｇ，Ｂ）のうちのいずれかの色情報を含む信号を各々が出力する複数種類の画素（Ｒ画素、Ｇ画素、Ｂ画素）を含む。第２の画素は、第１の画素よりも感度の高い画素である。なお、撮像素子１００には、有効な画素以外に、オプティカルブラック画素、ダミー画素、ヌル画素など、画像を形成するための信号を出力しない画素を有する場合もあるが、これらは前述の第１の画素及び第２の画素には含まれない。
ＲＧＢＷ１２配列を用いた場合、ＲＧＢ画素がＷ画素のみによって周囲を囲まれているために、ＲＧＢ画素部のＷの値（輝度値）を補間により取得する際の精度が向上する。ＲＧＢ画素部の輝度値を高精度で補間できるため、解像度の高い画像を得ることができる。ここで、ＲＧＢ画素がＷ画素で周囲を囲まれている、とは、Ｒ画素、Ｇ画素、Ｂ画素の各々に対して、平面視における上下方向、左右方向、斜め方向のそれぞれにＷ画素が隣接して配されていることを示している。
カラー画像を取得する際に用いられるＣＦ配列としては、いわゆるベイヤ配列が知られている。ベイヤ配列は、図５に示すように、最小の繰り返し単位である２行×２列の画素ブロックにおいて、一方の対角位置に２つのＧ画素を配置し、他方の対角位置にＲ画素とＢ画素とを配置したものである。このベイヤ配列を用いた単板のエリアセンサにおいてカラー画像を形成する際にも、所定の補間処理が行われる。例えば、Ｒ画素の部分にはＧとＢの情報がない。したがって、Ｒ画素の周囲のＧ画素及びＢ画素の情報をもとに、Ｒ画素部分のＧとＢの値を補間する。ベイヤ配列では、最も数の多い、市松模様状に配置されたＧ画素により、解像度が決まる。
ＲＧＢＷ１２配列では、解像度を決めるＷ画素の比率が多いため、ベイヤ配列のように解像度を決める画素が市松模様状に配置されたＣＦ配列の場合よりも解像度の高い画像を取得することができる。すなわち、解像度を決める画素が市松模様状に配置されたＣＦ配列の場合よりも、空間周波数の高い（つまりピッチが細かい）情報まで取得することができる。したがって、Ｗ画素がない部分（つまり、カラー画素がある部分）の値を、近傍の８つの画素の平均から求めるだけでも、十分に解像度の高い画像が得られる。また、エッジ情報や、周期的な形状などの情報をもとに、エッジ・方向性を検出して、補間を行うこともできる。この場合、近傍の８つの画素からの平均を用いるよりもシャープな画像（つまり解像感が高い画像）を得ることができる。
ＣＦの配置は様々取りうるが、単板イメージセンサにおいて解像度をより高くした画像を取得するためには、解像度を主に作り出す画素（ベイヤ配列ではＧ画素）をより多くすることが好ましい。特に、ベイヤ配列では解像度を作り出すＧ画素が市松模様状に配置されており、補間のエラーが生じる場合があった。この点、ＲＧＢＷ１２配列では、より多くの解像度を作り出す画素（Ｗ画素）を有しているため、前記補間エラーを極力小さくすることができる。
次に、本実施形態による撮像装置の動作について、図１乃至図１２を用いて説明する。図６は、本実施形態による撮像装置の撮像素子における垂直走査の動作を示すタイミング図である。図７は、本実施形態による撮像装置の撮像素子における読み出し動作を示すタイミング図である。図８は、本実施形態による撮像装置の撮像素子におけるリセット動作を示すタイミング図である。図９は、本実施形態による撮像装置のＲＧＢＷ１２信号処理部の動作を示す概略図である。図１０は、本実施形態による撮像装置の高精度補間部における動作を示す概略図である。図１１は、ＲＧＢＷ１２配列における輝度変化の方向性を検出する方法を説明する図である。図１２は、本実施形態による撮像装置における入射光量と信号出力及び解像度との関係を示すグラフである。図１３は、本実施形態による撮像装置における信号処理方法を示すフローチャートである。
図６は、撮像領域１０を構成する複数の行に属する画素１２から行毎に順次信号を読み出す動作、いわゆる垂直走査の動作を示すタイミング図である。図６では、第０行目から第Ｎ行目までの計Ｎ＋１行に属する画素１２から順次信号を読み出す場合を想定している。図６において、横軸は時間を示し、縦軸は行位置を示している。実線は、各行における読み出し動作の開始のタイミングを示している。一点鎖線及び二点鎖線は、各行におけるリセット動作の開始のタイミングを示している。
時刻ｔ０において、第０行目の画素１２からの読み出し動作が開始する。第０行目の画素１２からの読み出し動作が完了した後、第１行目の画素１２からの読み出し動作に移行する。同様にして、第２行目から第Ｎ行目までの読み出し動作を順次行い、第Ｎ行目の画素１２からの読み出し動作を時刻ｔ４０から開始する。
また、第０行目の画素１２からの読み出し動作が完了した後の所定の時刻ｔ２０において、第０行目の画素１２のリセット動作（図６中、「リセット１」）を実行する。或いは、第０行目の画素１２からの読み出し動作が完了した後の所定の時刻ｔ３０において、第０行目の画素１２のリセット動作（図６中、「リセット２」）を実行する。画素１２のリセット動作についても、読み出し動作と同様に行毎に順次行う。第Ｎ行の画素１２のリセット動作は、時刻ｔ６０又は時刻ｔ７０に行われることになる。
また、第Ｎ行目の画素１２からの読み出し動作が完了した後の所定の時刻ｔ５０において、次フレームの読み出し動作に移行し、時刻ｔ０からの動作と同様の動作を繰り返し行う。なお、時刻ｔ０から時刻ｔ５０までの期間は、フレームレートにより決定される。
上記タイミング図において、各行におけるリセット動作から読み出し動作までの期間が、画素１２の光電変換部ＰＤにおける信号電荷の蓄積時間（以下、単に「蓄積時間」と呼ぶ）として定義される。第１行目のリセット動作を時刻ｔ２０に行い、第Ｎ行目のリセット動作を時刻ｔ６０に行うリセット走査（図６中、「リセット１」）を行う場合、時刻ｔ２０から時刻ｔ５０までに相当する期間が、各画素１２の蓄積時間（図６中、「蓄積時間１」）となる。また、第１行目のリセット動作を時刻ｔ３０に行い、第Ｎ行目のリセット動作を時刻ｔ７０に行うリセット走査（図６中、「リセット２」）を行う場合、時刻ｔ３０から時刻ｔ５０までに相当する期間が、各画素１２の蓄積時間（図６中、「蓄積時間２」）となる。つまり、リセット動作のタイミングを変更することにより、画素１２の蓄積時間（露光条件）を変更することができる。
図７は、画素１２の読み出し動作を示すタイミング図である。図７のタイミング図は、一水平期間（１Ｈ期間）内における読み出し動作を示している。なお、以下の説明では特定の列の画素１２からの読み出し動作に着目するが、同じ行に属する異なる列の画素１２からの読み出し動作は、並列して同時に行われる。
まず、時刻ｔ０において、垂直走査回路２０は、読み出し対象の行の制御信号ＰＳＥＬをＨレベルとし、選択トランジスタＭ４をオンにする。これにより、読み出し対象の行が選択され、当該行（選択行）に属する画素１２の増幅トランジスタＭ３は、選択トランジスタＭ４を介して出力線１６に接続される。
また、同じく時刻ｔ０において、垂直走査回路２０は、読み出し対象の行の制御信号ＰＲＥＳをＨレベルとし、リセットトランジスタＭ２をオンにする。これにより、選択行に属する画素１２のフローティングディフュージョンＦＤがリセットトランジスタＭ２を介して電源ノード（電圧ＶＤＤ）に接続され、画素１２のフローティングディフュージョンＦＤの電位がリセットされる。増幅トランジスタＭ３は、フローティングディフュージョンＦＤのリセット電位に基づく信号（Ｎ信号）を、選択トランジスタＭ４を介して出力線１６に出力する。
また、同じく時刻ｔ０において、制御回路６０は、信号ＰＬをＨレベルとし、スイッチＳＷ０を導通状態とする。これにより、出力線１６が容量Ｃ０に接続される。
また、同じく時刻ｔ０において、制御回路６０は、信号φＣ，φＣ１ａ，φＣ１ｂ，φＣＴＮ，φＣＴＳをＨレベルとし、スイッチＳＷ１，ＳＷ２，ＳＷ３，ＳＷ４，ＳＷ５を導通状態とする。これにより、容量Ｃ１ａ，Ｃ１ｂ，ＣＴＮ，ＣＴＳは、リセット状態となる。容量ＣＴＮ，ＣＴＳの電位は、電圧ＶＲＥＦとなる。なお、図７における信号φＣ１は、信号φＣ１ａ，φＣ１ｂのうち、時刻ｔ０から時刻ｔ１０の期間にＨレベルに制御される信号を示している。
次いで、時刻ｔ１において、制御回路６０は、信号φＣＴＮ，φＣＴＳをＬレベルとし、スイッチＳＷ４，ＳＷ５を非導通状態とする。これにより、容量ＣＴＮ，ＣＴＳのリセット状態は解除される。
次いで、時刻ｔ２において、垂直走査回路２０は、制御信号ＰＲＥＳをＬレベルとし、リセットトランジスタＭ２をオフにする。これにより、フローティングディフュージョンＦＤの電位のリセットを解除する。フローティングディフュージョンＦＤには、リセットノイズ（ｋＴＣノイズ）が混入した電位が保持される。
次いで、時刻ｔ３において、制御回路６０は、信号φＣをＬレベルとし、スイッチＳＷ３を非導通状態とする。これにより、列増幅器３２がＮ信号によってリセットされた状態で、リセットが解除される。これにより、列増幅器３２は、画素１２からの信号とＮ信号との差分をＣ０／Ｃ１の比で決定される利得で増幅して出力する状態となる。また、容量Ｃ０には、Ｎ信号に対応した電位が、電圧ＶＲＥＦによりクランプされる。
列増幅器３２の利得は、信号φＣ１ａ，φＣ１ｂを適宜制御することにより決定することができる。すなわち、信号φＣ１ａ，φＣ１ｂのうち信号φＣ１ａのみがＨレベルであれば、列増幅器３２の利得はＣ０／Ｃ１ａとなる。以後、このときの利得を利得Ｇ１と呼ぶ。信号φＣ１ａ，φＣ１ｂの双方がＨレベルであれば、列増幅器３２の利得はＣ０／（Ｃ１ａ＋Ｃ１ｂ）となる。以後、このときの利得を利得Ｇ２と呼ぶ。信号φＣ１ａ，φＣ１ｂのうち信号φＣ１ｂのみがＨレベルであれば、列増幅器３２の利得はＣ０／Ｃ１ｂとなる。以後、このときの利得を利得Ｇ３と呼ぶ。図７における信号φＣ１は、信号φＣ１ａ，φＣ１ｂのうちＨレベルに制御する信号を示している。
次いで、時刻ｔ４において、制御回路６０は、信号φＣＴＮをＨレベルとし、スイッチＳＷ４を導通状態とする。これにより、列増幅器３２の出力端子がスイッチＳＷ４を介して容量ＣＴＮに接続される。
次いで、時刻ｔ５において、制御回路６０は、信号φＣＴＮをＬレベルとし、スイッチＳＷ４を非導通状態とする。これにより、列増幅器３２によってＮ信号を所定の利得で増幅した信号が、容量ＣＴＮにサンプルホールドされる。なお、この際に、列増幅器３２のオフセットも同時に保持される。
次いで、時刻ｔ６から時刻ｔ７の期間において、垂直走査回路２０は、制御信号ＰＴＸをＨレベルとし、転送トランジスタＭ１をオンにする。これにより、光電変換部ＰＤに蓄積されている電荷がフローティングディフュージョンＦＤに転送され、増幅トランジスタＭ３は、フローティングディフュージョンＦＤの電位に基づく信号を、選択トランジスタＭ４を介して出力線１６に出力する。
増幅トランジスタＭ３が出力する信号は、光電変換部ＰＤに蓄積されていた電荷に基づく信号である。増幅トランジスタＭ３が、光電変換部ＰＤに蓄積されていた電荷に基づいて出力する信号を、光信号（Ｓ信号と表記する場合もある）と呼ぶ。
次いで、時刻ｔ８において、制御回路６０は、信号φＣＴＳをＨレベルとし、スイッチＳＷ５を導通状態とする。これにより、列増幅器３２の出力端子がスイッチＳＷ５を介して容量ＣＴＳに接続される。
次いで、時刻ｔ９において、制御回路６０は、信号φＣＴＳをＬレベルとし、スイッチＳＷ５を非導通状態とする。これにより、列増幅器３２によって光信号を所定の利得で増幅した信号が、容量ＣＴＳにサンプルホールドされる。
次いで、時刻ｔ１０において、垂直走査回路２０は、制御信号ＰＳＥＬをＬレベルにして選択トランジスタＭ４をオフにすることで、画素１２を出力線１６から切り離す。また、信号ＰＬをＬレベルにしてスイッチＳＷ０を非導通状態にすることで、列増幅器３２の入力を切り離す。また、信号φＣ１をＬレベルにしてスイッチＳＷ１，ＳＷ２を非導通状態とし、列増幅器３２の増幅動作を停止する。
次いで、時刻ｔ１１から時刻ｔ１２の期間において、水平走査回路４０は、列読み出し回路３０の各列に順次、信号φＨｎを出力する動作、すなわち水平走査を行う。これにより、出力増幅器５２は、容量ＣＴＮ，ＣＴＳに保持された信号に基づく信号を、順次外部に出力する。出力増幅器５２の出力信号からは、列増幅器３２のオフセット成分が差し引かれる。
図８は、画素１２のリセット動作を示すタイミング図である。図８のタイミング図は、一水平期間（１Ｈ期間）内における読み出し動作を示している。なお、以下の説明では特定の列の画素１２からの読み出し動作に着目するが、同じ行に属する異なる列の画素１２からの読み出し動作は、並列して同時に行われる。なお、ここでは時刻ｔ２０から開始するリセット走査（リセット１）の場合を例に説明するが、時刻ｔ３０から開始するリセット走査（リセット２）の場合も同様である。
まず、時刻ｔ２０において、垂直走査回路２０は、制御信号ＰＲＥＳをＨレベルとし、リセットトランジスタＭ２をオンにする。これにより、フローティングディフュージョンＦＤがリセットトランジスタＭ２を介して電源ノード（電圧ＶＤＤ）に接続され、フローティングディフュージョンＦＤの電位がリセットされる。
次いで、時刻ｔ２１から時刻ｔ２２の期間において、垂直走査回路２０は、制御信号ＰＴＸをＨレベルとし、転送トランジスタ２４をオンにする。これにより、光電変換部ＰＤのカソードが、フローティングディフュージョンＦＤと同電位、すなわち電圧ＶＤＤにリセットされる。
次いで、時刻ｔ２３において、垂直走査回路２０は、制御信号ＰＲＥＳをＬレベルとし、リセットトランジスタＭ２をオフにする。これにより、リセット状態が解除される。
その他の信号、すなわち、制御信号ＰＳＥＬ、信号ＰＬ，φＣ，φＣ１ａ，φＣ１ｂ，φＣＴＮ，φＣＴＳ，φＨｎは、時刻ｔ２０から時刻ｔ２３のリセット期間中はＬレベルに維持する。
上述した読み出し動作によって撮像素子１００から出力された画素信号は、信号処理部２００において、図９に示すフローに従って処理される。
信号処理部２００に入力された画素信号は、まず、ＲＧＢＷ１２信号処理部２１０の前段処理部２１２に入力される。前段処理部２１２では、画素信号（入力信号Ｄｉｎ）に対して、オフセット（ＯＦＦＳＥＴ）補正、ゲイン（ＧＡＩＮ）補正等の補正（前段処理）を適宜実施して、補正後の出力信号（データＤｏｕｔ）を生成する（ステップＳ１０１）。この処理は、典型的には以下の式（１）のように表される。
Figure 0006938352
この補正は、さまざまな単位で行うことが可能である。例えば、画素１２毎に補正を行う場合、列増幅器３２毎に補正を行う場合、アナログデジタル変換（ＡＤＣ）部毎に行う場合、出力増幅器５２毎に補正を行う場合、等が挙げられる。画素信号の補正を行うことで、いわゆる固定パターンノイズを低減することができ、より高品質な画像を得ることができる。
次いで、前段処理部２１２で処理されたデータＤｏｕｔは、高精度補間部２１４に入力される。高精度補間部２１４では、図９に示すように、データ分離処理（ステップＳ１０２）、補間処理（ステップＳ１０３）及び合成処理（ステップＳ１０４）が順次行われる。ステップＳ１０２のデータ分離処理では、前段処理部２１２により処理されたデータを、解像度用のデータＤｒｅｓと、カラー用のデータＤｃｏｌとに分離する。ステップＳ１０３の補間処理では、解像度用のデータＤｒｅｓに対して補間処理を行う。ステップＳ１０４の合成処理では、補間処理を行った解像度用のデータＤｉｎｔと、ステップＳ１０２で分離したカラー用のデータＤｃｏｌとを合成し、ＲＧＢのデータＤｒｇｂを生成する。
高精度補間部２１４における処理について、図１０を用いてより具体的に説明する。図１０（ａ）は、ＲＧＢＷ１２配列の最小の繰り返し単位である４行×４列の画素ブロックからの出力データを模式的に示したものである。ここでは、この画素ブロックからの出力データが高精度補間部２１４に入力され、ステップＳ１０２〜ステップＳ１０４の処理が行われる場合を例に挙げる。なお、実際には、撮像領域１０を構成する総ての画素１２からの出力データが、同様の手順により処理される。
ステップＳ１０２では、図１０（ａ）のデータＤｏｕｔを、ホワイト画素（Ｗ画素）のデータからなる解像度用のデータＤｒｅｓと、カラー画素（Ｒ画素、Ｇ画素、Ｂ画素）のデータからなるカラー用のデータＤｃｏｌとに分離する。分離後の解像度用のデータＤｒｅｓは、図１０（ｂ）に示すように、４行×４列の１６個の画素のうち、もともとカラー画素が配置されていた４つの画素１２の画素値（輝度情報に関するデータ）が不明（図中、「？」で表す）の状態になる。また、分離後のカラー用のデータＤｃｏｌは、図１０（ｄ）に示すように、４行×４列の１６個の画素から抜き出した２行×２列の４個の画素のデータであり、解像度の低い（空間的に粗い）データとなる。なお、図１０（ｄ）中、「Ｇｒ」，「Ｇｂ」は、ともにＧ画素のデータを表している。異なるＧ画素からのデータであることを区別するため、「Ｇｒ」，「Ｇｂ」と表記を変えている。
ステップＳ１０３では、分離した解像度用のデータＤｒｅｓに対して補間処理を行い、画素値が不明な４個の画素（図中、「？」）の画素値を補填する。ステップＳ１０３における補間処理は、高精度補間部２１４の図示しない輝度値取得部において実施される。画素値を補間する方法には、さまざまな方法を採用しうる。例えば、周囲８画素の平均を取得する方法、上下左右の４画素の平均を取得する方法（バイリニア法）、周囲の画素のエッジを検出しエッジ方向に垂直な方向で補間を行う方法、細線などのパターンを検出しその方向で補間する方法、等が挙げられる。
補間の方法の説明の便宜上、図１０（ｃ）には、Ｘ座標とＹ座標とを付記している。例えば、座標（３，３）の画素には、「ｉＷｂ」と表記されている。図１０（ｃ）中、「ｉＷ」は、補間により取得したＷのデータであることを意味し、「ｉＷ」に付記した「ｒ」，「ｇｒ」，「ｇｂ」，「ｂ」は、元々のカラー画素との対応関係を表している。本明細書において特定の画素の補間データを示す場合、これらの記号と座標とを組み合わせた符号を用いるものとする。例えば、座標（３，３）のＷのデータは、「ｉＷｂ（３，３）」と表記する。
周囲８画素の平均から画素値を補間する場合、例えば、座標（３，３）の画素の輝度の補間値ｉＷｂ（３，３）は、以下の式（２）から取得することができる。
Figure 0006938352
図１０には４×４の画素群のみを示しているが、撮像領域１０にはこのパターンが繰り返し配置されている。したがって、補間値ｉＷｒ（１，１），ｉＷｇ（３，１），ｉＷｇ（１，３）についても補間値ｉＷｂ（３，３）と同様、周囲の８画素のＷ値から補間することができる。
解像度用のデータＤｒｅｓにおける画素値の補間は、周囲の画素の画素値から輝度変化の方向性を検出し、検出した輝度変化の方向性に基づいて行うようにしてもよい。輝度変化の方向性に基づいて補間処理を行うことにより、より高精度の画素値の補間が可能となる。
図１１は、ＲＧＢＷ１２配列における輝度変化の方向性を検出する方法を説明する図である。図１１には説明の便宜上、Ｘ座標とＹ座標とを付記してある。例えば、Ｘ＝３，Ｙ＝３のＢ画素は、画素Ｂ（３，３）と表記するものとする。ここでは、この画素Ｂ（３，３）を中心とした５×５の領域を切り出し、画素Ｂ（３，３）の相関性を求める方法を説明する。
図１１（ａ）は、画素Ｂ（３，３）の横方向（Ｘ方向、行方向）の相関性を求める際の計算に用いる画素を示す模式図である。図中に示す矢印は、差分値を計算する画素の組を示している。すなわち、画素Ｂ（３，３）の横方向の相関性を求める際には、画素Ｗ（２，２）と画素Ｗ（３，２）、画素Ｗ（３，２）と画素Ｗ（４，２）、画素Ｗ（２，４）と画素Ｗ（３，４）、画素Ｗ（３，４）と画素Ｗ（４，４）との間で、それぞれ差分値が計算される。そして、取得した差分値の各々に距離の重み付けを行い、差分の絶対値の総和を求める。横方向の相関値（相関値（横））は、以下の式（３）のように表される。
相関値（横）＝｜Ｗ（２，２）−Ｗ（３，２）｜×２
＋｜Ｗ（３，２）−Ｗ（４，２）｜×２
＋｜Ｗ（２，４）−Ｗ（３，４）｜×２
＋｜Ｗ（３，４）−Ｗ（４，４）｜×２ …（３）
図１１（ｂ）は、画素Ｂ（３，３）の縦方向（Ｙ方向、列方向）の相関性を求める際の計算に用いる画素を示す模式図である。図中に示す矢印は、差分値を計算する画素の組を示している。すなわち、画素Ｂ（３，３）の縦方向の相関性を求める際には、画素Ｗ（２，２）と画素Ｗ（２，３）、画素Ｗ（２，３）と画素Ｗ（２，４）、画素Ｗ（４，２）と画素Ｗ（４，３）、画素Ｗ（４，３）と画素Ｗ（４，４）との間で、それぞれ差分値が計算される。そして、取得した差分値の各々に距離の重み付けを行い、差分の絶対値の総和を求める。縦方向の相関値（相関値（縦））は、以下の式（４）のように表される。
相関値（縦）＝｜Ｗ（２，２）−Ｗ（２，３）｜×２
＋｜Ｗ（２，３）−Ｗ（２，４）｜×２
＋｜Ｗ（４，２）−Ｗ（４，３）｜×２
＋｜Ｗ（４，３）−Ｗ（４，４）｜×２ …（４）
図１１（ｃ）は、画素Ｂ（３，３）の左斜め方向の相関性を求める際の計算に用いる画素を示す模式図である。図中に示す矢印は、差分値を計算する画素の組を示している。すなわち、画素Ｂ（３，３）の左斜め方向の相関性を求める際には、画素Ｗ（１，２）と画素Ｗ（２，３）、画素Ｗ（２，３）と画素Ｗ（３，４）、画素Ｗ（３，４）と画素Ｗ（４，５）との間で、それぞれ差分値が計算される。また、画素Ｗ（２，１）と画素Ｗ（３，２）、画素Ｗ（３，２）と画素Ｗ（４，３）、画素Ｗ（４，３）と画素Ｗ（５，４）との間で、それぞれ差分値が計算される。そして、取得した差分値の各々に距離の重み付けを行い、差分の絶対値の総和を求める。左斜め方向の相関値（相関値（左斜））は、以下の式（５）のように表される。
相関値（左斜）＝｜Ｗ（１，２）−Ｗ（２，３）｜
＋｜Ｗ（２，３）−Ｗ（３，４）｜×２
＋｜Ｗ（３，４）−Ｗ（４，５）｜
＋｜Ｗ（２，１）−Ｗ（３，２）｜
＋｜Ｗ（３，２）−Ｗ（４，３）｜×２
＋｜Ｗ（４，３）−Ｗ（５，４）｜ …（５）
図１１（ｄ）は、画素Ｂ（３，３）の右斜め方向の相関性を求める際の計算に用いる画素を示す模式図である。図中に示す矢印は、差分値を計算する画素の組を示している。すなわち、画素Ｂ（３，３）の右斜め方向の相関性を求める際には、画素Ｗ（１，４）と画素Ｗ（２，３）、画素Ｗ（２，３）と画素Ｗ（３，２）、画素Ｗ（３，２）と画素Ｗ（４，１）との間で、それぞれ差分値が計算される。また、画素Ｗ（２，５）と画素Ｗ（３，４）、画素Ｗ（３，４）と画素Ｗ（４，３）、画素Ｗ（４，３）と画素Ｗ（５，２）との間で、それぞれ差分値が計算される。そして、取得した差分値の各々に距離の重み付けを行い、差分の絶対値の総和を求める。右斜め方向の相関値（相関値（右斜））は、以下の式（６）のように表される。
相関値（右斜）＝｜Ｗ（１，４）−Ｗ（２，３）｜
＋｜Ｗ（２，３）−Ｗ（３，２）｜×２
＋｜Ｗ（３，２）−Ｗ（４，１）｜
＋｜Ｗ（２，５）−Ｗ（３，４）｜
＋｜Ｗ（３，４）−Ｗ（４，３）｜×２
＋｜Ｗ（４，３）−Ｗ（５，２）｜ …（６）
なお、これら４つの相関値を求める際に、各差分の項の係数の合計が８になるようにしている。これは、計算上の差分をとる場所に関する重みづけを近くすることと、４つの相関値同士の重みづけを同等にすることとが目的である。また、差分をとる画素の位置（矢印）は、画素Ｂ（３，３）に対して線対称に配置している。これは、相関性を求める際に対称性をよくすることで、相関値のエラーを少なくするためである。
このようにして取得した４つの相関値、相関値（横）、相関値（縦）、相関値（左斜）及び相関値（右斜）のうち、最も値の小さい相関値に対応する方向が、勾配の小さい方向、すなわち相関が強い方向となる。そこで、相関が強い方向に配された画素のデータを用いて、画素の補間値を取得する。例えば、横方向の相関が強い（相関値（横）が最小）場合、画素Ｂ（３，３）の補間値を、画素Ｗ（２，３）のデータと画素Ｗ（４，３）のデータとを平均した値とする。
このようにして、注目画素（ここでは画素Ｂ（３，３））の近傍のＷ画素のデータから勾配の少ない方向を求め、その方向に配されたＷ画素から注目画素のＷデータを推測して補間を行う。このようにすることで、１画素単位での勾配の情報をもとに補間処理を行うことができるため、解像度を向上することができる。
ステップＳ１０４では、図１０（ｃ）に示した補間後のデータＤｉｎｔと、図１０（ｄ）に示したカラー用のデータＤｃｏｌとを合成して、ＲＧＢのデータＤｒｇｂを生成する。ステップＳ１０４における合成処理は、高精度補間部２１４の図示しない色取得部において実施される。色取得部は、所定の単位領域における複数色の色比を、第１の画素の色値及び輝度値から取得し、取得した色比から単位領域に含まれる第１の画素及び第２の画素の各々の色成分を取得する。
データＤｒｇｂの合成は、局所的な色の比が輝度に強い相関を持つという特徴を利用して、４行×４列の画素からなる画素ブロックを代表する色のデータ（色比）と解像度データとの比を取得することにより行う。色比の取得には、種々の方法を採用し得る。
第１の方法は、ＲＧＢデータを規格化して求める方法である。この方法は、以下の式（７）のように表される。なお、式（７）中、Ｇは、Ｇ＝（Ｇｒ＋Ｇｂ）／２である。
Figure 0006938352
第２の方法は、ＲＧＢデータと輝度の補間値ｉＷｒ、ｉＷｇ、ｉＷｂとの比をとる方法である。この方法は、以下の式（８）のように表される。
Figure 0006938352
第３の方法は、式（８）から正規化処理を行う方法である。この方法は、以下の式（９）のように表される。第３の方法は、第２の方法と比較して、輝度値をＲＧＢの色成分ごとに分離する際の色ノイズを低減する効果が高い。これについては後述する。
Figure 0006938352
本実施形態では、これらの方法のうち、第３の方法を用いるものとする。
このようにして取得した色比ＲＧＢ＿ｒａｔｉｏのデータと、Ｗ値又は補間値ｉＷｒ，ｉＷｇｒ，ｉＷｇｂ，ｉＷｂのデータとを用いることで、各画素のＲＧＢの値を以下の式（１０）から取得することができる。
Figure 0006938352
式（１０）中、Ｒ＿ｒａｔｉｏ，Ｇ＿ｒａｔｉｏ，Ｂ＿ｒａｔｉｏは、以下の式（１１）のように表され、式（７）〜式（９）で表される色比のＲＧＢ各成分に対応する。
Figure 0006938352
上述の一連の処理を経て、４行×４列の画素からなる画素ブロックのデータは、それぞれの画素にＲ，Ｇ，Ｂの３色のデータを含む４×４×３のデータＤｒｇｂに拡張され、出力される。
次に、本実施形態による撮像装置におけるハイダイナミックレンジ（ＨＤＲ）モードでの撮像と信号処理について、図１２及び図１３を用いて説明する。
ＨＤＲモードの撮影では、感度の異なる撮像条件で撮像した複数の画像を取得し、これら複数の画像を合成することによってダイナミックレンジの広い画像を形成する。撮像時の感度を変える方法には種々の方法があるが、ここでは典型的な例として、利得を切り替える方法と露光時間を切り替える方法とを説明する。
利得を切り替える方法の一例としては、列読み出し回路３０の列増幅器３２のゲインを切り替える方法が挙げられる。前述のように、図３に示す列読み出し回路３０の列増幅器３２の利得は、その帰還経路に接続された容量（容量Ｃ１ａ，Ｃ１ｂ）の容量値を切り替えることにより、利得Ｇ１、利得Ｇ２、利得Ｇ３のいずれかに切り替えることができる。これら利得Ｇ１，Ｇ２，Ｇ３を適宜切り替え、異なる利得で画素信号を増幅することにより、感度の異なる撮像条件で撮像した複数の画像を取得することができる。
利得Ｇ１，Ｇ２，Ｇ３を切り替えるタイミングは、特に限定されるものではない。例えば、フレーム毎に利得を切り替えることで、感度の異なる撮像条件で撮影した画像をフレーム毎に出力することができる。或いは、１フレーム内で複数回の露光を行い、その都度利得を変えて信号を出力するように構成してもよい。或いは、１回の露光により得た信号に対して、異なる利得で複数回増幅して出力するように構成してもよい。
露光時間は、光電変換部ＰＤにおける信号電荷の蓄積時間を制御することにより切り替えることができる。図６を用いて説明したように、リセット動作から読み出し動作までの時間を適宜設定することにより、光電変換部ＰＤにおける電荷の蓄積時間を変えることができる。
露光時間を切り替えるタイミングは、特に限定されるものではない。例えば、フレーム毎に蓄積時間を切り替えることで、感度の異なる撮像条件で撮影した画像をフレーム毎に出力することができる。或いは、１フレーム内で複数回の露光を行い、その都度蓄積期間を変えて信号を出力するように構成してもよい。
なお、感度を切り替える手段はこれらに限定されるものではなく、他の手段を適用するようにしてもよい。例えば、フローティングディフュージョン容量を切り替えることによって画素内読み出し回路の利得を切り替える構成とすることも可能である。また、上述の手段を任意に組み合わせて感度を切り替えるように構成してもよい。
次に、撮像素子１００においてＨＤＲモードで撮像した画像の信号処理部２００における処理について説明する。
ＨＤＲモードで撮影した場合、感度の異なる撮像条件で撮像した複数の画像が、撮像素子１００から信号処理部２００へと出力される。信号処理部２００へ入力された複数の画像に対しては、上述のステップＳ１０１からステップＳ１０３までの処理と同様にして補間処理が行われ、色画素における輝度値（補間値）ｉＷが取得される。
図１２は、色画素における色値及び輝度値（補間値）ｉＷと入射光量との関係を示すグラフである。図１２中、実線が高感度モードで撮像した場合の色値ＣｏｌＨ及び輝度値ｉＷＨを示し、点線が低感度モードで撮像した場合の色値ＣｏｌＬ及び輝度値ｉＷＬを示している。なお、ここで言う高感度モードは、感度の設定をゲインの切り替えで行う場合にあってはゲインの高い条件での撮像であり、感度の設定を露光時間の切り替えで行う場合にあっては蓄積時間の長い条件での撮像である。また、低感度モードは、感度の設定をゲインの切り替えで行う場合にあってはゲインの低い条件での撮像であり、感度の設定を露光時間の切り替えで行う場合にあっては蓄積時間の短い条件での撮像である。
縦軸に示した「飽和」は、画素１２の飽和レベルに対応する値である。前述のように、Ｗ画素はＲＧＢ画素よりも感度が高いため、同じ撮像条件下において、輝度値ｉＷが飽和レベルに達する光量は、色値Ｃｏｌが飽和レベルに達する光量よりも少ない。ここでは便宜的に、輝度値ｉＷＨが飽和する光量Ｌｘ１までの光量の範囲を「領域１」、光量Ｌｘ１から色値ＣｏｌＨが飽和する光量Ｌｘ２までの光量の範囲を「領域２」、とそれぞれ定義するものとする。また、光量Ｌｘ２から色値ＣｏｌＬが飽和する光量Ｌｘ３までの光量の範囲を「領域３」、と定義するものとする。
入射光量が領域１の場合において、色画素における色比の取得は、当該色画素における色値ＣｏｌＨと、当該色画素の周囲のＷ画素から取得した補間値である輝度値ｉＷＨとに基づいて行う。また、入射光量が領域３の場合においては、色画素における色比の取得は、当該色画素における色値ＣｏｌＬと、当該色画素の周囲のＷ画素から取得した補間値である輝度値ｉＷＬとに基づいて行う。
一方、入射光量が領域２の場合、輝度値ｉＷＨの値は飽和しており、色画素における色比の取得を色値ＣｏｌＨと輝度値ｉＷＨとに基づいて行うことはできない。そこで、入射光量が領域２の場合においては、色画素における色比の取得は、当該色画素における色値ＣｏｌＨと、当該色画素の周囲のＷ画素から取得した補間値である輝度値ｉＷＬとに基づいて行う。
すなわち、色取得部は、第１の撮像条件で取得した第１の画素の色値と、第１の撮像条件よりも感度の低い第２の撮像条件で取得した第２の画素の信号に基づく第１の画素の輝度値とを用いて色比を取得する。この取得は、第１の撮像条件で取得した第２の画素の信号に基づく第１の画素の輝度値が、第２の画素が飽和するレベル以上である場合に実施する。また、色取得部は、第１の撮像条件で取得した第１の画素の色値と、第１の撮像条件で取得した第２の画素の信号に基づく第１の画素の輝度値とを用いて色比を取得する。この取得は、第１の撮像条件で取得した第２の画素の信号に基づく第１の画素の輝度値が、第２の画素が飽和するレベル未満である場合に実施する。
例えば、図１２の領域２において、色値ＣｏｌＬをＰ１とすると、色値ＣｏｌＨはＰ２となる。色値ＣｏｌＬと色値ＣｏｌＨとの関係は、低感度モードと高感度モードとの間のゲイン比Ｎによって表される。一方、輝度値ｉＷＬをＰ３とすると、輝度値ｉＷＨは領域２において飽和しているため一定値であるＰ４となる。そこで、低感度モードと高感度モードとの間のゲイン比Ｎから、飽和しなかった場合に得られるであろう輝度値ｉＷＨ（輝度値ｉＷＨ′）の値Ｐ５を推定し、色比の取得に用いる。この場合の色比（Ｃｏｌ／ｉＷ）の取得を数式で表すと、以下の式（１２）のようになる。
Ｃｏｌ／ｉＷ＝Ｐ２／（Ｐ３×Ｎ） …（１２）
なお、入射光量が領域２の場合における色比の取得に、色値ＣｏｌＬと輝度値ｉＷＬとを用いることも可能である。しかしながら、上述のように色値ＣｏｌＨを用いて色比の取得を行った方が、よりＳ／Ｎ比の良好な画像を取得することができる。
特に、ＲＧＢＷ１２配列における合成処理においては、図１０に示すように、１６画素において同じ色比を用いて取得を行うことになる。すなわち、色画素から取得した色値のＳ／Ｎ比が悪ければ式（１１）のＳ／Ｎ比も悪化し、式（１０）の色計算において色ノイズが発生する。しかも、１６画素の大きなエリアにその影響が出てしまう。
したがって、入射光量が領域２の場合における合成処理においては、式（１２）から取得したＳ／Ｎ比のよい取得値を用いることが好ましい。
上述した色画素における色比の取得処理は、例えば図１３に示すフローチャートに従って実施することができる。
まず、ステップＳ２０１において、感度の異なる撮像条件で撮像した複数の画像のデータに対して、上述したステップＳ１０２におけるデータ分離処理を行い、色画素の値（色値ＣｏｌＨ，ＣｏｌＬ）を取得する。
次いで、ステップＳ２０２において、感度の異なる撮像条件で撮像した複数の画像のデータに対して、上述したステップＳ１０３における補間処理を行い、色画素における輝度の値（輝度値ｉＷＨ，ｉＷＬ）を取得する。
次いで、ステップＳ２０３において、輝度値ｉＷＨが飽和しているかどうかの判定を行う。輝度値ｉＷＨが画素の飽和レベル以下である場合（ステップＳ２０３の「Ｎｏ」）には、輝度値ｉＷＨが本来の値を示していると判定し、色比の取得に色値ＣｏｌＨと輝度値ｉＷＨとを用いる（ステップＳ２０４）。輝度値ｉＷＨが画素の飽和レベルより大きい場合（ステップＳ２０３の「Ｙｅｓ」）には、輝度値ｉＷＨが飽和していると判定し、色比の取得に色値ＣｏｌＨと輝度値ｉＷＬとを用いる（ステップＳ２０５）。
次いで、ステップＳ２０６において、上述したステップＳ１０４における合成処理を行い、ステップＳ２０４又はステップＳ２０５において取得した色比のデータを用いて各画素のＲＧＢデータを取得する。
このようにして、ＨＤＲモードで撮影した画像に対して上述の処理を行うことで、ダイナミックレンジが広く色再現性の高い良質の画像を取得することができる。
このように、本実施形態によれば、ダイナミックレンジが広く色再現性の高い良質の画像を取得しうる撮像装置を実現することができる。
［第２実施形態］
本発明の第２実施形態による撮像システムについて、図１４を用いて説明する。図１４は、本実施形態による撮像システムの概略構成を示すブロック図である。
本実施形態の撮像システム３００は、上記第１実施形態の構成を適用した撮像装置を含む。撮像システム３００の具体例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラ等が挙げられる。図１４に、第１実施形態の撮像装置を適用したデジタルスチルカメラの構成例を示す。
図１４に例示した撮像システム３００は、撮像装置３０１、被写体の光学像を撮像装置３０１に結像させるレンズ３０２、レンズ３０２を通過する光量を可変にするための絞り３０４、レンズ３０２の保護のためのバリア３０６を有する。レンズ３０２及び絞り３０４は、撮像装置３０１に光を集光する光学系である。
撮像システム３００は、また、撮像装置３０１から出力される出力信号の処理を行う信号処理部３０８を有する。信号処理部３０８は、必要に応じて入力信号に対して各種の補正、圧縮を行って出力する信号処理の動作を行う。例えば、信号処理部３０８は、入力信号に対して、ＲＧＢの画素出力信号をＹ，Ｃｂ，Ｃｒ色空間へ変換する変換処理や、ガンマ補正などの所定の画像処理を施す。また、信号処理部３０８は、第１実施形態において説明した撮像装置における信号処理部２００の一部又は総ての機能を備えていてもよい。
撮像システム３００は、更に、画像データを一時的に記憶するためのメモリ部３１０、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）３１２を有する。更に撮像システム３００は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体３１４、記録媒体３１４に記録又は読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）３１６を有する。なお、記録媒体３１４は、撮像システム３００に内蔵されていてもよく、着脱可能であってもよい。
更に撮像システム３００は、各種演算を行うとともにデジタルスチルカメラ全体を制御する全体制御・演算部３１８、撮像装置３０１と信号処理部３０８に各種タイミング信号を出力するタイミング発生部３２０を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム３００は、少なくとも撮像装置３０１と、撮像装置３０１から出力された出力信号を処理する信号処理部３０８とを有すればよい。全体制御・演算部３１８及びタイミング発生部３２０は、撮像装置３０１の制御機能の一部又は総てを実施するように構成してもよい。
撮像装置３０１は、画像用信号を信号処理部３０８に出力する。信号処理部３０８は、撮像装置３０１から出力される画像用信号に対して所定の信号処理を実施し、画像データを出力する。また、信号処理部３０８は、画像用信号を用いて、画像を生成する。信号処理部３０８で生成された画像は、例えば記録媒体３１４に記録される。また、信号処理部３０８で生成された画像は、液晶ディスプレイなどからなるモニターに動画或いは静止画として映し出される。記録媒体３１４に記憶された画像は、プリンタなどによってハードコピーすることができる。
第１実施形態の撮像装置を用いて撮像システムを構成することにより、より良質の画像を取得しうる撮像システムを実現することができる。
［第３実施形態］
本発明の第３実施形態による撮像システム及び移動体について、図１５を用いて説明する。図１５は、本実施形態による撮像システム及び移動体の構成例を示す図である。
図１５（ａ）は、車載カメラに関する撮像システム４００の一例を示したものである。撮像システム４００は、撮像装置４１０を有する。撮像装置４１０は、第１実施形態に記載の撮像装置である。撮像システム４００は、撮像装置４１０により取得された複数の画像データに対し、画像処理を行う画像処理部４１２と、撮像装置４１０により取得された複数の画像データから視差（視差画像の位相差）の取得を行う視差取得部４１４を有する。画像処理部４１２は、第１実施形態において説明した撮像装置における信号処理部２００の一部又は総ての機能を備えていてもよい。また、撮像システム４００は、取得された視差に基づいて対象物までの距離を取得する距離取得部４１６と、取得された距離に基づいて衝突可能性があるか否かを判定する衝突判定部４１８と、を有する。ここで、視差取得部４１４や距離取得部４１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部４１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等によって実現されてもよいし、これらの組合せによって実現されてもよい。
撮像システム４００は、車両情報取得装置４２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム４００は、衝突判定部４１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ４３０が接続されている。すなわち、制御ＥＣＵ４３０は、距離情報に基づいて移動体を制御する移動体制御手段の一例である。また、撮像システム４００は、衝突判定部４１８での判定結果に基づいて、ドライバーへ警報を発する警報装置４４０とも接続されている。例えば、衝突判定部４１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ４３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置４４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
本実施形態では、車両の周囲、例えば前方又は後方を撮像システム４００で撮像する。図１５（ｂ）に、車両前方（撮像範囲４５０）を撮像する場合の撮像システム４００を示した。車両情報取得装置４２０は、撮像システム４００を動作させ撮像を実行させるように指示を送る。第１実施形態の撮像装置を撮像装置４１０として用いることにより、本実施形態の撮像システム４００は、測距の精度をより向上させることができる。
以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。
［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
また、上記実施形態では、感度の異なる撮像条件で撮像した複数の画像を合成してハイダイナミックレンジ画像を形成する場合を例示したが、必ずしもハイダイナミックレンジ画像を形成する必要はない。例えば、低感度モードでの撮像は、色画素における輝度値ｉＷＬの取得のためにのみ利用してもよい。これにより、高感度モードで撮像した画像のＳ／Ｎ比を向上することができる。
また、画素１２や列読み出し回路３０の回路構成は、図３に示すものに限定されるものではなく、適宜変更が可能である。例えば、それぞれの画素１２が複数の光電変換部ＰＤを有していてもよい。
また、上記実施形態では、カラーフィルタ配列としてＲＧＢＷ１２配列の場合を説明したが、必ずしもＲＧＢＷ１２配列のカラーフィルタである必要はない。例えば、Ｗ画素の比率の異なるＲＧＢＷ配列のカラーフィルタ、例えばＲＧＢＷ８配列のカラーフィルタであってもよい。或いは、シアン色のＣＦを備えたＣ画素と、マゼンダ色のＣＦを備えたＭ画素と、黄色のＣＦを備えたＹ画素と、Ｗ画素とを含むＣＭＹＷ配列のカラーフィルタであってもよい。
また、上記実施形態では、各行の画素の蓄積時間を行毎に順次開始する、いわゆるローリングシャッタ駆動を行う撮像素子を例にして説明したが、本発明は、必ずしもローリングシャッタ駆動を行う撮像素子に限定されるものではない。例えば、各行の画素の蓄積時間が一致する、いわゆるグローバル電子シャッタ駆動を行う撮像素子においても、本発明を適用可能である。
また、第２及び第３実施形態に示した撮像システムは、本発明の撮像装置を適用しうる撮像システムを例示したものであり、本発明の撮像装置を適用可能な撮像システムは図１４及び図１５に示した構成に限定されるものではない。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
１００…撮像素子
２００…信号処理部
２１０…ＲＧＢＷ１２信号処理部
２１２…前段処理部
２１４…高精度補間部
２２０…画像処理システム部

Claims (16)

  1. 複数色のうちのいずれかの色情報を含む信号を各々が出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子と、
    前記撮像素子から出力される信号を処理する信号処理部と、を有し、
    前記信号処理部は、
    前記第２の画素から出力される信号に基づいて前記第１の画素の輝度値を取得する輝度値取得部と、
    所定の単位領域における前記複数色の色比を、前記第１の画素の色値及び前記輝度値から取得し、取得した前記色比から前記単位領域に含まれる前記第１の画素及び前記第２の画素の各々の色成分を取得する色取得部と、を有し、
    前記色取得部は、第１の撮像条件で取得した前記第１の画素の色値と、前記第１の撮像条件よりも感度の低い第２の撮像条件で取得した前記第２の画素の信号に基づく前記第１の画素の輝度値とを用いて前記色比を取得する
    ことを特徴とする撮像装置。
  2. 前記色取得部は、前記第１の撮像条件で取得した前記第２の画素の信号に基づく前記第１の画素の輝度値が、前記第２の画素が飽和するレベル以上である場合に、前記第１の撮像条件で取得した前記第１の画素の前記色値と、前記第２の撮像条件で取得した前記第２の画素の信号に基づく前記第１の画素の前記輝度値とを用いて前記色比を取得する
    ことを特徴とする請求項１記載の撮像装置。
  3. 前記色取得部は、前記第１の撮像条件で取得した前記第２の画素の信号に基づく前記第１の画素の輝度値が、前記第２の画素が飽和するレベル未満である場合に、前記第１の撮像条件で取得した前記第１の画素の前記色値と、前記第１の撮像条件で取得した前記第２の画素の信号に基づく前記第１の画素の輝度値とを用いて前記色比を取得する
    ことを特徴とする請求項２記載の撮像装置。
  4. 前記信号処理部は、前記第１の撮像条件で取得した信号に基づく第１の画像と、前記第２の撮像条件で取得した信号に基づく第２の画像とを合成して第３の画像を生成する
    ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
  5. 前記第１の撮像条件と前記第２の撮像条件とは、前記複数の画素から出力される信号の利得が異なる
    ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
  6. 前記第１の撮像条件と前記第２の撮像条件とは、前記複数の画素の露光時間が異なる
    ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
  7. 前記輝度値取得部は、前記第２の画素の輝度値から取得した輝度の変化する方向に基づいて、前記第１の画素の前記輝度値を取得する
    ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
  8. 前記色取得部は、正規化処理を行った前記色比に基づいて前記色成分を取得する
    ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
  9. 前記複数の第１の画素の各々は、前記第２の画素により囲まれている
    ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
  10. 前記複数の画素は、前記第１の画素の数よりも２倍以上の数の前記第２の画素を含む
    ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
  11. 前記複数の第１の画素は、Ｒ画素、Ｇ画素、Ｂ画素から構成されている
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
  12. 前記複数の第１の画素は、Ｃ画素、Ｍ画素、Ｙ画素から構成されている
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
  13. 前記複数の第２の画素は、Ｗ画素から構成されている
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
  14. 複数色のうちのいずれかの色情報を含む信号を各々が出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子から出力される信号を処理する信号処理装置であって、
    前記第２の画素から出力される信号に基づいて前記第１の画素の輝度値を取得する輝度値取得部と、
    所定の単位領域における前記複数色の色比を、前記第１の画素の色値及び前記輝度値から取得し、取得した前記色比から前記単位領域に含まれる前記第１の画素及び前記第２の画素の各々の色成分を取得する色取得部と、を有し、
    前記色取得部は、第１の撮像条件で取得した前記第１の画素の色値と、前記第１の撮像条件よりも感度の低い第２の撮像条件で取得した前記第２の画素の信号に基づく前記第１の画素の輝度値とを用いて前記色比を取得する
    ことを特徴とする信号処理装置。
  15. 複数色のうちのいずれかの色情報を含む信号を各々が出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子を含む撮像装置と、
    前記撮像装置から出力される信号を処理する信号処理部と、を有し、
    前記信号処理部は、
    前記第２の画素から出力される信号に基づいて前記第１の画素の輝度値を取得する輝度値取得部と、
    所定の単位領域における前記複数色の色比を、前記第１の画素の色値及び前記輝度値から取得し、取得した前記色比から前記単位領域に含まれる前記第１の画素及び前記第２の画素の各々の色成分を取得する色取得部と、を有し、
    前記色取得部は、第１の撮像条件で取得した前記第１の画素の色値と、前記第１の撮像条件よりも感度の低い第２の撮像条件で取得した前記第２の画素の信号に基づく前記第１の画素の輝度値とを用いて前記色比を取得する
    ことを特徴とする撮像システム。
  16. 移動体であって、
    請求項１乃至１３のいずれか１項に記載の撮像装置と、
    前記撮像装置の前記画素から出力される信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
    前記距離情報に基づいて前記移動体を制御する制御手段と
    を有することを特徴とする移動体。
JP2017236393A 2017-12-08 2017-12-08 撮像装置及び撮像システム Active JP6938352B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017236393A JP6938352B2 (ja) 2017-12-08 2017-12-08 撮像装置及び撮像システム
US16/205,819 US20190182458A1 (en) 2017-12-08 2018-11-30 Imaging device and imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017236393A JP6938352B2 (ja) 2017-12-08 2017-12-08 撮像装置及び撮像システム

Publications (2)

Publication Number Publication Date
JP2019106574A JP2019106574A (ja) 2019-06-27
JP6938352B2 true JP6938352B2 (ja) 2021-09-22

Family

ID=66697582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017236393A Active JP6938352B2 (ja) 2017-12-08 2017-12-08 撮像装置及び撮像システム

Country Status (2)

Country Link
US (1) US20190182458A1 (ja)
JP (1) JP6938352B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102476968B1 (ko) * 2019-09-09 2022-12-12 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 센서, 카메라 모듈, 모바일 단말 및 이미지 수집 방법
CN110913152B (zh) * 2019-11-25 2022-02-15 Oppo广东移动通信有限公司 图像传感器、摄像头组件和移动终端
CN111050041B (zh) * 2019-11-25 2021-03-26 Oppo广东移动通信有限公司 图像传感器、控制方法、摄像头组件及移动终端
CN111432099B (zh) * 2020-03-30 2021-04-30 Oppo广东移动通信有限公司 图像传感器、处理***及方法、电子设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011142774A1 (en) * 2010-05-14 2011-11-17 Omnivision Technologies, Inc. Alternative color image array and associated methods
JP5442571B2 (ja) * 2010-09-27 2014-03-12 パナソニック株式会社 固体撮像装置及び撮像装置
JP5711638B2 (ja) * 2011-09-27 2015-05-07 富士重工業株式会社 画像処理装置
EP2833635B1 (en) * 2012-03-27 2018-11-07 Sony Corporation Image processing device, image-capturing element, image processing method, and program
TWI644568B (zh) * 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
JP6584131B2 (ja) * 2015-05-08 2019-10-02 キヤノン株式会社 撮像装置、撮像システム、および信号処理方法
JP2016213740A (ja) * 2015-05-12 2016-12-15 キヤノン株式会社 撮像装置及び撮像システム
US9864400B2 (en) * 2015-10-30 2018-01-09 Essential Products, Inc. Camera integrated into a display
JP2017108211A (ja) * 2015-12-07 2017-06-15 ソニー株式会社 撮像装置、撮像制御方法、および、プログラム
JP6758859B2 (ja) * 2016-03-01 2020-09-23 キヤノン株式会社 撮像装置、撮像システム、および画像処理方法
WO2017196995A1 (en) * 2016-05-11 2017-11-16 The Regents Of The University Of California Method and system for pixel super-resolution of multiplexed holographic color images

Also Published As

Publication number Publication date
JP2019106574A (ja) 2019-06-27
US20190182458A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
JP6953297B2 (ja) 撮像装置及び撮像システム
JP6889571B2 (ja) 撮像装置および撮像システム
JP6938352B2 (ja) 撮像装置及び撮像システム
JP7046551B2 (ja) 固体撮像装置及び撮像システム
US7924330B2 (en) Methods and apparatuses for double sided dark reference pixel row-wise dark level non-uniformity compensation in image signals
JP6664259B2 (ja) 撮像装置、撮像システム、および、移動体
JP2016213715A (ja) 撮像装置、撮像システム、信号処理方法
US10979647B2 (en) Imaging device and imaging system
US10812748B2 (en) Apparatus, system, and moving object
JP6622481B2 (ja) 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
US11412163B2 (en) Imaging device, imaging system, and mobile apparatus having control signal lines supplying control signals to respective pixels
JP2016213740A (ja) 撮像装置及び撮像システム
JP6980492B2 (ja) 撮像装置及び撮像システム
JP2021176211A (ja) 光電変換装置及び光電変換システム
JP2020108061A (ja) 撮像装置及び撮像システム
US9894288B2 (en) Image forming method for forming a high-resolution image, and a related image forming apparatus and image forming program
US9066056B2 (en) Systems for constant hue and adaptive color correction image processing
US11146761B2 (en) Imaging apparatus, image processing device, and image processing method
JP2021097382A (ja) 撮像装置及び撮像システム
US20230370737A1 (en) Photoelectric conversion device, imaging system, movable object, equipment, signal processing device and signal processing method
JP7374630B2 (ja) 撮像装置及びその駆動方法
US20230179751A1 (en) Photoelectric conversion device, image processing method, imaging system, mobile body, and equipment
JP2023166968A (ja) 信号処理装置及び光電変換装置
JP2023000287A (ja) 光電変換装置、光電変換システム、輸送機器および信号処理装置
JP2023042083A (ja) 光電変換装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210901

R151 Written notification of patent or utility model registration

Ref document number: 6938352

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151