JP7099446B2 - 固体撮像装置および電子機器 - Google Patents

固体撮像装置および電子機器 Download PDF

Info

Publication number
JP7099446B2
JP7099446B2 JP2019514362A JP2019514362A JP7099446B2 JP 7099446 B2 JP7099446 B2 JP 7099446B2 JP 2019514362 A JP2019514362 A JP 2019514362A JP 2019514362 A JP2019514362 A JP 2019514362A JP 7099446 B2 JP7099446 B2 JP 7099446B2
Authority
JP
Japan
Prior art keywords
pixel
pixels
phase difference
signal
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019514362A
Other languages
English (en)
Other versions
JPWO2018198766A1 (ja
Inventor
大輔 宮腰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018198766A1 publication Critical patent/JPWO2018198766A1/ja
Application granted granted Critical
Publication of JP7099446B2 publication Critical patent/JP7099446B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607—Geometry of the photosensitive area
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/706—Pixels for exposure or ambient light measuring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本開示は、固体撮像装置および電子機器に関し、特に、通常の画像と異なる情報を得るために、画素配列のいずれかの画素を、所望の情報を得る専用の機能画素として構成しても、撮像画像の画質の劣化を抑制できるようにした固体撮像装置および電子機器に関する。
近年、CMOS（Complementary Metal-Oxide Semiconductor）センサなどの撮像素子を用いて人物や動物等の被写体を撮像し、その結果得られる画像データを記録するデジタルスチルカメラやデジタルビデオカメラ等の撮像装置が普及している。
このような撮像装置において、撮像素子に位相差検波機能を付与し、専用の自動焦点検出（ＡＦ）センサを用いずに位相差検波方式のオートフォーカス（ＡＦ）を実現する技術が知られている。例えば特許文献１には、同じ色の２×２（＝４）個の画素で１つのブロックを構成し、そのブロックの中の１つの画素を位相差検波用画素とすることが提案されている。
特許文献１の例では、中央左側の２×２個の緑（Ｇ）の画素のブロックにおいて、右上の画素に位相差検波用画素が配置されている。それに対して、中央右側の２×２個の緑（Ｇ）の画素のブロックにおいては、左上の画素に位相差検波用画素が配置されている。
位相差検波用画素においては、例えば画素の右側半分または左側半分に遮光部が設けられ、遮光部の反対側が透光部とされる。遮光部の位置が反対側の対となる位相差検波用画素の出力の差から位相差が検波され、それに基づきデフォーカス量が演算される。そしてその演算されたデフォーカス量に基づいてフォーカス状態が制御される。
特開２０１５－１３３４６９号公報
しかしながら、特許文献１に記載の技術においては、通常画像と異なる情報を得るために、Bayer配列のいずれかの画素を、所望の情報を得る専用画素として構成する必要があり、局所的な折り返りなどの画質劣化への影響がある。
本開示は、このような状況に鑑みてなされたものであり、特に、通常の画像と異なる情報を得るために、画素配列のいずれかの画素を、所望の情報を得る専用の機能画素として構成しても、撮像画像の画質の劣化を抑制できるようにするものである。
本開示の一側面の固体撮像装置は、画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子を備え、前記撮像素子により撮像される画像は、色の単位の集合となるブロックより構成され、前記ブロックは、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、前記サブブロックを構成する複数の画素の配置のうち、前記通常画素は、前記サブブロック内において上下左右対称に配置される固体撮像装置である。
前記色配列は、ベイヤ配列、ストライプ配列、市松配列、または、インタライン配列とすることができる。
前記サブブロックを構成する複数の通常画素の、それぞれの画素信号が加算されて、前記サブブロック単位の通常加算画素の画素信号として出力されるようにすることができる。
前記機能画素には、前記通常画素と同一の機能を備えた画素であり、前記通常画素と異なる露光時間で、かつ、同一感度の前記画像を撮像させるようにすることができる。
前記機能画素には、前記通常画素と同一の機能を備えた画素であり、前記通常画素と同一の露光時間で、かつ、異なる感度の前記画像を撮像させるようにすることができる。
前記機能画素は、焦点距離に応じた位相差を検波する位相差検波用画素とすることができる。
前記撮像素子には、前記位相差検波用画素からなる前記機能画素により検波される位相差を示す信号を出力した後、前記通常画素の画素信号を出力させるようにすることができる。
前記撮像素子に入射する光の焦点を調整するレンズと、前記レンズの焦点距離を制御するレンズ制御部とをさらに含ませるようにすることができ、前記レンズ制御部には、前記位相差検波用画素により検波された位相差に応じて、前記レンズのデフォーカス量を算出し、前記デフォーカス量に基づいて、前記レンズの焦点距離を制御させるようにすることができる。
前記位相差検波用画素には、水平方向の位相差を検波させるようにすることができる。
前記位相差検波用画素には、垂直方向の位相差を検波させるようにすることができる。
前記機能画素は、黒画素とすることができ、黒レベルを出力させるようにすることができる。
前記黒画素は、全面遮光された画素とすることができる。
前記通常加算画素の画素信号より、前記黒画素の前記黒レベルを減算してクランプするクランプ部をさらに含ませるようにすることができる。
前記機能画素は、白画素とすることができ、輝度信号を出力させるようにすることができる。
前記白画素は、カラーフィルタが透明の画素、または、前記カラーフィルタのない画素とすることができる。
前記通常加算画素の画素信号にLPF（Low Pass Filter）を掛けるLPF部と、前記輝度信号にHPF（High Pass Filter）を掛けるHPF部と、前記LPF部の出力と、前記HPF部の出力を加算する加算部とをさらに含ませるようにすることができる。
前記撮像素子を構成するアレイ状に配置された前記画素より出力される信号を行単位でアナログデジタル変換するカラムAD変換部をさらに含ませるようにすることができ、前記カラムAD変換部は、前記サブブロックを構成する行数の倍数分だけ設けられるようにすることができる。
本開示の一側面の電子機器は、画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子を備え、前記撮像素子により撮像される画像は、色の単位の集合となるブロックより構成され、前記ブロックは、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、前記サブブロックを構成する複数の画素の配置のうち、前記通常画素は、前記サブブロック内において上下左右対称に配置される電子機器である。
本開示の一側面においては、画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子が設けられ、前記撮像素子により撮像される画像が、色の単位の集合となるブロックより構成され、前記ブロックが、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、前記サブブロックを構成する複数の画素の配置のうち、前記通常画素が、前記サブブロック内において上下左右対称に配置される。
本開示の一側面によれば、通常の画像と異なる情報を得るために、画素配列のいずれかの画素を、所望の情報を得る専用の機能画素として構成しても、撮像画像の画質の劣化を抑制することが可能となる。
本技術を適用した撮像素子の第１の実施の形態の構成例を示すブロック図である。 画素の等価回路を示す図である。 本技術を適用した撮像素子の第１の実施の形態の平面的構成例を示す図である。 本技術を適用した撮像素子の第１の実施の形態の平面的構成例を示す図である。 本技術を適用した電子機器の第１の実施の形態の構成例を示すブロック図である。 撮像素子の画像出力領域と非画像出力領域を示す図である。 図５の電子機器の撮像処理について説明するフローチャートである。 ハイフレームレート撮像と通常のフレームレート撮像との同時撮像を実現する例を説明する図である。 ダイナミックレンジ拡大撮像を実現する例を説明する図である。 本技術を適用した電子機器の第２の実施の形態の構成例を示すブロック図である。 ハイフレームレート撮像と通常のフレームレート撮像との同時撮像、および、ダイナミックレンジ拡大撮像を実現する図１０の電子機器の撮像処理について説明するフローチャートである。 単独画素に代えて位相差検波用画素を設けるようにした画素配置例を説明する図である。 本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成を示す図である。 本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成を示す図である。 本技術を適用した撮像素子の一実施の形態の通常の画素の構成例を示す断面図である。 本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成例を示す断面図である。 本技術を適用した撮像素子の一実施の形態の位相差検波用画素の位相差特性について説明する図である。 本技術を適用した電子機器の第３の実施の形態の構成例を示すブロック図である。 図１８の電子機器の位相差オートフォーカス処理について説明するフローチャートである。 本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成を示す図である。 通常の画素に、位相差検波用画素と黒画素とを設けるようにした画素配置例を説明する図である。 通常の画素に、白画素を設けるようにした画素配置例を説明する図である。 本技術を適用した電子機器の第４の実施の形態の構成例を示すブロック図である。 図２３の補正部の構成例を示すブロック図である。 図２３の電子機器の撮像処理について説明するフローチャートである。 図２３の補正部の補正処理について説明するフローチャートである。 サブブロック内に白画素または位相差検波用画素を設ける構成例を説明する図である。 撮像素子からの画素信号の出力タイミング例を説明する図である。 カラムAD変換部を多段にする例を説明する図である。 画素配置例のバリエーションを説明する図である。 画素配置例のバリエーションを説明する図である。 画素配置例のバリエーションを説明する図である。 画素配置例のバリエーションを説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
１．第１の実施の形態
（１－１） 画素の配置（図１乃至図４）
（１－２） 電子機器の第１の実施の形態の構成例（図５，図６）
（１－３） 図５の電子機器による撮像処理（図７）
２．第２の実施の形態
（２－１） ハイフレームレート撮像と通常のフレームレート撮像との同時撮像（図８）
（２－２） ダイナミックレンジ拡大撮像（図９）
（２－３） 電子機器の第２の実施の形態の構成例（図１０）
（２－４） 図１０の電子機器による撮像処理（図１１）
３．第３の実施の形態
（３－１） 通常加算画素と位相差検波用画素とからなる画素配置例（図１２乃至図１４）
（３－２） 位相差検波の原理（図１５乃至図１７）
（３－３） 電子機器の第３の実施の形態の構成例（図１８）
（３－４） 位相差オートフォーカス処理（図１９，図２０）
（３－５） 第３の実施の形態の変形例（サブブロック内に位相差検波用画素または黒画素を設ける画素配置例）（図２１）
４．第４の実施の形態
（４－１） 白画素を用いた画素配置例（図２２）
（４－２） 電子機器の第４の実施の形態の構成例（図２３）
（４－３） 補正部の構成例（図２４）
（４－４） 図２３の電子機器による撮像処理（図２５）
（４－５） 補正処理（図２６）
（４－６） 第４の実施の形態の変形例（サブブロック内に白画素または位相差検波用画素を設ける構成例）（図２７）
５．撮像素子からの画素信号の出力のタイミング（図２８）
６．カラムAD変換部の配置例（図２９）
７．画素配置のバリエーション（図３０乃至図３３）
＜１．第１の実施の形態＞
（１－１） 画素の配置
図１は、本技術を適用した撮像素子の一実施の形態の構成例を示すブロック図である。
図１の撮像素子４１は、図示せぬ半導体基板上に、タイミング制御部４２、垂直走査回路４３、画素アレイ４４、定電流源回路部４５、参照信号生成部４６、およびカラムAD（Analog to Digital）変換部４７が設けられることにより構成される。さらに、水平走査回路４８、水平出力線４９、および出力回路５０が設けられている。
タイミング制御部４２は、所定の周波数のマスタクロックに基づいて、所定の動作に必要なクロック信号やタイミング信号を垂直走査回路４３および水平走査回路４８に供給する。例えば、タイミング制御部４２は、画素５１のシャッタ動作や読み出し動作のタイミング信号を垂直走査回路４３および水平走査回路４８に供給する。また、図示は省略されているが、タイミング制御部４２は、所定の動作に必要なクロック信号やタイミング信号を、参照信号生成部４６、カラムAD変換部４７などにも供給する。
垂直走査回路４３は、画素アレイ４４の垂直方向に並ぶ各画素５１に、順次、所定のタイミングで、画素信号の出力を制御する信号を供給する。
画素アレイ４４には、複数の画素５１が２次元アレイ状（行列状）に配置されている。すなわち、Ｍ×Ｎ個の画素５１が平面的に配置されている。ＭとＮの値は任意の整数である。
２次元アレイ状に配置されている複数の画素５１は、水平信号線５２により、行単位で垂直走査回路４３と接続されている。換言すれば、画素アレイ４４内の同一行に配置されている複数の画素５１は、同じ１本の水平信号線５２で、垂直走査回路４３と接続されている。なお、図１では、水平信号線５２について１本の配線として示しているが、１本に限られるものではない。
また、２次元アレイ状に配置されている複数の画素５１は、垂直信号線５３により、列単位で水平走査回路４８と接続されている。換言すれば、画素アレイ４４内の同一列に配置されている複数の画素５１は、同じ１本の垂直信号線５３で、水平走査回路４８と接続されている。
画素アレイ４４内の各画素５１は、水平信号線５２を介して垂直走査回路４３から供給される信号に従って、内部に蓄積された電荷に応じた画素信号を、垂直信号線５３に出力する。画素５１は、被写体の画像の画素信号を出力する撮像用の画素として機能する。画素５１の詳細な構成については、図２等を参照して後述する。
定電流源回路部４５は複数の負荷MOS（Metal-Oxide Semiconductor）５４を有し、１本の垂直信号線５３に１つの負荷MOS５４が接続されている。負荷MOS５４は、ゲートにバイアス電圧が印加され、ソースが接地されており、垂直信号線５３を介して接続される画素５１内のトランジスタとソースフォロワ回路を構成する。
参照信号生成部４６は、DAC（Digital to Analog Converter）４６ａを有して構成されており、タイミング制御部４２からのクロック信号に応じて、ランプ（RAMP）波形の基準信号を生成して、カラムAD変換部４７に供給する。
カラムAD変換部４７には、画素アレイ４４の列ごとに１つとなる複数のADC(Analog to Digital Converter)５５を有している。したがって、１本の垂直信号線５３には、複数の画素５１と、１個の負荷MOS５４及びADC５５が接続されている。
ADC５５は、同列の画素５１から垂直信号線５３を介して供給される画素信号を、CDS(Correlated Double Sampling；相関２重サンプリング)処理し、さらにAD変換処理する。
各ADC５５は、AD変換後の画素データを一時的に記憶し、水平走査回路４８の制御に従って、水平出力線４９に出力する。
水平走査回路４８は、複数のADC５５に記憶されている画素データを、順次、所定のタイミングで水平出力線４９に出力させる。
水平出力線４９は出力回路（増幅回路）５０と接続されており、各ADC５５から出力されたAD変換後の画素データは、水平出力線４９を介して出力回路５０から、撮像素子４１の外部へ出力される。出力回路５０（信号処理部）は、例えば、バファリングだけする場合もあるし、黒レベル調整、列ばらつき補正などの各種のデジタル信号処理を行う場合もある。
以上のように構成される撮像素子４１は、CDS処理とAD変換処理を行うADC５５が垂直列ごとに配置されたカラムAD方式と呼ばれるCMOSイメージセンサである。
図２は、画素５１の等価回路を示している。画素５１は、光電変換素子としてのフォトダイオード６１、転送トランジスタ６２、FD(Floating Diffusion:フローティング拡散領域)６３、リセットトランジスタ６４、増幅トランジスタ６５、及び選択トランジスタ６６を有する。
フォトダイオード６１は、受光量に応じた電荷（信号電荷）を生成し、蓄積する光電変換部である。フォトダイオード６１は、アノード端子が接地されているとともに、カソード端子が転送トランジスタ６２を介して、FD６３に接続されている。
転送トランジスタ６２は、転送信号TXによりオンされたとき、フォトダイオード６１で生成された電荷を読み出し、FD６３に転送する。
FD６３は、フォトダイオード６１から読み出された電荷を保持する。リセットトランジスタ６４は、リセット信号RSTによりオンされたとき、FD６３に蓄積されている電荷が定電圧源VDDに排出されることで、FD６３の電位をリセットする。
増幅トランジスタ６５は、FD６３の電位に応じた画素信号を出力する。すなわち、増幅トランジスタ６５は定電流源としての負荷MOS５４とソースフォロワ回路を構成し、FD６３に蓄積されている電荷に応じたレベルを示す画素信号が、増幅トランジスタ６５から選択トランジスタ６６を介してADC５５に出力される。
選択トランジスタ６６は、選択信号SELにより画素５１が選択されたときオンされ、画素５１の画素信号を、垂直信号線５３を介してADC５５に出力する。転送信号TX、リセット信号RST、および選択信号SELは、水平信号線５２（図１）を介して垂直走査回路４３から供給される。
図３は本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。具体的には、図３は画素５１の配列を示している。すなわち、本実施の形態においては、画素アレイ４４は、撮像領域１０１により被写体の画像を撮像する。撮像領域１０１は、Ｍ／３×Ｎ／３個の行列状に配置された複数のブロック１０２により構成されている。このブロック１０２は撮像される画像の単位を構成する。すなわち被写体は、ブロック１０２毎に所定の色（赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の色により合成される色）の単位の集合として撮像され、表示（つまり人の目に認識）される。
この実施の形態の場合、ブロック１０２は、サブブロック１０３をベイヤ（Bayer）配列することで構成されている。すなわち、ブロック１０２は、１個の赤（Ｒ）のサブブロック１０３、２個の緑（Ｇ）のサブブロック１０３、および１個の青（Ｂ）のサブブロック１０３からなる４つのサブブロック１０３が、２×２の行列状に配置されて構成されている。尚、色配列は、ベイヤ配列に限らず、ストライプ配列、市松配列、または、インタライン配列などでもよい。
この例では、ブロック１０２の右上と左下に緑（Ｇ）のサブブロック１０３が、左上に赤（Ｒ）のサブブロック１０３が、そして右下に青（Ｂ）のサブブロック１０３が、それぞれ配置されている。全てのブロック１０２において、サブブロック１０３の配置パターンは同一である。なお、以下においては、必要に応じて、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）のサブブロック１０３を、それぞれＲサブブロック１０３、Ｇサブブロック１０３、またはＢサブブロック１０３と記載する。
左下の１個のＲサブブロック１０３、左上と右下の２個のＧサブブロック１０３、および右上の１個のＢサブブロック１０３の合計４個のサブブロック１０３により合成される色により、対応する位置の被写体の画像の色が撮像され、画像として表現される。すなわち、図３に示されるように、Ｍ／３×Ｎ／３個に行列状に配置された複数のブロック１０２に対応する各領域をＲＮij（i，jはブロック１０２の行と列の位置を表す）とする。そして被写体の色は領域ＲＮij毎の色Ｃijとして撮像され、表現される。つまり、そのブロック１０２を構成する左上の１個のＲサブブロック１０３、左下と右上の２個のＧサブブロック１０３、および右下の１個のＢサブブロック１０３の合計４個のサブブロック１０３により合成される色Ｃijが、被写体のその領域ＲＮijの色として撮像される。
さらにこの実施の形態においては、サブブロック１０３は、互いに隣り合う３個×３個の行列状の同じ色の画素１１１により構成されている。画素１１１は、図１および図２の画素５１に対応する。以下においては、必要に応じて、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の画素１１１を、それぞれＲ画素１１１、Ｇ画素１１１、またはＢ画素１１１と記載する。つまり、Ｒサブブロック１０３は、３個×３個の行列状のＲ画素１１１により構成されている。Ｇサブブロック１０３は、３個×３個の行列状のＧ画素１１１により構成されている。Ｂサブブロック１０３は、３個×３個の行列状のＢ画素１１１により構成されている。１つのサブブロック１０３を構成する３個×３個の同じ色の画素１１１は、それぞれ独立しても読み出すことができるが、１つのサブブロック１０３としてまとめて読み出すこともできる。
図４は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。すなわち、図３の撮像領域１０１を画素１１１により表現すると、図４に示されるようになる。３個×３個の同じ色の画素１１１により１個のサブブロック１０３が構成される。具体的には、３個×３個のＲ画素１１１により１個のＲサブブロック１０３が構成される。同様に、３個×３個のＧ画素１１１により１個のＧサブブロック１０３が構成され、３個×３個のＢ画素１１１により１個のＢサブブロック１０３が構成される。
そして、３個×３個のサブブロック１０３（１個のＲサブブロック１０３、２個のＧサブブロック１０３、および１個のＢサブブロック１０３）により１個のブロック１０２が構成されている。
すなわち、撮像領域１０１においては、同じ色の複数の画素１１１によりサブブロック１０３が構成され、異なる色を含む複数のサブブロック１０３によりブロック１０２が構成されている。そして、複数のサブブロック１０３の異なる色が合成されたブロック１０２の合成色として、ブロック１０２に対応する位置の被写体の撮像点の色として人に認識される。
（１－２） 電子機器の第１の実施の形態の構成例
図５は、本技術を適用した電子機器の第１の実施の形態の構成例を示す図である。図５に示される電子機器３００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。電子機器３００は、例えば、コンパクトデジタルカメラ、デジタル一眼レフカメラ、ビデオカメラ、撮像機能を備えたスマートフォン（多機能携帯電話機）等の携帯端末、内視鏡等として構成される。
図５に示される電子機器３００は、レンズ３１１、光学フィルタ３１２、撮像制御部３０１、表示部３１３、および記録部３１４を有する。撮像制御部３０１は、撮像素子４１、AD変換部３２１、クランプ部３２２、デモザイク部３２３、リニアマトリクス（LM）/ホワイトバランス（WB）/ガンマ補正部３２４、輝度クロマ信号生成部３２５、インタフェース（I/F）部３２６、およびレンズ制御部３２８を有する。この例では、表示部３１３および記録部３１４は、撮像制御部３０１の外部に設けられているが、内部に設けることもできる。
レンズ３１１は、撮像素子４１に入射する被写体光の焦点距離の調整を行う。レンズ３１１の後段には、撮像素子４１に入射する被写体光の光量調整を行う絞り（図示せず）が設けられている。レンズ３１１の具体的な構成は任意であり、例えば、レンズ３１１は複数のレンズにより構成されていてもよい。
レンズ３１１を透過した被写体光は、例えば、赤外光をカットし、赤外光以外の光を透過するIRカットフィルタ等として構成される光学フィルタ３１２を介して撮像素子４１に入射する。
撮像素子４１は、被写体光を光電変換するフォトダイオード等の光電変換素子を有する複数の画素１１１を備える。各画素１１１は、被写体光を電気信号に変換し、その電気信号を、AD変換部３２１に供給する。
なお、撮像素子４１は、本技術の固体撮像装置を構成する。この固体撮像装置は、１チップ化されたモジュールとして構成されてもよいし、撮像素子４１と信号処理回路とが別チップとして構成されてもよい。
本技術の撮像素子４１は、例えば、光電変換素子が被写体光に基づき発生した電荷を読み出すために電荷結合素子（CCD（Charge Coupled Device））と呼ばれる回路素子を用いて転送を行うCCDイメージセンサであってもよいし、CMOS（Complementary Metal Oxide Semiconductor）を用いた、単位セルごとに増幅器を持つCMOSイメージセンサ等であってもよい。
AD変換部３２１は、撮像素子４１から供給されるRGBの電気信号（アナログ信号）をデジタルデータ（画像データ）に変換する。AD変換部３２１は、そのデジタルデータの画像データ（RAWデータ）をクランプ部３２２およびレンズ制御部３２８に供給する。
クランプ部３２２は、画像データから、非画像出力領域の画素値であり、黒色と判定されるレベルである黒レベルを減算する。
ここで画像出力領域と非画像出力領域について図６を参照して説明する。図６は、本技術を適用した画像出力領域と非画像出力領域を示す図である。図６に示されるように、画素アレイ４４には、そのほぼ中央に、画像出力領域４４Ａが設けられており、その周囲に、非画像出力領域４４Ｂが設けられている。画像出力領域４４Ａは、有効画素領域であり、画像出力領域４４Ａの画素１１１の出力は画像データとして利用される。一方、非画像出力領域４４Ｂは、有効画素領域外であるので、非画像出力領域４４Ｂの画素１１１の出力は画像データとして利用されない。しかしながら、非画像出力領域４４Ｂの画素１１１には、OPB（Optical Black）領域が設定されており、OPB領域の画素１１１の出力が黒色と判定されるレベルの黒レベルとされる。
クランプ部３２２は、OPB領域の画素１１１の出力である黒レベルを減算した画像データの全画素分をデモザイク部３２３に供給する。
レンズ制御部３２８は、レンズ３１１の駆動を制御する。具体的には、レンズ制御部３２８は、AD変換部３２１からの画像データを用いたコントラストオートフォーカスなどによる合焦判定に基づいた合焦判定結果に応じて、レンズ３１１の駆動量を算出し、その算出した駆動量に応じてレンズ３１１を移動させる。
デモザイク部３２３は、AD変換部３２１からのRAWデータに対してデモザイク処理を行い、色情報の補完等を行ってRGBデータに変換する。デモザイク部３２３は、デモザイク処理後の画像データ（RGBデータ）をLM/WB/ガンマ補正部３２４に供給する。
LM/WB/ガンマ補正部３２４は、デモザイク部３２３からのRGBデータに対して、色特性の補正を行う。具体的には、LM/WB/ガンマ補正部３２４は、規格で定められた原色（RGB）の色度点と実際のカメラの色度点の差を埋めるために、マトリクス係数を用いて画像データの各色信号を補正し、色再現性を変化させる処理を行う。また、LM/WB/ガンマ補正部３２４は、RGBデータの各チャンネルの値について白に対するゲインを設定することで、ホワイトバランスを調整する。さらに、LM/WB/ガンマ補正部３２４は、画像データの色と出力デバイス特性との相対関係を調節して、よりオリジナルに近い表示を得るためのガンマ補正を行う。LM/WB/ガンマ補正部３２４は、補正後の画像データ（RGBデータ）を輝度クロマ信号生成部３２５に供給する。
輝度クロマ信号生成部３２５は、LM/WB/ガンマ補正部３２４から供給されたRGBデータから輝度信号（Y）と色差信号（Cr,Cb）とを生成する。輝度クロマ信号生成部３２５は、輝度クロマ信号（Y,Cr,Cb）を生成すると、その輝度信号と色差信号をI/F部３２６に供給する。
I/F部３２６は、供給された画像データ（輝度クロマ信号）を、画像データを記録する記録デバイス等の記録部３１４に供給し、記録させたり、画像データの画像を表示する表示デバイス等の表示部３１３に出力し、表示させる。
（１－３） 図５の電子機器による撮像処理
次に、図７のフローチャートを参照して、図５の電子機器３００による撮像処理について説明する。図７は、本技術を適用した電子機器の撮像処理について説明するフローチャートである。
まず、ステップＳ１１において、撮像素子４１は、各画素１１１の入射光を光電変換し、その画素信号を読み出し、AD変換部３２１に供給する。
ステップＳ１２において、AD変換部３２１は、撮像素子４１からの各画素信号をAD変換し、クランプ部３２２に供給する。
ステップＳ１３において、クランプ部３２２は、AD変換部３２１からの各画素信号（画素値）から、有効画素領域の外部に設けられているOPB（Optical Black）領域において検出された黒レベルを減算する。クランプ部３２２は、黒レベルが減算された全画素分の画像データ(画素値）をデモザイク部３２３に供給する。
ステップＳ１４において、デモザイク部３２３は、デモザイク処理を行い、RAWデータをRGBデータに変換し、LM/WB/ガンマ補正部３２４に供給する。
ステップＳ１５において、LM/WB/ガンマ補正部３２４は、デモザイク部３２４からのRGBデータに対して、色補正、ホワイトバランスの調整、およびガンマ補正を行い、輝度クロマ信号生成部３２５に供給する。
ステップＳ１６において、輝度クロマ信号生成部３２５は、RGBデータから輝度信号および色差信号（すなわちYCrCbデータ）を生成する。
そして、ステップＳ１７において、I/F部３２６は、輝度クロマ信号生成部３２５によって生成された輝度信号および色差信号を記録部３１４や表示部３１３に出力する。
ステップＳ１８において、表示部３１３はI/F部３２６から供給された信号に基づいて被写体の画像を表示する。また、記録部３１４は、ユーザからの指示に基づいて、I/F部３２６から供給された信号を記録する。
以上の処理によれば、３個×３個の同じ色の複数の画素１１１により構成されるサブブロック１０３単位で異なる色が合成されたブロック１０２の合成色として、ブロック１０２に対応する位置の被写体の撮像点の色として人に認識されるようにすることができる。
＜２．第２の実施の形態＞
（２－１） ハイフレームレート撮像と通常のフレームレート撮像との同時撮像
以上においては、サブブロック１０３を構成する、互いに隣り合う３個×３個の行列状の同じ色の画素１１１は、いずれも同一の露光時間である例について説明してきたが、サブブロック１０３を構成する画素１１１の露光時間は全てが同一でなくてもよい。
例えば、図８の左上部で示されるように、３個×３個の行列状の同じ色の画素１１１のうち、白色の星印が付されたサブブロック１０３における中心位置の画素のみを単独画素１１１Ａにして、それ以外の８個の画素１１１を通常の画素として読み出すようにしてもよい。このとき、さらに、右上部で示されるように、８個の通常の画素１１１より読み出した画素信号を加算して１画素の画素信号として用いるようにしてもよい。
以降においては、各サブブロック１０３における８個の通常の画素１１１より読み出した画素値を加算して１画素として扱うとき、通常加算画素とも称する。
このようにすることで、図８の左上部の例においては、単独画素１１１Ａの露光時間（≒フレームレート）が、例えば、通常の画素１１１の８倍の長さである場合、通常加算画素は、通常の画素１１１に対して、８倍の感度の画素として扱うことができる。
尚、画素信号については、サブブロック１０３単位で扱うものとするので、この例においては、同一のサブブロック１０３において、通常加算画素の画素信号と、単独画素１１１Ａの画素信号が存在することになる。
結果として、図８の下部で示されるように、例えば、単独画素１１１Ａがフレームレート60fpsで使用される場合、通常加算画素は、フレームレートを480fpsにしても、単独画素１１１Ａと同等の感度を確保することが可能となる。
尚、図８の下部における上段が、通常加算画素の読み出しのタイミングを示しており、それぞれの露光開始時刻と露光終了時刻とが示されている。また、図８の下部における下段が、単独画素１１１Ａの読み出しタイミングを示しており、露光開始時刻と露光終了時刻とを示している。
より具体的には、通常加算画素の１フレーム目は、時刻ｔ０で露光が開始され、時刻ｔ１において露光が終了する。同様に、通常加算画素の２フレーム目は、時刻ｔ１で露光が開始され、時刻ｔ２において露光が終了する。通常加算画素の３フレーム目は、時刻ｔ２で露光が開始され、時刻ｔ３において露光が終了する。通常加算画素の４フレーム目は、時刻ｔ３で露光が開始され、時刻ｔ４において露光が終了する。通常加算画素の５フレーム目は、時刻ｔ４で露光が開始され、時刻ｔ５において露光が終了する。通常加算画素の６フレーム目は、時刻ｔ５で露光が開始され、時刻ｔ６において露光が終了する。通常加算画素の７フレーム目は、時刻ｔ６で露光が開始され、時刻ｔ７において露光が終了する。通常加算画素の８フレーム目は、時刻ｔ７で露光が開始され、時刻ｔ８において露光が終了する。尚、時刻ｔ１乃至ｔ２、時刻ｔ２乃至ｔ３、時刻ｔ３乃至ｔ４、時刻ｔ４乃至ｔ５、時刻ｔ５乃至ｔ６、時刻ｔ６乃至ｔ７、および時刻ｔ７乃至ｔ８は、いずれも同一の時間である。
これに対して、単独画素１１１Ａは、１フレーム目は、時刻ｔ０で露光が開始され、時刻ｔ８において露光が終了する。
すなわち、通常加算画素は、単独画素１１１Ａに対して感度が８倍となる分、８倍のフレームレートで同一の感度の撮像を実現することが可能となる。
結果として、ハイフレームレート撮像と、通常フレームレート撮像とを同時に実現することが可能となる。
（２－２） ダイナミックレンジ拡大撮像
また、８個の画素１１１の画素値の加算結果からなる通常加算画素は、単独画素１１１Ａに対して８倍の感度を有するので、両者の露光時間が同一である場合、HDR（High Dynamic Range）撮像と呼ばれる感度の異なる画素を用いてダイナミックレンジを拡大させる撮像を実現することができる。
尚、図９の左上部および右上部は、図８と同様である。また、図９の下部は、上段が通常加算画素であり、下段が単独画素１１１Ａの露光開始時刻と露光終了時刻とが示されており、いずれも時刻ｔ１１において露光が開始され、時刻ｔ１２において露光が終了していることが示されている。
一般的に、HDR撮像は、画素毎に露光時間を変化させることで実現されている。しかしながら、一般的なHDR撮像の場合、画素単位で露光されるタイミングが異なるため、被写体に動きがあると、異なる露光時間の画素間において、相互に異なる被写体が写り込んだ画素信号が得られることになるので、動きブレが発生し、画質が低減する。
これに対して、図９で示されるように、感度の異なる通常加算画素と単独画素１１１Ａとを用いて、同一のタイミングで露光される画素信号を用いてHDR撮像を実現させることができる。すなわち、被写体に動きがあっても、同一の露光時間内において、通常加算画素および単独画素１１１Ａには、相互にほぼ同一の被写体が写り込むことになるので、HDR撮像においても、動きブレを低減させることが可能となる。
（２－３） 電子機器の第２の実施の形態の構成例
次に、図１０のブロック図を参照して、電子機器３００の第２の実施の形態の構成例について説明する。
図１０の電子機器３００において、図４の電子機器３００と同一の機能を備えた構成については、同一の符号および同一の名称を付しており、その説明は適宜省略する。図１０の電子機器３００において、図５の電子機器３００と異なる点は、クランプ部３２２に代えて、クランプ部３３０を設けた点である。
クランプ部３３０は、基本的な機能は、クランプ部３２２と同様であるが、さらに、通常の画素１１１より供給される画素信号のデジタル信号を加算し、サブブロック１０３単位で通常加算画素を１画素の画素信号として扱い、単独画素１１１Ａについては、そのままの画素信号を同一位置のサブブロック１０３の１画素の画素信号として扱う。
（２－４） 図１０の電子機器による撮像処理
次に、図１１のフローチャートを参照して、図１０の電子機器３００による、通常加算画素を用いた撮像処理について説明する。尚、図１０のフローチャートにおけるステップＳ２１，Ｓ２２，Ｓ２４乃至Ｓ２９の処理については、図７のフローチャートにおけるステップＳ１１乃至Ｓ１８と同一の処理であるので、その説明は省略する。ただし、ステップＳ２１，Ｓ２２の処理は、通常加算画素を構成する８個の画素１１１のそれぞれにおいてなされる処理である。
すなわち、ステップＳ２３において、クランプ部３３０は、AD変換部３２１からの各画素信号（画素値）について、通常加算画素を構成する８個の画素値を加算し、以降において、サブブロック１０３単位の１個の通常加算画素として信号処理を実行する。
尚、単独画素１１１Ａを用いた撮像処理については、図７のフローチャートを参照して説明した処理と同様であるので説明を省略する。
以上のように、サブブロック１０３単位で感度の異なる通常加算画素と単独画素１１１Ａとを設けるようにすることで、通常加算画素と単独画素１１１Ａとのそれぞれの露光時間が異なっていても、同一感度の画像を撮像することができるので、例えば、同一の感度のハイフレームレートの撮像と、通常のフレームレートの撮像とを同時に実現させることが可能となる。
すなわち、図８で示されるように、通常加算画素の感度が、単独画素１１１Ａの感度の８倍であるときには、通常加算画素により、単独画素１１１Ａの８倍のフレームレート（１／８の露光時間）で撮像しても、同一の感度の画像を撮像することができる。結果として、同時に異なるフレームレートの撮像を実現することが可能となる。
また、通常加算画素と単独画素１１１Ａとのそれぞれの露光時間を同一にすると、異なる感度の画像を、同時に撮像することができるので、動きブレの少ない高画質なHDR撮像を実現することが可能となる。
すなわち、図９で示されるように、通常加算画素が、単独画素１１１Ａの感度の８倍であるときには、同一の露光時間で、通常加算画素により、単独画素１１１Ａの８倍の感度の画像を撮像することができる。結果として、動きブレの少ない高画質なHDR撮像を実現することが可能となる。
さらに、通常加算画素の画素信号を処理する構成と、単独画素１１１の画素信号を処理する構成は、それぞれ独立するものにしてもよい。すなわち、例えば、クランプ部３３０、デモザイク部３２３、LM/WB/ガンマ補正部３２４、輝度クロマ信号生成部３２５、およびインタフェース部３２６については、それぞれ通常加算画素の画素信号を処理するものと単独画素１１１の画素信号を処理するものとを独立して、２系統と備えるようにしてもよい。
＜３．第３の実施の形態＞
（３－１） 通常加算画素と位相差検波用画素とからなる画素配置例
以上においては、サブブロック１０３単位で感度の異なる通常加算画素と単独画素とを設ける画素配置例について説明してきたが、サブブロック１０３単位で通常加算画素と、単独画素に代えて、位相差検波用画素を設けるようにしてもよい。
例えば、図１２で示されるように、ｍ×ｎ個の画素１１１は基本的にＲ，Ｇ，Ｂの撮像用画素であるが、サブブロック１０３を構成する水平方向３個×垂直方向３個のうちの水平方向に中央位置で、かつ、垂直方向に中央位置の画素が、対となる位相差検波用画素１１１Ｂ－１，１１１Ｂ－２のいずれかに置き換えられている。このような構成により、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２のいずれかが全体に規則的に配置される。図５の構成例では、行列状に２次元配置される複数の画素１１１の中に、画素の半分が黒色の矩形で示され、残りの半分が白色の星印で示される複数の位相差検波用画素１１１Ｂ－１または１１１Ｂ－２が散在して配置されている。
より詳細には、Ｂサブブロック１０３とＲサブブロック１０３のいずれにおいても、３個×３個の画素１１１のうち、相対的に同じ位置（対応する位置）である中央の画素１１１が位相差検波用画素１１１Ｂ－１または１１１Ｂ－２とされている。
そして、右から第２列および第８列目には、横方向の位相差を検波する対の位相差検波用画素１１１Ｂ－１，１１１Ｂ－２のうち、対の一方を構成する位相差検波用画素１１１Ｂ－１が配置されている。また、右から第５列および第１１列には、横方向の位相差を検波する対の他方を構成する位相差検波用画素１１１Ｂ－２が配置されている。
図１３は、本技術を適用した撮像素子４１の画素アレイ４４の位相差検波用画素１１１Ｂ－１，１１Ｂ－２の構成を示す図である。図１３の左側には、横方向の位相差を検波する対の位相差検波用画素１１１Ｂ－１，１１１Ｂ－２のうちの位相差検波用画素１１１Ｂ－２が示されている。位相差検波用画素１１１Ｂ－２においては、その右側に遮光部３３２－２が、その左側に透光部３３１－２が形成されている。この例では被写体からフォトダイオード６１に向かう光を遮光する遮光部３３２－２は、例えば、銅などの金属膜により形成される。そして、被写体からの光をフォトダイオード６１に向けて透光する透光部３３１－２は、遮光部３３２－２を形成する金属膜の一部を開口することで形成される。もちろん、遮光部３３２－２を形成しないことで開口を形成することもできる。
他方、位相差検波用画素１１１Ｂ－２と対をなす、図１３の右側に示される位相差検波用画素１１１Ｂ－１においては、その左側に遮光部３３２－１が、その右側に透光部３３１－１が形成されている。この例でも被写体からフォトダイオード６１に向かう光を遮光する遮光部３３２－１は、例えば、銅などの金属膜により形成され、被写体からの光をフォトダイオード６１に向けて透光する透光部３３１－１は、遮光部３３２－１を形成する金属膜の一部を開口することで形成される。もちろん、遮光部３３２－１を形成しないことで開口を形成することもできる。
図１３においては、横方向（水平方向）の位相差を検波する位相差検波用画素１１１Ｂが設けられる例が示されているが、縦方向（垂直方向）の位相差を検波するようにしてもよい。
また、図１４の上側には、縦方向の位相差を検波する対の位相差検波用画素１１１Ｂ’－１，１１１Ｂ’－２のうちの位相差検波用画素１１１Ｂ’－１が示されている。位相差検波用画素１１１Ｂ’－１においては、その下側に遮光部３３２－３が、その上側に透光部３３１－３が形成されている。この例では被写体からフォトダイオード６１に向かう光を遮光する遮光部３３２－３は、例えば銅などの金属膜により形成され、被写体からの光をフォトダイオード６１に向けて透光する透光部３３１－３は、遮光部３３２－４を形成する金属膜の一部を開口することで形成される。もちろん、遮光部３３２－３を形成しないことで開口を形成することもできる。
他方、位相差検波用画素１１１Ｂ’－１と対をなす、図１４の下側に示される位相差検波用画素１１１Ｂ’－２においては、その上側に遮光部３３２－４が、その下側に透光部３３１－４が形成されている。この例でも被写体からフォトダイオード６１に向かう光を遮光する遮光部３３２－４は、例えば銅などの金属膜により形成され、被写体からの光をフォトダイオード６１に向けて透光する透光部３３１－４は遮光部３３２－４を形成する金属膜の一部を開口することで形成される。もちろん、遮光部３３２－４を形成しないことで開口を形成することもできる。
（３－２） 位相差検波の原理
図１５は、本技術を適用した撮像素子の一実施の形態の通常の画素１１１の構成例を示す断面図である。図１５は、通常加算画素を構成する画素のうち、２個の画素１１１の断面構成を表している。図１５に示されるように、画素１１１は、例えばＳｉ（シリコン）の半導体基板３５１に光電変換部としてのフォトダイオード３５２（図２のフォトダイオード６１に対応する）が形成されている。半導体基板３５１の上層には、Ｒ，ＧまたはＢのカラーフィルタ３５４が形成されており、それらの上層には、オンチップレンズ３５５が形成されている。
被写体からの光は、オンチップレンズ３５５により集光され、Ｒ，ＧまたはＢのカラーフィルタ３５４を透過し、カラーフィルタ３５４に対応する色の光がフォトダイオード３５２に入射される。これによりフォトダイオード３５２から、カラーフィルタ３５４に対応する色の光の成分の色信号（画素信号）が出力される。
図１６は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成例を示す断面図である。図１６は便宜上、２個の位相差検波用画素１１１Ｂ－１，１１１Ｂ－２の断面構成を並べて示している。図１６に示されるように、位相差検波用画素１１１Ｂの構成は、基本的に図１５に示した画素１１１と同様であるが、図１５のカラーフィルタ３５４に代えて、遮光部３３２－１，３３２－１と、透光部３３１－１，３３１－２が配置されている。遮光部３３２－１，３３２－２と、透光部３３１－１，３３１－２の構成は、図１３と図１４を参照して説明した通りである。
これにより、例えば、位相差検波用画素１１１Ｂ－２においては、オンチップレンズ３５５により集光された光の一部が透光部３３１－２を透過して、フォトダイオード３５２に入射する。しかしながら、オンチップレンズ３５５により集光された光の一部は、図１６において透光部３３１－２の右側に配置されている遮光部３３２－２により遮光され、フォトダイオード３５２に入射しない。
また、位相差検波用画素１１１Ｂ－１においては、オンチップレンズ３５５により集光された光の一部が透光部３３１－１を透過して、フォトダイオード３５２に入射する。しかしながら、オンチップレンズ３５５により集光された光の一部は、図１６において透光部３３１－１の左側に配置されている遮光部３３２－１により遮光され、フォトダイオード３５２に入射しない。
図１７は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素の位相差特性について説明する図である。以下、図１６と図１７を参照して、位相差検波の原理について説明する。
図１６に示されるように、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２には、５つの方向からの入射光L1乃至L5が入射されるものとする。図１７のグラフには、そのときの位相差検波用画素１１１Ｂ－１，１１１Ｂ－２の画素信号出力が示されている。
図１７のグラフにおいて、横軸は、入射光の入射角を示しており、縦軸は、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２の画素信号出力を示している。なお、実線１４１Ｂは、位相差検波用画素１１１Ｂ－１の画素信号出力を示し、破線１４１Ａは、位相差検波用画素１１１Ｂ－２の画素出力を示している。
このグラフに示されるように、左側遮光の位相差検波用画素１１１Ｂ－１は、左側（マイナス側）に入射光の角度をつけると、その出力が大きくなり、右側遮光の位相差検波用画素１１１Ｂ－２は、右側（プラス側）に入射光の角度をつけると、その出力が大きくなる。つまり、入射光L1のように、入射光においてマイナス方向の角度成分が大きい場合、位相差検波用画素１１１Ｂ－１の出力は、位相差検波用画素１１１Ｂ－２の出力より大きくなる。そして入射光L5のように、入射光においてプラス方向の角度成分が大きい場合、位相差検波用画素１１１Ｂ－２の画素信号出力は、位相差検波用画素１１１Ｂ－１の画素信号出力より大きくなる。
このような、１対の位相差検波用画素１３１における、入射光の入射角に対する位相差検波用画素１３１それぞれの画素信号出力の位相差特性を利用して、デフォーカス量が検出される。
（３－３） 電子機器の第３の実施の形態の構成例
図１８は、本技術を適用した電子機器の第３の実施の形態の構成例を示す図である。図１８に示される電子機器３００において、図１０の電子機器３００と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略する。
すなわち、図１８の電子機器３００において、図１０の電子機器３００と異なる点は、補正パラメータ算出部３７１、メモリ３７２、位相差補正部３７３、位相差検波部３７４、レンズ制御部３７５をさらに備えている点である。
補正パラメータ算出部３７１は、撮像素子４１の製造後のテスト工程や、撮像素子４１にレンズ３１１を装着した後のテスト工程等において得られた位相差特性のデータを用いて補正パラメータを算出する。この補正パラメータは、位相差検波部３７４によって検出される位相差を補正するのに用いられる。
メモリ３７２には、補正パラメータ算出部３７１によって算出された補正パラメータが記憶される。
位相差検波部３７４は、クランプ部３３０からの画像データ（画素値）に基づいて位相差検波処理行うことで、フォーカスを合わせる対象の物体（合焦対象物）に対してフォーカスが合っているか否か判定する。位相差検波部３７４は、フォーカスエリアにおける物体にフォーカスが合っている場合、合焦していることを示す情報を合焦判定結果として、レンズ制御部３７５に供給する。また、位相差検波部３７３は、合焦対象物にフォーカスが合っていない場合、フォーカスのずれの量（デフォーカス量）を算出し、その算出したデフォーカス量を示す情報を合焦判定結果として、レンズ制御部３７５に供給する。
位相差補正部３７３は、メモリ３７２に記憶されている補正パラメータを用いて、位相差検波部３７４によって検波された位相差を補正する。位相差検波部３７４は、補正された位相差に対応する合焦判定結果を、レンズ制御部３７５に供給する。
レンズ制御部３７５は、レンズ３１１の駆動を制御する。具体的には、レンズ制御部３７５は、位相差検波部３７４から供給された合焦判定結果に基づいて、レンズ３１１の駆動量を算出し、その算出した駆動量に応じてレンズ３１１を移動させる。
例えば、レンズ制御部３７５は、フォーカスが合っている場合には、レンズ３１１の現在の位置を維持させる。また、レンズ制御部３７５は、フォーカスが合っていない場合には、デフォーカス量を示す合焦判定結果とレンズ３１１の位置とに基づいて駆動量を算出し、その駆動量に応じてレンズ３１１を移動させる。
（３－４） 位相差オートフォーカス処理
次に、図１９のフローチャートを参照して、図１８の電子機器３００による位相差オートフォーカス処理について説明する。位相差オートフォーカス処理は、被写体を撮像する際に電子機器３００によって撮像処理の前または並行して実行される。
まず、ステップＳ３１において、撮像素子４１は、各画素１１１の入射光を光電変換し、各画素信号を読み出し、AD変換部３２１に供給する。なお、位相差検波用画素１１１Ｂは、通常の画素１１１とは異なるタイミングで読み出すようにすることもできる。
ステップＳ３２において、AD変換部３２１は、撮像素子４１からの各画素信号をAD変換し、クランプ部３２２に供給する。
ステップＳ３３において、クランプ部３２２は、AD変換部３２１からの各画素信号（画素値）から、有効画素領域の外部に設けられているOPB（Optical Black）領域において検出された黒レベルを減算する。クランプ部３２２は、黒レベルを減算した画像データのうち、位相差検波用画素１１１Ｂから出力された画像データ（画素値）を位相差検波部３７４に供給する。
ステップＳ３４において、位相差補正部３７３は、予め算出され、メモリ３７２に記憶されている補正パラメータを読み出す。
ステップＳ３５において、位相差検波部３７４は、クランプ部３２２からの画像データ（画素値）に基づいて位相差検波を行う。すなわち、縦方向（垂直方向）と横方向（水平方向）の位相差を検波する位相差検波用画素１１１Ｂの出力がそれぞれ読み出される。
ステップＳ３６において、位相差補正部３７３は、ステップＳ４４の処理で読み出された補正パラメータを用いて、位相差検波部３７４により検波された位相差を補正する。つまり、補正パラメータが位相差検波部３７４に供給され、検波された位相差が補正される。
ステップＳ３７において、位相差検波部３７４は、フォーカスエリア内の位相差検波用画素１３１の出力を連結する。すなわちフォーカスエリア内の位相差検波用画素１１１Ｂの出力が画素位置に応じて連結され、ＡＦ画素信号が生成される。
ステップＳ３８において、位相差検波部３７４は、ステップＳ３７で生成されたＡＦ画素信号に、シェーディング補正（周辺画面の光量落ち補正）や、ビネッティングによる２像の歪みの復元補正等を施し、相関演算用の１対の像信号を生成する。
図２０は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素１１１Ｂ－１，１１１Ｂ－２の構成を示す図である。図２０に示されているように、本実施の形態の撮像素子４１は、横方向の位相差を検波するための位相差検波用画素１１１Ｂ－２と、それと対になる横方向の位相差を検波するための位相差検波用画素１１１Ｂ－１とを有する。
位相差検波用画素１１１Ｂの信号はグループ化処理される。図２０に示されるように、横方向の位相差を検波するための位相差検波用画素１１１Ｂ－１，１１１Ｂ－２は、つまり横方向に、例えば第２行、第８行・・・にグループ化される。
具体的には、横方向の位相差検波のためのフォーカスエリアＲhに含まれる位相差検波用画素１１１Ｂ－２で得られた画素信号を横方向に連結した位相差検波用の像信号ＳＩＧh(A)が生成される。また、同様に、フォーカスエリアＲhに含まれる位相差検波用画素１１１Ｂ－１で得られた画素信号を横方向に連結した位相差検波用の像信号ＳＩＧh(B)が生成される。
ステップＳ３９において、位相差検波部３７４は位相差検波用の像信号対の相関を演算する。すなわち、像信号ＳＩＧh(A)と像信号ＳＩＧh(B)の位相差の相関が演算される。
ステップＳ４０において、位相差検波部３７４は、相関の信頼性を判定する。すなわち、ステップＳ３９で演算された相関の演算結果の信頼性が判定される。ここで信頼性とは、像信号対の一致度（波形の類似度）を指し、一致度が良い場合は一般的に焦点検出結果の信頼性が高い。
例えば、フォーカスエリアＲhにおける像信号ＳＩＧh(A)と像信号ＳＩＧh(B)の位相差を公知の相関演算によって計算することで、横方向における焦点ずれ量（デフォーカス量）を求めることができる。
ステップＳ４１において、位相差検波部３７４は、焦点ずれ量を算出する。すなわち、ステップＳ４０において、信頼性が高いと判定された像信号対から求められた位相差に基づいて、最終的な焦点ずれ量が算出される。
ステップＳ４２において、レンズ制御部３７５は、位相差検波部３７４からの合焦判定結果に基づいて、レンズ３１１の駆動を制御する。
以上のようにしてフォーカス制御が行われる。この処理は必要に応じて繰り返し実行される。
なお、レンズ制御部３７５は、上述したような位相差オートフォーカスに加え、コントラストオートフォーカスを行うことで、レンズ３１１の駆動を制御するようにしてもよい。例えば、レンズ制御部３７５は、位相差検波部３７４から、合焦判定結果としてフォーカスのずれの量（デフォーカス量）を示す情報が供給された場合、フォーカスのずれの方向（前ピンか後ピンか）を判別し、その方向に対してコントラストオートフォーカスを行うようにしてもよい。
尚、図１８の電子機器３００による撮像処理については、図１１のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
以上の処理によれば、AFの精度を向上させて、画質の劣化を抑制することが可能となる。
また、図１２の下段で示されるように、時刻ｔ２０乃至ｔ２１において、位相差検波用画素１１１Ｂを読み出した後、時刻ｔ２１乃至ｔ２２において、通常加算画素を読み出しながら、位相差オートフォーカス処理を実行して、レンズ３１１によるフォーカス調整を行うことで、被写体の動きにフォーカスを追従させながら連続した撮像を行うことが可能となり、画質の劣化を抑制させることが可能となる。
（３－５） 第３の実施の形態の変形例（サブブロック内に位相差検波用画素または黒画素を設ける画素配置例）
以上においては、サブブロック１０３を構成する３画素×３画素のうち、中央の画素を、位相差検波用画素として構成する例について説明してきたが、位相差検波用画素の一部を黒画素として用いるようにしてもよい。
より具体的には、図２１の左上部で示されるように、上段のブロック１０２においては、上段のサブブロック１０３を構成する３画素×３画素のうち、中央の画素が、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２として構成され、下段のサブブロック１０３を構成する３画素×３画素のうち、中央の画素が、黒画素１１１Ｃとして構成されている。
さらに、下段のブロック１０２においては、上段のサブブロック１０３を構成する３画素×３画素のうち、中央の画素が、黒画素１１１Ｃとして構成され、下段のサブブロック１０３を構成する３画素×３画素のうち、中央の画素が、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２として構成されている。
ここで、黒画素１１１Ｃは、図６の非画像出力領域４４Ｂに設けられているOPB領域に設けられた黒レベルを求めるために構成された画素に対応する画素である。より詳細には、黒画素１１１Ｃは、全面が、図１３を参照して説明した、銅などの金属膜により形成される遮光部３３２よりで覆われた画素である。
このような構成により、図２１の右上部で示されるように、通常の画素１１１は、８個分が加算されて、通常加算画素として出力されると共に、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２、および黒画素１１１Ｃがそれぞれ出力される。
サブブロック１０３単位で各画素１１１の画素信号は、近傍の黒画素１１１Ｃの黒レベルを読み出して、上述したステップＳ１３（図７）、Ｓ２３（図１１）、およびＳ３３（図１９）の処理における黒レベルの減算に使用する。
このような構成により、図２１の下段で示されるように、時刻ｔ５０乃至ｔ５１において、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２、および黒画素１１１Ｃの画素信号が読み出され、その後、時刻ｔ５１乃至ｔ５２において、通常加算画素が読み出されるようにする。
このような読み出し順序により、先に、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２が読み出されることで、その後のタイミングにおいて、通常加算画素を読み出しながら、位相差オートフォーカス処理を実行して、レンズ３１１によるフォーカス調整を行うことで、被写体の動きにフォーカスを追従させながら連続した撮像を行うことが可能となり、画質の劣化を抑制させることが可能となる。
さらに、通常加算画素が読み出された後に、先に読み出されている黒画素を用いた黒レベルの減算により、サブブロック１０３毎に近傍の黒画素１１１Ｃの黒レベルを減算することで、高画質化を図ることが可能となる。
これまで、図６の画像出力領域４４Ａの周辺に設けられた非画像出力領域４４Ｂ内に設定されるOPB領域の画素１１１を黒レベルとしていたため、画像出力領域４４Ａにおいて２次元的に発生する黒レベルのばらつきを用いた補正ができなかった。しかしながら、本開示の黒画素１１１Ｃを用いた２次元的な黒レベルの検波結果を用いた画素信号の補正により、２次元的に発生する黒レベルのばらつきを抑制することができ、より高精度なクランプ処理を実現することが可能となる。
さらに、図６で示されるような非画像出力領域４４Ｂを設けて、OPB領域を設定する必要がなくなるので、撮像素子４１を小型化することが可能になると共に、小型化に起因する低コスト化を実現することが可能となる。
＜４．第４の実施の形態＞
（４－１） 白画素を用いた画素配置例
以上においては、サブブロック１０３を構成する３画素×３画素のうち、中央の画素を、位相差検波用画素または黒画素として構成する例について説明してきたが、位相差検波用画素および黒画素に代えて、白画素を用いるようにしてもよい。
より具体的には、図２２の左上部で示されるように、各ブロック１０２においては、サブブロック１０３を構成する３画素×３画素のうち、中央の画素が、白画素１１１Ｄとして構成されている。白画素１１１Ｄは、透明なカラーフィルタ３５４、またはカラーフィルタ３５４が設けられていない構成とされており、白色光がフォトダイオード３５２に入射される。
このような構成により、図２２の右上部で示されるように、サブブロック１０３単位における通常の８個の画素１１１の画素信号が加算されることにより、ベイヤ配列の狭色帯域の通常加算画素の画素信号が読み出される。
一方、白画素１１１Ｄは、白色光が入射されることにより、輝度信号そのものを出力する。
このため、例えば、ＲＧＢのそれぞれのサブブロック１０３の通常加算画素、および白画素１１１Ｄからは、図２２の左下部で示されるように、それぞれ波形Ｒ，Ｇ，Ｂ，Ｗで示される信号が出力される。図２２の左下部においては、横軸は、波長であり、縦軸は、画素信号のレベルである。
このように、ベイヤ配列のＲＧＢのそれぞれのサブブロック１０３から出力される通常加算画素の画素信号は狭色帯域の信号となるのに対して、白画素１１１Ｄから出力される輝度信号は、広色帯域の信号となる。
そこで、ＲＧＢのそれぞれのサブブロック１０３から出力される通常加算画素の画素信号は狭色帯域の信号と、広色帯域の信号とを用いて、偽解像や高周波の色偽を低減させる。
より具体的には、まず、ＲＧＢのそれぞれのサブブロック１０３から出力される通常加算画素の画素信号である狭色帯域の信号に対してLPF（Low Pass Filter）は掛けられて色のDC成分が抽出される。次に、白画素１１１Ｄから出力される広色帯域の信号に対しては、HPF（High Pass Filter）が掛けられて輝度のAC成分が抽出される。
そして、LPFが掛けられたＲＧＢの通常加算画素のそれぞれの画素信号のDC成分と、HPFが掛けられた輝度信号のAC成分とが加算される。
すなわち、ＲＧＢの通常加算画素の画素信号にLPFが掛けられるとき、高周波成分は応答が低下するので、その分をHPFが掛けられた輝度成分のAC成分で補うように補正する。
このような処理により、偽解像や高周波の色偽を低減させることが可能となる。
（４－２） 電子機器の第４の実施の形態の構成例
図２３は、本技術を適用した電子機器の第４の実施の形態の構成例を示す図である。２３に示される電子機器３００において、図１８の電子機器３００と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略する。
すなわち、図２３の電子機器３００において、図１８の電子機器３００と異なる点は、デモザイク部３２３とLM/MB/ガンマ補正部３２４との間に補正部３９１を設けた点である。
補正部３９１は、ＲＧＢのそれぞれのサブブロック１０３から出力される通常加算画素の画素信号である狭色帯域の信号に対してLPF（Low Pass Filter）を掛けて色のDC成分を抽出し、白画素１１１Ｄから出力される広色帯域の信号に対しては、HPF（High Pass Filter）を掛けて輝度のAC成分を抽出し、それぞれを加算する。
この処理により、LPFが掛けられるとき、低下する色のDC成分の高周波成分をHPFが掛けられた輝度成分のAC成分で補うように補正し、偽解像や高周波の色偽を低減させる。
尚、補正部３９１の詳細な構成については、図２４を参照して後述する。
（４－３） 補正部の構成例
図２４の上部は、図２３の補正部３９１の構成例を示す図であり、図２４の下部は、HPF４０１と、LPF４０２の入力信号の周波数と応答出力との関係を示す波形図である。
補正部３９１は、HPF（High Pass Filter）４０１、LPF（Low Pass Filter）４０２、および加算部４０３より構成される。
HPF４０１は、ＲＧＢのそれぞれのサブブロック１０３の白画素１１１Ｄより供給される輝度信号よりAC成分を抽出して加算部４０３に出力する。
LPF４０２は、ＲＧＢのそれぞれのサブブロック１０３の通常加算画素からの画素信号よりDC成分を抽出して加算部４０３に出力する。
加算部４０３は、LPF４０２からのＲＧＢのそれぞれのサブブロック１０３の通常加算画素からの画素信号のDC成分と、HPF４０１からの輝度信号のAC成分とを加算して、ＲＧＢのサブブロック１０３の色信号として出力する。
すなわち、図２４の下部の実線のLPF４０２の特性を示す波形で示されるように、LPF４０２は、入力信号の周波数が低いときには、応答出力が高く、周波数が高くなると応答出力が低くなる。これに対して、図２４の下部の点線のHPF４０１の特性を示す波形で示されるように、HPF４０１は、入力信号の周波数が低いときには、応答出力が低く、周波数が高くなると応答出力が高くなる。すなわち、応答出力の最大値を１としたとき、HPF４０１の応答出力は、１からLPF４０２の応答出力を減算した値となる。
そこで、ＲＧＢのサブブロック１０３の通常加算画素の画素信号については、LPF４０２を掛けたとき、ＲＧＢの周波数に応じて応答出力が増減するので、周波数が高い波長の色については、輝度信号よりHPF４０１により抽出されるAC成分を補うことで、偽解像や色偽の発生を抑制させることが可能となる。
（４－４） 図２３の電子機器による撮像処理
次に、図２５のフローチャートを参照して、図２３の電子機器３００による撮像処理について説明する。尚、図２５のフローチャートにおけるステップＳ８１乃至Ｓ８３，Ｓ８５Ｓ，８７乃至Ｓ９０の処理は、図１１のフローチャートを参照して説明したステップＳ２１乃至Ｓ２３，Ｓ２５乃至Ｓ２９と同様であるので、その説明は省略する。すなわち、図２５のフローチャートにおいて、図１１のフローチャートと異なる処理は、ステップＳ８４，Ｓ８６の処理である。
ステップＳ８４において、クランプ部３３０は、各サブブロック１０３について、AD変換部３２１からの通常加算画素の画素信号（画素値）から、対応する黒画素１１１Ｃの画素信号として検出された黒レベルを減算する。クランプ部３３０は、黒レベルが減算された全画素分の画像データ(画素値）をデモザイク部３２３に供給する。すなわち、ここでは、サブブロック１０３単位で、通常加算画素の画素信号より、黒画素１１１Ｃの画素信号である黒レベルが減算される。結果として、画素アレイ４４上の画素１１１単位で生じ得る２次元的な黒レベルのばらつきを高精度に補正することが可能となる。
また、ステップＳ８６において、補正部３９１は、補正処理を実行して、ＲＧＢのサブブロック１０３の通常加算画素の画素信号のDC成分を抽出すると共に、対応する白画素１１１Ｄの輝度信号のAC成分を抽出して加算することで、偽解像や色偽の発生を抑制する。
（４－５） 補正処理
ここで、図２６のフローチャートを参照して、補正部３９１による補正処理について説明する。
ステップＳ１０１において、LPF４０２は、ベイヤ配列のＲＧＢのサブブロック１０３のそれぞれに対応する狭色帯域の画素信号に対して、LPFを掛けて、色のDC成分を抽出して加算部４０３に出力する。
ステップＳ１０２において、HPF４０１は、ベイヤ配列のＲＧＢのサブブロック１０３のそれぞれに対応する広色帯域の輝度信号に対して、HPFを掛けて、輝度のAC成分を抽出して加算部４０３に出力する。
ステップＳ１０３において、加算部４０３は、ベイヤ配列のＲＧＢのサブブロック１０３毎に、HPF４０１より供給される輝度のAC成分と、LPF４０２より供給される色のDC成分とを加算してクランプ部３２２に出力する。
以上の処理により、ＲＧＢのサブブロック１０３の通常加算画素の画素信号について、ＲＧＢの周波数に応じて、LPF４０２を掛けたとき、周波数に応じて応答出力が増減するので、周波数が高い波長の色については、輝度信号よりHPF４０１により抽出されるAC成分を補うことで、偽解像や色偽の発生を抑制させることが可能となる。尚、ステップＳ１０１，Ｓ１０２の処理は順序が入れ替わってもよいものであるが、実質的に、並列的に処理がなされるものである。
（４－６） 第４の実施の形態の変形例（サブブロック内に白画素または位相差検波用画素を設ける画素配置例）
以上においては、サブブロック１０３を構成する３画素×３画素のうち、中央の画素を、白画素１１１Ｄとする例について説明してきたが、白画素１１１Ｄの一部を位相差検波用画素として用いるようにしてもよい。
より具体的には、図２７で示されるように、上段のブロック１０２においては、サブブロック１０３を構成する３画素×３画素のうち、中央の画素が、白画素１１１Ｄとして構成されている。
一方、下段のブロック１０２においては、上段のサブブロック１０３を構成する３画素×３画素のうち、中央の画素が、白画素１１１Ｄとして構成され、下段のサブブロック１０３を構成する３画素×３画素のうち、中央の画素が、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２として構成されている。
すなわち、上段のブロック１０２においては、通常の画素１１１は、８個分が加算されて、通常加算画素として出力される。一方、下段のブロック１０２の、上段のサブブロック１０３においては、８個の通常の画素１１１の画素信号が加算されて、通常加算画素として出力されると共に、下段のサブブロック１０３においては、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２がそれぞれ出力される。つまり、２個×２個のブロック１０２単位で、２対の位相差検波用画素１１１Ｂ－１，１１１Ｂ－２が配置される。
この２対の位相差検波用画素１１１Ｂ－１，１１１Ｂ－２から画素信号が読み出されることで、位相差オートフォーカス処理を実行して、レンズ３１１によるフォーカスを調整した後、フォーカスが調整された状態の画像を通常加算画素により読み出すと共に、白画素１１１Ｄを用いた補正処理を実現させることができるので、画質の劣化を抑制させることが可能となる。
＜５．撮像素子からの画素信号の出力のタイミング＞
以上においては、撮像素子４１からの画素信号の出力は、サブブロック１０３を構成する通常の８個の画素１１１の画素信号と、それ以外の１個の何らかの機能を備えた画素（以下、機能画素１１１Ｘとも称する）の画素信号が異なるタイミングでクランプ部３３０に出力される例について説明してきた。
しかしながら、図２８の上段で示されるように、通常の８個の画素１１１の画素信号と、それ以外の１個の機能画素１１１Ｘの画素信号が同一のタイミングでクランプ部３３０に出力されるように並列読み出しするようにしてもよい。
この場合、機能画素１１１Ｘの画素信号と、通常の画素１１１の画素信号との処理タイミングが実際には異なる場合、クランプ部３２２は、処理タイミングの異なる画素信号をバッファリングするなどしてタイミングを調整する必要がある。
尚、機能画素１１１Ｘとは、上述した、単独画素１１１Ａ、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２、黒画素１１１Ｃ、および白画素１１１Ｄを総称したものである。
また、撮像素子４１の後段において、通常の画素１１１と、機能画素１１１Ｘとの処理順序やタイミングが決まっているような場合、処理順序やタイミングに合わせて出力するようにしてもよい。
例えば、図２８の下段で示されるように、時刻ｔｘにおいて、通常の画素１１１の画素信号が出力された後、時刻ｔｙにおいて、機能画素１１１Ｘの画素信号が出力されるように、時分割読み出しするようにしてもよい。また、順序を入れ替えて、機能画素１１１Ｘの画素信号が出力された後、通常の画素１１１の画素信号が出力されるように時分割読み出しするようにしてもよい。
＜６．カラムAD変換部の配置例＞
以上においては、カラムAD変換部４７は、１本の垂直信号線５３に対して１個ずつADC５５が設けられており、１行毎にAD変換する構成例について説明してきたが、例えば、図２９で示されるように、上下に３行分ずつカラムAD変換部４７－１乃至４７－３、および４７－１１乃至４７－１３をそれぞれ設けるようにして、画素アレイ４４の上半分のブロック１０２については、サブブロック１０３単位となる画素１１１の３列ごとに、上部に設けられたカラムAD変換部４７－１乃至４７－３によりAD変換させ、画素アレイ４４の下半分のブロック１０２については、サブブロック１０３単位となる画素１１１の３列ごとに、下部に設けられたカラムAD変換部４７－１乃至４７－３によりAD変換させるようにしてもよい。
このような構成により、通常の画素１１１を８個加算する際、加算に必要な画素１１１の画素信号が同時に揃えられるので、メモリなどを必要とせず、通常加算画素の画素信号を求めることが可能となる。
また、３行毎に画素信号をAD変換することが可能となるので、AD変換に係る処理速度を向上させることが可能となる。尚、カラムAD変換部４７は、上下に３行ずつ設けるのみならず、さらに、３の倍数行であれば、それ以外の行数分設けるようにしてもよい。尚、カラムAD変換部４７は、サブブロック１０３を構成する画素数に応じた数となる。このため、例えば、サブブロック１０３が、Ｑ個×Ｑ個で構成される場合、カラムAD変換部４７は、Ｑの倍数行ずつ設けられることが望ましい。
＜７．画素配置のバリエーション＞
画素アレイ４４における、通常の画素１１１と、単独画素１１１Ａ、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２、黒画素１１１Ｃ、および白画素１１１Ｄを含む機能画素１１１Ｘとの画素配置のバリエーションは、様々なものが考えられる。
例えば、図３０の左上部で示されるように、サブブロック１０３単位で中心画素と、その上下左右の５カ所に通常の画素１１１が配置され、それ以外の角部の４か所に機能画素１１１Ｘが配置されるようにしてもよい。
また、例えば、図３０の右上部で示されるように、サブブロック１０３単位で中心画素と、その左右の斜め上、左右の斜め下の５が所に画素１１１が配置され、それ以外の４か所に機能画素１１１Ｘが配置されるようにしてもよい。
図３０の左上部および右上部で示されるように、通常の画素１１１をサブブロック１０３内で上下左右対称に配置することで、サブブロック１０３内における色画素の位相ずれの発生を抑制することができる。
すなわち、サブブロック１０３内において、対称に通常画素が配置されない場合、細い斜めの線などを表示する際に、ある角度で画素がかけて色偽が発生することがある。このため、サブブロック１０３内で上下左右対称に通常の画素１１１が配置されることにより、色偽の発生を抑制することが可能となる。
また、通常の画素１１１と機能画素１１１Ｘとの数を揃えることで、画素１１１と機能画素１１１Ｘの出力レベルの比を揃えることが可能となる。
さらに、図３０の右下部で示されるように、ブロック１０２単位で、右下部の画素については、すなわち、Ｂサブブロック１０３の右下の画素のみを、黒画素１１１Ｃとするようにしてもよい。
この場合、サブブロック１０３内で黒画素１１１Ｃを除く機能画素１１１Ｘは非対称に配置されることになるが、サブブロック１０３内で通常の画素１１１は、上下左右に対称に配置されるので、色画素の位相ずれの発生は抑制される。また、黒画素１１１Ｃは均等に配置されるので、適切に２次元的な黒レベルの変化を補正することが可能となる。
さらに、図３１の左上部で示されるように、サブブロック１０３単位で、中心画素から見て左右の斜め上部には、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２を配置し、左右斜め下部には、黒画素１１１Ｃを配置し、それ以外の５画素を通常の画素１１１とするようにしてもよい。
また、図３１の左下部で示されるように、Ｇサブブロック１０３については、中心画素から見て右側の斜め上下部には、位相差検波用画素１１１Ｂ’－１，１１１Ｂ’－２が配置され、左側の斜め上下部には、黒画素１１１Ｃが配置され、それ以外の５画素が通常の画素１１１とされるようにし、Ｒ，Ｂサブブロック１０３については、中心画素から見て左右の斜め上部には、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２が配置され、左右斜め下部には、黒画素１１１Ｃが配置され、それ以外の５画素が通常の画素１１１とされるようにしてもよい。尚、各ブロック１０２のベイヤ配列のＲＧＢサブブロック１０３の配置は、図３に対応したものである。
さらに、図３１の右上部で示されるように、図３１の左上部の画素配置に対して、サブブロック１０３内の中心の画素１１１を白画素１１１Ｄに代えるようにしてもよい。
同様に、図３１の右下部で示されるように、図３１の左下部の画素配置に対して、サブブロック１０３内の中心の画素１１１を白画素１１１Ｄに代えるようにしてもよい。
図３１のいずれにおいても、通常の画素１１１は、サブブロック１０３内において、上下左右に対して対称に配置されるので、位相ずれの発生を抑制することが可能となる。
また、以上においては、サブブロック１０３が３画素×３画素の合計９画素で構成される例について説明してきたが、サブブロック１０３を構成する画素数は、それ以外の画素数であってもよく、例えば、４画素×４画素により構成されるようにしてもよい。
例えば、図３２の左上部で示されるように、４画素×４画素で構成されるサブブロック１０３のうち、中央の２画素×２画素については、左右のそれぞれに位相差検波用画素１１１Ｂ－１，１１１Ｂ－２が配置され、それ以外の１２画素については、通常の画素１１１が配置されるようにしてもよい。
また、例えば、図３２の右上部で示されるように、４画素×４画素で構成されるサブブロック１０３のうち、Ｇサブブロック１０３の中央の２画素×２画素については、左右に位相差検波用画素１１１Ｂ－１，１１１Ｂ－２が配置され、それ以外の１２画素については、通常の画素１１１が配置されるようにし、Ｂ，Ｒサブブロック１０３の中央の２画素×２画素については、左右に位相差検波用画素１１１Ｂ’－１，１１１Ｂ’－２が配置され、それ以外の１２画素については、通常の画素１１１が配置されるようにしてもよい。
さらに、例えば、図３２の左下部で示されるように、４画素×４画素で構成されるサブブロック１０３のうち、中央上段の２画素については、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２が配置され、中央下段の２画素については、黒画素１１１Ｃが配置され、それ以外の１２画素については、通常の画素１１１が配置されるようにしてもよい。
また、例えば、図３２の右下部で示されるように、４画素×４画素で構成されるサブブロック１０３のうち、Ｇサブブロック１０３の中央上段の２画素については、位相差検波用画素１１１Ｂ－１，１１１Ｂ－２が配置され、中央下段の２画素については、黒画素１１１Ｃが配置され、それ以外の１２画素については、通常の画素１１１が配置されるようにし、Ｂ，Ｒサブブロック１０３の中央左側の２画素については、位相差検波用画素１１１Ｂ’－１，１１１Ｂ’－２が配置され、中央右側の２画素については、黒画素１１１Ｃが配置され、それ以外の１２画素については、通常の画素１１１が配置されるようにしてもよい。
図３２のいずれにおいても、通常の画素１１１は、サブブロック１０３内において、上下左右に対して対称に配置されるので、位相ずれの発生を抑制することが可能となる。
さらに、サブブロック１０３は、２画素×２画素により構成されるようにしてもよい。
例えば、図３３で示されるように、ブロック１０２を構成する上段の２つのサブブロック１０３については、右下部に位相差検波用画素１１１Ｂ－１，１１１Ｂ－２が設けられ、ブロック１０２を構成する下段の２つのサブブロック１０３については、右下部に黒画素１１１Ｃが設けられるようにしてもよい。
すなわち、２画素×２画素のサブブロック１０３内において、１／４の画素が機能画素Ｘとされる。
従って、機能画素Ｘは、図３３で示される位相差検波用画素１１１Ｂおよび黒画素１１１Ｃのみならず、白画素１１１Ｄや単独画素１１１Ａなどであってもよい。
この場合、通常の画素１１１は、サブブロック１０３単位で上下左右に対して非対称であるが、加算される３個の画素１１１の配置は、いずれのサブブロック１０３においても同一であるので、位相のずれは抑制される。すなわち、通常加算画素として使用される画素１１１の配置がサブブロック１０３単位で同一であれば、サブブロック１０３を構成する画素数に関わらず、その配置が非対称であってもよい。
また、サブブロック１０３において、通常画素１１１が上下左右対称に構成される限り、他の位置には、様々な機能画素１１１Ｘを様々な組み合わせで配置するようにしてもよい。
以上の如く、本開示の電子機器によれば、通常の画像と異なる情報を得るために、画素配列のいずれかの画素を、所望の情報を得る専用の機能画素として構成しても、撮像画像の画質の劣化を抑制することが可能となる。
尚、本開示は、以下のような構成も取ることができる。
＜１＞ 画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、
前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子を備え、
前記撮像素子により撮像される画像は、色の単位の集合となるブロックより構成され、
前記ブロックは、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、
前記サブブロックを構成する複数の画素の配置のうち、前記通常画素は、前記サブブロック内において上下左右対称に配置される
固体撮像装置。
＜２＞ 前記色配列は、ベイヤ配列、ストライプ配列、市松配列、または、インタライン配列である
＜１＞に記載の固体撮像装置。
＜３＞ 前記サブブロックを構成する複数の通常画素の、それぞれの画素信号が加算されて、前記サブブロック単位の通常加算画素の画素信号として出力される
＜１＞または＜２＞に記載の固体撮像装置。
＜４＞ 前記機能画素は、前記通常画素と同一の機能を備えた画素であり、前記通常画素と異なる露光時間で、かつ、同一感度の前記画像を撮像する
＜３＞に記載の固体撮像装置。
＜５＞ 前記機能画素は、前記通常画素と同一の機能を備えた画素であり、前記通常画素と同一の露光時間で、かつ、異なる感度の前記画像を撮像する
＜３＞に記載の固体撮像装置。
＜６＞ 前記機能画素は、焦点距離に応じた位相差を検波する位相差検波用画素である
＜３＞に記載の固体撮像装置。
＜７＞ 前記撮像素子は、前記位相差検波用画素からなる前記機能画素により検波される位相差を示す信号を出力した後、前記通常画素の画素信号を出力する
＜６＞に記載の固体撮像装置。
＜８＞ 前記撮像素子に入射する光の焦点を調整するレンズと、
前記レンズの焦点距離を制御するレンズ制御部とをさらに含み、
前記レンズ制御部は、前記位相差検波用画素により検波された位相差に応じて、前記レンズのデフォーカス量を算出し、前記デフォーカス量に基づいて、前記レンズの焦点距離を制御する
＜７＞に記載の固体撮像装置。
＜９＞ 前記位相差検波用画素は、水平方向の位相差を検波する
＜６＞に記載の固体撮像装置。
＜１０＞ 前記位相差検波用画素は、垂直方向の位相差を検波する
＜６＞に記載の固体撮像装置。
＜１１＞ 前記機能画素は、黒画素であり、黒レベルを出力する
＜３＞に記載の固体撮像装置。
＜１２＞ 前記黒画素は、全面遮光された画素である
＜１１＞に記載の固体撮像装置。
＜１３＞ 前記通常加算画素の画素信号より、前記黒画素の前記黒レベルを減算してクランプするクランプ部をさらに含む
＜１１＞に記載の固体撮像装置。
＜１４＞ 前記機能画素は、白画素であり、輝度信号を出力する
＜３＞に記載の固体撮像装置。
＜１５＞ 前記白画素は、カラーフィルタが透明の画素、または、前記カラーフィルタのない画素である
＜１４＞に記載の固体撮像装置。
＜１６＞ 前記通常加算画素の画素信号にLPF（Low Pass Filter）を掛けるLPF部と、
前記輝度信号にHPF（High Pass Filter）を掛けるHPF部と、
前記LPF部の出力と、前記HPF部の出力を加算する加算部とをさらに含む
＜１４＞に記載の固体撮像装置。
＜１７＞ 前記撮像素子を構成するアレイ状に配置された前記画素より出力される信号を行単位でアナログデジタル変換するカラムAD変換部をさらに含み、
前記カラムAD変換部は、前記サブブロックを構成する行数の倍数分だけ設けられる
＜１＞乃至＜１６＞のいずれかに記載の固体撮像装置。
＜１８＞ 画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、
前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子を備え、
前記撮像素子により撮像される画像は、色の単位の集合となるブロックより構成され、
前記ブロックは、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、
前記サブブロックを構成する複数の画素の配置のうち、前記通常画素は、前記サブブロック内において上下左右対称に配置される
電子機器。
１０２ ブロック， １０３ サブブロック， １１１ 画素， １１４ 撮像用画素，１３１ 位相差検波用画素， ３１１ レンズ，３１２ 光学フィルタ， ３２２ クランプ部， ３２３ デモザイク部， ３２５ 輝度クロマ信号生成部， ３２６ インタフェース部， ３３０ クランプ部， ３７４ 位相差検波部， ３７５ レンズ制御部

Claims (18)

  1. 画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、
    前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子を備え、
    前記撮像素子により撮像される画像は、色の単位の集合となるブロックより構成され、
    前記ブロックは、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、
    前記サブブロックを構成する複数の画素の配置のうち、前記通常画素は、前記サブブロック内において上下左右対称に配置される
    固体撮像装置。
  2. 前記色配列は、ベイヤ配列、ストライプ配列、市松配列、または、インタライン配列である
    請求項１に記載の固体撮像装置。
  3. 前記サブブロックを構成する複数の通常画素の、それぞれの画素信号が加算されて、前記サブブロック単位の通常加算画素の画素信号として出力される
    請求項１に記載の固体撮像装置。
  4. 前記機能画素は、前記通常画素と同一の機能を備えた画素であり、前記通常画素と異なる露光時間で、かつ、同一感度の前記画像を撮像する
    請求項３に記載の固体撮像装置。
  5. 前記機能画素は、前記通常画素と同一の機能を備えた画素であり、前記通常画素と同一の露光時間で、かつ、異なる感度の前記画像を撮像する
    請求項３に記載の固体撮像装置。
  6. 前記機能画素は、焦点距離に応じた位相差を検波する位相差検波用画素である
    請求項３に記載の固体撮像装置。
  7. 前記撮像素子は、前記位相差検波用画素からなる前記機能画素により検波される位相差を示す信号を出力した後、前記通常画素の画素信号を出力する
    請求項６に記載の固体撮像装置。
  8. 前記撮像素子に入射する光の焦点を調整するレンズと、
    前記レンズの焦点距離を制御するレンズ制御部とをさらに含み、
    前記レンズ制御部は、前記位相差検波用画素により検波された位相差に応じて、前記レンズのデフォーカス量を算出し、前記デフォーカス量に基づいて、前記レンズの焦点距離を制御する
    請求項７に記載の固体撮像装置。
  9. 前記位相差検波用画素は、水平方向の位相差を検波する
    請求項６に記載の固体撮像装置。
  10. 前記位相差検波用画素は、垂直方向の位相差を検波する
    請求項６に記載の固体撮像装置。
  11. 前記機能画素は、黒画素であり、黒レベルを出力する
    請求項３に記載の固体撮像装置。
  12. 前記黒画素は、全面遮光された画素である
    請求項１１に記載の固体撮像装置。
  13. 前記通常加算画素の画素信号より、前記黒画素の前記黒レベルを減算してクランプするクランプ部をさらに含む
    請求項１１に記載の固体撮像装置。
  14. 前記機能画素は、白画素であり、輝度信号を出力する
    請求項３に記載の固体撮像装置。
  15. 前記白画素は、カラーフィルタが透明の画素、または、前記カラーフィルタのない画素である
    請求項１４に記載の固体撮像装置。
  16. 前記通常加算画素の画素信号にLPF（Low Pass Filter）を掛けるLPF部と、
    前記輝度信号にHPF（High Pass Filter）を掛けるHPF部と、
    前記LPF部の出力と、前記HPF部の出力を加算する加算部とをさらに含む
    請求項１４に記載の固体撮像装置。
  17. 前記撮像素子を構成するアレイ状に配置された前記画素より出力される信号を行単位でアナログデジタル変換するカラムAD変換部をさらに含み、
    前記カラムAD変換部は、前記サブブロックを構成する行数の倍数分だけ設けられる
    請求項１に記載の固体撮像装置。
  18. 画像を撮像し、対応する画素信号を発生する画素からなる通常画素と、
    前記画像の撮像に必要な信号を発生する画素からなる機能画素とを含む撮像素子を備え、
    前記撮像素子により撮像される画像は、色の単位の集合となるブロックより構成され、
    前記ブロックは、色毎に、同一の色の複数の画素からなるサブブロックが、所定の色配列で配置されることで構成され、
    前記サブブロックを構成する複数の画素の配置のうち、前記通常画素は、前記サブブロック内において上下左右対称に配置される
    電子機器。
JP2019514362A 2017-04-25 2018-04-11 固体撮像装置および電子機器 Active JP7099446B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017085906 2017-04-25
JP2017085906 2017-04-25
PCT/JP2018/015157 WO2018198766A1 (ja) 2017-04-25 2018-04-11 固体撮像装置および電子機器

Publications (2)

Publication Number Publication Date
JPWO2018198766A1 JPWO2018198766A1 (ja) 2020-02-27
JP7099446B2 true JP7099446B2 (ja) 2022-07-12

Family

ID=63919711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019514362A Active JP7099446B2 (ja) 2017-04-25 2018-04-11 固体撮像装置および電子機器

Country Status (4)

Country Link
US (3) US11233957B2 (ja)
EP (2) EP3618430B1 (ja)
JP (1) JP7099446B2 (ja)
WO (1) WO2018198766A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5999750B2 (ja) * 2011-08-25 2016-09-28 ソニー株式会社 撮像素子、撮像装置及び生体撮像装置
US11503201B2 (en) * 2017-10-13 2022-11-15 Sony Corporation Focus detection device and method
CN111436209A (zh) * 2018-11-12 2020-07-21 深圳市汇顶科技股份有限公司 一种光学传感装置和终端
WO2020262193A1 (ja) * 2019-06-25 2020-12-30 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
EP4035942A4 (en) * 2019-09-24 2022-11-30 Sony Semiconductor Solutions Corporation IMAGING DEVICE
CN114793262B (zh) * 2021-01-26 2024-06-14 华为技术有限公司 一种图像传感器、摄像头、电子设备及控制方法
US11706537B2 (en) * 2021-05-11 2023-07-18 Omnivision Technologies, Inc. Image sensor and method for reading out signal of image sensor
WO2024084930A1 (ja) * 2022-10-17 2024-04-25 ソニーグループ株式会社 固体撮像装置およびその駆動方法、並びに電子機器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013175898A (ja) 2012-02-24 2013-09-05 Canon Inc 撮像装置
JP2014135564A (ja) 2013-01-08 2014-07-24 Canon Inc 撮像装置および画像処理装置
JP2016100879A (ja) 2014-11-26 2016-05-30 オリンパス株式会社 撮像装置、画像処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5040458B2 (ja) * 2007-06-16 2012-10-03 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置
JP5954964B2 (ja) 2011-02-18 2016-07-20 キヤノン株式会社 撮像装置およびその制御方法
JP2013066146A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
EP2800379A4 (en) * 2011-12-27 2015-12-23 Fujifilm Corp COLOR IMAGING ELEMENT
WO2014006784A1 (ja) 2012-07-06 2014-01-09 富士フイルム株式会社 撮像装置及び画像処理方法
JP5787856B2 (ja) 2012-09-24 2015-09-30 株式会社東芝 固体撮像装置
CN110225270A (zh) * 2013-10-02 2019-09-10 株式会社尼康 摄像元件以及摄像装置
JP6233188B2 (ja) * 2013-12-12 2017-11-22 ソニー株式会社 固体撮像素子およびその製造方法、並びに電子機器
JP2017003832A (ja) * 2015-06-12 2017-01-05 キヤノン株式会社 自動焦点調節装置および光学機器
KR102684722B1 (ko) * 2019-03-25 2024-07-12 삼성전자주식회사 이미지 센서 및 그 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013175898A (ja) 2012-02-24 2013-09-05 Canon Inc 撮像装置
JP2014135564A (ja) 2013-01-08 2014-07-24 Canon Inc 撮像装置および画像処理装置
JP2016100879A (ja) 2014-11-26 2016-05-30 オリンパス株式会社 撮像装置、画像処理方法

Also Published As

Publication number Publication date
WO2018198766A1 (ja) 2018-11-01
EP3618430A1 (en) 2020-03-04
EP3618430A4 (en) 2020-03-04
EP3618430B1 (en) 2022-02-09
JPWO2018198766A1 (ja) 2020-02-27
US11233957B2 (en) 2022-01-25
US20220132058A1 (en) 2022-04-28
US20230239589A1 (en) 2023-07-27
US11637975B2 (en) 2023-04-25
EP4027640A1 (en) 2022-07-13
US20210105423A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
JP7099446B2 (ja) 固体撮像装置および電子機器
US7978240B2 (en) Enhancing image quality imaging unit and image sensor
JP5319347B2 (ja) 撮像装置及びその制御方法
US8587681B2 (en) Extended depth of field for image sensor
KR100827238B1 (ko) 고화질 영상을 위한 영상 표시 방법 및 장치
US10630920B2 (en) Image processing apparatus
JP5946421B2 (ja) 撮像装置及びその制御方法
CN107547807B (zh) 用于减少空间闪烁伪影的装置和成像***
JP6800618B2 (ja) 撮像素子、撮像装置、および撮像信号処理方法
JP4253634B2 (ja) デジタルカメラ
JP5454348B2 (ja) 撮像装置および画像処理装置
JP2006270364A (ja) 固体撮像素子および固体撮像装置、ならびにその駆動方法
JP2010147785A (ja) 固体撮像素子及び撮像装置並びにその画像補正方法
US20110063481A1 (en) Solid-state imaging device and electronic apparatus
JP2022115944A (ja) 撮像装置
JP5033711B2 (ja) 撮像装置及び撮像装置の駆動方法
JP4295149B2 (ja) 色シェーディング補正方法および固体撮像装置
JP2015103971A (ja) 固体撮像装置及びデジタルカメラ
JP2006121151A (ja) 信号処理方法および信号処理装置並びに物理情報取得装置
JP2006014117A (ja) 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置
JP2007174032A (ja) 撮像装置
JP2003101815A (ja) 信号処理装置及び信号処理方法
WO2020049867A1 (ja) 撮像装置、および撮像素子
JP2009049524A (ja) 撮像装置及び信号処理方法
WO2021192176A1 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220613

R151 Written notification of patent or utility model registration

Ref document number: 7099446

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151