JP7063788B2 - Electronics - Google Patents
Electronics Download PDFInfo
- Publication number
- JP7063788B2 JP7063788B2 JP2018196396A JP2018196396A JP7063788B2 JP 7063788 B2 JP7063788 B2 JP 7063788B2 JP 2018196396 A JP2018196396 A JP 2018196396A JP 2018196396 A JP2018196396 A JP 2018196396A JP 7063788 B2 JP7063788 B2 JP 7063788B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- unit
- electronic device
- circuit
- semiconductor chip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 172
- 238000006243 chemical reaction Methods 0.000 claims description 61
- 238000012546 transfer Methods 0.000 claims description 24
- 230000003321 amplification Effects 0.000 claims description 12
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 12
- 238000009792 diffusion process Methods 0.000 claims description 10
- 239000004065 semiconductor Substances 0.000 claims 51
- 238000003384 imaging method Methods 0.000 description 62
- 230000035508 accumulation Effects 0.000 description 38
- 238000009825 accumulation Methods 0.000 description 38
- 238000001514 detection method Methods 0.000 description 31
- 230000000875 corresponding effect Effects 0.000 description 27
- 238000000034 method Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 230000035945 sensitivity Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002161 passivation Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 239000007790 solid phase Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/745—Circuitry for generating timing or clock signals
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14634—Assemblies, i.e. Hybrid structures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1464—Back illuminated imager structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/51—Control of the gain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Power Engineering (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Description
本発明は、電子機器に関する。 The present invention relates to electronic devices.
裏面照射型撮像チップと信号処理チップとが積層された撮像素子(以下、この撮像素子を積層型撮像素子という。)を備えた電子機器が提案されている(例えば特許文献1参照)。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、複数画素をまとめたブロック単位ごとにマイクロバンプを介して接続されるように積層されている。 An electronic device including an image pickup device in which a back-illuminated image pickup chip and a signal processing chip are laminated (hereinafter, this image pickup device is referred to as a stacked image pickup device) has been proposed (see, for example, Patent Document 1). In the stacked image sensor, the back-illuminated image pickup chip and the signal processing chip are laminated so as to be connected to each other in block units in which a plurality of pixels are grouped via microbumps.
しかし、従来の積層型撮像素子を備えた電子機器において、複数のブロック単位ごとに撮像して画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分ではなかった。 However, in the conventional electronic device equipped with a stacked image sensor, there are not many proposals for acquiring an image by taking an image for each of a plurality of blocks, and the usability of the electronic device provided with the stacked image sensor is not sufficient.
本発明の態様では、撮像領域を異なる撮像条件が設定された複数の領域に分割し、複数の領域に対応する複数の動画を生成することを目的とする。 An object of the present invention is to divide an imaging region into a plurality of regions in which different imaging conditions are set, and to generate a plurality of moving images corresponding to the plurality of regions.
本発明の態様によれば、光を電荷に変換する光電変換部を有する複数の画素と、複数の画素のうち、行方向と列方向とにそれぞれ並んで配置される複数の第1画素に接続され、複数の第1画素を制御するための第1制御信号が出力される第1制御線と、複数の画素のうち、行方向と前記列方向とにそれぞれ並んで配置される複数の第2画素に接続され、複数の第2画素を制御するための第2制御信号が出力される第2制御線とを有する撮像素子と、第1画素から出力される第1信号に基づく第1動画像データと、第2画素から出力される第2信号に基づく第2動画像データとを生成する生成部と、を備える電子機器が提供される。 According to the aspect of the present invention, a plurality of pixels having a photoelectric conversion unit that converts light into charges, and a plurality of first pixels arranged side by side in the row direction and the column direction among the plurality of pixels. A first control line connected to a pixel and outputting a first control signal for controlling a plurality of first pixels, and a plurality of pixels arranged side by side in the row direction and the column direction , respectively . An image sensor having a second control line connected to a plurality of second pixels and outputting a second control signal for controlling the plurality of second pixels, and a first signal output from the first pixel. An electronic device including a generation unit for generating a first moving image data based on the above and a second moving image data based on a second signal output from a second pixel is provided .
本発明の第2態様によれば、撮像領域の第1領域と第1領域とは異なる第2領域とでそれぞれ第1動画と第2動画とを生成する撮像素子を有する電子機器が提供される。 According to the second aspect of the present invention, there is provided an electronic device having an image pickup element that generates a first moving image and a second moving image in a first region of an imaging region and a second region different from the first region, respectively. ..
本発明の第3態様によれば、撮像素子の撮像領域の第1領域と第1領域とは異なる第2領域との撮像条件を設定する設定部と、第1領域と第2領域とで撮像した第1動画と第2動画とを生成する動画生成部とを有する電子機器が提供される。 According to the third aspect of the present invention, an image pickup is performed in the setting unit for setting the image pickup conditions of the first area of the image pickup region of the image pickup device and the second region different from the first region, and the first region and the second region. An electronic device having a moving image generating unit for generating the first moving image and the second moving image is provided.
本発明の第4態様によれば、撮像素子を有する撮像部と、撮像素子の撮像領域を少なくとも第1領域と第2領域とに分割する分割部と、第1領域と第2領域とで異なる撮像条件を設定する撮像制御部と、第1領域の撮像による第1動画と、第2領域の撮像による第2動画とのそれぞれを生成する動画生成部と、を備える電子機器が提供される。 According to the fourth aspect of the present invention, the image pickup unit having the image pickup element, the divided portion that divides the image pickup region of the image pickup element into at least the first region and the second region, and the first region and the second region are different. An electronic device including an image pickup control unit for setting image pickup conditions and a moving image generation unit for generating a first moving image obtained by imaging a first region and a second moving image obtained by imaging a second region is provided.
本発明の第5態様によれば、撮像部を有する電子機器の制御方法であって、撮像素子の撮像領域を少なくとも第1領域と第2領域とに分割することと、第1領域と第2領域とで異なる撮像条件を設定することと、第1領域の撮像による第1動画と、第2領域の撮像による第2動画とのそれぞれを生成することと、を含む電子機器の制御方法が提供される。 According to the fifth aspect of the present invention, it is a control method of an electronic device having an image pickup unit, in which an image pickup region of an image pickup device is divided into at least a first region and a second region, and a first region and a second region. Provided is a control method of an electronic device including setting different imaging conditions for each region and generating each of a first moving image obtained by imaging the first region and a second moving image obtained by imaging the second region. Will be done.
本発明の第6態様によれば、撮像部を有する電子機器の制御装置に、撮像素子の撮像領域を少なくとも第1領域と第2領域とに分割する分割処理と、第1領域と第2領域とで異なる撮像条件を設定する撮像制御処理と、第1領域の撮像による第1動画と、第2領域の撮像による第2動画とのそれぞれを生成する動画生成処理と、を実行させる制御プログラムが提供される。 According to the sixth aspect of the present invention, in the control device of the electronic device having the image pickup unit, the image pickup region of the image pickup device is divided into at least a first region and a second region, and the first region and the second region are divided. A control program that executes an imaging control process that sets different imaging conditions and a moving image generation process that generates a first moving image by imaging in the first region and a second moving image by imaging in the second region. Provided.
本発明の態様によれば、異なる撮像条件が設定された複数の領域に対応する複数の動画を生成することができる。 According to the aspect of the present invention, it is possible to generate a plurality of moving images corresponding to a plurality of regions in which different imaging conditions are set.
以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現している。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the present invention is not limited to this. Further, in the drawings, in order to explain the embodiment, a part thereof is described in a large or emphasized manner, and the scale is appropriately changed.
<第1実施形態>
図1は、積層型撮像素子の断面図である。なお、この積層型撮像素子100は、本願出願人が先に出願した特願2012-139026号に記載されているものである。撮像素子100は、入射光に対応した画素信号を出力する撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111、及びメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
<First Embodiment>
FIG. 1 is a cross-sectional view of a stacked image sensor. The laminated
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸及びX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
As shown in the figure, the incident light is mainly incident in the Z-axis plus direction indicated by the white arrow. In the present embodiment, in the
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード(Photodiode;以下、PDという。)104、及び、PD104に対応して設けられたトランジスタ105を有する。
An example of the
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、可視光のうち特定の波長領域を通過させるフィルタである。このカラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104、及びトランジスタ105の組が一つの画素を形成する。
A
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
A
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。配線層108の表面には複数のバンプ109が配される。これら複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされる。そして、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
The
同様に、信号処理チップ111及びメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされる。そして、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
Similarly, a plurality of
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、例えば後述する一つの単位グループに対して一つ程度設ければよい。従って、バンプ109の大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域(図2に示す画素領域113A)以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。
The bonding between the
信号処理チップ111は、表面及び裏面にそれぞれ設けられた回路を互いに接続するTSV(Through-Silicon Via;シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられる。また、TSV110は、撮像チップ113の周辺領域や、メモリチップ112に設けられてもよい。
The
図2は、撮像チップの画素配列と単位グループを説明する図である。図2では、特に、撮像チップ113を裏面側から観察した様子を示す。撮像チップ113において画素が配列された領域を画素領域113Aという。画素領域113Aには2000万個以上もの画素がマトリックス状に配列されている。図2に示す例では、隣接する4画素×4画素の16画素が一つの単位グループ131を形成する。図2の格子線は、隣接する画素がグループ化されて単位グループ131を形成する概念を示す。単位グループ131を形成する画素の数はこれに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
FIG. 2 is a diagram illustrating a pixel arrangement and a unit group of an imaging chip. FIG. 2 shows, in particular, a state in which the
画素領域113Aの部分拡大図に示すように、単位グループ131は、緑色画素Gb,Gr、青色画素B、及び赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素は、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素は、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
As shown in the partially enlarged view of the
図3は、撮像チップの単位グループに対応する回路図である。図3において、代表的に点線で囲む矩形が、1画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図1のトランジスタ105に対応する。
FIG. 3 is a circuit diagram corresponding to a unit group of imaging chips. In FIG. 3, a rectangle surrounded by a dotted line typically represents a circuit corresponding to one pixel. It should be noted that at least a part of each transistor described below corresponds to the
上述したように、単位グループ131は、16画素から形成される。それぞれの画素に対応する16個のPD104は、それぞれ転送トランジスタ302に接続される。各転送トランジスタ302のゲートには、転送パルスが供給されるTX配線307に接続される。本実施形態において、TX配線307は、16個の転送トランジスタ302に対して共通接続される。
As described above, the
各転送トランジスタ302のドレインは、対応する各リセットトランジスタ303のソースに接続されるとともに、転送トランジスタ302のドレインと各リセットトランジスタ303のソース間のいわゆるフローティングディフュージョンFD(電荷検出部)が増幅トランジスタ304のゲートに接続される。各リセットトランジスタ303のドレインは電源電圧が供給されるVdd配線310に接続される。各リセットトランジスタ303のゲートはリセットパルスが供給されるリセット配線306に接続される。本実施形態において、リセット配線306は、16個のリセットトランジスタ303に対して共通接続される。
The drain of each
各々の増幅トランジスタ304のドレインは電源電圧が供給されるVdd配線310に接続される。また、各々の増幅トランジスタ304のソースは、対応する各々の選択トランジスタ305のドレインに接続される。各々の選択トランジスタ305のゲートには、選択パルスが供給されるデコーダ配線308に接続される。本実施形態において、デコーダ配線308は、16個の選択トランジスタ305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ305のソースは、共通の出力配線309に接続される。負荷電流源311は、出力配線309に電流を供給する。すなわち、選択トランジスタ305に対する出力配線309は、ソースフォロアにより形成される。なお、負荷電流源311は、撮像チップ113側に設けてもよいし、信号処理チップ111側に設けてもよい。
The drain of each
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線306を通じてリセットパルスがリセットトランジスタ303に印加される。これと同時に、TX配線307を通じて転送パルスが転送トランジスタ302に印加される。これにより、PD104及びフローティングディフュージョンFDの電位はリセットされる。
Here, the flow from the start of charge accumulation to the pixel output after the end of accumulation will be described. A reset pulse is applied to the
PD104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、PD104において蓄積された電荷はフローティングディフュージョンFDへ転送される。これにより、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線308を通じて選択パルスが選択トランジスタ305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ304及び選択トランジスタ305を介して出力配線309に伝わる。このような回路の動作により、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線309に出力される。
When the application of the transfer pulse is released, the
図3に示すように、本実施形態においては、単位グループ131を形成する16画素に対して、リセット配線306とTX配線307が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、16画素すべてに対して同時に印加される。従って、単位グループ131を形成するすべての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ305に選択パルスが順次印加されることにより、選択的に出力配線309に出力される。また、リセット配線306、TX配線307、出力配線309は、単位グループ131ごとに別個に設けられる。
As shown in FIG. 3, in the present embodiment, the
このように単位グループ131を基準として回路を構成することにより、単位グループ131ごとに電荷蓄積時間を制御することができる。換言すると、単位グループ131間で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ131に1回の電荷蓄積を行わせている間に、他方の単位グループ131に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ131間で異なるフレームレートで動画用の各フレームを出力することもできる。
By configuring the circuit with the
図4は、撮像素子の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位グループ131を形成する16個のPD104を順番に選択する。そして、マルチプレクサ411は、16個のPD104のそれぞれの画素信号を当該単位グループ131に対応して設けられた出力配線309へ出力させる。マルチプレクサ411は、PD104とともに、撮像チップ113に形成される。
FIG. 4 is a block diagram showing a functional configuration of the image pickup device. The
マルチプレクサ411を介して出力されたアナログ信号の画素信号は、信号処理チップ111に形成されたアンプ412により増幅される。そして、アンプ412で増幅された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS;Correlated Double Sampling)・アナログ/デジタル(Analog/Digital)変換を行う信号処理回路413により、相関二重サンプリングの信号処理が行われるとともに、A/D変換(アナログ信号からデジタル信号への変換)が行われる。画素信号が信号処理回路413において相関二重サンプリングの信号処理が行われることにより、画素信号のノイズが低減される。A/D変換された画素信号は、デマルチプレクサ414に引き渡され、それぞれの画素に対応する画素メモリ415に格納される。デマルチプレクサ414及び画素メモリ415は、メモリチップ112に形成される。
The pixel signal of the analog signal output via the
演算回路416は、画素メモリ415に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路416は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図4では1つの単位グループ131の分の接続を示すが、実際にはこれらが単位グループ131ごとに存在して、並列で動作する。ただし、演算回路416は単位グループ131ごとに存在しなくてもよい。例えば、一つの演算回路416がそれぞれの単位グループ131に対応する画素メモリ415の値を順に参照しながらシーケンシャルに処理してもよい。
The
上記した通り、単位グループ131のそれぞれに対応して出力配線309が設けられている。撮像素子100は、撮像チップ113、信号処理チップ111、及びメモリチップ112を積層している。このため、これら出力配線309にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
As described above, the
次に、撮像素子100の画素領域113A(図2参照)に設定されるブロックについて説明する。本実施形態において、撮像素子100の画素領域113Aは、複数のブロックに分割される。複数のブロックは、1ブロックにつき単位グループ131を少なくとも1つ含むように定義される。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数などがあげられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
Next, a block set in the
ここで、電荷の蓄積時間とは、PD104が電荷の蓄積を開始してから終了するまでの時間のことをいう。また、電荷の蓄積回数とは、単位時間あたりにPD104が電荷を蓄積する回数のことをいう。また、フレームレートとは、動画において単位時間あたりに処理(表示又は記録)されるフレーム数を表す値のことをいう。フレームレートの単位はfps(Frames Per Second)で表される。フレームレートが高くなる程、動画における被写体(すなわち撮像される対象物)の動きが滑らかになる。
Here, the charge accumulation time means the time from the start to the end of the charge accumulation of the
また、ゲインとは、アンプ412の利得率(増幅率)のことをいう。このゲインを変更することにより、ISO感度を変更することができる。このISO感度は、ISOで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子100の感度を表現する場合もISO感度が用いられる。この場合、ISO感度は撮像素子100が光をとらえる能力を表す値となる。ゲインを上げるとISO感度も向上する。例えば、ゲインを倍にすると電気信号(画素信号)も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。
Further, the gain means the gain rate (amplification rate) of the
また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が0である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が0.5である場合は、その所定領域内の半分の画素から画素信号を読み出しが行われることを意味する。具体的には、単位グループ131がベイヤー配列である場合、垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位の2画素ずつ(2行ずつ)交互に画素信号が読み出される画素と読み出されない画素とが設定される。なお、画素信号の読み出しの間引きが行われると画像の解像度が低下する。しかし、撮像素子100には2000万以上の画素が配置されているため、例えば間引き率0.5で間引きを行ったとしても、1000万以上の画素で画像を表示することができる。このため、使用者(撮影者)にとって解像度の低下は気にならないものと考えられる。
The thinning rate refers to the ratio of the number of pixels in which the pixel signal is not read out to the total number of pixels in a predetermined area. For example, when the thinning rate of a predetermined area is 0, it means that the pixel signal is read out from all the pixels in the predetermined area. Further, when the thinning rate of the predetermined area is 0.5, it means that the pixel signal is read out from half the pixels in the predetermined area. Specifically, when the
また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数(行数)をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数(列数)をいう。このような加算の処理は、例えば演算回路416において行われる。演算回路416が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路416が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。
Further, the number of lines to be added means the number of pixels (number of lines) in the vertical direction to be added when the pixel signals of pixels adjacent to each other in the vertical direction are added. The number of columns to be added means the number of pixels in the horizontal direction (number of columns) to be added when the pixel signals of pixels adjacent to each other in the horizontal direction are added. Such addition processing is performed, for example, in the
また、デジタル化のビット数とは、信号処理回路413がA/D変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。
The number of bits for digitization means the number of bits when the
本実施形態において、蓄積条件とは、撮像素子100における電荷の蓄積に関する条件のことをいう。具体的には、蓄積条件は、上記した制御パラメータのうち、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインのことをいう。フレームレートは電荷の蓄積時間や蓄積回数に応じて変化し得るので、フレームレートが蓄積条件に含まれる。また、ゲインに応じて適正露出の光量は変化し、適正露出の光量に応じて電荷の蓄積時間又は蓄積回数も変化し得る。このため、ゲインは蓄積条件に含まれる。
In the present embodiment, the storage condition means a condition relating to the storage of electric charge in the
また、撮像条件とは、被写体の撮像に関する条件をいう。具体的には、撮像条件は、上記した蓄積条件を含む制御パラメータのことをいう。撮像条件は、撮像素子100を制御するための制御パラメータ(例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン)のほかに、撮像素子100からの信号の読み出しを制御するための制御パラメータ(例えば、間引き率)、撮像素子100からの信号を処理するための制御パラメータ(例えば、画素信号を加算する加算行数又は加算列数、デジタル化のビット数、後述する画像処理部30が画像処理を実行するための制御パラメータ)も含まれる。
Further, the imaging condition refers to a condition relating to imaging of a subject. Specifically, the imaging condition refers to a control parameter including the above-mentioned accumulation condition. The image pickup conditions include control parameters for controlling the image pickup element 100 (for example, charge accumulation time or number of accumulations, frame rate, gain), as well as control parameters for controlling reading of a signal from the image pickup element 100 (for example,). For example, the thinning rate), control parameters for processing the signal from the image sensor 100 (for example, the number of added rows or columns to add the pixel signal, the number of digitized bits, and the
図5は、第1実施形態に係る電子機器の構成を示すブロック図である。図5に示す電子機器1は、例えば撮像機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどの機器で構成される。図5に示すように、電子機器1は、レンズ部10、撮像部20、画像処理部30、ワークメモリ40、表示部50、操作部55、記録部60、及びシステム制御部70を備える。レンズ部10は、複数のレンズ群から構成された撮像光学系である。このレンズ部10は、被写体からの光束を撮像部20へ導く。このレンズ部10は、電子機器1と一体構成であってもよく、また電子機器1に対して着脱可能な交換式レンズであってもよい。また、このレンズ部10は、フォーカスレンズを内蔵していてもよく、またズームレンズを内蔵していてもよい。
FIG. 5 is a block diagram showing a configuration of an electronic device according to the first embodiment. The
撮像部20は、撮像素子100及び駆動部21を有している。駆動部21は、システム制御部70からの指示に従って、撮像素子100の駆動を制御する制御回路である。ここで、駆動部21は、リセットパルス及び転送パルスをそれぞれリセットトランジスタ303及び転送トランジスタ302に印加するタイミング(又はタイミングの周期)を制御することにより、制御パラメータである電荷の蓄積時間又は蓄積回数を制御する。また、駆動部21は、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ303、転送トランジスタ302、及び選択トランジスタ305に印加するタイミング(又はタイミングの周期)を制御することにより、フレームレートを制御する。また、駆動部21は、リセットパルス、転送パルス、及び選択パルスを印加する画素を設定することにより、間引き率を制御する。
The
また、駆動部21は、アンプ412のゲイン(利得率、増幅率ともいう。)を制御することにより、撮像素子100のISO感度を制御する。また、駆動部21は、演算回路416に指示を送ることにより、画素信号を加算する加算行数又は加算列数を設定する。また、駆動部21は、信号処理回路413に指示を送ることにより、デジタル化のビット数を設定する。さらに、駆動部21は、撮像素子100の画素領域(撮像領域)113Aにおけるブロックの設定を行う。このように、駆動部21は、撮像素子100に対して複数のブロックごとに異なる撮像条件で撮像させて画素信号を出力させる撮像素子制御部の機能を担う。システム制御部70は、駆動部21に対するブロックの位置、形状、範囲などの指示を行う。
Further, the
撮像素子100は、撮像素子100からの画素信号を画像処理部30へ引き渡す。画像処理部30は、ワークメモリ40をワークスペースとして、各画素の画素信号からなるRAWデータに対して種々の画像処理を施し、画像データを生成する。この画像処理部30は第1画像処理部30Aと第2画像処理部30Bとが設けられている。画像処理の負荷が高い場合は、第1画像処理部30A及び第2画像処理部30Bに対して、それぞれ処理が割り当てられる。そして、第1画像処理部30A及び第2画像処理部30Bは、それぞれ、割り当てられた処理を並列に実行する。
The
本実施形態においては、後述するように、システム制御部70(具体的には、図7に示す分割部71)は、撮像素子100の画素領域(撮像領域)113Aを少なくとも第1領域と第2領域とに分割する。また、システム制御部70(具体的には、図7に示す撮像制御部72)は、第1領域と第2領域とで異なる撮像条件によって撮像を行うように撮像素子100を駆動制御する。この場合、例えば、第1画像処理部30Aは、第1領域からの信号の画像処理を実行する。また、第2画像処理部30Bは、第2領域からの信号の画像処理を実行する。なお、撮像素子100の画素領域(撮像領域)113Aは、第1領域と第2領域との2つの領域に分割される場合に限らず、第1領域、第2領域、第3領域・・・というような複数の領域に分割され得る。そして、複数の領域についての画像処理は、適宜、第1画像処理部30Aと第2画像処理部30Bとに割り当てられる。画像処理の割り当ては、分割される領域の数や範囲などによって予め決められていてもよく、また、システム制御部70が分割される領域の数や範囲などに基づいて決定してもよい。
In the present embodiment, as will be described later, the system control unit 70 (specifically, the
画像処理部30は、種々の画像処理を実行する。例えば、画像処理部30は、ベイヤー配列で得られた信号に対して色信号処理(色調補正)を行うことによりRGB画像信号を生成する。また、画像処理部30は、RGB画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部30は、必要に応じて、所定の圧縮形式(JPEG形式、MPEG形式等)で圧縮する処理を行う。画像処理部30は、生成した画像データを記録部60に出力する。また、画像処理部30は、生成した画像データを表示部50に出力する。
The
本実施形態では、画像処理部30は、上記した処理のほかに、画像データから主要被写体を検出する処理を行う。ここで、「主要被写体」とは、撮像される対象物である被写体のうち、使用者(撮影者)に注目される被写体又は使用者に注目されると推定される被写体のことをいう。主要被写体は、画像データ中に1つだけ存在する場合に限らず、複数存在する場合もある(例えば図11参照)。
In the present embodiment, in addition to the above-mentioned processing, the
画像処理部30が画像処理を行う際に参照されるパラメータも制御パラメータ(撮像条件)に含まれる。例えば、色信号処理(色調補正)、ホワイトバランス調整、階調調整、圧縮率などのパラメータが制御パラメータに含まれる。電荷の蓄積時間などに応じて撮像素子100から読み出される信号が変化し、その信号の変化に応じて画像処理を行う際に参照されるパラメータも変化する。画像処理部30は、ブロック単位ごとに異なる制御パラメータを設定し、これらの制御パラメータに基づいて色信号処理などの画像処理を実行する。
The parameters referred to when the
画像処理部30は、撮像部20から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを抽出する。または、画像処理部30は、撮像部20から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを廃棄する。これにより、データ量を減らすことができるため、後段処理の負荷を軽減することができる。また、画像処理部30は、撮像部20から時系列的に得られる複数のフレームに基づいて、各フレーム間に補間する1又は複数のフレームを算出する。そして、画像処理部30は、算出した1又は複数のフレームを各フレーム間に追加する。これにより、動画再生時においてより滑らかな動きの動画を再生することができる。また、駆動部21が間引き率を制御するように構成しているが、このような構成に限られない。例えば、駆動部21はすべての画素から画素信号を読み出すが、画像処理部30又は演算回路416は読み出した画素信号のうち所定の画素信号を廃棄することにより、間引き率を制御するようにしてもよい。
The
ワークメモリ40は、画像処理部30による画像処理が行われる際に画像データなどを一時的に記憶する。表示部50は、例えば液晶表示パネルによって構成されている。この表示部50は、図5に示すように、表示パネル51及びタッチパネル52を有している。表示パネル51は、撮像部20で撮像された画像(静止画、動画、ライブビュー画像)や各種情報を表示する。タッチパネル52は、表示パネル51の表示画面上に形成されている。このタッチパネル52は、使用者が画像中の領域の選択などを行う際に、使用者が触れた位置を示す信号をシステム制御部70に出力する。また、タッチパネル52は、使用者が撮影モード、撮像条件、及び画面切替の設定を行う際に、使用者が触れた位置を示す信号をシステム制御部70に出力する。
The
操作部55は、使用者によって操作されるレリーズスイッチ、動画スイッチ、各種の操作スイッチなどである。この操作部55は、使用者による操作に応じた信号をシステム制御部70に出力する。なお、レリーズスイッチの半押し操作が行われることによって、AF(Automatic Focusing)やAE(Automatic Exposure)などの撮影準備が行われる。
The
記録部60は、メモリカードなどの2つの記憶媒体(第1記録媒体61及び第2記録媒体62)を装着可能な2つのカードスロットを有する。記録部60は、カードスロットに装着された記録媒体(第1記録媒体61及び第2記録媒体62)に画像処理部30において生成された画像データや各種データを記憶する。本実施形態においては、上述したように、第1画像処理部30Aと第2画像処理部30Bとは、それぞれ、第1領域からの信号に基づく画像処理と第2領域からの信号に基づく画像処理とを並列に実行する。この場合、第1記録媒体61は、レリーズスイッチや動画スイッチの操作に応じて、第1領域からの信号に基づく画像データを記憶する。また、第2記録媒体62は、レリーズスイッチや動画スイッチの操作に応じて、第2領域からの信号に基づく画像データを記憶する。また、記録部60は、内部メモリを有する。記録部60は、画像処理部30において生成された画像データや各種データを内部メモリに記録することも可能である。
The
システム制御部70は、電子機器1の全体の処理及び動作を制御する。このシステム制御部70はCPU(Central Processing Unit)70Aを有する。本実施形態において、システム制御部70は、撮像素子100(撮像チップ113)の撮像面(画素領域113A)を複数のブロックに分け、ブロック間において異なる電荷蓄積時間(又は電荷蓄積回数)、フレームレート、ゲインで画像を取得させる。このため、システム制御部70は、ブロックの位置、形状、範囲、及び各ブロック用の蓄積条件を駆動部21に対して指示する。また、システム制御部70は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部70は、各ブロック用の撮像条件(間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数)を駆動部21に対して指示する。また、画像処理部30は、ブロック間で異なる撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)で画像処理を実行する。このため、システム制御部70は、各ブロック用の撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)を画像処理部30に指示する。
The
また、システム制御部70は、画像処理部30において生成された画像データを記録部60に記録させる。また、システム制御部70は、画像処理部30において生成された画像データを表示部50に出力させることにより、表示部50に画像を表示させる。また、システム制御部70は、記録部60に記録されている画像データを読み出して表示部50に出力させることにより、表示部50に画像を表示させる。表示部50に表示される画像としては、静止画、動画、ライブビュー画像が含まれる。ここで、ライブビュー画像は、画像処理部30で生成された画像データを表示部50に順次出力して表示部50に表示される画像である。ライブビュー画像は、撮像部20により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。
Further, the
図6は、表示部における表示画面の一例を示す図である。図6に示すように、表示部50の表示パネル51は、画像表示領域510と操作ボタン表示領域520とが設けられている。画像表示領域510は、撮像部20で撮像された画像、すなわち、静止画、動画、及びライブビュー画像を表示する領域である。また、操作ボタン表示領域520は、使用者が撮像条件などを設定するためのメニューを表示する領域である。
FIG. 6 is a diagram showing an example of a display screen in the display unit. As shown in FIG. 6, the
操作ボタン表示領域520は、画像表示領域510の近傍に設けられている。操作ボタン表示領域520内には、使用者が撮影モード、撮像条件、及び表示画面を設定するためのメニュー(メニュー画像)が表示される。使用者が撮影モードを設定するためのメニューは、撮影モードのボタン521である。使用者が撮像条件を設定するためのメニューは、ISO感度のボタン522、及びフレームレートのボタン523である。使用者が画面の切替を設定するためのメニューは、画面切替のボタン524である。以下、撮影モードのボタン521、ISO感度のボタン522、フレームレートのボタン523、及び画面切替のボタン524のことを、それぞれ、単に、「撮影モード521」、「ISO感度522」、「フレームレート523」、及び「画面切替524」と記す。
The operation
撮影モード521は、使用者が撮影モードを設定(選択)する場合に押すボタンである。ISO感度522は、使用者がISO感度(すなわちゲイン)を設定する場合に押すボタンである。フレームレート523は、使用者が動画のフレームレートを設定する場合に押すボタンである。画面切替524は、使用者が電子ズーム(デジタルズーム)により一部領域の画像を表示画面全体に拡大表示させる場合(図13、図14参照)や、サブ画面に画像を表示させる場合(図14参照)に押すボタンである。
The
ここで、撮影モードとして、静止画を撮影する静止画モードと、動画を撮影する動画モードとが設けられている。また、動画モードとして、第1動画モードと、第2動画モードとが設けられている。静止画モードとは、分割部71が撮像素子100の画素領域(撮像領域)113Aを分割せずに、撮像素子100が画素領域113Aを1つの領域として被写体の静止画を撮影する撮影モードをいう。この静止画モードは、一般に行われている通常の静止画撮影モードである。
Here, as a shooting mode, a still image mode for shooting a still image and a moving image mode for shooting a moving image are provided. Further, as the moving image mode, a first moving image mode and a second moving image mode are provided. The still image mode is a shooting mode in which the
第1動画モードとは、分割部71が撮像素子100の画素領域(撮像領域)113Aを分割せずに、撮像素子100が画素領域113Aを1つの領域として被写体の動画を撮影する撮影モードをいう。この第1動画モードは、一般的に行われている通常の動画撮影モードである。第2動画モードとは、分割部71が画素領域113Aを少なくとも第1領域と第2領域を含む複数の領域に分割し、撮像素子100が複数の領域のそれぞれにおいて同一被写体の動画を撮影する撮影モードをいう。
The first moving image mode is a shooting mode in which the
タッチパネル52が画像表示領域510及び操作ボタン表示領域520上に設けられている。タッチパネル52において、タッチ領域510aが画像表示領域510上に形成されている。タッチ領域510aは、使用者により押された(タッチされた)ことを検出すると、押された位置を示す検出信号をシステム制御部70に出力する。
The
また、タッチ領域521aが撮影モード521上に重なるように形成されている。また、タッチ領域522aがISO感度522上に重なるように形成されている。また、タッチ領域523aがフレームレート523上に重なるように形成されている。また、タッチ領域524aが画面切替524上に重なるように形成されている。各タッチ領域521a~524aは、使用者により押された(タッチされた)ことを検出すると、押された位置(いずれのタッチ領域であるか)を示す検出信号をシステム制御部70に出力する。
Further, the
なお、使用者が撮影モード、撮像条件、及び表示画面の切替を選択する場合に、タッチパネル52の操作に代えて、操作部55の操作を行うようにしてもよい。
When the user selects the switching of the shooting mode, the imaging condition, and the display screen, the
図7は、図5に示す画像処理部及びシステム制御部の機能ブロック図である。図7に示すように、第1画像処理部30Aは画像生成部(動画生成部)31A及び検出部32Aを含んでいる。画像生成部31Aは、撮像部20から出力される第1領域の各画素の画素信号からなるRAWデータに対して種々の画像処理を施して画像データを生成する。また、検出部32Aは、画像生成部31Aで生成した画像データから主要被写体を検出する。本実施形態において、検出部32Aは、画像生成部31Aが生成するライブビュー画像から時系列的に得られる複数の画像データを比較して、移動する被写体(移動被写体)を主要被写体として検出する。また、検出部32Aは、例えば特開2010-16621号公報(US2010/0002940号)に記載されているような顔検出機能を用いて主要被写体の検出を行う。また、検出部32Aは、顔検出に加えて、例えば特開2010-16621号公報(US2010/0002940号)に記載されているように、画像データに含まれる人体を主要被写体として検出する。
FIG. 7 is a functional block diagram of the image processing unit and the system control unit shown in FIG. As shown in FIG. 7, the first
また、第2画像処理部30Bは画像生成部(動画生成部)31Bを含んでいる。画像生成部31Bは、撮像部20から出力される第2領域の各画素の画素信号からなるRAWデータに対して種々の画像処理を施して画像データを生成する。なお、第2画像処理部30Bは検出部を含んでいないが、検出部を含んでもよい。また、第1画像処理部30Aが検出部32Aを含まず、第2画像処理部30Bが検出部を含む構成でもよい。本実施形態において、画像生成部31Aと画像生成部31Bを総称して画像生成部31と記すことがある。
Further, the second
また、システム制御部70は、分割部71、撮像制御部72、記録制御部73、及び表示制御部74を含んでいる。分割部71は、撮像素子100の画素領域(撮像領域)113Aをブロック単位で複数の領域に分割する。この分割部71は、画素領域113Aの各ブロックにおける所定の配列パターンに基づいて画素領域113Aを複数の領域に分割する(図8(A)~(D)参照)。撮像制御部72は、使用者による撮像条件を設定するためのメニュー(ISO感度522、フレームレート523)のタッチ操作に応じて、分割部71が分割した複数の領域において異なる撮像条件を設定する。また、撮像制御部72は、使用者によるレリーズスイッチや動画スイッチの操作に応じて撮像素子100の駆動制御を実行する。また、撮像制御部72は、ライブビュー画像の撮像時(すなわち、電源投入後の撮影動作の開始後)においても、撮像素子100の駆動制御を実行する。
Further, the
記録制御部73は、画像生成部31により生成された複数の領域における動画データをそれぞれ記録部60に記録する制御を行う。例えば、記録制御部73は、画像生成部31Aにより生成された第1領域の画像データを第1記録媒体61に記録し、画像生成部31Bにより生成された第2領域の画像データを第2記録媒体62に記録する。表示制御部74は、画像生成部31によって生成された画像データを表示部50に出力させ、表示部50の画像表示領域510に画像(静止画、動画、ライブビュー画像)を表示させる制御を行う。また、表示制御部74は、使用者による画面切替524の操作に応じて、表示画面の切り替えを行う。例えば、表示制御部74は、使用者による画面切替524の操作に応じて、電子ズームにより一部領域の画像を表示画面全体に拡大表示させ、サブ画面に画像を表示させる。
The
なお、システム制御部70において、分割部71、撮像制御部72、記録制御部73、及び表示制御部74は、CPU70Aが制御プログラムに基づいて処理を実行することにより実現される。
In the
次に、分割部71により設定される各ブロックにおける配列パターンについて説明する。図8は、各ブロックにおける配列パターンを示す図である。ここで、図8(A)は、各ブロックにおける第1配列パターンを示す。また、図8(B)は、各ブロックにおける第2配列パターンを示す。また、図8(C)は、各ブロックにおける第3配列パターンを示す。また、図8(D)は、各ブロックにおける第4配列パターンを示す。
Next, the arrangement pattern in each block set by the
図8(A)に示す第1配列パターンは、画素領域113Aが第1領域と第2領域とに2分割される配列パターンである。この第1配列パターンでは、画素領域113Aにおいて、第1領域が奇数の列(2m-1)のブロックで構成され、第2領域が偶数の列(2m)のブロックで構成されている。すなわち、画素領域113Aにおける各ブロックが奇数列と偶数列とに分割されている。mは正の整数(m=1,2,3,・・・)である。
The first arrangement pattern shown in FIG. 8A is an arrangement pattern in which the
図8(B)に示す第2配列パターンも、画素領域113Aが第1領域と第2領域とに2分割される配列パターンである。この第2配列パターンでは、画素領域113Aにおいて、第1領域が奇数の行(2n-1)のブロックで構成され、第2領域が偶数の行(2n)のブロックで構成されている。すなわち、画素領域113Aにおける各ブロックが奇数行と偶数行とに分割されている。nは正の整数(n=1,2,3,・・・)である。
The second arrangement pattern shown in FIG. 8B is also an arrangement pattern in which the
図8(C)に示す第3配列パターンも、画素領域113Aが第1領域と第2領域とに2分割される配列パターンである。この第3配列パターンでは、画素領域113Aにおいて、奇数の列(2m-1)における奇数の行(2n-1)のブロックと、偶数の列(2m)における偶数の行(2n)のブロックとで第1領域が構成されている。また、偶数の列(2m)における奇数の行(2n-1)のブロックと、奇数の列(2m-1)における偶数の行(2n)のブロックとで第2領域が構成されている。すなわち、画素領域113Aにおける各ブロックが市松模様となるように分割されている。m及びnは正の整数(m=1,2,3,・・・、n=1,2,3,・・・)である。
The third arrangement pattern shown in FIG. 8C is also an arrangement pattern in which the
図8(D)に示す第4配列パターンは、画素領域113Aが第1領域と第2領域と第3領域とに3分割される配列パターンである。この第4配列パターンでは、画素領域113Aにおいて、第1領域が3の倍数の列から2列前の列(3m-2)のブロックで構成され、第2領域が3の倍数の列から1列前の列(3m-1)のブロックで構成され、第3領域が3の倍数の列(3m)のブロックで構成されている。mは正の整数(m=1,2,3,・・・)である。
The fourth arrangement pattern shown in FIG. 8D is an arrangement pattern in which the
なお、図8において、領域ごとのブロックの配置を見えやすくするために、画素領域113Aにおいて少ない数のブロックを設定しているが、図8に示すブロックの数よりも多い数のブロックを設定するようにしてもよい。
In FIG. 8, in order to make the arrangement of blocks in each area easy to see, a small number of blocks are set in the
次に、第1実施形態に係る撮影動作について説明する。図9は、システム制御部が実行する撮影動作を説明するためのフローチャートである。また、図10は、設定処理を説明するためのフローチャートである。図9に示す処理において、電子機器1に電源が投入されると、システム制御部70が撮影動作を開始する。また、図9において示していないが、撮影が開始されると、表示制御部73は、撮像部20で撮像されたライブビュー画像を表示パネル51の画像表示領域510に表示するとともに、表示パネル51の操作ボタン表示領域520に各種メニュー521~524を表示する。このとき、ライブビュー画像は被写体の動きの滑らかな画像である必要がないため、撮像制御部72は、低いフレームレートで撮像するように撮像素子100を駆動制御する。
Next, the shooting operation according to the first embodiment will be described. FIG. 9 is a flowchart for explaining the shooting operation executed by the system control unit. Further, FIG. 10 is a flowchart for explaining the setting process. In the process shown in FIG. 9, when the power is turned on to the
使用者は、撮影モード521をタッチ操作して撮影モードを選択する。分割部71は、使用者による撮影モード521のタッチ操作によって選択された撮影モードを確認する(ステップS1)。分割部71は、使用者により選択された撮影モードが静止画モードであるか否かを判定する(ステップS2)。分割部71は、撮影モードが静止画モードであると判定した場合は、撮影モードを静止画モードに設定する処理を行う(ステップS3)。その後、撮像制御部72は、使用者によりレリーズスイッチの操作(半押し操作に続く、全押し操作)が行われたか否かを判定する(ステップS4)。
The user touches the
撮像制御部72は、レリーズスイッチの操作が行われたと判定した場合は、静止画モードによる撮像を撮像部20に実行させる(ステップS5)。また、ステップS5において、記録制御部73は、撮像部20が撮像した静止画を記録部60(第1記録媒体61又は第1記録媒体61)に記録するように制御する。さらに、ステップS5において、表示制御部74は、撮像部20が撮像した静止画を表示パネル51の画像表示領域510に表示するように制御する。なお、静止画モードによる撮像については、通常の静止画撮影と同様であるため、詳しい説明を省略する。
When the image
また、分割部71は、ステップS2において撮影モードが静止画モードでないと判定した場合、すなわち、撮影モードが動画モードであると判定した場合は、動画モードが第1動画モードであるか否かを判定する(ステップS10)。分割部71は、動画モードが第1動画モードであると判定した場合は、撮影モードを第1動画モードに設定する処理を行う(ステップS11)。一方、分割部71は、動画モードが第1動画モードでないと判定した場合、すなわち、第2動画モードであると判定した場合は、撮影モードを第2動画モードに設定する処理を行う(ステップS12)。
Further, when the dividing
ステップS11又はステップS12の処理において、分割部71は、図10に示す設定処理を実行する。図10に示す処理において、分割部71は、画像処理部30(第1画像処理部30A)に対して主要被写体の検出を指示する(ステップS21)。検出部32Aは、ライブビュー画像から時系列的に得られる複数の画像データを比較して、移動被写体と非移動被写体とを検出する。また、本実施形態では、検出部32Aは、画像データの中から目、口、肌の色などで顔を認識し、顔を主要被写体として検出する。さらに、本実施形態では、検出部32Aは、顔検出に加えて、画像データに含まれる人体(人物)を主要被写体として検出する。そして、検出部32Aは、検出結果を画像データとともにシステム制御部70に出力する。分割部71は、検出部32Aの検出結果に基づいて主要被写体の有無を確認する。そして、分割部71は、画素領域113Aにおいて主要被写体及び撮影モードに応じた領域を設定する(ステップS22)。
In the process of step S11 or step S12, the
具体的には、分割部71は、撮影モードが第1動画モードであるときは、画素領域113Aを複数の領域に分割しない。すなわち、分割部71は、すべての画素領域113Aを1つの領域として設定する。このとき、分割部71は、駆動部21に対してすべての画素領域113Aを1つの領域として設定することを指示する指示信号を出力する。
Specifically, the
一方、分割部71は、撮影モードが第2動画モードであるときは、図8(A)~(D)のいずれかに示した配列パターンを選択する。そして、分割部71は、検出部32Aの検出結果に基づいて、主要被写体が移動被写体であるか否かを確認する。分割部71は、主要被写体が移動被写体でなく非移動被写体である場合は、図8(C)に示した第3配列パターンに従って第1領域と第2領域とを設定する。分割部71は、主要被写体が移動被写体である場合は、移動被写体の移動方向を確認する。移動被写体の移動方向が主に上下方向である場合は、分割部71は、図8(A)に示した第1配列パターンに従って第1領域と第2領域とを設定する。移動被写体の移動方向が主に左右方向である場合は、分割部71は、図8(B)に示した第2配列パターンに従って第1領域と第2領域とを設定する。さらに、移動被写体の上下方向の移動速度が速い場合は、分割部71は、図8(D)に示した第4配列パターンに従って第1領域と第2領域と第3領域とを設定する。なお、分割部71は、ステップS22において、駆動部21に対して各領域(第1領域及び第2領域、第1領域~第3領域)のブロックの位置などを指示する指示信号を出力する。
On the other hand, when the shooting mode is the second moving image mode, the
図11は、第2動画モードが実行されるときの第2配列パターンの設定例を示す図である。なお、図11においては、ブロックの配置を見えやすくするために、各ブロックを大きくして表現している。しかし、実際には図11に示すブロックの大きさよりも小さなブロックが画素領域113Aに設定される。図11に示す例では、検出部32Aは、主要被写体(移動被写体)として、サッカーをしている人物O1,O2と、サッカーボールO3とを検出する。分割部71は、検出部32Aの検出結果に基づいて、主要被写体O1~O3が移動被写体であり、移動被写体の移動方向が主に左右方向であると判定する。その結果、分割部71は、図8(B)に示した第2配列パターンに従って第1領域と第2領域とを設定する。このとき、分割部は、第1領域と第2領域とが主要被写体O1~O3を含むように画素領域113Aの分割を行う。
FIG. 11 is a diagram showing a setting example of the second arrangement pattern when the second moving image mode is executed. In FIG. 11, each block is enlarged to make it easier to see the arrangement of the blocks. However, in reality, a block smaller than the size of the block shown in FIG. 11 is set in the
図10の説明に戻り、撮像制御部72は、使用者によるISO感度522やフレームレート523のタッチ操作に応じて、ステップS22で設定した領域(図11に示す例では、第1領域及び第2領域)ごとの撮像条件を設定する(ステップS23)。具体的には、分割部71は、使用者によるISO感度522やフレームレート523のタッチ操作に応じた撮像条件(ゲイン、フレームレート)を指示する指示信号を駆動部21に出力する。
Returning to the description of FIG. 10, the image
なお、撮像制御部72は、ゲインの変更に応じて、最適な露出になるようなフレームレートの値を自動的に設定するようにしてもよい。また、撮像制御部72は、フレームレートの変更に応じて、最適な露出になるようなゲインの値を自動的に設定するようにしてもよい。また、撮像制御部72は、ゲインやフレームレートの変更に応じて最適な映像補正を行うように、色信号処理、ホワイトバランス調整、階調調整、圧縮率などのパラメータ(撮像条件)を指示する指示信号を画像処理部30に出力してもよい。
The image
ステップS23において、使用者により第1領域と第2領域とで異なるフレームレートの設定が行われた場合は、第1記録媒体61と第2記録媒体62とで、単位時間あたりに記録されるフレーム数が異なることになる。従って、第1記録媒体61と第2記録媒体62とが同じ記録容量である場合は、第1記録媒体61における第1動画の録画時間と第2記録媒体62における第2動画の録画時間も異なることになる。すなわち、第1領域のフレームレートが第2領域のフレームレートよりも高い場合は、第1記録媒体61における第1動画の録画時間が第2記録媒体62における第2動画の録画時間よりも短くなる。
In step S23, when the user sets different frame rates in the first area and the second area, the frames recorded per unit time by the
その後、表示制御部74は、使用者による画面切替524のタッチ操作に応じて、表示画面の設定(切り替え)を行う(ステップS24)。図12は、画像表示領域におけるライブビュー画像の表示例を示す図である。また、図13は、画像表示領域における電子ズームの範囲及び位置を示す図である。また、図14は、画像表示領域におけるサブ画面の範囲及び位置を示す図である。
After that, the
ステップS24において、使用者が画面切替524をタッチ操作していない状態では、図12に示すようなライブビュー画像(複数の人がサッカーをしている画像)が画像表示領域510に表示されている。具体的には、図12に示すライブビュー画像では、主要被写体として、複数の人物O1,O2,O4~O7と、サッカーボールO3と、ゴールO8とが表示されている。
In step S24, when the user does not touch the screen switching 524, a live view image (an image in which a plurality of people are playing soccer) as shown in FIG. 12 is displayed in the
ステップS24において、使用者が画面切替524をタッチ操作して電子ズームを選択した場合は、表示制御部74は、検出部32Aの検出結果に基づいて、主要被写体O1~O8を検出する。また、表示制御部74は、主要被写体O1~O8から、人物の主要被写体O1,O2,O4~O7を検出する。次に、表示制御部74は、図13に示すように、画像表示領域510のうち、人物の主要被写体O1,O2,O4~O7が多数集まっている一部領域511を抽出する。そして、表示制御部74は、図14に示すように、抽出した一部領域511のライブビュー画像を画像表示領域510全面に拡大して表示させる制御を行う。このとき、撮像制御部72は、画像表示領域510のうち、一部領域511以外の領域(ライブビュー画像の表示が行われていない領域)については撮像を実行させないように駆動部21を制御する。これにより、電子ズームによるライブビュー画像の拡大表示が行われているときの消費電力を抑制することができる。
In step S24, when the user touches the screen switching 524 to select the electronic zoom, the
ステップS24において、使用者が画面切替524をタッチ操作してサブ画面(特定領域)512の表示を選択した場合は、表示制御部74は、第1領域又は第2領域におけるライブビュー画像を、図14に示すサブ画面512に表示させる制御を実行する。具体的には、表示制御部74は、画像表示領域510において第1領域のライブビュー画像が表示されているときは、第2領域のライブビュー画像がサブ画面512に表示されるように、画像処理部30に対して第1領域と第2領域のライブビュー画像の合成を指示する。また、表示制御部74は、画像表示領域510において第2領域のライブビュー画像が表示されているときは、第1領域のライブビュー画像がサブ画面512に表示されるように、画像処理部30に対して第1領域と第2領域のライブビュー画像の合成を指示する。そして、表示制御部74は、画像処理部30により合成されたライブビュー画像を表示部50に出力させて、そのライブビュー画像を画像表示領域510に表示させる。なお、図14に示す例では、サブ画面512は、画像表示領域510の右下の隅に設けられている。
In step S24, when the user touches the screen switching 524 to select the display of the sub screen (specific area) 512, the
図9の説明に戻り、撮像制御部72は、使用者により動画スイッチの操作が行われたか否かを判定する(ステップS13)。撮像制御部72は、動画スイッチの操作が行われたと判定した場合は、動画モード(第1動画モード又は第2動画モード)による撮像を撮像部20に実行させる(ステップS14)。なお、第1動画モードによる撮像については、通常の動画撮影と同様であるため、詳しい説明を省略する。
Returning to the description of FIG. 9, the image
図15は、第2動画モードの実行中(ステップS14)の動作を説明するためのフローチャートである。図15に示す処理において、分割部71は、使用者によるブロック配列(すなわち領域)の設定操作が行われたか否かを判定する(ステップS31)。また、撮像制御部72は、使用者による撮像条件の設定操作が行われたか否かを判定する(ステップS31)。本実施形態においては、使用者は、動画撮影の開始前におけるブロック配列や撮像条件の設定(図10のステップS22,S23参照)のほかに、動画撮影の開始後におけるブロック配列や撮像条件の設定を行うことができる。
FIG. 15 is a flowchart for explaining the operation during execution of the second moving image mode (step S14). In the process shown in FIG. 15, the
例えば、使用者が操作部55を操作して、表示パネル51に表示された図8(A)~(D)のいずれかの配列パターンを選択することにより、ブロック配列の設定が行われる。また、例えば、図10のステップS23と同様に、使用者がISO感度522やフレームレート523をタッチ操作することにより、撮像条件(ゲインやフレームレート)の設定が行われる。
For example, the block arrangement is set by the user operating the
分割部71は、使用者によるブロック配列の設定操作が行われたと判定した場合は、ブロック配列の再設定を行う(ステップS32)。すなわち、撮像制御部72は、駆動部21に対して各領域(第1領域及び第2領域、第1領域~第3領域)のブロックの位置などを指示する指示信号を出力する。また、撮像制御部72は、使用者による撮像条件の設定操作が行われたと判定した場合は、撮像条件の再設定を行う(ステップS32)。すなわち、撮像制御部72は、駆動部21に対して撮像条件(ゲインやフレームレート)を指示する指示信号を出力する。
When the
次に、表示制御部74は、使用者により電子ズームを選択する操作(すなわち、画面切替524のタッチ操作)が行われたか否かを判定する(ステップS33)。表示制御部74は、電子ズームを選択する操作が行われたと判定した場合は、図10のステップS24で説明したように、一部領域511を画像表示領域510全面に拡大表示させる制御を行う(ステップS34)。また、表示制御部74は、使用者によりサブ画面512の表示を選択する操作(すなわち、画面切替524のタッチ操作)が行われたか否かを判定する(ステップS35)。表示制御部74は、サブ画面512の表示を選択する操作が行われたと判定した場合は、図10のステップS24で説明したように、画像表示領域510における右下の隅にサブ画面512を表示させる制御を行う(ステップS36)。
Next, the
次に、撮像制御部72は、ステップS22又はステップS32で設定されたブロック配列、ステップS34で電子ズームにより拡大表示が行われている場合は電子ズームの範囲(すなわち一部領域511)、ステップS23又はステップS32で設定された撮像条件において被写体を撮像するように、撮像素子100を駆動制御する(ステップS37)。そして、記録制御部73は、撮像素子100で撮像され、画像処理部30で画像処理された動画の画像データを記録部60に記録する(ステップS38)。具体的には、記録制御部73は、第1領域における第1動画の画像データを第1記録媒体61に記録する。また、記録制御部73は、第2領域における第2動画の画像データを第2記録媒体62に記録する。
Next, the image
ステップS38において、記録制御部73は、第1領域における第1動画の画像データに対して第2領域の動画の画像データを補間するように、画像処理部30に指示信号を出力する。また、記録制御部73は、第2領域における第2動画の画像データに対して第1領域の動画の画像データを補間するように、画像処理部30に指示信号を出力する。画素領域(撮像領域)113Aが2つの領域(第1領域、第2領域)に分割されると、解像度が半分に低下してしまう。しかし、上記したような処理を行うことにより、領域を分割したことによって生じる欠陥画素の画像データが補間されるので、解像度が低下しないようにすることができる。
In step S38, the
また、ステップS38において、表示制御部74が、第1領域の一部領域511の撮像による動画を電子ズームにより画像表示領域510に拡大表示している場合に(ステップS34)、記録制御部73は、第2領域における第2動画を第2記録媒体62に記録し、第1領域の一部領域511の撮像による動画を第1記録媒体61に記録する。このような構成によれば、画像表示領域510に拡大表示されている一部領域511の動画だけでなく、画像表示領域510に表示されていない動画も記録することができる。
Further, in step S38, when the
また、ステップS38において、表示制御部74が、第1領域の一部領域511の撮像による動画と、第2動画とのいずれか一方の動画を画像表示領域510に表示するとともに、他方の動画をサブ画面512に表示している場合に(ステップS37)、記録制御部73は、一方の動画と他方の動画とを合成した動画(図14参照)を記録部60に記録する。このような構成によれば、異なる画角の動画(電子ズームの範囲の動画と画像表示領域510全面の動画)を1つの動画として記録することができる。このとき、画像処理部30は、一方の動画と他方の動画とのフレームレートが異なる場合は、同じフレームレートになるように、フレームの間引き又はフレームの追加を行う。これにより、画角の異なる動画を1つの動画として第1記録媒体61又は第2記録媒体62に記録することができる。
Further, in step S38, the
図16は、第2動画モード(ステップS37の撮像)における電荷蓄積のタイミングを示すタイミングチャートである。図16に示す第2動画モードにおいては、例えば第1領域と第2領域とが設定される。第2動画モードでは、撮像制御部72は、動画スイッチの操作が行われている間、第1領域に対して動画の撮像を実行するとともに、第2領域に対して動画の撮像を実行するように、駆動部21に対して指示信号を出力する。図16において、駆動部21は、動画スイッチの操作が行われている間、第1領域における各画素について電荷蓄積時間T1で動画を撮像させる。また、駆動部21は、動画スイッチの操作が行われている間、第2領域における各画素について電荷蓄積時間T1よりも長い電荷蓄積時間T2で動画を撮像させる。フレームレートは電荷の蓄積時間に応じて変化する。このため、電荷蓄積時間T1で撮像が実行される場合と電荷蓄積時間T2で撮像が実行される場合とで、それぞれ、動画のフレームレートが異なる。例えば、第1領域の電荷蓄積時間T1に対応するフレームレートは60fpsであり、第2領域の電荷蓄積時間T2に対応するフレームレートは30fpsである。電荷蓄積時間やフレームレートは、ステップS23又はステップS32の撮像条件の設定処理において設定される。
FIG. 16 is a timing chart showing the timing of charge accumulation in the second moving image mode (imaging in step S37). In the second moving image mode shown in FIG. 16, for example, a first region and a second region are set. In the second moving image mode, the image
また、撮像素子100の第1領域から読み出された各画素の画素信号は、アンプ412において撮像制御部72から指示されたゲインで増幅された後、画像処理部30に出力される。画像生成部31Aは、撮像制御部72から出力された第1領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部31Aは、第1領域の各画素の画素信号からなるRAWデータに対して、パラメータに基づいて種々の画像処理を行うことにより第1領域の画像データを生成する。
Further, the pixel signal of each pixel read from the first region of the
また、撮像素子100の第2領域から読み出された各画素の画素信号は、アンプ412において撮像制御部72から指示されたゲインで増幅された後、画像処理部30に出力される。画像生成部31Bは、撮像制御部72から出力された第2領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部31Bは、第2領域の各画素の画素信号からなるRAWデータに対して、パラメータに基づいて種々の画像処理を行うことにより第2領域の画像データを生成する。
Further, the pixel signal of each pixel read from the second region of the
このように、第1領域のフレームレートが第2領域のフレームレートよりも高くしているので、第1動画における人物の主要被写体の動きが第2動画における人物の主要被写体の動きよりも滑らかになる。 In this way, since the frame rate of the first region is higher than the frame rate of the second region, the movement of the main subject of the person in the first moving image is smoother than the movement of the main subject of the person in the second moving image. Become.
以上に説明したように、第1実施形態では、撮像素子100を有する撮像部20と、撮像素子100の撮像領域113Aを少なくとも第1領域と第2領域とに分割する分割部71と、第1領域と第2領域とで異なる撮像条件を設定する撮像制御部72と、第1領域の撮像による第1動画と、第2領域の撮像による第2動画とのそれぞれを生成する動画生成部31と、を備える。このような構成によれば、異なる撮像条件が設定された複数の領域に対応する複数種類の動画を生成することができる。従って、被写体や撮影状況に応じた複数種類の動画を生成することができ、撮像素子100を備えた電子機器1の使い勝手が向上する。
As described above, in the first embodiment, the
また、動画生成部は、同一被写体に対して第1領域の撮像による第1動画と、第2領域の撮像による第2動画とのそれぞれを生成するので、同一被写体に対する複数種類の動画を生成することができる。また、分割部71は、第1領域の画素数と、第2領域の画素数とを同一にするので、すなわち、第1領域のブロックと第2領域のブロックとが画像表示領域510において均等に配置されているので、画像表示領域510において解像度のばらつきが生じてしまうことはない。分割部71は、第1領域を複数の離散的な領域(複数の離散的なブロック)から形成するので、動画において部分的に解像度が低下してしまうことがなくなる。また、分割部71は、第1領域と、第2領域とを可変に分割するので、被写体の種類などの様々な状況に応じた領域に分割することができる。
Further, since the moving image generation unit generates a first moving image obtained by capturing the first region and a second moving image obtained by capturing the second region for the same subject, it generates a plurality of types of moving images for the same subject. be able to. Further, since the
撮像制御部72は、撮像素子100の第1領域と第2領域との撮像条件として、少なくともフレームレートを異ならせるので、使用者は異なる撮像条件で撮像された複数種類の動画を取得することができる。また、動画生成部31は、第1画像と第2画像とに対してホワイトバランス、階調、色調補正のうち、少なくとも1つを異ならせた補正を行うので、使用者は異なるパラメータに基づいて画像処理された複数種類の動画を取得することができる。
Since the image
また、動画生成部31は、第1動画に対して第2領域の動画を補間し、第2動画に対して第1領域の動画を補間する。このような構成によれば、撮像領域113Aを分割したことによって生じる欠陥画素の画像データが補間され、解像度が低下しない。また、動画生成部31により生成された第1動画と第2動画とをそれぞれ記録部60に記録する記録制御部73を備えるので、同時に生成された2種類の動画を記録することができる。
Further, the moving image generation unit 31 interpolates the moving image in the second region with respect to the first moving image, and interpolates the moving image in the first region with respect to the second moving image. According to such a configuration, the image data of the defective pixels generated by dividing the
また、動画生成部31により生成された動画を表示部50に表示させる表示制御部74を備えるので、使用者は表示部50に表示された画像を確認することができる。また、表示制御部74は、第1領域の一部領域511の撮像による動画を表示部50に拡大表示し、記録制御部73は、第2動画と、一部領域511の撮像による動画とをそれぞれ記録部60に記録する。このような構成によれば、表示部50に拡大表示されている一部領域511の動画だけでなく、表示部50に表示されていない表示部50の全体領域(画像表示領域510全面)の動画も記録することができる。
Further, since the
また、表示制御部74は、第1領域の一部領域511の撮像による動画と、第2動画とのいずれか一方の動画を表示部50に表示するとともに、他方の動画を表示部50の特定領域(サブ画面512)に表示し、記録制御部73は、一方の動画と他方の動画とを合成した動画(図14参照)を記録部60に記録する。このような構成によれば、異なる画角の動画を1つの動画として記録することができる。
Further, the
また、動画生成部31で生成した動画から主要被写体を検出する検出部32Aを備え、分割部71は、第1領域と第2領域とが主要被写体を含むように分割を行うので、主要被写体に対して第1領域の第1動画と第2領域の第2動画とを生成することができる。また、撮像素子100は、裏面照射型撮像チップと信号処理チップとが積層された構造であるので、撮像素子100を収容するための容積を小さくすることができる。また、システム制御部70からの指示に基づいて撮像素子100の駆動制御を行うことができ、システム制御部70の負担が軽減されるとともに、撮像素子100の電子機器1への搭載が容易となる。
Further, the
なお、図5に示す第1実施形態に係る電子機器1において、表示部50は電子機器の外部に設けられる構成であってもよい。この場合、システム制御部70及び表示部50のそれぞれには、有線又は無線で信号(画像データや制御信号など)を送受信する通信部が設けられる。また、画像処理部30とシステム制御部70は一体で構成されてもよい。この場合、1つ又は複数のCPUを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部30の機能とシステム制御部70の機能を担う。また、画像処理部30は2つの画像処理部30A,30Bを備えていたが、1つの画像処理部だけを備えている構成でもよい。
In the
<第2実施形態>
第2実施形態では、上記した第1実施形態における電子機器1を、撮像装置1Aと電子機器1Bとに分離した構成としている。
<Second Embodiment>
In the second embodiment, the
図17は、第3実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。図17に示す構成において、撮像装置1Aは、被写体の撮像を行う装置である。この撮像装置1Aは、レンズ部10、撮像部20、画像処理部30、ワークメモリ40、操作部55、記録部60、及び第1システム制御部75を備える。なお、撮像装置1Aのうち、10、撮像部20、画像処理部30、ワークメモリ40、操作部55、及び記録部60の構成は、図5に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
FIG. 17 is a block diagram showing a configuration of an image pickup apparatus and an electronic device according to a third embodiment. In the configuration shown in FIG. 17, the
また、電子機器1Bは、画像(静止画、動画、ライブビュー画像)の表示を行う装置である。この電子機器1Bは、表示部50及び第2システム制御部(制御部)76を備える。なお、電子機器1Bのうちの表示部50の構成は、図5に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
Further, the
第1システム制御部75は、第1通信部75Aを有している。また、第2システム制御部76は、第2通信部76Aを有している。第1通信部75Aと第2通信部76Aとは、互いに有線又は無線で信号を送受信する。また、第1システム制御部75は、図7に示す構成のうち、例えば分割部71、撮像制御部72、及び記録制御部73に相当する構成を有している。また、第2システム制御部76は、図7に示す構成のうち、例えば表示制御部74に相当する構成のみ有している。
The first
図7に示す構成(分割部71、撮像制御部72、記録制御部73、及び表示制御部74)は、第1システム制御部75と第2システム制御部76のいずれに設けられてもよい。図7に示すすべての構成は、第1システム制御部75又は第2システム制御部76に設けられてもよく、また図7に示す構成の一部が第1システム制御部75に設けられ、図7に示す構成の一部以外の構成が第2システム制御部76に設けられてもよい。
The configuration shown in FIG. 7 (
なお、撮像装置1Aは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器1Bは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。
The
図17に示す第1システム制御部75は、CPU(図示せず)が制御プログラムに基づいて処理を実行することにより実現される。また、図17に示す第2システム制御部76は、CPU(図示せず)が制御プログラムに基づいて処理を実行することにより実現される。
The first
なお、図17に示す構成において、画像処理部30と第1システム制御部75とは一体で構成されてもよい。この場合、1つ又は複数のCPUを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部30の機能と第1システム制御部75の機能を担う。
In the configuration shown in FIG. 17, the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の1つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. Various changes or improvements can be made to the above embodiments without departing from the spirit of the present invention. In addition, one or more of the requirements described in the above embodiments may be omitted. Such modifications, improvements or omissions are also included in the technical scope of the invention. Further, it is also possible to appropriately combine and apply the configurations of the above-described embodiments and modifications.
図8(A)~(C)では、第1領域の面積と第2領域の面積とが同じ面積となるように各ブロックの配列パターンが設定されていた。すなわち、第1領域の画素数と第2領域の画素数とが同じ画素数となるように各ブロックの配列パターンが設定されていた。また、図8(D)では、第1領域の面積と第2領域の面積と第3領域の面積とが同じ面積となるように各ブロックの配列パターンが設定されていた。すなわち、第1領域の画素数と第2領域の画素数と第3領域の画素数とが同じ画素数となるように各ブロックの配列パターンが設定されていた。しかし、各領域の面積(画素数)が異なるように各ブロックの配列パターンが設定されてもよい。 In FIGS. 8A to 8C, the arrangement pattern of each block is set so that the area of the first region and the area of the second region are the same. That is, the arrangement pattern of each block is set so that the number of pixels in the first region and the number of pixels in the second region are the same. Further, in FIG. 8D, the arrangement pattern of each block is set so that the area of the first region, the area of the second region, and the area of the third region are the same. That is, the arrangement pattern of each block is set so that the number of pixels in the first region, the number of pixels in the second region, and the number of pixels in the third region are the same. However, the arrangement pattern of each block may be set so that the area (number of pixels) of each region is different.
また、上記した各実施形態において、カラーフィルタ102の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。また、単位グループ131を形成する画素の数は、少なくとも1つの画素を含んでいればよい。また、ブロックも少なくとも1画素を含んでいればよい。従って、1画素ごとに異なる撮像条件で撮像を実行することも可能である。
Further, in each of the above-described embodiments, the arrangement of the
また、上記した各実施形態において、駆動部21は、一部又はすべての構成が撮像チップ113に搭載されてもよいし、一部又はすべての構成が信号処理チップ111に搭載されてもよい。また、画像処理部30の一部の構成が撮像チップ113又は信号処理チップ111に搭載されてもよい。また、システム制御部70の一部の構成が撮像チップ113又は信号処理チップ111に搭載されてもよい。
Further, in each of the above-described embodiments, the
また、上記した第1実施形態において、撮像条件として、ゲイン及びフレームレートが変更可能に構成されているが、これらの少なくとも1つを変更可能であればよい。また、撮像条件が使用者の操作によって設定される場合についてのみ説明したが、主要被写体などに応じて自動的に撮像条件が設定されるようにしてもよい。 Further, in the above-mentioned first embodiment, the gain and the frame rate are configured to be changeable as the imaging conditions, but at least one of these may be changeable. Further, although the case where the imaging conditions are set only by the operation of the user has been described, the imaging conditions may be automatically set according to the main subject or the like.
また、上記した各実施形態において、ブロックの配列パターンとして、図8(A)~(D)に例示したが、これらの配列パターンに限られない。また、上記した各実施形態では、ブロックの領域の大きさが予め設定されている場合について説明したが、使用者がブロックの領域の大きさを設定するように構成してもよい。 Further, in each of the above-described embodiments, the block arrangement patterns are illustrated in FIGS. 8A to 8D, but the arrangement patterns are not limited to these. Further, in each of the above-described embodiments, the case where the size of the block area is set in advance has been described, but the user may be configured to set the size of the block area.
また、上記した第1実施形態において、分割部71は、ライブビュー画像に基づいて被写体を認識し、領域の設定を行っていた。しかし、分割部71は、レリーズスイッチや動画スイッチの半押し操作が行われたときに、そのときの画像に基づいて被写体を認識し、領域の設定を行いようにしてもよい。
Further, in the first embodiment described above, the
1,1B…電子機器、1A…撮像装置、20…撮像部、30…画像処理部、31…画像生成部(動画生成部)、32A…検出部、50…表示部、51…表示パネル、52…タッチパネル、70…システム制御部、70A…第1システム制御部、76…第2システム制御部、71…分割部、72…撮像制御部、73…記録制御部、74…表示制御部、100…撮像素子 1,1B ... Electronic equipment, 1A ... Imaging device, 20 ... Imaging unit, 30 ... Image processing unit, 31 ... Image generation unit (moving image generation unit), 32A ... Detection unit, 50 ... Display unit, 51 ... Display panel, 52 ... Touch panel, 70 ... System control unit, 70A ... First system control unit, 76 ... Second system control unit, 71 ... Division unit, 72 ... Image control unit, 73 ... Recording control unit, 74 ... Display control unit, 100 … Imaging element
Claims (62)
前記第1画素から出力される第1信号に基づく第1動画像データと、前記第2画素から出力される第2信号に基づく第2動画像データとを生成する生成部と、
を備える電子機器。 A plurality of pixels having a photoelectric conversion unit that converts light into charges and a plurality of first pixels arranged side by side in the row direction and the column direction among the plurality of pixels are connected to the plurality of pixels. A first control line from which a first control signal for controlling the first pixel of the above is output, and a plurality of the plurality of pixels arranged side by side in the row direction and the column direction , respectively . An image sensor having a second control line connected to the second pixel and outputting a second control signal for controlling the plurality of second pixels, and an image pickup device.
A generation unit that generates first moving image data based on the first signal output from the first pixel and second moving image data based on the second signal output from the second pixel.
Electronic equipment equipped with.
前記生成部は、前記第1信号線に出力された前記第1信号に基づく前記第1動画像データと、前記第2信号線に出力された前記第2信号に基づく前記第2動画像データとを生成する請求項1に記載の電子機器。 The image pickup device has a first signal line connected to the first pixel and output the first signal, and a second signal line connected to the second pixel and output the second signal. death,
The generation unit includes the first moving image data based on the first signal output to the first signal line, and the second moving image data based on the second signal output to the second signal line. The electronic device according to claim 1.
前記第2画素は、前記第2制御線に接続される第2回路部を有する請求項1から請求項3のいずれか一項に記載の電子機器。 The first pixel has a first circuit unit connected to the first control line.
The electronic device according to any one of claims 1 to 3, wherein the second pixel has a second circuit unit connected to the second control line.
前記第2回路部は、前記第2制御線に接続され、前記第2制御信号に基づいて前記第2画素が有する前記光電変換部から電荷を転送する第2転送部を有する請求項6に記載の電子機器。 The first circuit unit has a first transfer unit that is connected to the first control line and transfers charges from the photoelectric conversion unit of the first pixel based on the first control signal.
6. The second circuit unit is connected to the second control line and has a second transfer unit that transfers charges from the photoelectric conversion unit of the second pixel based on the second control signal. Electronic devices listed in.
前記第2回路部は、前記第2制御線に接続され、前記第2制御信号に基づいて、前記第2画素が有する前記光電変換部からの電荷が転送される第2フローティングディフュージョンの電位をリセットする第2リセット部を有する請求項7に記載の電子機器。 The first circuit unit is connected to the first control line, and based on the first control signal, the electric charge from the photoelectric conversion unit of the first pixel is transferred to the potential of the first floating diffusion. Has a first reset section to reset
The second circuit unit is connected to the second control line, and based on the second control signal, the electric charge from the photoelectric conversion unit of the second pixel is transferred to the potential of the second floating diffusion. The electronic device according to claim 7 , which has a second reset unit for resetting.
前記生成部は、前記信号処理部により信号処理が行われた前記第1信号に基づく第1画像データと、前記信号処理部により信号処理が行われた前記第2信号に基づく第2画像データとを生成する請求項6から請求項10のいずれか一項に記載の電子機器。 The image pickup device has a signal processing unit that performs signal processing on the first signal and the second signal.
The generation unit includes first image data based on the first signal processed by the signal processing unit and second image data based on the second signal processed by the signal processing unit. The electronic device according to any one of claims 6 to 10 .
前記生成部は、前記増幅部により増幅された前記第1信号に基づく前記第1画像データと、前記増幅部により増幅された前記第2信号に基づく前記第2画像データとを生成する請求項13に記載の電子機器。 The signal processing unit has an amplification unit that amplifies the first signal and the second signal.
13. The generation unit generates the first image data based on the first signal amplified by the amplification unit and the second image data based on the second signal amplified by the amplification unit. Electronic devices listed in.
前記生成部は、前記変換部を用いてデジタル信号に変換された前記第1信号に基づく前記第1画像データと、前記変換部を用いてデジタル信号に変換された前記第2信号に基づく前記第2画像データとを生成する請求項13又は請求項14に記載の電子機器。 The signal processing unit has a conversion unit used for converting the first signal and the second signal into a digital signal.
The generation unit is based on the first image data based on the first signal converted into a digital signal by using the conversion unit and the second signal converted into a digital signal by using the conversion unit. 2. The electronic device according to claim 13 or claim 14 , which generates image data.
前記生成部は、前記記憶部に記憶された前記第1信号に基づく前記第1画像データと、前記記憶部に記憶された前記第2信号に基づく前記第2画像データとを生成する請求項15に記載の電子機器。 The image pickup element has a storage unit that stores the first signal converted into a digital signal by using the conversion unit and the second signal converted into a digital signal by using the conversion unit.
15. The generation unit generates the first image data based on the first signal stored in the storage unit and the second image data based on the second signal stored in the storage unit. Electronic devices listed in.
前記生成部は、前記第1信号処理回路により信号処理が行われた前記第1信号に基づく前記第1画像データと、前記第2信号処理回路により信号処理が行われた前記第2信号に基づく前記第2画像データとを生成する請求項13に記載の電子機器。 The signal processing unit has a first signal processing circuit that performs signal processing on the first signal and a second signal processing circuit that performs signal processing on the second signal.
The generation unit is based on the first image data based on the first signal processed by the first signal processing circuit and the second signal processed by the second signal processing circuit. The electronic device according to claim 13 , which generates the second image data.
前記第2信号処理回路は、前記第2信号を増幅する第2増幅回路を有し、
前記生成部は、前記第1増幅回路で増幅された前記第1信号に基づく前記第1画像データと、前記第2増幅回路で増幅された前記第2信号に基づく前記第2画像データとを生成する請求項21に記載の電子機器。 The first signal processing circuit has a first amplifier circuit that amplifies the first signal.
The second signal processing circuit has a second amplifier circuit that amplifies the second signal.
The generator generates the first image data based on the first signal amplified by the first amplifier circuit and the second image data based on the second signal amplified by the second amplifier circuit. 21. The electronic device according to claim 21 .
前記第2信号処理回路は、前記第2信号をデジタル信号に変換するために用いられる第2変換回路を有し、
前記生成部は、前記第1変換回路を用いてデジタル信号に変換された前記第1信号に基づく前記第1画像データと、前記第2変換回路を用いてデジタル信号に変換された前記第2信号に基づく前記第2画像データとを生成する請求項21又は請求項22に記載の電子機器。 The first signal processing circuit has a first conversion circuit used for converting the first signal into a digital signal.
The second signal processing circuit has a second conversion circuit used for converting the second signal into a digital signal.
The generation unit includes the first image data based on the first signal converted into a digital signal using the first conversion circuit, and the second signal converted into a digital signal using the second conversion circuit. The electronic device according to claim 21 or claim 22 , which generates the second image data based on the above.
前記生成部は、前記第1記憶回路に記憶された前記第1信号に基づく前記第1画像データと、前記第2記憶回路に記憶された前記第2信号に基づく前記第2画像データとを生成する請求項23に記載の電子機器。 The image pickup element has a first storage circuit that stores the first signal converted into a digital signal by using the first conversion circuit, and the second signal converted into a digital signal by using the second conversion circuit. Has a second storage circuit to store
The generation unit generates the first image data based on the first signal stored in the first storage circuit and the second image data based on the second signal stored in the second storage circuit. 23. The electronic device according to claim 23 .
前記第2画素は、前記第2制御線及び前記第4制御線に接続される第2回路部を有する請求項29に記載の電子機器。29. The electronic device according to claim 29, wherein the second pixel has a second circuit unit connected to the second control line and the fourth control line.
前記第2回路部は、前記第2制御線に接続され、前記第2制御信号に基づいて前記第2画素が有する前記光電変換部から電荷を転送する第2転送部と、前記第4制御線に接続され、前記第4制御信号に基づいて、前記第2画素が有する前記光電変換部からの電荷が転送される第2フローティングディフュージョンの電位をリセットする第2リセット部とを有する請求項30に記載の電子機器。The second circuit unit is connected to the second control line, and has a second transfer unit that transfers charges from the photoelectric conversion unit of the second pixel based on the second control signal, and the fourth control line. 30 is provided with a second reset unit which is connected to and resets the potential of the second floating diffusion to which the charge from the photoelectric conversion unit of the second pixel is transferred based on the fourth control signal. The electronic device described.
前記生成部は、前記信号処理部により信号処理が行われた前記第1信号に基づく第1画像データと、前記信号処理部により信号処理が行われた前記第2信号に基づく第2画像データとを生成する請求項29から請求項33のいずれか一項に記載の電子機器。The generation unit includes first image data based on the first signal processed by the signal processing unit and second image data based on the second signal processed by the signal processing unit. The electronic device according to any one of claims 29 to 33.
前記生成部は、前記増幅部により増幅された前記第1信号に基づく前記第1画像データと、前記増幅部により増幅された前記第2信号に基づく前記第2画像データとを生成する請求項36に記載の電子機器。36. The generation unit generates the first image data based on the first signal amplified by the amplification unit and the second image data based on the second signal amplified by the amplification unit. Electronic devices listed in.
前記生成部は、前記変換部を用いてデジタル信号に変換された前記第1信号に基づく前記第1画像データと、前記変換部を用いてデジタル信号に変換された前記第2信号に基づく前記第2画像データとを生成する請求項36又は請求項37に記載の電子機器。The generation unit is based on the first image data based on the first signal converted into a digital signal by using the conversion unit and the second signal converted into a digital signal by using the conversion unit. 2. The electronic device according to claim 36 or claim 37 that generates image data.
前記生成部は、前記記憶部に記憶された前記第1信号に基づく前記第1画像データと、前記記憶部に記憶された前記第2信号に基づく前記第2画像データとを生成する請求項38に記載の電子機器。38. The generation unit generates the first image data based on the first signal stored in the storage unit and the second image data based on the second signal stored in the storage unit 38. Electronic devices listed in.
前記生成部は、前記第1信号処理回路により信号処理が行われた前記第1信号に基づく前記第1画像データと、前記第2信号処理回路により信号処理が行われた前記第2信号に基づく前記第2画像データとを生成する請求項36に記載の電子機器。The generation unit is based on the first image data based on the first signal processed by the first signal processing circuit and the second signal processed by the second signal processing circuit. The electronic device according to claim 36, which generates the second image data.
前記第2信号処理回路は、前記第2信号を増幅する第2増幅回路を有し、The second signal processing circuit has a second amplifier circuit that amplifies the second signal.
前記生成部は、前記第1増幅回路で増幅された前記第1信号に基づく前記第1画像データと、前記第2増幅回路で増幅された前記第2信号に基づく前記第2画像データとを生成する請求項44に記載の電子機器。The generator generates the first image data based on the first signal amplified by the first amplifier circuit and the second image data based on the second signal amplified by the second amplifier circuit. The electronic device according to claim 44.
前記第2信号処理回路は、前記第2信号をデジタル信号に変換するために用いられる第2変換回路を有し、The second signal processing circuit has a second conversion circuit used for converting the second signal into a digital signal.
前記生成部は、前記第1変換回路を用いてデジタル信号に変換された前記第1信号に基づく前記第1画像データと、前記第2変換回路を用いてデジタル信号に変換された前記第2信号に基づく前記第2画像データとを生成する請求項44又は請求項45に記載の電子機器。The generation unit includes the first image data based on the first signal converted into a digital signal using the first conversion circuit, and the second signal converted into a digital signal using the second conversion circuit. The electronic device according to claim 44 or claim 45, which generates the second image data based on the above.
前記生成部は、前記第1記憶回路に記憶された前記第1信号に基づく前記第1画像データと、前記第2記憶回路に記憶された前記第2信号に基づく前記第2画像データとを生成する請求項46に記載の電子機器。The generation unit generates the first image data based on the first signal stored in the first storage circuit and the second image data based on the second signal stored in the second storage circuit. 46. The electronic device according to claim 46.
前記複数の第2画素がそれぞれ有する前記光電変換部は、前記撮像素子において光が入射される第2領域に配置される請求項1から請求項51のいずれか一項に記載の電子機器。The electronic device according to any one of claims 1 to 51, wherein the photoelectric conversion unit included in each of the plurality of second pixels is arranged in a second region in which light is incident in the image pickup device.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013167308 | 2013-08-12 | ||
JP2013167308 | 2013-08-12 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015531789A Division JPWO2015022900A1 (en) | 2013-08-12 | 2014-08-07 | Electronic device, electronic device control method, and control program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020191181A Division JP7192843B2 (en) | 2013-08-12 | 2020-11-17 | Image sensor and electronic equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019036988A JP2019036988A (en) | 2019-03-07 |
JP7063788B2 true JP7063788B2 (en) | 2022-05-09 |
Family
ID=52468286
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015531789A Pending JPWO2015022900A1 (en) | 2013-08-12 | 2014-08-07 | Electronic device, electronic device control method, and control program |
JP2018196396A Active JP7063788B2 (en) | 2013-08-12 | 2018-10-18 | Electronics |
JP2020191181A Active JP7192843B2 (en) | 2013-08-12 | 2020-11-17 | Image sensor and electronic equipment |
JP2022196223A Pending JP2023024534A (en) | 2013-08-12 | 2022-12-08 | Imaging element |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015531789A Pending JPWO2015022900A1 (en) | 2013-08-12 | 2014-08-07 | Electronic device, electronic device control method, and control program |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020191181A Active JP7192843B2 (en) | 2013-08-12 | 2020-11-17 | Image sensor and electronic equipment |
JP2022196223A Pending JP2023024534A (en) | 2013-08-12 | 2022-12-08 | Imaging element |
Country Status (5)
Country | Link |
---|---|
US (5) | US10321083B2 (en) |
EP (1) | EP3035667B1 (en) |
JP (4) | JPWO2015022900A1 (en) |
CN (2) | CN110213508B (en) |
WO (1) | WO2015022900A1 (en) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110213508B (en) * | 2013-08-12 | 2021-10-15 | 株式会社尼康 | Electronic device |
JP2015065270A (en) * | 2013-09-25 | 2015-04-09 | ソニー株式会社 | Solid state image pickup device and manufacturing method of the same, and electronic apparatus |
JP6343163B2 (en) * | 2014-04-07 | 2018-06-13 | キヤノン株式会社 | Integrated circuit device |
EP3358820B1 (en) * | 2015-09-30 | 2021-06-09 | Nikon Corporation | Imaging device, image processing device and display device |
WO2017057268A1 (en) * | 2015-09-30 | 2017-04-06 | 株式会社ニコン | Imaging device and control device |
CN114928701A (en) | 2016-03-31 | 2022-08-19 | 株式会社尼康 | Image pickup apparatus |
JPWO2017170726A1 (en) * | 2016-03-31 | 2019-02-28 | 株式会社ニコン | Imaging apparatus and electronic apparatus |
JPWO2017170718A1 (en) * | 2016-03-31 | 2019-02-28 | 株式会社ニコン | IMAGING DEVICE, SUBJECT DETECTING DEVICE, AND ELECTRONIC DEVICE |
JPWO2017170716A1 (en) * | 2016-03-31 | 2019-03-07 | 株式会社ニコン | Imaging apparatus, image processing apparatus, and electronic apparatus |
JPWO2017170725A1 (en) * | 2016-03-31 | 2019-02-28 | 株式会社ニコン | IMAGING DEVICE, SUBJECT DETECTING DEVICE, AND ELECTRONIC DEVICE |
JPWO2017170719A1 (en) * | 2016-03-31 | 2019-02-28 | 株式会社ニコン | Imaging apparatus and electronic device |
JP2017220892A (en) * | 2016-06-10 | 2017-12-14 | オリンパス株式会社 | Image processing device and image processing method |
JP6808993B2 (en) * | 2016-06-17 | 2021-01-06 | 株式会社ニコン | Image sensor, electronic equipment, imaging method, and program |
JP6727998B2 (en) * | 2016-09-08 | 2020-07-22 | キヤノン株式会社 | Image processing apparatus, image processing method and program |
US10795024B2 (en) * | 2016-09-16 | 2020-10-06 | Sony Semiconductor Solutions Corporation | Imaging device and electronic device |
JP6838725B2 (en) * | 2016-10-20 | 2021-03-03 | 日立Astemo株式会社 | Camera device |
CN106791471B (en) * | 2016-12-29 | 2021-07-20 | 宇龙计算机通信科技(深圳)有限公司 | Image optimization method, image optimization device and terminal |
KR102499033B1 (en) * | 2018-01-31 | 2023-02-13 | 삼성전자주식회사 | Image sensor and electronic device including the image sensor |
JP7051565B2 (en) * | 2018-05-01 | 2022-04-11 | キヤノン株式会社 | Imaging device and its control method, imaging system |
CN108711397A (en) * | 2018-08-13 | 2018-10-26 | 京东方科技集团股份有限公司 | Optics adjusting method, conditioning optics and the display device of display panel |
CN113228612A (en) | 2018-12-26 | 2021-08-06 | 富士胶片株式会社 | Imaging device, image data processing method for imaging device, and program |
CN110740272B (en) * | 2019-10-31 | 2021-05-14 | Oppo广东移动通信有限公司 | Image acquisition method, camera assembly and mobile terminal |
WO2021124736A1 (en) * | 2019-12-19 | 2021-06-24 | 富士フイルム株式会社 | Imaging device |
JP7099560B2 (en) * | 2021-01-19 | 2022-07-12 | 株式会社ニコン | Image sensor and image sensor |
WO2023186529A1 (en) * | 2022-03-31 | 2023-10-05 | Sony Group Corporation | Sensor device and method for operating a sensor device |
WO2024009750A1 (en) * | 2022-07-06 | 2024-01-11 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device and operation method of imaging device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007228019A (en) | 2006-02-21 | 2007-09-06 | Olympus Corp | Imaging apparatus |
JP2012164870A (en) | 2011-02-08 | 2012-08-30 | Sony Corp | Solid state image pickup device, manufacturing method of the same and electronic equipment |
JP2012175234A (en) | 2011-02-18 | 2012-09-10 | Sony Corp | Imaging apparatus, imaging element and imaging control method, and program |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09200617A (en) | 1996-01-12 | 1997-07-31 | Nikon Corp | Image pickup device |
US7742088B2 (en) * | 2002-11-19 | 2010-06-22 | Fujifilm Corporation | Image sensor and digital camera |
JP2004282227A (en) | 2003-03-13 | 2004-10-07 | Seiko Epson Corp | Optical module, manufacturing method thereof, and electronic apparatus |
KR100871688B1 (en) * | 2004-02-27 | 2008-12-08 | 삼성전자주식회사 | Solid State Imaging Device and Driving Method Therefor |
JP4349232B2 (en) * | 2004-07-30 | 2009-10-21 | ソニー株式会社 | Semiconductor module and MOS solid-state imaging device |
ATE531346T1 (en) * | 2005-02-24 | 2011-11-15 | Morphogeny Llc | CONNECTED, SLIDING AND MATCHABLE ROTATABLE COMPONENTS |
KR20080031146A (en) * | 2005-07-20 | 2008-04-08 | 코니카 미놀타 옵토 인코포레이티드 | Optical pickup and recorder/reproducer of optical information recording medium |
JP4984915B2 (en) * | 2006-03-27 | 2012-07-25 | セイコーエプソン株式会社 | Imaging apparatus, imaging system, and imaging method |
CN101460917B (en) * | 2006-06-02 | 2011-09-28 | 三星电子株式会社 | High dynamic contrast display system having multiple segmented backlight |
JP4614925B2 (en) * | 2006-07-28 | 2011-01-19 | 三洋電機株式会社 | Pixel information reading method and imaging apparatus |
US7944482B2 (en) | 2006-07-28 | 2011-05-17 | Sanyo Electric Co., Ltd. | Pixel information readout method and image pickup apparatus |
KR101338353B1 (en) * | 2007-05-30 | 2013-12-06 | 삼성전자주식회사 | Apparatus and method for photographing image |
JP2010016621A (en) | 2008-07-03 | 2010-01-21 | Sony Corp | Image data processing apparatus, image data processing method and program, and recording medium |
US20100023173A1 (en) * | 2008-07-24 | 2010-01-28 | Wen Chen Wu | Irrigation system and method |
US8179466B2 (en) * | 2009-03-11 | 2012-05-15 | Eastman Kodak Company | Capture of video with motion-speed determination and variable capture rate |
JP5398341B2 (en) * | 2009-05-11 | 2014-01-29 | キヤノン株式会社 | Object recognition apparatus and object recognition method |
US8848802B2 (en) * | 2009-09-04 | 2014-09-30 | Stmicroelectronics International N.V. | System and method for object based parametric video coding |
JP5012875B2 (en) * | 2009-11-10 | 2012-08-29 | 富士通株式会社 | High-speed moving image shooting device and high-speed moving image shooting method |
KR20110076729A (en) * | 2009-12-18 | 2011-07-06 | 삼성전자주식회사 | Multi-step exposed image acquisition method by electronic shutter and apparatus using the same |
JP2011205374A (en) | 2010-03-25 | 2011-10-13 | Fujifilm Corp | Display apparatus |
CN103053163A (en) * | 2010-12-16 | 2013-04-17 | 松下电器产业株式会社 | Image generation device, and image generation system, method, and program |
JP5653207B2 (en) | 2010-12-27 | 2015-01-14 | アルパイン株式会社 | Power consumption control system |
WO2012155200A1 (en) * | 2011-05-16 | 2012-11-22 | Xtralis Technologies Ltd | Surveillance system |
US8757274B2 (en) * | 2011-07-01 | 2014-06-24 | Halliburton Energy Services, Inc. | Well tool actuator and isolation valve for use in drilling operations |
JP2013016675A (en) * | 2011-07-05 | 2013-01-24 | Sony Corp | Solid-state imaging device, electronic device, and method of manufacturing solid-state imaging device |
JP5791571B2 (en) | 2011-08-02 | 2015-10-07 | キヤノン株式会社 | Imaging device and imaging apparatus |
JP2013084744A (en) | 2011-10-07 | 2013-05-09 | Sony Corp | Solid-state imaging element and electronic equipment |
JP5809936B2 (en) | 2011-11-08 | 2015-11-11 | オリンパス株式会社 | Imaging device |
CN102999918B (en) * | 2012-04-19 | 2015-04-22 | 浙江工业大学 | Multi-target object tracking system of panorama video sequence image |
WO2013164915A1 (en) | 2012-05-02 | 2013-11-07 | 株式会社ニコン | Imaging device |
EP3588940B1 (en) * | 2013-07-04 | 2023-03-22 | Nikon Corporation | Electronic apparatus, method for controlling electronic apparatus, and control program |
CN110213508B (en) * | 2013-08-12 | 2021-10-15 | 株式会社尼康 | Electronic device |
-
2014
- 2014-08-07 CN CN201910337550.5A patent/CN110213508B/en active Active
- 2014-08-07 US US14/910,428 patent/US10321083B2/en active Active
- 2014-08-07 JP JP2015531789A patent/JPWO2015022900A1/en active Pending
- 2014-08-07 WO PCT/JP2014/070874 patent/WO2015022900A1/en active Application Filing
- 2014-08-07 CN CN201480044359.7A patent/CN105474627B/en active Active
- 2014-08-07 EP EP14835954.0A patent/EP3035667B1/en active Active
-
2018
- 2018-10-18 JP JP2018196396A patent/JP7063788B2/en active Active
-
2019
- 2019-04-26 US US16/395,351 patent/US10805566B2/en active Active
-
2020
- 2020-08-06 US US16/986,644 patent/US11356629B2/en active Active
- 2020-11-17 JP JP2020191181A patent/JP7192843B2/en active Active
-
2022
- 2022-05-05 US US17/737,142 patent/US11758303B2/en active Active
- 2022-12-08 JP JP2022196223A patent/JP2023024534A/en active Pending
-
2023
- 2023-08-01 US US18/228,899 patent/US20230388674A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007228019A (en) | 2006-02-21 | 2007-09-06 | Olympus Corp | Imaging apparatus |
JP2012164870A (en) | 2011-02-08 | 2012-08-30 | Sony Corp | Solid state image pickup device, manufacturing method of the same and electronic equipment |
JP2012175234A (en) | 2011-02-18 | 2012-09-10 | Sony Corp | Imaging apparatus, imaging element and imaging control method, and program |
Also Published As
Publication number | Publication date |
---|---|
WO2015022900A1 (en) | 2015-02-19 |
EP3035667B1 (en) | 2024-06-19 |
US20190253655A1 (en) | 2019-08-15 |
JP2021036719A (en) | 2021-03-04 |
US20220264048A1 (en) | 2022-08-18 |
US11758303B2 (en) | 2023-09-12 |
CN105474627B (en) | 2019-06-04 |
JP7192843B2 (en) | 2022-12-20 |
JP2019036988A (en) | 2019-03-07 |
EP3035667A1 (en) | 2016-06-22 |
US20230388674A1 (en) | 2023-11-30 |
CN110213508A (en) | 2019-09-06 |
US10805566B2 (en) | 2020-10-13 |
US20200366862A1 (en) | 2020-11-19 |
JPWO2015022900A1 (en) | 2017-03-02 |
US20160198115A1 (en) | 2016-07-07 |
US10321083B2 (en) | 2019-06-11 |
CN110213508B (en) | 2021-10-15 |
EP3035667A4 (en) | 2017-03-22 |
US11356629B2 (en) | 2022-06-07 |
CN105474627A (en) | 2016-04-06 |
JP2023024534A (en) | 2023-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7063788B2 (en) | Electronics | |
JP6075393B2 (en) | Electronic equipment and control program | |
JP6372488B2 (en) | Electronics | |
JP6375607B2 (en) | Electronic device, electronic device control method, and control program | |
JP6561428B2 (en) | Electronic device, control method, and control program | |
JP2014165855A (en) | Electronic apparatus | |
JP6409883B2 (en) | Electronic equipment and control program | |
JP7176591B2 (en) | Electronics | |
JP6885374B2 (en) | Electronics | |
JP2020171054A (en) | Electronic device | |
JP6916418B2 (en) | Imaging device | |
JP2019092219A (en) | Imaging apparatus, control method of the same, and control program | |
JP2018148590A (en) | Electronic apparatus and imaging device | |
JP2018042286A (en) | Electronic apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181018 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191029 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20191224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200515 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200818 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20201117 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210817 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20211012 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211213 |
|
C126 | Written invitation by the chief administrative judge to file intermediate amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C126 Effective date: 20220111 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220308 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220419 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7063788 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |