JP2021036719A - Electronic apparatus - Google Patents

Electronic apparatus Download PDF

Info

Publication number
JP2021036719A
JP2021036719A JP2020191181A JP2020191181A JP2021036719A JP 2021036719 A JP2021036719 A JP 2021036719A JP 2020191181 A JP2020191181 A JP 2020191181A JP 2020191181 A JP2020191181 A JP 2020191181A JP 2021036719 A JP2021036719 A JP 2021036719A
Authority
JP
Japan
Prior art keywords
image
unit
region
control unit
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020191181A
Other languages
Japanese (ja)
Other versions
JP2021036719A5 (en
JP7192843B2 (en
Inventor
聡志 土谷
Satoshi Tsuchiya
聡志 土谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JP2021036719A publication Critical patent/JP2021036719A/en
Publication of JP2021036719A5 publication Critical patent/JP2021036719A5/ja
Priority to JP2022196223A priority Critical patent/JP2023024534A/en
Application granted granted Critical
Publication of JP7192843B2 publication Critical patent/JP7192843B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/51—Control of the gain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

To divide an imaging region into a plurality of regions having different imaging conditions set thereto, and generate a plurality of moving images corresponding to the plurality of regions.SOLUTION: According to an embodiment of the invention, an electronic apparatus is provided. The electronic apparatus may include an imaging element having: a plurality of pixels; a first control line, connected to a plurality of first pixels respectively disposed in a first direction and a second direction crossing to the first direction, for outputting a first control signal for controlling the first pixel; and a second control line, connected to a plurality of second pixels respectively disposed in the first direction and the second direction within the plurality of pixels, for outputting a second control signal for controlling the second pixels. The electronic apparatus may include a generation unit for generating first image data based on a first signal outputted from the first pixels and second image data based on a second signal outputted from the second pixels.SELECTED DRAWING: Figure 3

Description

本発明は、電子機器に関する。 The present invention relates to electronic devices.

裏面照射型撮像チップと信号処理チップとが積層された撮像素子（以下、この撮像素子を積層型撮像素子という。）を備えた電子機器が提案されている（例えば特許文献１参照）。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、複数画素をまとめたブロック単位ごとにマイクロバンプを介して接続されるように積層されている。 An electronic device including an image pickup device in which a back-illuminated image pickup chip and a signal processing chip are laminated (hereinafter, this image pickup device is referred to as a stacked image pickup device) has been proposed (see, for example, Patent Document 1). In the stacked image sensor, the back-illuminated image sensor and the signal processing chip are laminated so as to be connected via microbumps for each block in which a plurality of pixels are grouped.

特開２００６−４９３６１号公報Japanese Unexamined Patent Publication No. 2006-49361

しかし、従来の積層型撮像素子を備えた電子機器において、複数のブロック単位ごとに撮像して画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分ではなかった。 However, in the conventional electronic device equipped with a stacked image sensor, there are not many proposals for acquiring an image by taking an image for each of a plurality of blocks, and the usability of the electronic device provided with the stacked image sensor is not sufficient.

本発明の態様では、撮像領域を異なる撮像条件が設定された複数の領域に分割し、複数の領域に対応する複数の動画を生成することを目的とする。 An object of the present invention is to divide an imaging region into a plurality of regions in which different imaging conditions are set, and to generate a plurality of moving images corresponding to the plurality of regions.

本発明の態様によれば、電子機器が提供される。電子機器は、複数の画素と、複数の画素のうち、第１方向と第１方向と交差する第２方向とにおいてそれぞれ配置される複数の第１画素に接続され、第１画素を制御するための第１制御信号が出力される第１制御線と、複数の前記画素のうち、第１方向と第２方向とにおいてそれぞれ配置される複数の第２画素に接続され、第２画素を制御するための第２制御信号が出力される第２制御線と、を有する撮像素子を備えてよい。電子機器は、第１画素から出力される第１信号に基づく第１画像データと、第２画素から出力される第２信号に基づく第２画像データと、を生成する生成部を備えてよい。 According to aspects of the invention, electronic devices are provided. The electronic device is connected to a plurality of pixels and a plurality of first pixels arranged in each of the plurality of pixels in the first direction and the second direction intersecting the first direction to control the first pixel. The first control line from which the first control signal is output and a plurality of second pixels arranged in the first direction and the second direction of the plurality of pixels are connected to control the second pixel. An image pickup device having a second control line for outputting a second control signal for the purpose may be provided. The electronic device may include a generation unit that generates first image data based on the first signal output from the first pixel and second image data based on the second signal output from the second pixel.

本発明の態様によれば、異なる撮像条件が設定された複数の領域に対応する複数の動画を生成することができる。 According to the aspect of the present invention, it is possible to generate a plurality of moving images corresponding to a plurality of regions in which different imaging conditions are set.

積層型撮像素子の断面図である。It is sectional drawing of the laminated type image sensor. 撮像チップの画素配列と単位グループを説明する図である。It is a figure explaining the pixel arrangement and the unit group of an image pickup chip. 撮像チップの単位グループに対応する回路図である。It is a circuit diagram corresponding to the unit group of the image pickup chip. 撮像素子の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of an image sensor. 第１実施形態に係る電子機器の構成を示すブロック図である。It is a block diagram which shows the structure of the electronic device which concerns on 1st Embodiment. 表示部における表示画面の一例を示す図である。It is a figure which shows an example of the display screen in the display part. 画像処理部及びシステム制御部の機能ブロック図である。It is a functional block diagram of an image processing unit and a system control unit. 各ブロックにおける配列パターンを示す図である。It is a figure which shows the arrangement pattern in each block. システム制御部が実行する撮影動作を説明するためのフローチャートである。It is a flowchart for demonstrating the shooting operation performed by the system control unit. 配列パターン設定処理を説明するためのフローチャートである。It is a flowchart for demonstrating the array pattern setting process. 第２動画モードが実行されるときの第２配列パターンの設定例を示す図である。It is a figure which shows the setting example of the 2nd array pattern when the 2nd moving image mode is executed. 画像表示領域におけるライブビュー画像の表示例を示す図である。It is a figure which shows the display example of the live view image in an image display area. 画像表示領域における電子ズームの範囲及び位置を示す図である。It is a figure which shows the range and position of the electronic zoom in an image display area. 画像表示領域におけるサブ画面の範囲及び位置を示す図である。It is a figure which shows the range and position of the sub screen in an image display area. 第２動画モードの実行中の動作を説明するためのフローチャートである。It is a flowchart for demonstrating the operation during execution of the 2nd moving image mode. 第２動画モードにおける電荷蓄積のタイミングを示すタイミングチャートである。It is a timing chart which shows the timing of charge accumulation in the 2nd moving image mode. 第２実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。It is a block diagram which shows the structure of the image pickup apparatus and the electronic apparatus which concerns on 2nd Embodiment.

以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現している。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the present invention is not limited to this. Further, in the drawings, in order to explain the embodiment, the scale is appropriately changed and expressed, such as drawing a part in a large or emphasized manner.

＜第１実施形態＞
図１は、積層型撮像素子の断面図である。なお、この積層型撮像素子１００は、本願出願人が先に出願した特願２０１２−１３９０２６号に記載されているものである。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１、及びメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。 <First Embodiment>
FIG. 1 is a cross-sectional view of a stacked image sensor. The stacked image sensor 100 is described in Japanese Patent Application No. 2012-139026 previously filed by the applicant of the present application. The image sensor 100 includes an image pickup chip 113 that outputs a pixel signal corresponding to incident light, a signal processing chip 111 that processes the pixel signal, and a memory chip 112 that stores the pixel signal. The imaging chip 113, the signal processing chip 111, and the memory chip 112 are laminated and electrically connected to each other by a conductive bump 109 such as Cu.

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸及びＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。 As shown in the figure, the incident light is mainly incident in the Z-axis plus direction indicated by the white arrow. In the present embodiment, in the image pickup chip 113, the surface on the side where the incident light is incident is referred to as the back surface. Further, as shown in the coordinate axes, the left direction of the paper surface orthogonal to the Z axis is defined as the X-axis plus direction, and the Z-axis and the front direction of the paper surface orthogonal to the X-axis are defined as the Y-axis plus direction. In some subsequent figures, the coordinate axes are displayed so that the orientation of each figure can be understood with reference to the coordinate axes of FIG.

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード（Ｐｈｏｔｏｄｉｏｄｅ；以下、ＰＤという。）１０４、及び、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。 An example of the image pickup chip 113 is a back-illuminated MOS image sensor. The PD layer 106 is arranged on the back surface side of the wiring layer 108. The PD layer 106 has a plurality of photodiodes (Photodiodes; hereinafter referred to as PDs) 104 arranged two-dimensionally and accumulating charges according to incident light, and a transistor 105 provided corresponding to the PD 104. ..

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、可視光のうち特定の波長領域を通過させるフィルタである。このカラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４、及びトランジスタ１０５の組が一つの画素を形成する。 A color filter 102 is provided on the incident side of the incident light in the PD layer 106 via the passivation film 103. The color filter 102 is a filter that allows visible light to pass through a specific wavelength region. The color filter 102 has a plurality of types that transmit different wavelength regions from each other, and has a specific arrangement corresponding to each of the PD 104. The arrangement of the color filters 102 will be described later. A set of a color filter 102, a PD 104, and a transistor 105 forms one pixel.

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。 A microlens 101 is provided on the incident side of the incident light in the color filter 102 corresponding to each pixel. The microlens 101 collects incident light toward the corresponding PD 104.

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。配線層１０８の表面には複数のバンプ１０９が配される。これら複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされる。そして、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。 The wiring layer 108 has a wiring 107 that transmits a pixel signal from the PD layer 106 to the signal processing chip 111. The wiring 107 may have multiple layers, and may be provided with a passive element and an active element. A plurality of bumps 109 are arranged on the surface of the wiring layer 108. These plurality of bumps 109 are aligned with the plurality of bumps 109 provided on the facing surfaces of the signal processing chip 111. Then, when the imaging chip 113 and the signal processing chip 111 are pressurized or the like, the aligned bumps 109 are joined to each other and electrically connected.

同様に、信号処理チップ１１１及びメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされる。そして、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。 Similarly, a plurality of bumps 109 are arranged on the surfaces of the signal processing chip 111 and the memory chip 112 facing each other. These bumps 109 are aligned with each other. Then, when the signal processing chip 111 and the memory chip 112 are pressurized or the like, the aligned bumps 109 are joined to each other and electrically connected.

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つの単位グループに対して一つ程度設ければよい。従って、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域（図２に示す画素領域１１３Ａ）以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。 The bonding between the bumps 109 is not limited to Cu bump bonding by solid phase diffusion, and micro bump bonding by solder melting may be adopted. Further, for example, about one bump 109 may be provided for one unit group described later. Therefore, the size of the bumps 109 may be larger than the pitch of the PD 104. Further, in the peripheral region other than the pixel region (pixel region 113A shown in FIG. 2) in which the pixels are arranged, a bump larger than the bump 109 corresponding to the pixel region may be provided together.

信号処理チップ１１１は、表面及び裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（Ｔｈｒｏｕｇｈ−Ｓｉｌｉｃｏｎ Ｖｉａ；シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられる。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域や、メモリチップ１１２に設けられてもよい。 The signal processing chip 111 has a TSV (Through Silicon Via; through silicon via) 110 that connects circuits provided on the front surface and the back surface to each other. The TSV 110 is provided in the peripheral area. Further, the TSV 110 may be provided in the peripheral area of the image pickup chip 113 or in the memory chip 112.

図２は、撮像チップの画素配列と単位グループを説明する図である。図２では、特に、撮像チップ１１３を裏面側から観察した様子を示す。撮像チップ１１３において画素が配列された領域を画素領域１１３Ａという。画素領域１１３Ａには２０００万個以上もの画素がマトリックス状に配列されている。図２に示す例では、隣接する４画素×４画素の１６画素が一つの単位グループ１３１を形成する。図２の格子線は、隣接する画素がグループ化されて単位グループ１３１を形成する概念を示す。単位グループ１３１を形成する画素の数はこれに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。 FIG. 2 is a diagram illustrating a pixel array and a unit group of the imaging chip. FIG. 2 shows, in particular, a state in which the imaging chip 113 is observed from the back surface side. The region in which the pixels are arranged in the image pickup chip 113 is referred to as the pixel region 113A. More than 20 million pixels are arranged in a matrix in the pixel area 113A. In the example shown in FIG. 2, 16 pixels of adjacent 4 pixels × 4 pixels form one unit group 131. The grid lines in FIG. 2 show the concept that adjacent pixels are grouped to form a unit group 131. The number of pixels forming the unit group 131 is not limited to this, and may be about 1000, for example, 32 pixels × 64 pixels, more or less.

画素領域１１３Ａの部分拡大図に示すように、単位グループ１３１は、緑色画素Ｇｂ，Ｇｒ、青色画素Ｂ、及び赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。 As shown in the partially enlarged view of the pixel region 113A, the unit group 131 includes four so-called Bayer arrays including four pixels of green pixels Gb, Gr, blue pixels B, and red pixels R in the vertical and horizontal directions. The green pixel is a pixel having a green filter as the color filter 102, and receives light in the green wavelength band among the incident light. Similarly, the blue pixel is a pixel having a blue filter as the color filter 102 and receives light in the blue wavelength band. The red pixel is a pixel having a red filter as the color filter 102 and receives light in the red wavelength band.

図３は、撮像チップの単位グループに対応する回路図である。図３において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。 FIG. 3 is a circuit diagram corresponding to a unit group of imaging chips. In FIG. 3, a rectangle surrounded by a dotted line typically represents a circuit corresponding to one pixel. At least a part of each transistor described below corresponds to the transistor 105 of FIG.

上述したように、単位グループ１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続される。各転送トランジスタ３０２のゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。 As described above, the unit group 131 is formed from 16 pixels. The 16 PD 104s corresponding to each pixel are connected to the transfer transistor 302, respectively. The gate of each transfer transistor 302 is connected to the TX wiring 307 to which the transfer pulse is supplied. In this embodiment, the TX wiring 307 is commonly connected to the 16 transfer transistors 302.

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されるとともに、転送トランジスタ３０２のドレインと各リセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤ（電荷検出部）が増幅トランジスタ３０４のゲートに接続される。各リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。各リセットトランジスタ３０３のゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。 The drain of each transfer transistor 302 is connected to the source of each corresponding reset transistor 303, and the so-called floating diffusion FD (charge detection unit) between the drain of the transfer transistor 302 and the source of each reset transistor 303 is an amplification transistor 304. Connected to the gate. The drain of each reset transistor 303 is connected to the Vdd wiring 310 to which the power supply voltage is supplied. The gate of each reset transistor 303 is connected to the reset wiring 306 to which the reset pulse is supplied. In the present embodiment, the reset wiring 306 is commonly connected to the 16 reset transistors 303.

各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。各々の選択トランジスタ３０５のゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。 The drain of each amplification transistor 304 is connected to the Vdd wiring 310 to which the power supply voltage is supplied. Also, the source of each amplification transistor 304 is connected to the drain of each corresponding selection transistor 305. The gate of each selection transistor 305 is connected to the decoder wiring 308 to which the selection pulse is supplied. In this embodiment, the decoder wiring 308 is provided independently for each of the 16 selection transistors 305. Then, the source of each selection transistor 305 is connected to the common output wiring 309. The load current source 311 supplies current to the output wiring 309. That is, the output wiring 309 for the selection transistor 305 is formed by the source follower. The load current source 311 may be provided on the imaging chip 113 side or the signal processing chip 111 side.

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加される。これと同時に、ＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加される。これにより、ＰＤ１０４及びフローティングディフュージョンＦＤの電位はリセットされる。 Here, the flow from the start of charge accumulation to the pixel output after the end of accumulation will be described. A reset pulse is applied to the reset transistor 303 through the reset wiring 306. At the same time, a transfer pulse is applied to the transfer transistor 302 through the TX wiring 307. As a result, the potentials of the PD 104 and the floating diffusion FD are reset.

ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、ＰＤ１０４において蓄積された電荷はフローティングディフュージョンＦＤへ転送される。これにより、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４及び選択トランジスタ３０５を介して出力配線３０９に伝わる。このような回路の動作により、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。 When the application of the transfer pulse is released, the PD 104 converts the received incident light into an electric charge and accumulates it. After that, when the transfer pulse is applied again in the state where the reset pulse is not applied, the charge accumulated in the PD 104 is transferred to the floating diffusion FD. As a result, the potential of the floating diffusion FD changes from the reset potential to the signal potential after charge accumulation. Then, when the selection pulse is applied to the selection transistor 305 through the decoder wiring 308, the fluctuation of the signal potential of the floating diffusion FD is transmitted to the output wiring 309 via the amplification transistor 304 and the selection transistor 305. By the operation of such a circuit, the pixel signal corresponding to the reset potential and the signal potential is output from the unit pixel to the output wiring 309.

図３に示すように、本実施形態においては、単位グループ１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素すべてに対して同時に印加される。従って、単位グループ１３１を形成するすべての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９に出力される。また、リセット配線３０６、ＴＸ配線３０７、出力配線３０９は、単位グループ１３１ごとに別個に設けられる。 As shown in FIG. 3, in the present embodiment, the reset wiring 306 and the TX wiring 307 are common to the 16 pixels forming the unit group 131. That is, the reset pulse and the transfer pulse are applied to all 16 pixels at the same time. Therefore, all the pixels forming the unit group 131 start the charge accumulation at the same timing and end the charge accumulation at the same timing. However, the pixel signal corresponding to the accumulated charge is selectively output to the output wiring 309 by sequentially applying the selection pulse to each selection transistor 305. Further, the reset wiring 306, the TX wiring 307, and the output wiring 309 are separately provided for each unit group 131.

このように単位グループ１３１を基準として回路を構成することにより、単位グループ１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位グループ１３１間で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ１３１に１回の電荷蓄積を行わせている間に、他方の単位グループ１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ１３１間で異なるフレームレートで動画用の各フレームを出力することもできる。 By configuring the circuit with the unit group 131 as a reference in this way, the charge accumulation time can be controlled for each unit group 131. In other words, pixel signals with different charge accumulation times can be output between the unit groups 131. Furthermore, while one unit group 131 is made to perform one charge accumulation, the other unit group 131 is made to repeat the charge accumulation many times to output a pixel signal each time. It is also possible to output each frame for moving images at different frame rates among the unit groups 131.

図４は、撮像素子の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、単位グループ１３１を形成する１６個のＰＤ１０４を順番に選択する。そして、マルチプレクサ４１１は、１６個のＰＤ１０４のそれぞれの画素信号を当該単位グループ１３１に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４とともに、撮像チップ１１３に形成される。 FIG. 4 is a block diagram showing a functional configuration of the image sensor. The analog multiplexer 411 sequentially selects 16 PD 104s forming a unit group 131. Then, the multiplexer 411 outputs each pixel signal of the 16 PD 104s to the output wiring 309 provided corresponding to the unit group 131. The multiplexer 411 is formed on the imaging chip 113 together with the PD 104.

マルチプレクサ４１１を介して出力されたアナログ信号の画素信号は、信号処理チップ１１１に形成されたアンプ４１２により増幅される。そして、アンプ４１２で増幅された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ；Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）・アナログ／デジタル（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換を行う信号処理回路４１３により、相関二重サンプリングの信号処理が行われるとともに、Ａ／Ｄ変換（アナログ信号からデジタル信号への変換）が行われる。画素信号が信号処理回路４１３において相関二重サンプリングの信号処理が行われることにより、画素信号のノイズが低減される。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１４に引き渡され、それぞれの画素に対応する画素メモリ４１５に格納される。デマルチプレクサ４１４及び画素メモリ４１５は、メモリチップ１１２に形成される。 The pixel signal of the analog signal output via the multiplexer 411 is amplified by the amplifier 412 formed on the signal processing chip 111. Then, the pixel signal amplified by the amplifier 412 is generated by a signal processing circuit 413 formed on the signal processing chip 111, which performs correlated double sampling (CDS; Analog / Digital) conversion. Along with the signal processing of correlated double sampling, A / D conversion (conversion from analog signal to digital signal) is performed. The noise of the pixel signal is reduced by performing the signal processing of the correlation double sampling of the pixel signal in the signal processing circuit 413. The A / D converted pixel signal is delivered to the demultiplexer 414 and stored in the pixel memory 415 corresponding to each pixel. The demultiplexer 414 and the pixel memory 415 are formed on the memory chip 112.

演算回路４１６は、画素メモリ４１５に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１６は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図４では１つの単位グループ１３１の分の接続を示すが、実際にはこれらが単位グループ１３１ごとに存在して、並列で動作する。ただし、演算回路４１６は単位グループ１３１ごとに存在しなくてもよい。例えば、一つの演算回路４１６がそれぞれの単位グループ１３１に対応する画素メモリ４１５の値を順に参照しながらシーケンシャルに処理してもよい。 The arithmetic circuit 416 processes the pixel signal stored in the pixel memory 415 and hands it over to the image processing unit in the subsequent stage. The arithmetic circuit 416 may be provided on the signal processing chip 111 or the memory chip 112. Note that FIG. 4 shows the connections for one unit group 131, but in reality, these exist for each unit group 131 and operate in parallel. However, the arithmetic circuit 416 does not have to exist for each unit group 131. For example, one arithmetic circuit 416 may sequentially refer to the value of the pixel memory 415 corresponding to each unit group 131 for sequential processing.

上記した通り、単位グループ１３１のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は、撮像チップ１１３、信号処理チップ１１１、及びメモリチップ１１２を積層している。このため、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。 As described above, the output wiring 309 is provided corresponding to each of the unit groups 131. The image pickup device 100 is laminated with an image pickup chip 113, a signal processing chip 111, and a memory chip 112. Therefore, by using the electrical connection between the chips using the bumps 109 for these output wirings 309, the wiring can be routed without enlarging each chip in the plane direction.

次に、撮像素子１００の画素領域１１３Ａ（図２参照）に設定されるブロックについて説明する。本実施形態において、撮像素子１００の画素領域１１３Ａは、複数のブロックに分割される。複数のブロックは、１ブロックにつき単位グループ１３１を少なくとも１つ含むように定義される。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数などがあげられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。 Next, a block set in the pixel region 113A (see FIG. 2) of the image sensor 100 will be described. In the present embodiment, the pixel region 113A of the image sensor 100 is divided into a plurality of blocks. The plurality of blocks are defined to include at least one unit group 131 per block. The pixels included in each block are controlled by different control parameters for each block. That is, pixel signals having different control parameters are acquired between the pixel group included in a certain block and the pixel group included in another block. Examples of the control parameters include the charge accumulation time or the number of times of accumulation, the frame rate, the gain, the thinning rate, the number of additional rows or columns for adding the pixel signals, the number of digitization bits, and the like. Further, the control parameter may be a parameter in image processing after acquiring an image signal from a pixel.

ここで、電荷の蓄積時間とは、ＰＤ１０４が電荷の蓄積を開始してから終了するまでの時間のことをいう。また、電荷の蓄積回数とは、単位時間あたりにＰＤ１０４が電荷を蓄積する回数のことをいう。また、フレームレートとは、動画において単位時間あたりに処理（表示又は記録）されるフレーム数を表す値のことをいう。フレームレートの単位はｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）で表される。フレームレートが高くなる程、動画における被写体（すなわち撮像される対象物）の動きが滑らかになる。 Here, the charge accumulation time means the time from the start to the end of the charge accumulation of the PD 104. The number of times the electric charge is accumulated means the number of times the PD 104 accumulates the electric charge per unit time. The frame rate is a value representing the number of frames processed (displayed or recorded) per unit time in a moving image. The unit of the frame rate is fps (Frames Per Second). The higher the frame rate, the smoother the movement of the subject (that is, the object to be imaged) in the moving image.

また、ゲインとは、アンプ４１２の利得率（増幅率）のことをいう。このゲインを変更することにより、ＩＳＯ感度を変更することができる。このＩＳＯ感度は、ＩＳＯで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子１００の感度を表現する場合もＩＳＯ感度が用いられる。この場合、ＩＳＯ感度は撮像素子１００が光をとらえる能力を表す値となる。ゲインを上げるとＩＳＯ感度も向上する。例えば、ゲインを倍にすると電気信号（画素信号）も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。 Further, the gain means the gain rate (amplification rate) of the amplifier 412. By changing this gain, the ISO sensitivity can be changed. This ISO sensitivity is a standard for photographic film established by ISO, and indicates how weak a photographic film can record. However, in general, ISO sensitivity is also used when expressing the sensitivity of the image sensor 100. In this case, the ISO sensitivity is a value representing the ability of the image sensor 100 to capture light. Increasing the gain also improves the ISO sensitivity. For example, when the gain is doubled, the electric signal (pixel signal) is also doubled, and even if the amount of incident light is halved, the brightness becomes appropriate. However, when the gain is increased, the noise contained in the electric signal is also amplified, so that the noise increases.

また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が０である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が０．５である場合は、その所定領域内の半分の画素から画素信号を読み出しが行われることを意味する。具体的には、単位グループ１３１がベイヤー配列である場合、垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位の２画素ずつ（２行ずつ）交互に画素信号が読み出される画素と読み出されない画素とが設定される。なお、画素信号の読み出しの間引きが行われると画像の解像度が低下する。しかし、撮像素子１００には２０００万以上の画素が配置されているため、例えば間引き率０．５で間引きを行ったとしても、１０００万以上の画素で画像を表示することができる。このため、使用者（撮影者）にとって解像度の低下は気にならないものと考えられる。 The thinning rate refers to the ratio of the number of pixels in which the pixel signal is not read out to the total number of pixels in a predetermined area. For example, when the thinning rate of a predetermined area is 0, it means that the pixel signal is read out from all the pixels in the predetermined area. Further, when the thinning rate of the predetermined area is 0.5, it means that the pixel signal is read out from half the pixels in the predetermined area. Specifically, when the unit group 131 is a Bayer array, one unit of the Bayer array is placed in the vertical direction, that is, it is read as a pixel in which a pixel signal is alternately read out by two pixels (two rows each) in pixel units. Pixels that are not output are set. Note that the image resolution is reduced when the pixel signal is thinned out. However, since the image sensor 100 has 20 million or more pixels arranged, an image can be displayed with 10 million or more pixels even if thinning is performed at a thinning rate of 0.5, for example. Therefore, it is considered that the user (photographer) does not mind the decrease in resolution.

また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数（行数）をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数（列数）をいう。このような加算の処理は、例えば演算回路４１６において行われる。演算回路４１６が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路４１６が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。 The number of lines to be added means the number of pixels (number of lines) in the vertical direction to be added when the pixel signals of pixels adjacent to each other in the vertical direction are added. The number of columns to be added means the number of pixels (number of columns) in the horizontal direction to be added when the pixel signals of pixels adjacent to each other in the horizontal direction are added. Such addition processing is performed, for example, in the arithmetic circuit 416. By performing the process of adding the pixel signals of a predetermined number of pixels adjacent to each other in the vertical direction or the horizontal direction by the arithmetic circuit 416, the same effect as the process of reading out the pixel signals by thinning out at a predetermined thinning rate is obtained. In the above-mentioned addition process, the average value may be calculated by dividing the addition value by the number of rows or columns added by the arithmetic circuit 416.

また、デジタル化のビット数とは、信号処理回路４１３がＡ／Ｄ変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。 The number of bits for digitization refers to the number of bits when the signal processing circuit 413 converts an analog signal into a digital signal in A / D conversion. As the number of bits of the digital signal increases, the brightness and color change are expressed in more detail.

本実施形態において、蓄積条件とは、撮像素子１００における電荷の蓄積に関する条件のことをいう。具体的には、蓄積条件は、上記した制御パラメータのうち、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインのことをいう。フレームレートは電荷の蓄積時間や蓄積回数に応じて変化し得るので、フレームレートが蓄積条件に含まれる。また、ゲインに応じて適正露出の光量は変化し、適正露出の光量に応じて電荷の蓄積時間又は蓄積回数も変化し得る。このため、ゲインは蓄積条件に含まれる。 In the present embodiment, the accumulation condition means a condition relating to the accumulation of electric charge in the image sensor 100. Specifically, the storage condition refers to the charge storage time or the number of times of storage, the frame rate, and the gain among the above-mentioned control parameters. Since the frame rate can change depending on the charge accumulation time and the number of times of accumulation, the frame rate is included in the accumulation condition. In addition, the amount of light with proper exposure changes according to the gain, and the charge accumulation time or the number of times of accumulation may change according to the amount of light with proper exposure. Therefore, the gain is included in the accumulation condition.

また、撮像条件とは、被写体の撮像に関する条件をいう。具体的には、撮像条件は、上記した蓄積条件を含む制御パラメータのことをいう。撮像条件は、撮像素子１００を制御するための制御パラメータ（例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン）のほかに、撮像素子１００からの信号の読み出しを制御するための制御パラメータ（例えば、間引き率）、撮像素子１００からの信号を処理するための制御パラメータ（例えば、画素信号を加算する加算行数又は加算列数、デジタル化のビット数、後述する画像処理部３０が画像処理を実行するための制御パラメータ）も含まれる。 Further, the imaging condition refers to a condition relating to imaging of a subject. Specifically, the imaging condition refers to a control parameter including the above-mentioned accumulation condition. The image pickup conditions include control parameters for controlling the image sensor 100 (for example, charge accumulation time or number of times, frame rate, gain), as well as control parameters for controlling reading of a signal from the image sensor 100 (for example,). For example, the thinning rate), control parameters for processing the signal from the image sensor 100 (for example, the number of additional rows or columns for adding pixel signals, the number of digitization bits, and the image processing unit 30 described later performs image processing. (Control parameters for executing) are also included.

図５は、第１実施形態に係る電子機器の構成を示すブロック図である。図５に示す電子機器１は、例えば撮像機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどの機器で構成される。図５に示すように、電子機器１は、レンズ部１０、撮像部２０、画像処理部３０、ワークメモリ４０、表示部５０、操作部５５、記録部６０、及びシステム制御部７０を備える。レンズ部１０は、複数のレンズ群から構成された撮像光学系である。このレンズ部１０は、被写体からの光束を撮像部２０へ導く。このレンズ部１０は、電子機器１と一体構成であってもよく、また電子機器１に対して着脱可能な交換式レンズであってもよい。また、このレンズ部１０は、フォーカスレンズを内蔵していてもよく、またズームレンズを内蔵していてもよい。 FIG. 5 is a block diagram showing a configuration of an electronic device according to the first embodiment. The electronic device 1 shown in FIG. 5 is composed of devices such as a digital camera having an imaging function, a smartphone, a mobile phone, and a personal computer, for example. As shown in FIG. 5, the electronic device 1 includes a lens unit 10, an image pickup unit 20, an image processing unit 30, a work memory 40, a display unit 50, an operation unit 55, a recording unit 60, and a system control unit 70. The lens unit 10 is an imaging optical system composed of a plurality of lens groups. The lens unit 10 guides the luminous flux from the subject to the imaging unit 20. The lens unit 10 may be integrally configured with the electronic device 1, or may be an interchangeable lens that can be attached to and detached from the electronic device 1. Further, the lens unit 10 may have a built-in focus lens or may have a built-in zoom lens.

撮像部２０は、撮像素子１００及び駆動部２１を有している。駆動部２１は、システム制御部７０からの指示に従って、撮像素子１００の駆動を制御する制御回路である。ここで、駆動部２１は、リセットパルス及び転送パルスをそれぞれリセットトランジスタ３０３及び転送トランジスタ３０２に印加するタイミング（又はタイミングの周期）を制御することにより、制御パラメータである電荷の蓄積時間又は蓄積回数を制御する。また、駆動部２１は、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ３０３、転送トランジスタ３０２、及び選択トランジスタ３０５に印加するタイミング（又はタイミングの周期）を制御することにより、フレームレートを制御する。また、駆動部２１は、リセットパルス、転送パルス、及び選択パルスを印加する画素を設定することにより、間引き率を制御する。 The image pickup unit 20 includes an image pickup element 100 and a drive unit 21. The drive unit 21 is a control circuit that controls the drive of the image sensor 100 according to an instruction from the system control unit 70. Here, the drive unit 21 controls the timing (or timing cycle) of applying the reset pulse and the transfer pulse to the reset transistor 303 and the transfer transistor 302, respectively, to set the charge accumulation time or the number of times of accumulation, which is a control parameter. Control. Further, the drive unit 21 controls the frame rate by controlling the timing (or timing cycle) of applying the reset pulse, the transfer pulse, and the selection pulse to the reset transistor 303, the transfer transistor 302, and the selection transistor 305, respectively. To do. Further, the drive unit 21 controls the thinning rate by setting the pixels to which the reset pulse, the transfer pulse, and the selection pulse are applied.

また、駆動部２１は、アンプ４１２のゲイン（利得率、増幅率ともいう。）を制御することにより、撮像素子１００のＩＳＯ感度を制御する。また、駆動部２１は、演算回路４１６に指示を送ることにより、画素信号を加算する加算行数又は加算列数を設定する。また、駆動部２１は、信号処理回路４１３に指示を送ることにより、デジタル化のビット数を設定する。さらに、駆動部２１は、撮像素子１００の画素領域（撮像領域）１１３Ａにおけるブロックの設定を行う。このように、駆動部２１は、撮像素子１００に対して複数のブロックごとに異なる撮像条件で撮像させて画素信号を出力させる撮像素子制御部の機能を担う。システム制御部７０は、駆動部２１に対するブロックの位置、形状、範囲などの指示を行う。 Further, the drive unit 21 controls the ISO sensitivity of the image sensor 100 by controlling the gain (also referred to as a gain rate or amplification factor) of the amplifier 412. Further, the drive unit 21 sets the number of addition rows or the number of addition columns to which the pixel signals are added by sending an instruction to the arithmetic circuit 416. Further, the drive unit 21 sets the number of digitization bits by sending an instruction to the signal processing circuit 413. Further, the drive unit 21 sets a block in the pixel region (imaging region) 113A of the image sensor 100. In this way, the drive unit 21 has a function of an image sensor control unit that causes the image sensor 100 to take an image for each of a plurality of blocks under different imaging conditions and output a pixel signal. The system control unit 70 gives instructions such as the position, shape, and range of the block to the drive unit 21.

撮像素子１００は、撮像素子１００からの画素信号を画像処理部３０へ引き渡す。画像処理部３０は、ワークメモリ４０をワークスペースとして、各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施し、画像データを生成する。この画像処理部３０は第１画像処理部３０Ａと第２画像処理部３０Ｂとが設けられている。画像処理の負荷が高い場合は、第１画像処理部３０Ａ及び第２画像処理部３０Ｂに対して、それぞれ処理が割り当てられる。そして、第１画像処理部３０Ａ及び第２画像処理部３０Ｂは、それぞれ、割り当てられた処理を並列に実行する。 The image sensor 100 delivers the pixel signal from the image sensor 100 to the image processing unit 30. The image processing unit 30 uses the work memory 40 as a workspace to perform various image processing on RAW data composed of pixel signals of each pixel to generate image data. The image processing unit 30 is provided with a first image processing unit 30A and a second image processing unit 30B. When the load of image processing is high, processing is assigned to the first image processing unit 30A and the second image processing unit 30B, respectively. Then, the first image processing unit 30A and the second image processing unit 30B each execute the assigned processes in parallel.

本実施形態においては、後述するように、システム制御部７０（具体的には、図７に示す分割部７１）は、撮像素子１００の画素領域（撮像領域）１１３Ａを少なくとも第１領域と第２領域とに分割する。また、システム制御部７０（具体的には、図７に示す撮像制御部７２）は、第１領域と第２領域とで異なる撮像条件によって撮像を行うように撮像素子１００を駆動制御する。この場合、例えば、第１画像処理部３０Ａは、第１領域からの信号の画像処理を実行する。また、第２画像処理部３０Ｂは、第２領域からの信号の画像処理を実行する。なお、撮像素子１００の画素領域（撮像領域）１１３Ａは、第１領域と第２領域との２つの領域に分割される場合に限らず、第１領域、第２領域、第３領域・・・というような複数の領域に分割され得る。そして、複数の領域についての画像処理は、適宜、第１画像処理部３０Ａと第２画像処理部３０Ｂとに割り当てられる。画像処理の割り当ては、分割される領域の数や範囲などによって予め決められていてもよく、また、システム制御部７０が分割される領域の数や範囲などに基づいて決定してもよい。 In the present embodiment, as will be described later, the system control unit 70 (specifically, the division unit 71 shown in FIG. 7) sets the pixel region (imaging region) 113A of the image sensor 100 to at least the first region and the second region. Divide into areas. Further, the system control unit 70 (specifically, the image pickup control unit 72 shown in FIG. 7) drives and controls the image pickup device 100 so as to perform imaging under different imaging conditions in the first region and the second region. In this case, for example, the first image processing unit 30A executes image processing of the signal from the first region. In addition, the second image processing unit 30B executes image processing of the signal from the second region. The pixel region (imaging region) 113A of the image sensor 100 is not limited to the case where it is divided into two regions, a first region and a second region, and the first region, the second region, the third region, ... It can be divided into a plurality of areas such as. Then, the image processing for the plurality of regions is appropriately assigned to the first image processing unit 30A and the second image processing unit 30B. The allocation of image processing may be predetermined based on the number and range of areas to be divided, or may be determined based on the number and range of areas to be divided by the system control unit 70.

画像処理部３０は、種々の画像処理を実行する。例えば、画像処理部３０は、ベイヤー配列で得られた信号に対して色信号処理（色調補正）を行うことによりＲＧＢ画像信号を生成する。また、画像処理部３０は、ＲＧＢ画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部３０は、必要に応じて、所定の圧縮形式（ＪＰＥＧ形式、ＭＰＥＧ形式等）で圧縮する処理を行う。画像処理部３０は、生成した画像データを記録部６０に出力する。また、画像処理部３０は、生成した画像データを表示部５０に出力する。 The image processing unit 30 executes various image processing. For example, the image processing unit 30 generates an RGB image signal by performing color signal processing (color tone correction) on the signal obtained in the Bayer array. Further, the image processing unit 30 performs image processing such as white balance adjustment, sharpness adjustment, gamma correction, and gradation adjustment on the RGB image signal. Further, the image processing unit 30 performs a process of compressing in a predetermined compression format (JPEG format, MPEG format, etc.) as necessary. The image processing unit 30 outputs the generated image data to the recording unit 60. Further, the image processing unit 30 outputs the generated image data to the display unit 50.

本実施形態では、画像処理部３０は、上記した処理のほかに、画像データから主要被写体を検出する処理を行う。ここで、「主要被写体」とは、撮像される対象物である被写体のうち、使用者（撮影者）に注目される被写体又は使用者に注目されると推定される被写体のことをいう。主要被写体は、画像データ中に１つだけ存在する場合に限らず、複数存在する場合もある（例えば図１１参照）。 In the present embodiment, the image processing unit 30 performs a process of detecting a main subject from the image data in addition to the above-described process. Here, the "main subject" refers to a subject that is an object to be imaged and is a subject that is noticed by the user (photographer) or a subject that is presumed to be noticed by the user. The main subject is not limited to the case where only one is present in the image data, and may be present in a plurality of main subjects (see, for example, FIG. 11).

画像処理部３０が画像処理を行う際に参照されるパラメータも制御パラメータ（撮像条件）に含まれる。例えば、色信号処理（色調補正）、ホワイトバランス調整、階調調整、圧縮率などのパラメータが制御パラメータに含まれる。電荷の蓄積時間などに応じて撮像素子１００から読み出される信号が変化し、その信号の変化に応じて画像処理を行う際に参照されるパラメータも変化する。画像処理部３０は、ブロック単位ごとに異なる制御パラメータを設定し、これらの制御パラメータに基づいて色信号処理などの画像処理を実行する。 The parameters referred to when the image processing unit 30 performs image processing are also included in the control parameters (imaging conditions). For example, parameters such as color signal processing (color tone correction), white balance adjustment, gradation adjustment, and compression rate are included in the control parameters. The signal read from the image sensor 100 changes according to the charge accumulation time and the like, and the parameters referred to when performing image processing also change according to the change in the signal. The image processing unit 30 sets different control parameters for each block, and executes image processing such as color signal processing based on these control parameters.

画像処理部３０は、撮像部２０から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを抽出する。または、画像処理部３０は、撮像部２０から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを廃棄する。これにより、データ量を減らすことができるため、後段処理の負荷を軽減することができる。また、画像処理部３０は、撮像部２０から時系列的に得られる複数のフレームに基づいて、各フレーム間に補間する１又は複数のフレームを算出する。そして、画像処理部３０は、算出した１又は複数のフレームを各フレーム間に追加する。これにより、動画再生時においてより滑らかな動きの動画を再生することができる。また、駆動部２１が間引き率を制御するように構成しているが、このような構成に限られない。例えば、駆動部２１はすべての画素から画素信号を読み出すが、画像処理部３０又は演算回路４１６は読み出した画素信号のうち所定の画素信号を廃棄することにより、間引き率を制御するようにしてもよい。 The image processing unit 30 extracts frames at predetermined timings from a plurality of frames obtained from the imaging unit 20 in time series. Alternatively, the image processing unit 30 discards the frames for each predetermined timing among the plurality of frames obtained from the imaging unit 20 in time series. As a result, the amount of data can be reduced, so that the load of post-stage processing can be reduced. Further, the image processing unit 30 calculates one or a plurality of frames to be interpolated between the frames based on the plurality of frames obtained from the imaging unit 20 in time series. Then, the image processing unit 30 adds the calculated one or a plurality of frames between the frames. As a result, it is possible to reproduce a moving image having a smoother movement when playing a moving image. Further, although the drive unit 21 is configured to control the thinning rate, the configuration is not limited to such a configuration. For example, the drive unit 21 reads pixel signals from all the pixels, but the image processing unit 30 or the arithmetic circuit 416 may control the thinning rate by discarding a predetermined pixel signal among the read pixel signals. Good.

ワークメモリ４０は、画像処理部３０による画像処理が行われる際に画像データなどを一時的に記憶する。表示部５０は、例えば液晶表示パネルによって構成されている。この表示部５０は、図５に示すように、表示パネル５１及びタッチパネル５２を有している。表示パネル５１は、撮像部２０で撮像された画像（静止画、動画、ライブビュー画像）や各種情報を表示する。タッチパネル５２は、表示パネル５１の表示画面上に形成されている。このタッチパネル５２は、使用者が画像中の領域の選択などを行う際に、使用者が触れた位置を示す信号をシステム制御部７０に出力する。また、タッチパネル５２は、使用者が撮影モード、撮像条件、及び画面切替の設定を行う際に、使用者が触れた位置を示す信号をシステム制御部７０に出力する。 The work memory 40 temporarily stores image data and the like when image processing is performed by the image processing unit 30. The display unit 50 is composed of, for example, a liquid crystal display panel. As shown in FIG. 5, the display unit 50 has a display panel 51 and a touch panel 52. The display panel 51 displays images (still images, moving images, live view images) captured by the imaging unit 20 and various types of information. The touch panel 52 is formed on the display screen of the display panel 51. The touch panel 52 outputs a signal indicating a position touched by the user to the system control unit 70 when the user selects an area in the image or the like. Further, the touch panel 52 outputs a signal indicating the position touched by the user to the system control unit 70 when the user sets the shooting mode, the imaging condition, and the screen switching.

操作部５５は、使用者によって操作されるレリーズスイッチ、動画スイッチ、各種の操作スイッチなどである。この操作部５５は、使用者による操作に応じた信号をシステム制御部７０に出力する。なお、レリーズスイッチの半押し操作が行われることによって、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓｉｎｇ）やＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）などの撮影準備が行われる。 The operation unit 55 is a release switch, a moving image switch, various operation switches, etc. operated by the user. The operation unit 55 outputs a signal corresponding to the operation by the user to the system control unit 70. By half-pressing the release switch, preparations for shooting such as AF (Automatic Focusing) and AE (Automatic Exposure) are performed.

記録部６０は、メモリカードなどの２つの記憶媒体（第１記録媒体６１及び第２記録媒体６２）を装着可能な２つのカードスロットを有する。記録部６０は、カードスロットに装着された記録媒体（第１記録媒体６１及び第２記録媒体６２）に画像処理部３０において生成された画像データや各種データを記憶する。本実施形態においては、上述したように、第１画像処理部３０Ａと第２画像処理部３０Ｂとは、それぞれ、第１領域からの信号に基づく画像処理と第２領域からの信号に基づく画像処理とを並列に実行する。この場合、第１記録媒体６１は、レリーズスイッチや動画スイッチの操作に応じて、第１領域からの信号に基づく画像データを記憶する。また、第２記録媒体６２は、レリーズスイッチや動画スイッチの操作に応じて、第２領域からの信号に基づく画像データを記憶する。また、記録部６０は、内部メモリを有する。記録部６０は、画像処理部３０において生成された画像データや各種データを内部メモリに記録することも可能である。 The recording unit 60 has two card slots into which two storage media such as a memory card (first recording medium 61 and second recording medium 62) can be mounted. The recording unit 60 stores the image data and various data generated by the image processing unit 30 in the recording media (first recording medium 61 and second recording medium 62) installed in the card slot. In the present embodiment, as described above, the first image processing unit 30A and the second image processing unit 30B perform image processing based on the signal from the first region and image processing based on the signal from the second region, respectively. And in parallel. In this case, the first recording medium 61 stores image data based on the signal from the first region in response to the operation of the release switch or the moving image switch. Further, the second recording medium 62 stores image data based on the signal from the second region in response to the operation of the release switch or the moving image switch. Further, the recording unit 60 has an internal memory. The recording unit 60 can also record the image data and various data generated by the image processing unit 30 in the internal memory.

システム制御部７０は、電子機器１の全体の処理及び動作を制御する。このシステム制御部７０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０Ａを有する。本実施形態において、システム制御部７０は、撮像素子１００（撮像チップ１１３）の撮像面（画素領域１１３Ａ）を複数のブロックに分け、ブロック間において異なる電荷蓄積時間（又は電荷蓄積回数）、フレームレート、ゲインで画像を取得させる。このため、システム制御部７０は、ブロックの位置、形状、範囲、及び各ブロック用の蓄積条件を駆動部２１に対して指示する。また、システム制御部７０は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部７０は、各ブロック用の撮像条件（間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数）を駆動部２１に対して指示する。また、画像処理部３０は、ブロック間で異なる撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行する。このため、システム制御部７０は、各ブロック用の撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）を画像処理部３０に指示する。 The system control unit 70 controls the overall processing and operation of the electronic device 1. The system control unit 70 has a CPU (Central Processing Unit) 70A. In the present embodiment, the system control unit 70 divides the imaging surface (pixel region 113A) of the image sensor 100 (imaging chip 113) into a plurality of blocks, and the charge accumulation time (or the number of charge accumulations) and the frame rate differ between the blocks. , Get the image with the gain. Therefore, the system control unit 70 instructs the drive unit 21 of the position, shape, range, and storage conditions for each block. Further, the system control unit 70 causes the system control unit 70 to acquire an image with different thinning rates between blocks, the number of added rows or columns for adding pixel signals, and the number of digitized bits. Therefore, the system control unit 70 instructs the drive unit 21 of the imaging conditions (thinning rate, the number of additional rows or columns for adding the pixel signals, and the number of digitization bits) for each block. Further, the image processing unit 30 executes image processing under different imaging conditions (control parameters such as color signal processing, white balance adjustment, gradation adjustment, compression rate, etc.) between blocks. Therefore, the system control unit 70 instructs the image processing unit 30 of imaging conditions (control parameters such as color signal processing, white balance adjustment, gradation adjustment, and compression rate) for each block.

また、システム制御部７０は、画像処理部３０において生成された画像データを記録部６０に記録させる。また、システム制御部７０は、画像処理部３０において生成された画像データを表示部５０に出力させることにより、表示部５０に画像を表示させる。また、システム制御部７０は、記録部６０に記録されている画像データを読み出して表示部５０に出力させることにより、表示部５０に画像を表示させる。表示部５０に表示される画像としては、静止画、動画、ライブビュー画像が含まれる。ここで、ライブビュー画像は、画像処理部３０で生成された画像データを表示部５０に順次出力して表示部５０に表示される画像である。ライブビュー画像は、撮像部２０により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。 Further, the system control unit 70 causes the recording unit 60 to record the image data generated by the image processing unit 30. Further, the system control unit 70 causes the display unit 50 to display an image by outputting the image data generated by the image processing unit 30 to the display unit 50. Further, the system control unit 70 reads the image data recorded in the recording unit 60 and outputs the image data to the display unit 50 to display the image on the display unit 50. The image displayed on the display unit 50 includes a still image, a moving image, and a live view image. Here, the live view image is an image in which the image data generated by the image processing unit 30 is sequentially output to the display unit 50 and displayed on the display unit 50. The live view image is used for the user to confirm the image of the subject captured by the imaging unit 20. The live view image is also called a through image or a preview image.

図６は、表示部における表示画面の一例を示す図である。図６に示すように、表示部５０の表示パネル５１は、画像表示領域５１０と操作ボタン表示領域５２０とが設けられている。画像表示領域５１０は、撮像部２０で撮像された画像、すなわち、静止画、動画、及びライブビュー画像を表示する領域である。また、操作ボタン表示領域５２０は、使用者が撮像条件などを設定するためのメニューを表示する領域である。 FIG. 6 is a diagram showing an example of a display screen in the display unit. As shown in FIG. 6, the display panel 51 of the display unit 50 is provided with an image display area 510 and an operation button display area 520. The image display area 510 is an area for displaying an image captured by the imaging unit 20, that is, a still image, a moving image, and a live view image. The operation button display area 520 is an area for displaying a menu for the user to set imaging conditions and the like.

操作ボタン表示領域５２０は、画像表示領域５１０の近傍に設けられている。操作ボタン表示領域５２０内には、使用者が撮影モード、撮像条件、及び表示画面を設定するためのメニュー（メニュー画像）が表示される。使用者が撮影モードを設定するためのメニューは、撮影モードのボタン５２１である。使用者が撮像条件を設定するためのメニューは、ＩＳＯ感度のボタン５２２、及びフレームレートのボタン５２３である。使用者が画面の切替を設定するためのメニューは、画面切替のボタン５２４である。以下、撮影モードのボタン５２１、ＩＳＯ感度のボタン５２２、フレームレートのボタン５２３、及び画面切替のボタン５２４のことを、それぞれ、単に、「撮影モード５２１」、「ＩＳＯ感度５２２」、「フレームレート５２３」、及び「画面切替５２４」と記す。 The operation button display area 520 is provided in the vicinity of the image display area 510. In the operation button display area 520, a menu (menu image) for the user to set the shooting mode, the imaging condition, and the display screen is displayed. The menu for the user to set the shooting mode is the shooting mode button 521. The menus for the user to set the imaging conditions are the ISO sensitivity button 522 and the frame rate button 523. The menu for the user to set the screen switching is the screen switching button 524. Hereinafter, the shooting mode button 521, the ISO sensitivity button 522, the frame rate button 523, and the screen switching button 524 are simply referred to as "shooting mode 521", "ISO sensitivity 522", and "frame rate 523", respectively. , And "screen switching 524".

撮影モード５２１は、使用者が撮影モードを設定（選択）する場合に押すボタンである。ＩＳＯ感度５２２は、使用者がＩＳＯ感度（すなわちゲイン）を設定する場合に押すボタンである。フレームレート５２３は、使用者が動画のフレームレートを設定する場合に押すボタンである。画面切替５２４は、使用者が電子ズーム（デジタルズーム）により一部領域の画像を表示画面全体に拡大表示させる場合（図１３、図１４参照）や、サブ画面に画像を表示させる場合（図１４参照）に押すボタンである。 The shooting mode 521 is a button pressed when the user sets (selects) the shooting mode. The ISO sensitivity 522 is a button that the user presses when setting the ISO sensitivity (that is, gain). The frame rate 523 is a button that the user presses when setting the frame rate of the moving image. The screen switching 524 is used when the user enlarges the image of a part of the area by electronic zoom (digital zoom) on the entire display screen (see FIGS. 13 and 14) or displays the image on the sub screen (see FIG. 14). ) Is a button to press.

ここで、撮影モードとして、静止画を撮影する静止画モードと、動画を撮影する動画モードとが設けられている。また、動画モードとして、第１動画モードと、第２動画モードとが設けられている。静止画モードとは、分割部７１が撮像素子１００の画素領域（撮像領域）１１３Ａを分割せずに、撮像素子１００が画素領域１１３Ａを１つの領域として被写体の静止画を撮影する撮影モードをいう。この静止画モードは、一般に行われている通常の静止画撮影モードである。 Here, as a shooting mode, a still image mode for shooting a still image and a moving image mode for shooting a moving image are provided. Further, as the moving image mode, a first moving image mode and a second moving image mode are provided. The still image mode refers to a shooting mode in which the image sensor 100 captures a still image of a subject with the pixel area 113A as one area without the dividing unit 71 dividing the pixel area (imaging area) 113A of the image sensor 100. .. This still image mode is a normal still image shooting mode that is generally performed.

第１動画モードとは、分割部７１が撮像素子１００の画素領域（撮像領域）１１３Ａを分割せずに、撮像素子１００が画素領域１１３Ａを１つの領域として被写体の動画を撮影する撮影モードをいう。この第１動画モードは、一般的に行われている通常の動画撮影モードである。第２動画モードとは、分割部７１が画素領域１１３Ａを少なくとも第１領域と第２領域を含む複数の領域に分割し、撮像素子１００が複数の領域のそれぞれにおいて同一被写体の動画を撮影する撮影モードをいう。 The first moving image mode refers to a shooting mode in which the image sensor 100 shoots a moving image of a subject with the pixel area 113A as one area without the dividing unit 71 dividing the pixel area (imaging area) 113A of the image sensor 100. .. This first moving image mode is a general moving image shooting mode. In the second moving image mode, the dividing unit 71 divides the pixel region 113A into a plurality of regions including at least the first region and the second region, and the image sensor 100 captures a moving image of the same subject in each of the plurality of regions. Refers to the mode.

タッチパネル５２が画像表示領域５１０及び操作ボタン表示領域５２０上に設けられている。タッチパネル５２において、タッチ領域５１０ａが画像表示領域５１０上に形成されている。タッチ領域５１０ａは、使用者により押された（タッチされた）ことを検出すると、押された位置を示す検出信号をシステム制御部７０に出力する。 The touch panel 52 is provided on the image display area 510 and the operation button display area 520. In the touch panel 52, the touch area 510a is formed on the image display area 510. When the touch area 510a detects that it has been pressed (touched) by the user, it outputs a detection signal indicating the pressed position to the system control unit 70.

また、タッチ領域５２１ａが撮影モード５２１上に重なるように形成されている。また、タッチ領域５２２ａがＩＳＯ感度５２２上に重なるように形成されている。また、タッチ領域５２３ａがフレームレート５２３上に重なるように形成されている。また、タッチ領域５２４ａが画面切替５２４上に重なるように形成されている。各タッチ領域５２１ａ〜５２４ａは、使用者により押された（タッチされた）ことを検出すると、押された位置（いずれのタッチ領域であるか）を示す検出信号をシステム制御部７０に出力する。 Further, the touch region 521a is formed so as to overlap the shooting mode 521. Further, the touch region 522a is formed so as to overlap the ISO sensitivity 522. Further, the touch region 523a is formed so as to overlap the frame rate 523. Further, the touch area 524a is formed so as to overlap the screen switching 524. When each touch area 521a to 524a detects that it has been pressed (touched) by the user, it outputs a detection signal indicating the pressed position (which touch area it is) to the system control unit 70.

なお、使用者が撮影モード、撮像条件、及び表示画面の切替を選択する場合に、タッチパネル５２の操作に代えて、操作部５５の操作を行うようにしてもよい。 When the user selects the switching of the shooting mode, the imaging condition, and the display screen, the operation unit 55 may be operated instead of the touch panel 52.

図７は、図５に示す画像処理部及びシステム制御部の機能ブロック図である。図７に示すように、第１画像処理部３０Ａは画像生成部（動画生成部）３１Ａ及び検出部３２Ａを含んでいる。画像生成部３１Ａは、撮像部２０から出力される第１領域の各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施して画像データを生成する。また、検出部３２Ａは、画像生成部３１Ａで生成した画像データから主要被写体を検出する。本実施形態において、検出部３２Ａは、画像生成部３１Ａが生成するライブビュー画像から時系列的に得られる複数の画像データを比較して、移動する被写体（移動被写体）を主要被写体として検出する。また、検出部３２Ａは、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているような顔検出機能を用いて主要被写体の検出を行う。また、検出部３２Ａは、顔検出に加えて、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているように、画像データに含まれる人体を主要被写体として検出する。 FIG. 7 is a functional block diagram of the image processing unit and the system control unit shown in FIG. As shown in FIG. 7, the first image processing unit 30A includes an image generation unit (moving image generation unit) 31A and a detection unit 32A. The image generation unit 31A generates image data by performing various image processing on the RAW data composed of the pixel signals of each pixel in the first region output from the image pickup unit 20. Further, the detection unit 32A detects the main subject from the image data generated by the image generation unit 31A. In the present embodiment, the detection unit 32A compares a plurality of image data obtained in time series from the live view image generated by the image generation unit 31A, and detects a moving subject (moving subject) as a main subject. Further, the detection unit 32A detects a main subject by using a face detection function as described in, for example, Japanese Patent Application Laid-Open No. 2010-16621 (US2010 / 0002940). Further, in addition to face detection, the detection unit 32A detects a human body included in the image data as a main subject, as described in, for example, Japanese Patent Application Laid-Open No. 2010-16621 (US2010 / 0002940).

また、第２画像処理部３０Ｂは画像生成部（動画生成部）３１Ｂを含んでいる。画像生成部３１Ｂは、撮像部２０から出力される第２領域の各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施して画像データを生成する。なお、第２画像処理部３０Ｂは検出部を含んでいないが、検出部を含んでもよい。また、第１画像処理部３０Ａが検出部３２Ａを含まず、第２画像処理部３０Ｂが検出部を含む構成でもよい。本実施形態において、画像生成部３１Ａと画像生成部３１Ｂを総称して画像生成部３１と記すことがある。 Further, the second image processing unit 30B includes an image generation unit (moving image generation unit) 31B. The image generation unit 31B performs various image processing on the RAW data composed of the pixel signals of each pixel in the second region output from the image pickup unit 20 to generate image data. Although the second image processing unit 30B does not include a detection unit, it may include a detection unit. Further, the first image processing unit 30A may not include the detection unit 32A, and the second image processing unit 30B may include the detection unit. In the present embodiment, the image generation unit 31A and the image generation unit 31B may be collectively referred to as the image generation unit 31.

また、システム制御部７０は、分割部７１、撮像制御部７２、記録制御部７３、及び表示制御部７４を含んでいる。分割部７１は、撮像素子１００の画素領域（撮像領域）１１３Ａをブロック単位で複数の領域に分割する。この分割部７１は、画素領域１１３Ａの各ブロックにおける所定の配列パターンに基づいて画素領域１１３Ａを複数の領域に分割する（図８（Ａ）〜（Ｄ）参照）。撮像制御部７２は、使用者による撮像条件を設定するためのメニュー（ＩＳＯ感度５２２、フレームレート５２３）のタッチ操作に応じて、分割部７１が分割した複数の領域において異なる撮像条件を設定する。また、撮像制御部７２は、使用者によるレリーズスイッチや動画スイッチの操作に応じて撮像素子１００の駆動制御を実行する。また、撮像制御部７２は、ライブビュー画像の撮像時（すなわち、電源投入後の撮影動作の開始後）においても、撮像素子１００の駆動制御を実行する。 Further, the system control unit 70 includes a division unit 71, an image pickup control unit 72, a recording control unit 73, and a display control unit 74. The division unit 71 divides the pixel region (imaging region) 113A of the image sensor 100 into a plurality of regions in block units. The division unit 71 divides the pixel area 113A into a plurality of areas based on a predetermined arrangement pattern in each block of the pixel area 113A (see FIGS. 8A to 8D). The image pickup control unit 72 sets different image pickup conditions in a plurality of regions divided by the division unit 71 according to the touch operation of the menu (ISO sensitivity 522, frame rate 523) for setting the image pickup conditions by the user. Further, the image pickup control unit 72 executes drive control of the image pickup element 100 in response to an operation of the release switch or the moving image switch by the user. Further, the image pickup control unit 72 also executes the drive control of the image pickup element 100 even at the time of capturing the live view image (that is, after the start of the shooting operation after the power is turned on).

記録制御部７３は、画像生成部３１により生成された複数の領域における動画データをそれぞれ記録部６０に記録する制御を行う。例えば、記録制御部７３は、画像生成部３１Ａにより生成された第１領域の画像データを第１記録媒体６１に記録し、画像生成部３１Ｂにより生成された第２領域の画像データを第２記録媒体６２に記録する。表示制御部７４は、画像生成部３１によって生成された画像データを表示部５０に出力させ、表示部５０の画像表示領域５１０に画像（静止画、動画、ライブビュー画像）を表示させる制御を行う。また、表示制御部７４は、使用者による画面切替５２４の操作に応じて、表示画面の切り替えを行う。例えば、表示制御部７４は、使用者による画面切替５２４の操作に応じて、電子ズームにより一部領域の画像を表示画面全体に拡大表示させ、サブ画面に画像を表示させる。 The recording control unit 73 controls to record the moving image data in the plurality of regions generated by the image generation unit 31 in the recording unit 60, respectively. For example, the recording control unit 73 records the image data of the first region generated by the image generation unit 31A on the first recording medium 61, and the second recording of the image data of the second region generated by the image generation unit 31B. Record on medium 62. The display control unit 74 controls the display unit 50 to output the image data generated by the image generation unit 31 and displays an image (still image, moving image, live view image) in the image display area 510 of the display unit 50. .. Further, the display control unit 74 switches the display screen according to the operation of the screen switching 524 by the user. For example, the display control unit 74 enlarges and displays the image of a part of the area on the entire display screen by the electronic zoom in response to the operation of the screen switching 524 by the user, and displays the image on the sub screen.

なお、システム制御部７０において、分割部７１、撮像制御部７２、記録制御部７３、及び表示制御部７４は、ＣＰＵ７０Ａが制御プログラムに基づいて処理を実行することにより実現される。 In the system control unit 70, the division unit 71, the image pickup control unit 72, the recording control unit 73, and the display control unit 74 are realized by the CPU 70A executing processing based on the control program.

次に、分割部７１により設定される各ブロックにおける配列パターンについて説明する。図８は、各ブロックにおける配列パターンを示す図である。ここで、図８（Ａ）は、各ブロックにおける第１配列パターンを示す。また、図８（Ｂ）は、各ブロックにおける第２配列パターンを示す。また、図８（Ｃ）は、各ブロックにおける第３配列パターンを示す。また、図８（Ｄ）は、各ブロックにおける第４配列パターンを示す。 Next, the arrangement pattern in each block set by the division unit 71 will be described. FIG. 8 is a diagram showing an arrangement pattern in each block. Here, FIG. 8A shows the first arrangement pattern in each block. Further, FIG. 8B shows a second arrangement pattern in each block. Further, FIG. 8C shows a third arrangement pattern in each block. Further, FIG. 8D shows a fourth arrangement pattern in each block.

図８（Ａ）に示す第１配列パターンは、画素領域１１３Ａが第１領域と第２領域とに２分割される配列パターンである。この第１配列パターンでは、画素領域１１３Ａにおいて、第１領域が奇数の列（２ｍ−１）のブロックで構成され、第２領域が偶数の列（２ｍ）のブロックで構成されている。すなわち、画素領域１１３Ａにおける各ブロックが奇数列と偶数列とに分割されている。ｍは正の整数（ｍ＝１，２，３，・・・）である。 The first arrangement pattern shown in FIG. 8A is an arrangement pattern in which the pixel region 113A is divided into a first region and a second region. In this first arrangement pattern, in the pixel area 113A, the first area is composed of blocks of an odd number of columns (2m-1), and the second area is composed of blocks of an even number of columns (2m). That is, each block in the pixel area 113A is divided into an odd number column and an even number column. m is a positive integer (m = 1, 2, 3, ...).

図８（Ｂ）に示す第２配列パターンも、画素領域１１３Ａが第１領域と第２領域とに２分割される配列パターンである。この第２配列パターンでは、画素領域１１３Ａにおいて、第１領域が奇数の行（２ｎ−１）のブロックで構成され、第２領域が偶数の行（２ｎ）のブロックで構成されている。すなわち、画素領域１１３Ａにおける各ブロックが奇数行と偶数行とに分割されている。ｎは正の整数（ｎ＝１，２，３，・・・）である。 The second arrangement pattern shown in FIG. 8B is also an arrangement pattern in which the pixel region 113A is divided into a first region and a second region. In this second arrangement pattern, in the pixel region 113A, the first region is composed of blocks of odd-numbered rows (2n-1), and the second region is composed of blocks of even-numbered rows (2n). That is, each block in the pixel area 113A is divided into odd-numbered rows and even-numbered rows. n is a positive integer (n = 1, 2, 3, ...).

図８（Ｃ）に示す第３配列パターンも、画素領域１１３Ａが第１領域と第２領域とに２分割される配列パターンである。この第３配列パターンでは、画素領域１１３Ａにおいて、奇数の列（２ｍ−１）における奇数の行（２ｎ−１）のブロックと、偶数の列（２ｍ）における偶数の行（２ｎ）のブロックとで第１領域が構成されている。また、偶数の列（２ｍ）における奇数の行（２ｎ−１）のブロックと、奇数の列（２ｍ−１）における偶数の行（２ｎ）のブロックとで第２領域が構成されている。すなわち、画素領域１１３Ａにおける各ブロックが市松模様となるように分割されている。ｍ及びｎは正の整数（ｍ＝１，２，３，・・・、ｎ＝１，２，３，・・・）である。 The third arrangement pattern shown in FIG. 8C is also an arrangement pattern in which the pixel region 113A is divided into a first region and a second region. In this third array pattern, in the pixel area 113A, the blocks of the odd row (2n-1) in the odd column (2m-1) and the blocks of the even row (2n) in the even column (2m) The first region is configured. Further, the second region is composed of an odd-numbered row (2n-1) block in an even-numbered column (2 m) and an even-numbered row (2n) block in the odd-numbered column (2 m-1). That is, each block in the pixel region 113A is divided so as to have a checkered pattern. m and n are positive integers (m = 1,2,3, ..., n = 1,2,3, ...).

図８（Ｄ）に示す第４配列パターンは、画素領域１１３Ａが第１領域と第２領域と第３領域とに３分割される配列パターンである。この第４配列パターンでは、画素領域１１３Ａにおいて、第１領域が３の倍数の列から２列前の列（３ｍ−２）のブロックで構成され、第２領域が３の倍数の列から１列前の列（３ｍ−１）のブロックで構成され、第３領域が３の倍数の列（３ｍ）のブロックで構成されている。ｍは正の整数（ｍ＝１，２，３，・・・）である。 The fourth array pattern shown in FIG. 8D is an array pattern in which the pixel region 113A is divided into three regions, a first region, a second region, and a third region. In this fourth arrangement pattern, in the pixel region 113A, the first region is composed of blocks in a row (3m-2) two rows before the row in which the first region is a multiple of 3, and the second region is one row from the row in which the multiple of 3 is. It is composed of blocks in the front row (3m-1), and the third region is composed of blocks in rows (3m) that are multiples of 3. m is a positive integer (m = 1, 2, 3, ...).

なお、図８において、領域ごとのブロックの配置を見えやすくするために、画素領域１１３Ａにおいて少ない数のブロックを設定しているが、図８に示すブロックの数よりも多い数のブロックを設定するようにしてもよい。 In FIG. 8, a small number of blocks are set in the pixel area 113A in order to make the arrangement of blocks in each area easy to see, but a larger number of blocks are set than the number of blocks shown in FIG. You may do so.

次に、第１実施形態に係る撮影動作について説明する。図９は、システム制御部が実行する撮影動作を説明するためのフローチャートである。また、図１０は、設定処理を説明するためのフローチャートである。図９に示す処理において、電子機器１に電源が投入されると、システム制御部７０が撮影動作を開始する。また、図９において示していないが、撮影が開始されると、表示制御部７３は、撮像部２０で撮像されたライブビュー画像を表示パネル５１の画像表示領域５１０に表示するとともに、表示パネル５１の操作ボタン表示領域５２０に各種メニュー５２１〜５２４を表示する。このとき、ライブビュー画像は被写体の動きの滑らかな画像である必要がないため、撮像制御部７２は、低いフレームレートで撮像するように撮像素子１００を駆動制御する。 Next, the photographing operation according to the first embodiment will be described. FIG. 9 is a flowchart for explaining a shooting operation executed by the system control unit. Further, FIG. 10 is a flowchart for explaining the setting process. In the process shown in FIG. 9, when the power is turned on to the electronic device 1, the system control unit 70 starts the photographing operation. Further, although not shown in FIG. 9, when shooting is started, the display control unit 73 displays the live view image captured by the image pickup unit 20 in the image display area 510 of the display panel 51, and also displays the display panel 51. Various menus 521 to 524 are displayed in the operation button display area 520 of. At this time, since the live view image does not have to be an image in which the movement of the subject is smooth, the image pickup control unit 72 drives and controls the image pickup device 100 so as to take an image at a low frame rate.

使用者は、撮影モード５２１をタッチ操作して撮影モードを選択する。分割部７１は、使用者による撮影モード５２１のタッチ操作によって選択された撮影モードを確認する（ステップＳ１）。分割部７１は、使用者により選択された撮影モードが静止画モードであるか否かを判定する（ステップＳ２）。分割部７１は、撮影モードが静止画モードであると判定した場合は、撮影モードを静止画モードに設定する処理を行う（ステップＳ３）。その後、撮像制御部７２は、使用者によりレリーズスイッチの操作（半押し操作に続く、全押し操作）が行われたか否かを判定する（ステップＳ４）。 The user touches the shooting mode 521 to select the shooting mode. The dividing unit 71 confirms the shooting mode selected by the touch operation of the shooting mode 521 by the user (step S1). The dividing unit 71 determines whether or not the shooting mode selected by the user is the still image mode (step S2). When the dividing unit 71 determines that the shooting mode is the still image mode, the dividing unit 71 performs a process of setting the shooting mode to the still image mode (step S3). After that, the image pickup control unit 72 determines whether or not the release switch operation (half-press operation followed by full-press operation) has been performed by the user (step S4).

撮像制御部７２は、レリーズスイッチの操作が行われたと判定した場合は、静止画モードによる撮像を撮像部２０に実行させる（ステップＳ５）。また、ステップＳ５において、記録制御部７３は、撮像部２０が撮像した静止画を記録部６０（第１記録媒体６１又は第１記録媒体６１）に記録するように制御する。さらに、ステップＳ５において、表示制御部７４は、撮像部２０が撮像した静止画を表示パネル５１の画像表示領域５１０に表示するように制御する。なお、静止画モードによる撮像については、通常の静止画撮影と同様であるため、詳しい説明を省略する。 When the image pickup control unit 72 determines that the release switch has been operated, the image pickup control unit 72 causes the image pickup unit 20 to perform imaging in the still image mode (step S5). Further, in step S5, the recording control unit 73 controls to record the still image captured by the imaging unit 20 on the recording unit 60 (first recording medium 61 or first recording medium 61). Further, in step S5, the display control unit 74 controls to display the still image captured by the image pickup unit 20 in the image display area 510 of the display panel 51. Since the imaging in the still image mode is the same as the normal still image shooting, detailed description thereof will be omitted.

また、分割部７１は、ステップＳ２において撮影モードが静止画モードでないと判定した場合、すなわち、撮影モードが動画モードであると判定した場合は、動画モードが第１動画モードであるか否かを判定する（ステップＳ１０）。分割部７１は、動画モードが第１動画モードであると判定した場合は、撮影モードを第１動画モードに設定する処理を行う（ステップＳ１１）。一方、分割部７１は、動画モードが第１動画モードでないと判定した場合、すなわち、第２動画モードであると判定した場合は、撮影モードを第２動画モードに設定する処理を行う（ステップＳ１２）。 Further, when the dividing unit 71 determines in step S2 that the shooting mode is not the still image mode, that is, when the shooting mode is determined to be the moving image mode, the dividing unit 71 determines whether or not the moving image mode is the first moving image mode. Determine (step S10). When the dividing unit 71 determines that the moving image mode is the first moving image mode, the dividing unit 71 performs a process of setting the shooting mode to the first moving image mode (step S11). On the other hand, when it is determined that the moving image mode is not the first moving image mode, that is, when it is determined that the moving image mode is the second moving image mode, the dividing unit 71 performs a process of setting the shooting mode to the second moving image mode (step S12). ).

ステップＳ１１又はステップＳ１２の処理において、分割部７１は、図１０に示す設定処理を実行する。図１０に示す処理において、分割部７１は、画像処理部３０（第１画像処理部３０Ａ）に対して主要被写体の検出を指示する（ステップＳ２１）。検出部３２Ａは、ライブビュー画像から時系列的に得られる複数の画像データを比較して、移動被写体と非移動被写体とを検出する。また、本実施形態では、検出部３２Ａは、画像データの中から目、口、肌の色などで顔を認識し、顔を主要被写体として検出する。さらに、本実施形態では、検出部３２Ａは、顔検出に加えて、画像データに含まれる人体（人物）を主要被写体として検出する。そして、検出部３２Ａは、検出結果を画像データとともにシステム制御部７０に出力する。分割部７１は、検出部３２Ａの検出結果に基づいて主要被写体の有無を確認する。そして、分割部７１は、画素領域１１３Ａにおいて主要被写体及び撮影モードに応じた領域を設定する（ステップＳ２２）。 In the process of step S11 or step S12, the division unit 71 executes the setting process shown in FIG. In the process shown in FIG. 10, the dividing unit 71 instructs the image processing unit 30 (first image processing unit 30A) to detect the main subject (step S21). The detection unit 32A compares a plurality of image data obtained in time series from the live view image to detect a moving subject and a non-moving subject. Further, in the present embodiment, the detection unit 32A recognizes the face from the image data based on the color of the eyes, mouth, skin, etc., and detects the face as the main subject. Further, in the present embodiment, the detection unit 32A detects a human body (person) included in the image data as a main subject in addition to face detection. Then, the detection unit 32A outputs the detection result to the system control unit 70 together with the image data. The dividing unit 71 confirms the presence or absence of the main subject based on the detection result of the detection unit 32A. Then, the division unit 71 sets an area corresponding to the main subject and the shooting mode in the pixel area 113A (step S22).

具体的には、分割部７１は、撮影モードが第１動画モードであるときは、画素領域１１３Ａを複数の領域に分割しない。すなわち、分割部７１は、すべての画素領域１１３Ａを１つの領域として設定する。このとき、分割部７１は、駆動部２１に対してすべての画素領域１１３Ａを１つの領域として設定することを指示する指示信号を出力する。 Specifically, the dividing unit 71 does not divide the pixel area 113A into a plurality of areas when the shooting mode is the first moving image mode. That is, the division unit 71 sets all the pixel areas 113A as one area. At this time, the division unit 71 outputs an instruction signal instructing the drive unit 21 to set all the pixel regions 113A as one region.

一方、分割部７１は、撮影モードが第２動画モードであるときは、図８（Ａ）〜（Ｄ）のいずれかに示した配列パターンを選択する。そして、分割部７１は、検出部３２Ａの検出結果に基づいて、主要被写体が移動被写体であるか否かを確認する。分割部７１は、主要被写体が移動被写体でなく非移動被写体である場合は、図８（Ｃ）に示した第３配列パターンに従って第１領域と第２領域とを設定する。分割部７１は、主要被写体が移動被写体である場合は、移動被写体の移動方向を確認する。移動被写体の移動方向が主に上下方向である場合は、分割部７１は、図８（Ａ）に示した第１配列パターンに従って第１領域と第２領域とを設定する。移動被写体の移動方向が主に左右方向である場合は、分割部７１は、図８（Ｂ）に示した第２配列パターンに従って第１領域と第２領域とを設定する。さらに、移動被写体の上下方向の移動速度が速い場合は、分割部７１は、図８（Ｄ）に示した第４配列パターンに従って第１領域と第２領域と第３領域とを設定する。なお、分割部７１は、ステップＳ２２において、駆動部２１に対して各領域（第１領域及び第２領域、第１領域〜第３領域）のブロックの位置などを指示する指示信号を出力する。 On the other hand, when the shooting mode is the second moving image mode, the dividing unit 71 selects the arrangement pattern shown in any of FIGS. 8A to 8D. Then, the division unit 71 confirms whether or not the main subject is a moving subject based on the detection result of the detection unit 32A. When the main subject is not a moving subject but a non-moving subject, the dividing unit 71 sets the first region and the second region according to the third arrangement pattern shown in FIG. 8C. When the main subject is a moving subject, the dividing unit 71 confirms the moving direction of the moving subject. When the moving direction of the moving subject is mainly in the vertical direction, the dividing unit 71 sets the first region and the second region according to the first arrangement pattern shown in FIG. 8 (A). When the moving direction of the moving subject is mainly in the left-right direction, the dividing unit 71 sets the first region and the second region according to the second arrangement pattern shown in FIG. 8 (B). Further, when the moving speed of the moving subject in the vertical direction is high, the dividing unit 71 sets the first region, the second region, and the third region according to the fourth arrangement pattern shown in FIG. 8 (D). In step S22, the division unit 71 outputs an instruction signal instructing the drive unit 21 of the block positions of each region (first region, second region, first region to third region) and the like.

図１１は、第２動画モードが実行されるときの第２配列パターンの設定例を示す図である。なお、図１１においては、ブロックの配置を見えやすくするために、各ブロックを大きくして表現している。しかし、実際には図１１に示すブロックの大きさよりも小さなブロックが画素領域１１３Ａに設定される。図１１に示す例では、検出部３２Ａは、主要被写体（移動被写体）として、サッカーをしている人物Ｏ１，Ｏ２と、サッカーボールＯ３とを検出する。分割部７１は、検出部３２Ａの検出結果に基づいて、主要被写体Ｏ１〜Ｏ３が移動被写体であり、移動被写体の移動方向が主に左右方向であると判定する。その結果、分割部７１は、図８（Ｂ）に示した第２配列パターンに従って第１領域と第２領域とを設定する。このとき、分割部は、第１領域と第２領域とが主要被写体Ｏ１〜Ｏ３を含むように画素領域１１３Ａの分割を行う。 FIG. 11 is a diagram showing a setting example of the second array pattern when the second moving image mode is executed. In FIG. 11, each block is enlarged in order to make the arrangement of the blocks easy to see. However, in reality, a block smaller than the size of the block shown in FIG. 11 is set in the pixel area 113A. In the example shown in FIG. 11, the detection unit 32A detects the soccer players O1 and O2 and the soccer ball O3 as the main subjects (moving subjects). Based on the detection result of the detection unit 32A, the division unit 71 determines that the main subjects O1 to O3 are moving subjects and the moving direction of the moving subject is mainly in the left-right direction. As a result, the division unit 71 sets the first region and the second region according to the second arrangement pattern shown in FIG. 8 (B). At this time, the dividing unit divides the pixel region 113A so that the first region and the second region include the main subjects O1 to O3.

図１０の説明に戻り、撮像制御部７２は、使用者によるＩＳＯ感度５２２やフレームレート５２３のタッチ操作に応じて、ステップＳ２２で設定した領域（図１１に示す例では、第１領域及び第２領域）ごとの撮像条件を設定する（ステップＳ２３）。具体的には、分割部７１は、使用者によるＩＳＯ感度５２２やフレームレート５２３のタッチ操作に応じた撮像条件（ゲイン、フレームレート）を指示する指示信号を駆動部２１に出力する。 Returning to the description of FIG. 10, the image pickup control unit 72 has the regions set in step S22 according to the touch operation of the ISO sensitivity 522 and the frame rate 523 by the user (in the example shown in FIG. 11, the first region and the second region). The imaging conditions for each region) are set (step S23). Specifically, the division unit 71 outputs an instruction signal indicating imaging conditions (gain, frame rate) according to the touch operation of the ISO sensitivity 522 and the frame rate 523 by the user to the drive unit 21.

なお、撮像制御部７２は、ゲインの変更に応じて、最適な露出になるようなフレームレートの値を自動的に設定するようにしてもよい。また、撮像制御部７２は、フレームレートの変更に応じて、最適な露出になるようなゲインの値を自動的に設定するようにしてもよい。また、撮像制御部７２は、ゲインやフレームレートの変更に応じて最適な映像補正を行うように、色信号処理、ホワイトバランス調整、階調調整、圧縮率などのパラメータ（撮像条件）を指示する指示信号を画像処理部３０に出力してもよい。 The image pickup control unit 72 may automatically set the value of the frame rate so as to obtain the optimum exposure according to the change of the gain. Further, the image pickup control unit 72 may automatically set the gain value so as to obtain the optimum exposure according to the change of the frame rate. Further, the image pickup control unit 72 instructs parameters (imaging conditions) such as color signal processing, white balance adjustment, gradation adjustment, and compression rate so as to perform optimum image correction according to changes in gain and frame rate. The instruction signal may be output to the image processing unit 30.

ステップＳ２３において、使用者により第１領域と第２領域とで異なるフレームレートの設定が行われた場合は、第１記録媒体６１と第２記録媒体６２とで、単位時間あたりに記録されるフレーム数が異なることになる。従って、第１記録媒体６１と第２記録媒体６２とが同じ記録容量である場合は、第１記録媒体６１における第１動画の録画時間と第２記録媒体６２における第２動画の録画時間も異なることになる。すなわち、第１領域のフレームレートが第２領域のフレームレートよりも高い場合は、第１記録媒体６１における第１動画の録画時間が第２記録媒体６２における第２動画の録画時間よりも短くなる。 In step S23, when different frame rates are set in the first area and the second area by the user, the frames recorded per unit time by the first recording medium 61 and the second recording medium 62. The numbers will be different. Therefore, when the first recording medium 61 and the second recording medium 62 have the same recording capacity, the recording time of the first moving image on the first recording medium 61 and the recording time of the second moving image on the second recording medium 62 are also different. It will be. That is, when the frame rate of the first region is higher than the frame rate of the second region, the recording time of the first moving image on the first recording medium 61 is shorter than the recording time of the second moving image on the second recording medium 62. ..

その後、表示制御部７４は、使用者による画面切替５２４のタッチ操作に応じて、表示画面の設定（切り替え）を行う（ステップＳ２４）。図１２は、画像表示領域におけるライブビュー画像の表示例を示す図である。また、図１３は、画像表示領域における電子ズームの範囲及び位置を示す図である。また、図１４は、画像表示領域におけるサブ画面の範囲及び位置を示す図である。 After that, the display control unit 74 sets (switches) the display screen in response to the touch operation of the screen switching 524 by the user (step S24). FIG. 12 is a diagram showing a display example of a live view image in the image display area. Further, FIG. 13 is a diagram showing the range and position of the electronic zoom in the image display area. Further, FIG. 14 is a diagram showing the range and position of the sub screen in the image display area.

ステップＳ２４において、使用者が画面切替５２４をタッチ操作していない状態では、図１２に示すようなライブビュー画像（複数の人がサッカーをしている画像）が画像表示領域５１０に表示されている。具体的には、図１２に示すライブビュー画像では、主要被写体として、複数の人物Ｏ１，Ｏ２，Ｏ４〜Ｏ７と、サッカーボールＯ３と、ゴールＯ８とが表示されている。 In step S24, when the user does not touch the screen switching 524, a live view image (an image of a plurality of people playing soccer) as shown in FIG. 12 is displayed in the image display area 510. .. Specifically, in the live view image shown in FIG. 12, a plurality of persons O1, O2, O4 to O7, a soccer ball O3, and a goal O8 are displayed as main subjects.

ステップＳ２４において、使用者が画面切替５２４をタッチ操作して電子ズームを選択した場合は、表示制御部７４は、検出部３２Ａの検出結果に基づいて、主要被写体Ｏ１〜Ｏ８を検出する。また、表示制御部７４は、主要被写体Ｏ１〜Ｏ８から、人物の主要被写体Ｏ１，Ｏ２，Ｏ４〜Ｏ７を検出する。次に、表示制御部７４は、図１３に示すように、画像表示領域５１０のうち、人物の主要被写体Ｏ１，Ｏ２，Ｏ４〜Ｏ７が多数集まっている一部領域５１１を抽出する。そして、表示制御部７４は、図１４に示すように、抽出した一部領域５１１のライブビュー画像を画像表示領域５１０全面に拡大して表示させる制御を行う。このとき、撮像制御部７２は、画像表示領域５１０のうち、一部領域５１１以外の領域（ライブビュー画像の表示が行われていない領域）については撮像を実行させないように駆動部２１を制御する。これにより、電子ズームによるライブビュー画像の拡大表示が行われているときの消費電力を抑制することができる。 In step S24, when the user touches the screen switching 524 to select the electronic zoom, the display control unit 74 detects the main subjects O1 to O8 based on the detection result of the detection unit 32A. Further, the display control unit 74 detects the main subjects O1, O2, O4 to O7 of the person from the main subjects O1 to O8. Next, as shown in FIG. 13, the display control unit 74 extracts a partial area 511 in which a large number of main subjects O1, O2, O4 to O7 of the person are gathered from the image display area 510. Then, as shown in FIG. 14, the display control unit 74 controls the live view image of the extracted partial area 511 to be enlarged and displayed on the entire surface of the image display area 510. At this time, the image pickup control unit 72 controls the drive unit 21 so as not to execute the image pickup in the area other than the partial area 511 (the area in which the live view image is not displayed) in the image display area 510. .. As a result, it is possible to suppress power consumption when the live view image is enlarged and displayed by the electronic zoom.

ステップＳ２４において、使用者が画面切替５２４をタッチ操作してサブ画面（特定領域）５１２の表示を選択した場合は、表示制御部７４は、第１領域又は第２領域におけるライブビュー画像を、図１４に示すサブ画面５１２に表示させる制御を実行する。具体的には、表示制御部７４は、画像表示領域５１０において第１領域のライブビュー画像が表示されているときは、第２領域のライブビュー画像がサブ画面５１２に表示されるように、画像処理部３０に対して第１領域と第２領域のライブビュー画像の合成を指示する。また、表示制御部７４は、画像表示領域５１０において第２領域のライブビュー画像が表示されているときは、第１領域のライブビュー画像がサブ画面５１２に表示されるように、画像処理部３０に対して第１領域と第２領域のライブビュー画像の合成を指示する。そして、表示制御部７４は、画像処理部３０により合成されたライブビュー画像を表示部５０に出力させて、そのライブビュー画像を画像表示領域５１０に表示させる。なお、図１４に示す例では、サブ画面５１２は、画像表示領域５１０の右下の隅に設けられている。 In step S24, when the user touches the screen switching 524 to select the display of the sub screen (specific area) 512, the display control unit 74 displays the live view image in the first area or the second area. The control to be displayed on the sub screen 512 shown in 14 is executed. Specifically, the display control unit 74 displays an image so that when the live view image of the first region is displayed in the image display area 510, the live view image of the second region is displayed on the sub screen 512. The processing unit 30 is instructed to combine the live view images of the first region and the second region. Further, the display control unit 74 increases the image processing unit 30 so that when the live view image of the second area is displayed in the image display area 510, the live view image of the first area is displayed on the sub screen 512. Is instructed to combine the live view images of the first region and the second region. Then, the display control unit 74 outputs the live view image synthesized by the image processing unit 30 to the display unit 50, and displays the live view image in the image display area 510. In the example shown in FIG. 14, the sub screen 512 is provided in the lower right corner of the image display area 510.

図９の説明に戻り、撮像制御部７２は、使用者により動画スイッチの操作が行われたか否かを判定する（ステップＳ１３）。撮像制御部７２は、動画スイッチの操作が行われたと判定した場合は、動画モード（第１動画モード又は第２動画モード）による撮像を撮像部２０に実行させる（ステップＳ１４）。なお、第１動画モードによる撮像については、通常の動画撮影と同様であるため、詳しい説明を省略する。 Returning to the description of FIG. 9, the image pickup control unit 72 determines whether or not the moving image switch has been operated by the user (step S13). When the image pickup control unit 72 determines that the operation of the moving image switch has been performed, the image pickup control unit 72 causes the image pickup unit 20 to perform imaging in the moving image mode (first moving image mode or second moving image mode) (step S14). Since the imaging in the first moving image mode is the same as that of normal moving image shooting, detailed description thereof will be omitted.

図１５は、第２動画モードの実行中（ステップＳ１４）の動作を説明するためのフローチャートである。図１５に示す処理において、分割部７１は、使用者によるブロック配列（すなわち領域）の設定操作が行われたか否かを判定する（ステップＳ３１）。また、撮像制御部７２は、使用者による撮像条件の設定操作が行われたか否かを判定する（ステップＳ３１）。本実施形態においては、使用者は、動画撮影の開始前におけるブロック配列や撮像条件の設定（図１０のステップＳ２２，Ｓ２３参照）のほかに、動画撮影の開始後におけるブロック配列や撮像条件の設定を行うことができる。 FIG. 15 is a flowchart for explaining the operation during execution of the second moving image mode (step S14). In the process shown in FIG. 15, the division unit 71 determines whether or not the block array (that is, the area) setting operation has been performed by the user (step S31). Further, the image pickup control unit 72 determines whether or not the user has performed the setting operation of the image pickup condition (step S31). In the present embodiment, in addition to setting the block arrangement and imaging conditions before the start of moving image shooting (see steps S22 and S23 in FIG. 10), the user sets the block arrangement and imaging conditions after starting moving image shooting. It can be performed.

例えば、使用者が操作部５５を操作して、表示パネル５１に表示された図８（Ａ）〜（Ｄ）のいずれかの配列パターンを選択することにより、ブロック配列の設定が行われる。また、例えば、図１０のステップＳ２３と同様に、使用者がＩＳＯ感度５２２やフレームレート５２３をタッチ操作することにより、撮像条件（ゲインやフレームレート）の設定が行われる。 For example, the block arrangement is set by the user operating the operation unit 55 and selecting any of the arrangement patterns of FIGS. 8A to 8D displayed on the display panel 51. Further, for example, as in step S23 of FIG. 10, the imaging conditions (gain and frame rate) are set by the user touching the ISO sensitivity 522 and the frame rate 523.

分割部７１は、使用者によるブロック配列の設定操作が行われたと判定した場合は、ブロック配列の再設定を行う（ステップＳ３２）。すなわち、撮像制御部７２は、駆動部２１に対して各領域（第１領域及び第２領域、第１領域〜第３領域）のブロックの位置などを指示する指示信号を出力する。また、撮像制御部７２は、使用者による撮像条件の設定操作が行われたと判定した場合は、撮像条件の再設定を行う（ステップＳ３２）。すなわち、撮像制御部７２は、駆動部２１に対して撮像条件（ゲインやフレームレート）を指示する指示信号を出力する。 When it is determined that the block array setting operation has been performed by the user, the division unit 71 resets the block array (step S32). That is, the image pickup control unit 72 outputs an instruction signal instructing the drive unit 21 to indicate the position of the block in each region (first region, second region, first region to third region). Further, when the imaging control unit 72 determines that the user has performed the setting operation of the imaging conditions, the imaging control unit 72 resets the imaging conditions (step S32). That is, the image pickup control unit 72 outputs an instruction signal for instructing the image pickup conditions (gain and frame rate) to the drive unit 21.

次に、表示制御部７４は、使用者により電子ズームを選択する操作（すなわち、画面切替５２４のタッチ操作）が行われたか否かを判定する（ステップＳ３３）。表示制御部７４は、電子ズームを選択する操作が行われたと判定した場合は、図１０のステップＳ２４で説明したように、一部領域５１１を画像表示領域５１０全面に拡大表示させる制御を行う（ステップＳ３４）。また、表示制御部７４は、使用者によりサブ画面５１２の表示を選択する操作（すなわち、画面切替５２４のタッチ操作）が行われたか否かを判定する（ステップＳ３５）。表示制御部７４は、サブ画面５１２の表示を選択する操作が行われたと判定した場合は、図１０のステップＳ２４で説明したように、画像表示領域５１０における右下の隅にサブ画面５１２を表示させる制御を行う（ステップＳ３６）。 Next, the display control unit 74 determines whether or not the operation of selecting the electronic zoom (that is, the touch operation of the screen switching 524) has been performed by the user (step S33). When it is determined that the operation for selecting the electronic zoom has been performed, the display control unit 74 controls the partial area 511 to be enlarged and displayed on the entire surface of the image display area 510 as described in step S24 of FIG. Step S34). Further, the display control unit 74 determines whether or not an operation for selecting the display of the sub screen 512 (that is, a touch operation of the screen switching 524) has been performed by the user (step S35). When the display control unit 74 determines that the operation for selecting the display of the sub screen 512 has been performed, the display control unit 74 displays the sub screen 512 in the lower right corner of the image display area 510 as described in step S24 of FIG. Control is performed (step S36).

次に、撮像制御部７２は、ステップＳ２２又はステップＳ３２で設定されたブロック配列、ステップＳ３４で電子ズームにより拡大表示が行われている場合は電子ズームの範囲（すなわち一部領域５１１）、ステップＳ２３又はステップＳ３２で設定された撮像条件において被写体を撮像するように、撮像素子１００を駆動制御する（ステップＳ３７）。そして、記録制御部７３は、撮像素子１００で撮像され、画像処理部３０で画像処理された動画の画像データを記録部６０に記録する（ステップＳ３８）。具体的には、記録制御部７３は、第１領域における第１動画の画像データを第１記録媒体６１に記録する。また、記録制御部７３は、第２領域における第２動画の画像データを第２記録媒体６２に記録する。 Next, the image pickup control unit 72 has the block arrangement set in step S22 or step S32, the range of the electronic zoom (that is, a part of the area 511) when the enlarged display is performed by the electronic zoom in step S34, and the step S23. Alternatively, the image sensor 100 is driven and controlled so as to image the subject under the imaging conditions set in step S32 (step S37). Then, the recording control unit 73 records the image data of the moving image imaged by the image sensor 100 and image-processed by the image processing unit 30 in the recording unit 60 (step S38). Specifically, the recording control unit 73 records the image data of the first moving image in the first region on the first recording medium 61. Further, the recording control unit 73 records the image data of the second moving image in the second region on the second recording medium 62.

ステップＳ３８において、記録制御部７３は、第１領域における第１動画の画像データに対して第２領域の動画の画像データを補間するように、画像処理部３０に指示信号を出力する。また、記録制御部７３は、第２領域における第２動画の画像データに対して第１領域の動画の画像データを補間するように、画像処理部３０に指示信号を出力する。画素領域（撮像領域）１１３Ａが２つの領域（第１領域、第２領域）に分割されると、解像度が半分に低下してしまう。しかし、上記したような処理を行うことにより、領域を分割したことによって生じる欠陥画素の画像データが補間されるので、解像度が低下しないようにすることができる。 In step S38, the recording control unit 73 outputs an instruction signal to the image processing unit 30 so as to interpolate the image data of the moving image of the second region with the image data of the first moving image in the first area. Further, the recording control unit 73 outputs an instruction signal to the image processing unit 30 so as to interpolate the image data of the moving image of the first region with the image data of the moving image of the second moving image in the second area. When the pixel region (imaging region) 113A is divided into two regions (first region and second region), the resolution is reduced to half. However, by performing the above-mentioned processing, the image data of the defective pixels generated by dividing the region is interpolated, so that the resolution can be prevented from being lowered.

また、ステップＳ３８において、表示制御部７４が、第１領域の一部領域５１１の撮像による動画を電子ズームにより画像表示領域５１０に拡大表示している場合に（ステップＳ３４）、記録制御部７３は、第２領域における第２動画を第２記録媒体６２に記録し、第１領域の一部領域５１１の撮像による動画を第１記録媒体６１に記録する。このような構成によれば、画像表示領域５１０に拡大表示されている一部領域５１１の動画だけでなく、画像表示領域５１０に表示されていない動画も記録することができる。 Further, in step S38, when the display control unit 74 magnifies and displays the moving image obtained by capturing the image of the partial area 511 of the first area in the image display area 510 by electronic zoom (step S34), the recording control unit 73 , The second moving image in the second region is recorded on the second recording medium 62, and the moving image obtained by capturing the image of the partial area 511 of the first region is recorded on the first recording medium 61. According to such a configuration, not only the moving image of the partial area 511 enlarged and displayed in the image display area 510 but also the moving image not displayed in the image display area 510 can be recorded.

また、ステップＳ３８において、表示制御部７４が、第１領域の一部領域５１１の撮像による動画と、第２動画とのいずれか一方の動画を画像表示領域５１０に表示するとともに、他方の動画をサブ画面５１２に表示している場合に（ステップＳ３７）、記録制御部７３は、一方の動画と他方の動画とを合成した動画（図１４参照）を記録部６０に記録する。このような構成によれば、異なる画角の動画（電子ズームの範囲の動画と画像表示領域５１０全面の動画）を１つの動画として記録することができる。このとき、画像処理部３０は、一方の動画と他方の動画とのフレームレートが異なる場合は、同じフレームレートになるように、フレームの間引き又はフレームの追加を行う。これにより、画角の異なる動画を１つの動画として第１記録媒体６１又は第２記録媒体６２に記録することができる。 Further, in step S38, the display control unit 74 displays one of the moving image obtained by capturing the partial area 511 of the first area and the second moving image in the image display area 510, and displays the other moving image. When displayed on the sub screen 512 (step S37), the recording control unit 73 records a moving image (see FIG. 14) in which one moving image and the other moving image are combined in the recording unit 60. According to such a configuration, moving images having different angles of view (moving images in the electronic zoom range and moving images on the entire surface of the image display area 510) can be recorded as one moving image. At this time, when the frame rates of one moving image and the other moving image are different, the image processing unit 30 thins out frames or adds frames so that the frame rates are the same. As a result, moving images having different angles of view can be recorded as one moving image on the first recording medium 61 or the second recording medium 62.

図１６は、第２動画モード（ステップＳ３７の撮像）における電荷蓄積のタイミングを示すタイミングチャートである。図１６に示す第２動画モードにおいては、例えば第１領域と第２領域とが設定される。第２動画モードでは、撮像制御部７２は、動画スイッチの操作が行われている間、第１領域に対して動画の撮像を実行するとともに、第２領域に対して動画の撮像を実行するように、駆動部２１に対して指示信号を出力する。図１６において、駆動部２１は、動画スイッチの操作が行われている間、第１領域における各画素について電荷蓄積時間Ｔ１で動画を撮像させる。また、駆動部２１は、動画スイッチの操作が行われている間、第２領域における各画素について電荷蓄積時間Ｔ１よりも長い電荷蓄積時間Ｔ２で動画を撮像させる。フレームレートは電荷の蓄積時間に応じて変化する。このため、電荷蓄積時間Ｔ１で撮像が実行される場合と電荷蓄積時間Ｔ２で撮像が実行される場合とで、それぞれ、動画のフレームレートが異なる。例えば、第１領域の電荷蓄積時間Ｔ１に対応するフレームレートは６０ｆｐｓであり、第２領域の電荷蓄積時間Ｔ２に対応するフレームレートは３０ｆｐｓである。電荷蓄積時間やフレームレートは、ステップＳ２３又はステップＳ３２の撮像条件の設定処理において設定される。 FIG. 16 is a timing chart showing the timing of charge accumulation in the second moving image mode (imaging in step S37). In the second moving image mode shown in FIG. 16, for example, a first region and a second region are set. In the second moving image mode, the image pickup control unit 72 executes the image pickup of the moving image in the first area and the image capturing of the moving image in the second area while the moving image switch is being operated. In addition, an instruction signal is output to the drive unit 21. In FIG. 16, the drive unit 21 causes each pixel in the first region to image a moving image with a charge accumulation time T1 while the moving image switch is being operated. Further, the drive unit 21 causes each pixel in the second region to image a moving image with a charge accumulation time T2 longer than the charge accumulation time T1 while the moving image switch is being operated. The frame rate changes according to the charge accumulation time. Therefore, the frame rate of the moving image is different between the case where the imaging is executed at the charge accumulation time T1 and the case where the imaging is executed at the charge accumulation time T2. For example, the frame rate corresponding to the charge accumulation time T1 in the first region is 60 fps, and the frame rate corresponding to the charge accumulation time T2 in the second region is 30 fps. The charge accumulation time and the frame rate are set in the imaging condition setting process in step S23 or step S32.

また、撮像素子１００の第１領域から読み出された各画素の画素信号は、アンプ４１２において撮像制御部７２から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１Ａは、撮像制御部７２から出力された第１領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１Ａは、第１領域の各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより第１領域の画像データを生成する。 Further, the pixel signal of each pixel read from the first region of the image sensor 100 is amplified by the gain instructed by the image pickup control unit 72 in the amplifier 412, and then output to the image processing unit 30. The image generation unit 31A confirms the parameters used in image processing such as color signal processing based on the instruction signal instructing the imaging conditions of the first region output from the image pickup control unit 72. Then, the image generation unit 31A generates the image data of the first region by performing various image processing based on the parameters on the RAW data composed of the pixel signals of each pixel of the first region.

また、撮像素子１００の第２領域から読み出された各画素の画素信号は、アンプ４１２において撮像制御部７２から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１Ｂは、撮像制御部７２から出力された第２領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１Ｂは、第２領域の各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより第２領域の画像データを生成する。 Further, the pixel signal of each pixel read from the second region of the image sensor 100 is amplified by the gain instructed by the image pickup control unit 72 in the amplifier 412, and then output to the image processing unit 30. The image generation unit 31B confirms the parameters used in the image processing such as the color signal processing based on the instruction signal instructing the image pickup condition of the second region output from the image pickup control unit 72. Then, the image generation unit 31B generates the image data of the second region by performing various image processing based on the parameters on the RAW data composed of the pixel signals of each pixel of the second region.

このように、第１領域のフレームレートが第２領域のフレームレートよりも高くしているので、第１動画における人物の主要被写体の動きが第２動画における人物の主要被写体の動きよりも滑らかになる。 In this way, since the frame rate of the first region is higher than the frame rate of the second region, the movement of the main subject of the person in the first moving image is smoother than the movement of the main subject of the person in the second moving image. Become.

以上に説明したように、第１実施形態では、撮像素子１００を有する撮像部２０と、撮像素子１００の撮像領域１１３Ａを少なくとも第１領域と第２領域とに分割する分割部７１と、第１領域と第２領域とで異なる撮像条件を設定する撮像制御部７２と、第１領域の撮像による第１動画と、第２領域の撮像による第２動画とのそれぞれを生成する動画生成部３１と、を備える。このような構成によれば、異なる撮像条件が設定された複数の領域に対応する複数種類の動画を生成することができる。従って、被写体や撮影状況に応じた複数種類の動画を生成することができ、撮像素子１００を備えた電子機器１の使い勝手が向上する。 As described above, in the first embodiment, the image pickup unit 20 having the image pickup element 100, the division section 71 that divides the image pickup region 113A of the image pickup element 100 into at least the first region and the second region, and the first. An image pickup control unit 72 that sets different imaging conditions for the region and the second region, and a moving image generation unit 31 that generates a first moving image obtained by imaging the first region and a second moving image obtained by imaging the second region. , Equipped with. According to such a configuration, it is possible to generate a plurality of types of moving images corresponding to a plurality of regions in which different imaging conditions are set. Therefore, it is possible to generate a plurality of types of moving images according to the subject and the shooting situation, and the usability of the electronic device 1 provided with the image sensor 100 is improved.

また、動画生成部は、同一被写体に対して第１領域の撮像による第１動画と、第２領域の撮像による第２動画とのそれぞれを生成するので、同一被写体に対する複数種類の動画を生成することができる。また、分割部７１は、第１領域の画素数と、第２領域の画素数とを同一にするので、すなわち、第１領域のブロックと第２領域のブロックとが画像表示領域５１０において均等に配置されているので、画像表示領域５１０において解像度のばらつきが生じてしまうことはない。分割部７１は、第１領域を複数の離散的な領域（複数の離散的なブロック）から形成するので、動画において部分的に解像度が低下してしまうことがなくなる。また、分割部７１は、第１領域と、第２領域とを可変に分割するので、被写体の種類などの様々な状況に応じた領域に分割することができる。 Further, since the moving image generation unit generates each of the first moving image obtained by capturing the first region and the second moving image obtained by capturing the second region for the same subject, a plurality of types of moving images for the same subject are generated. be able to. Further, since the division unit 71 makes the number of pixels in the first region the same as the number of pixels in the second region, that is, the blocks in the first region and the blocks in the second region are evenly distributed in the image display region 510. Since they are arranged, the resolution does not vary in the image display area 510. Since the dividing portion 71 forms the first region from a plurality of discrete regions (a plurality of discrete blocks), the resolution of the moving image is not partially lowered. Further, since the dividing unit 71 variably divides the first region and the second region, it can be divided into regions according to various situations such as the type of the subject.

撮像制御部７２は、撮像素子１００の第１領域と第２領域との撮像条件として、少なくともフレームレートを異ならせるので、使用者は異なる撮像条件で撮像された複数種類の動画を取得することができる。また、動画生成部３１は、第１画像と第２画像とに対してホワイトバランス、階調、色調補正のうち、少なくとも１つを異ならせた補正を行うので、使用者は異なるパラメータに基づいて画像処理された複数種類の動画を取得することができる。 Since the image pickup control unit 72 has at least different frame rates as the image pickup conditions for the first region and the second region of the image pickup element 100, the user can acquire a plurality of types of moving images captured under different imaging conditions. it can. Further, since the moving image generation unit 31 performs corrections in which at least one of white balance, gradation, and color tone correction is different from the first image and the second image, the user is based on different parameters. It is possible to acquire a plurality of types of image-processed moving images.

また、動画生成部３１は、第１動画に対して第２領域の動画を補間し、第２動画に対して第１領域の動画を補間する。このような構成によれば、撮像領域１１３Ａを分割したことによって生じる欠陥画素の画像データが補間され、解像度が低下しない。また、動画生成部３１により生成された第１動画と第２動画とをそれぞれ記録部６０に記録する記録制御部７３を備えるので、同時に生成された２種類の動画を記録することができる。 Further, the moving image generation unit 31 interpolates the moving image of the second region with respect to the first moving image, and interpolates the moving image of the first region with respect to the second moving image. According to such a configuration, the image data of the defective pixels generated by dividing the imaging region 113A is interpolated, and the resolution is not lowered. Further, since the recording control unit 73 for recording the first moving image and the second moving image generated by the moving image generation unit 31 in the recording unit 60, respectively, it is possible to record two types of moving images generated at the same time.

また、動画生成部３１により生成された動画を表示部５０に表示させる表示制御部７４を備えるので、使用者は表示部５０に表示された画像を確認することができる。また、表示制御部７４は、第１領域の一部領域５１１の撮像による動画を表示部５０に拡大表示し、記録制御部７３は、第２動画と、一部領域５１１の撮像による動画とをそれぞれ記録部６０に記録する。このような構成によれば、表示部５０に拡大表示されている一部領域５１１の動画だけでなく、表示部５０に表示されていない表示部５０の全体領域（画像表示領域５１０全面）の動画も記録することができる。 Further, since the display control unit 74 for displaying the moving image generated by the moving image generation unit 31 on the display unit 50 is provided, the user can confirm the image displayed on the display unit 50. Further, the display control unit 74 enlarges and displays the moving image captured by the partial area 511 of the first region on the display unit 50, and the recording control unit 73 displays the second moving image and the moving image captured by the partial area 511. Each is recorded in the recording unit 60. According to such a configuration, not only the moving image of the partial area 511 enlarged and displayed on the display unit 50, but also the moving image of the entire area of the display unit 50 (the entire surface of the image display area 510) not displayed on the display unit 50. Can also be recorded.

また、表示制御部７４は、第１領域の一部領域５１１の撮像による動画と、第２動画とのいずれか一方の動画を表示部５０に表示するとともに、他方の動画を表示部５０の特定領域（サブ画面５１２）に表示し、記録制御部７３は、一方の動画と他方の動画とを合成した動画（図１４参照）を記録部６０に記録する。このような構成によれば、異なる画角の動画を１つの動画として記録することができる。 Further, the display control unit 74 displays on the display unit 50 one of the moving image obtained by capturing the image of the partial area 511 of the first area and the second moving image, and identifies the other moving image on the display unit 50. Displayed in the area (sub-screen 512), the recording control unit 73 records a moving image (see FIG. 14) in which one moving image and the other moving image are combined in the recording unit 60. According to such a configuration, moving images having different angles of view can be recorded as one moving image.

また、動画生成部３１で生成した動画から主要被写体を検出する検出部３２Ａを備え、分割部７１は、第１領域と第２領域とが主要被写体を含むように分割を行うので、主要被写体に対して第１領域の第１動画と第２領域の第２動画とを生成することができる。また、撮像素子１００は、裏面照射型撮像チップと信号処理チップとが積層された構造であるので、撮像素子１００を収容するための容積を小さくすることができる。また、システム制御部７０からの指示に基づいて撮像素子１００の駆動制御を行うことができ、システム制御部７０の負担が軽減されるとともに、撮像素子１００の電子機器１への搭載が容易となる。 Further, a detection unit 32A for detecting a main subject from the moving image generated by the moving image generation unit 31 is provided, and the dividing unit 71 divides the first region and the second region so that the main subject is included in the main subject. On the other hand, a first moving image in the first region and a second moving image in the second region can be generated. Further, since the image pickup device 100 has a structure in which a back-illuminated image pickup chip and a signal processing chip are laminated, the volume for accommodating the image pickup device 100 can be reduced. Further, the drive control of the image sensor 100 can be performed based on the instruction from the system control unit 70, the burden on the system control unit 70 is reduced, and the image sensor 100 can be easily mounted on the electronic device 1. ..

なお、図５に示す第１実施形態に係る電子機器１において、表示部５０は電子機器の外部に設けられる構成であってもよい。この場合、システム制御部７０及び表示部５０のそれぞれには、有線又は無線で信号（画像データや制御信号など）を送受信する通信部が設けられる。また、画像処理部３０とシステム制御部７０は一体で構成されてもよい。この場合、１つ又は複数のＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部３０の機能とシステム制御部７０の機能を担う。また、画像処理部３０は２つの画像処理部３０Ａ，３０Ｂを備えていたが、１つの画像処理部だけを備えている構成でもよい。 In the electronic device 1 according to the first embodiment shown in FIG. 5, the display unit 50 may be provided outside the electronic device. In this case, each of the system control unit 70 and the display unit 50 is provided with a communication unit for transmitting and receiving signals (image data, control signals, etc.) by wire or wirelessly. Further, the image processing unit 30 and the system control unit 70 may be integrally configured. In this case, the system control unit having one or more CPUs executes the processing based on the control program to take on the functions of the image processing unit 30 and the system control unit 70. Further, although the image processing unit 30 includes two image processing units 30A and 30B, a configuration may include only one image processing unit.

＜第２実施形態＞
第２実施形態では、上記した第１実施形態における電子機器１を、撮像装置１Ａと電子機器１Ｂとに分離した構成としている。 <Second Embodiment>
In the second embodiment, the electronic device 1 in the first embodiment described above is separated into an image pickup device 1A and an electronic device 1B.

図１７は、第３実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。図１７に示す構成において、撮像装置１Ａは、被写体の撮像を行う装置である。この撮像装置１Ａは、レンズ部１０、撮像部２０、画像処理部３０、ワークメモリ４０、操作部５５、記録部６０、及び第１システム制御部７５を備える。なお、撮像装置１Ａのうち、１０、撮像部２０、画像処理部３０、ワークメモリ４０、操作部５５、及び記録部６０の構成は、図５に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。 FIG. 17 is a block diagram showing a configuration of an imaging device and an electronic device according to a third embodiment. In the configuration shown in FIG. 17, the image pickup apparatus 1A is an apparatus for imaging a subject. The image pickup device 1A includes a lens unit 10, an image pickup unit 20, an image processing unit 30, a work memory 40, an operation unit 55, a recording unit 60, and a first system control unit 75. Of the image pickup apparatus 1A, the configurations of 10, the imaging unit 20, the image processing unit 30, the work memory 40, the operation unit 55, and the recording unit 60 are the same as those shown in FIG. Therefore, the same reference numerals are given to the same configurations, and duplicate description will be omitted.

また、電子機器１Ｂは、画像（静止画、動画、ライブビュー画像）の表示を行う装置である。この電子機器１Ｂは、表示部５０及び第２システム制御部（制御部）７０Ｂを備える。なお、電子機器１Ｂのうちの表示部５０の構成は、図５に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。 Further, the electronic device 1B is a device that displays an image (still image, moving image, live view image). The electronic device 1B includes a display unit 50 and a second system control unit (control unit) 70B. The configuration of the display unit 50 in the electronic device 1B is the same as the configuration shown in FIG. Therefore, the same reference numerals are given to the same configurations, and duplicate description will be omitted.

第１システム制御部７５は、第１通信部７５Ａを有している。また、第２システム制御部７６は、第２通信部７６Ｂを有している。第１通信部７５Ａと第２通信部７６Ｂとは、互いに有線又は無線で信号を送受信する。また、第１システム制御部７５は、図７に示す構成のうち、例えば分割部７１、撮像制御部７２、及び記録制御部７３に相当する構成を有している。また、第２システム制御部７６は、図７に示す構成のうち、例えば表示制御部７４に相当する構成のみ有している。 The first system control unit 75 has a first communication unit 75A. Further, the second system control unit 76 has a second communication unit 76B. The first communication unit 75A and the second communication unit 76B transmit and receive signals by wire or wirelessly to each other. Further, the first system control unit 75 has a configuration corresponding to, for example, a division unit 71, an imaging control unit 72, and a recording control unit 73 among the configurations shown in FIG. 7. Further, the second system control unit 76 has only the configuration corresponding to, for example, the display control unit 74 among the configurations shown in FIG. 7.

図７に示す構成（分割部７１、撮像制御部７２、記録制御部７３、及び表示制御部７４）は、第１システム制御部７５と第２システム制御部７６のいずれに設けられてもよい。図７に示すすべての構成は、第１システム制御部７５又は第２システム制御部７６に設けられてもよく、また図７に示す構成の一部が第１システム制御部７５に設けられ、図７に示す構成の一部以外の構成が第２システム制御部７６に設けられてもよい。 The configuration shown in FIG. 7 (division unit 71, image pickup control unit 72, recording control unit 73, and display control unit 74) may be provided in either the first system control unit 75 or the second system control unit 76. All the configurations shown in FIG. 7 may be provided in the first system control unit 75 or the second system control unit 76, and a part of the configurations shown in FIG. 7 is provided in the first system control unit 75. A configuration other than a part of the configuration shown in 7 may be provided in the second system control unit 76.

なお、撮像装置１Ａは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器１Ｂは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。 The image pickup device 1A is composed of, for example, a digital camera, a smartphone, a mobile phone, a personal computer or the like having an image pickup function and a communication function, and the electronic device 1B is, for example, a smartphone, a mobile phone, or a portable personal computer having a communication function. It consists of mobile terminals such as computers.

図１７に示す第１システム制御部７５は、ＣＰＵ（図示せず）が制御プログラムに基づいて処理を実行することにより実現される。また、図１７に示す第２システム制御部７６は、ＣＰＵ（図示せず）が制御プログラムに基づいて処理を実行することにより実現される。 The first system control unit 75 shown in FIG. 17 is realized by a CPU (not shown) executing a process based on a control program. Further, the second system control unit 76 shown in FIG. 17 is realized by the CPU (not shown) executing the process based on the control program.

なお、図１７に示す構成において、画像処理部３０と第１システム制御部７５とは一体で構成されてもよい。この場合、１つ又は複数のＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部３０の機能と第１システム制御部７５の機能を担う。 In the configuration shown in FIG. 17, the image processing unit 30 and the first system control unit 75 may be integrally configured. In this case, the system control unit having one or more CPUs performs the processing based on the control program to take on the functions of the image processing unit 30 and the functions of the first system control unit 75.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. Various changes or improvements can be made to the above embodiments without departing from the spirit of the present invention. In addition, one or more of the requirements described in the above embodiments may be omitted. Such modifications, improvements, or omitted forms are also included in the technical scope of the present invention. Further, it is also possible to appropriately combine and apply the configurations of the above-described embodiments and modifications.

図８（Ａ）〜（Ｃ）では、第１領域の面積と第２領域の面積とが同じ面積となるように各ブロックの配列パターンが設定されていた。すなわち、第１領域の画素数と第２領域の画素数とが同じ画素数となるように各ブロックの配列パターンが設定されていた。また、図８（Ｄ）では、第１領域の面積と第２領域の面積と第３領域の面積とが同じ面積となるように各ブロックの配列パターンが設定されていた。すなわち、第１領域の画素数と第２領域の画素数と第３領域の画素数とが同じ画素数となるように各ブロックの配列パターンが設定されていた。しかし、各領域の面積（画素数）が異なるように各ブロックの配列パターンが設定されてもよい。 In FIGS. 8A to 8C, the arrangement pattern of each block is set so that the area of the first region and the area of the second region are the same. That is, the arrangement pattern of each block is set so that the number of pixels in the first region and the number of pixels in the second region are the same. Further, in FIG. 8D, the arrangement pattern of each block is set so that the area of the first region, the area of the second region, and the area of the third region are the same. That is, the arrangement pattern of each block is set so that the number of pixels in the first region, the number of pixels in the second region, and the number of pixels in the third region are the same. However, the arrangement pattern of each block may be set so that the area (number of pixels) of each region is different.

また、上記した各実施形態において、カラーフィルタ１０２の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。また、単位グループ１３１を形成する画素の数は、少なくとも１つの画素を含んでいればよい。また、ブロックも少なくとも１画素を含んでいればよい。従って、１画素ごとに異なる撮像条件で撮像を実行することも可能である。 Further, in each of the above-described embodiments, the arrangement of the color filters 102 is a Bayer arrangement, but an arrangement other than this arrangement may be used. Further, the number of pixels forming the unit group 131 may include at least one pixel. Further, the block may also include at least one pixel. Therefore, it is possible to perform imaging under different imaging conditions for each pixel.

また、上記した各実施形態において、駆動部２１は、一部又はすべての構成が撮像チップ１１３に搭載されてもよいし、一部又はすべての構成が信号処理チップ１１１に搭載されてもよい。また、画像処理部３０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。また、システム制御部７０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。 Further, in each of the above-described embodiments, the drive unit 21 may have a part or all of the configurations mounted on the imaging chip 113, or a part or all of the configurations may be mounted on the signal processing chip 111. Further, a part of the configuration of the image processing unit 30 may be mounted on the image pickup chip 113 or the signal processing chip 111. Further, a part of the configuration of the system control unit 70 may be mounted on the image pickup chip 113 or the signal processing chip 111.

また、上記した第１実施形態において、撮像条件として、ゲイン及びフレームレートが変更可能に構成されているが、これらの少なくとも１つを変更可能であればよい。また、撮像条件が使用者の操作によって設定される場合についてのみ説明したが、主要被写体などに応じて自動的に撮像条件が設定されるようにしてもよい。 Further, in the above-described first embodiment, the gain and the frame rate are configured to be changeable as the imaging conditions, but at least one of these may be changeable. Further, although the case where the imaging conditions are set by the operation of the user has been described, the imaging conditions may be automatically set according to the main subject and the like.

また、上記した各実施形態において、ブロックの配列パターンとして、図８（Ａ）〜（Ｄ）に例示したが、これらの配列パターンに限られない。また、上記した各実施形態では、ブロックの領域の大きさが予め設定されている場合について説明したが、使用者がブロックの領域の大きさを設定するように構成してもよい。 Further, in each of the above-described embodiments, the block arrangement patterns are illustrated in FIGS. 8A to 8D, but the arrangement patterns are not limited to these. Further, in each of the above-described embodiments, the case where the size of the block area is set in advance has been described, but the user may be configured to set the size of the block area.

また、上記した第１実施形態において、分割部７１は、ライブビュー画像に基づいて被写体を認識し、領域の設定を行っていた。しかし、分割部７１は、レリーズスイッチ５５ａや動画スイッチ５５ｃの半押し操作が行われたときに、そのときの画像に基づいて被写体を認識し、領域の設定を行いようにしてもよい。 Further, in the first embodiment described above, the division unit 71 recognizes the subject based on the live view image and sets the area. However, when the release switch 55a or the moving image switch 55c is half-pressed, the dividing unit 71 may recognize the subject based on the image at that time and set the area.

１，１Ｂ…電子機器、１Ａ…撮像装置、２０…撮像部、３０…画像処理部、３１…画像生成部（動画生成部）、３２Ａ…検出部、５０…表示部、５１…表示パネル、５２…タッチパネル、７０…システム制御部、７０Ａ…第１システム制御部、７０Ｂ…第２システム制御部、７１…分割部、７２…撮像制御部、７３…記録制御部、７４…表示制御部、１００…撮像素子 1,1B ... Electronic equipment, 1A ... Image sensor, 20 ... Imaging unit, 30 ... Image processing unit, 31 ... Image generation unit (moving image generation unit), 32A ... Detection unit, 50 ... Display unit, 51 ... Display panel, 52 ... Touch panel, 70 ... System control unit, 70A ... First system control unit, 70B ... Second system control unit, 71 ... Division unit, 72 ... Imaging control unit, 73 ... Recording control unit, 74 ... Display control unit, 100 ... Image sensor

Claims (1)

複数の画素と、複数の前記画素のうち、第１方向と前記第１方向と交差する第２方向とにおいてそれぞれ配置される複数の第１画素に接続され、前記第１画素を制御するための第１制御信号が出力される第１制御線と、複数の前記画素のうち、前記第１方向と前記第２方向とにおいてそれぞれ配置される複数の第２画素に接続され、前記第２画素を制御するための第２制御信号が出力される第２制御線と、を有する撮像素子と、
前記第１画素から出力される第１信号に基づく第１画像データと、前記第２画素から出力される第２信号に基づく第２画像データと、を生成する生成部と、
を備える電子機器。 For controlling the first pixel by being connected to a plurality of pixels and a plurality of first pixels arranged in the first direction and the second direction intersecting the first direction among the plurality of the pixels. The first control line from which the first control signal is output and the plurality of second pixels arranged in the first direction and the second direction among the plurality of pixels are connected to the second pixel. An image sensor having a second control line from which a second control signal for control is output, and
A generation unit that generates first image data based on the first signal output from the first pixel and second image data based on the second signal output from the second pixel.
Electronic equipment equipped with.
JP2020191181A 2013-08-12 2020-11-17 Image sensor and electronic equipment Active JP7192843B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022196223A JP2023024534A (en) 2013-08-12 2022-12-08 Imaging element

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013167308 2013-08-12
JP2013167308 2013-08-12

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018196396A Division JP7063788B2 (en) 2013-08-12 2018-10-18 Electronics

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022196223A Division JP2023024534A (en) 2013-08-12 2022-12-08 Imaging element

Publications (3)

Publication Number Publication Date
JP2021036719A true JP2021036719A (en) 2021-03-04
JP2021036719A5 JP2021036719A5 (en) 2021-08-26
JP7192843B2 JP7192843B2 (en) 2022-12-20

Family

ID=52468286

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2015531789A Pending JPWO2015022900A1 (en) 2013-08-12 2014-08-07 Electronic device, electronic device control method, and control program
JP2018196396A Active JP7063788B2 (en) 2013-08-12 2018-10-18 Electronics
JP2020191181A Active JP7192843B2 (en) 2013-08-12 2020-11-17 Image sensor and electronic equipment
JP2022196223A Pending JP2023024534A (en) 2013-08-12 2022-12-08 Imaging element

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2015531789A Pending JPWO2015022900A1 (en) 2013-08-12 2014-08-07 Electronic device, electronic device control method, and control program
JP2018196396A Active JP7063788B2 (en) 2013-08-12 2018-10-18 Electronics

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022196223A Pending JP2023024534A (en) 2013-08-12 2022-12-08 Imaging element

Country Status (5)

Country Link
US (5) US10321083B2 (en)
EP (1) EP3035667B1 (en)
JP (4) JPWO2015022900A1 (en)
CN (2) CN110213508B (en)
WO (1) WO2015022900A1 (en)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110213508B (en) * 2013-08-12 2021-10-15 株式会社尼康 Electronic device
JP2015065270A (en) * 2013-09-25 2015-04-09 ソニー株式会社 Solid state image pickup device and manufacturing method of the same, and electronic apparatus
JP6343163B2 (en) * 2014-04-07 2018-06-13 キヤノン株式会社 Integrated circuit device
EP3358820B1 (en) * 2015-09-30 2021-06-09 Nikon Corporation Imaging device, image processing device and display device
WO2017057268A1 (en) * 2015-09-30 2017-04-06 株式会社ニコン Imaging device and control device
CN114928701A (en) 2016-03-31 2022-08-19 株式会社尼康 Image pickup apparatus
JPWO2017170726A1 (en) * 2016-03-31 2019-02-28 株式会社ニコン Imaging apparatus and electronic apparatus
JPWO2017170718A1 (en) * 2016-03-31 2019-02-28 株式会社ニコン IMAGING DEVICE, SUBJECT DETECTING DEVICE, AND ELECTRONIC DEVICE
JPWO2017170716A1 (en) * 2016-03-31 2019-03-07 株式会社ニコン Imaging apparatus, image processing apparatus, and electronic apparatus
JPWO2017170725A1 (en) * 2016-03-31 2019-02-28 株式会社ニコン IMAGING DEVICE, SUBJECT DETECTING DEVICE, AND ELECTRONIC DEVICE
JPWO2017170719A1 (en) * 2016-03-31 2019-02-28 株式会社ニコン Imaging apparatus and electronic device
JP2017220892A (en) * 2016-06-10 2017-12-14 オリンパス株式会社 Image processing device and image processing method
JP6808993B2 (en) * 2016-06-17 2021-01-06 株式会社ニコン Image sensor, electronic equipment, imaging method, and program
JP6727998B2 (en) * 2016-09-08 2020-07-22 キヤノン株式会社 Image processing apparatus, image processing method and program
US10795024B2 (en) * 2016-09-16 2020-10-06 Sony Semiconductor Solutions Corporation Imaging device and electronic device
JP6838725B2 (en) * 2016-10-20 2021-03-03 日立Astemo株式会社 Camera device
CN106791471B (en) * 2016-12-29 2021-07-20 宇龙计算机通信科技(深圳)有限公司 Image optimization method, image optimization device and terminal
KR102499033B1 (en) * 2018-01-31 2023-02-13 삼성전자주식회사 Image sensor and electronic device including the image sensor
JP7051565B2 (en) * 2018-05-01 2022-04-11 キヤノン株式会社 Imaging device and its control method, imaging system
CN108711397A (en) * 2018-08-13 2018-10-26 京东方科技集团股份有限公司 Optics adjusting method, conditioning optics and the display device of display panel
CN113228612A (en) 2018-12-26 2021-08-06 富士胶片株式会社 Imaging device, image data processing method for imaging device, and program
CN110740272B (en) * 2019-10-31 2021-05-14 Oppo广东移动通信有限公司 Image acquisition method, camera assembly and mobile terminal
WO2021124736A1 (en) * 2019-12-19 2021-06-24 富士フイルム株式会社 Imaging device
JP7099560B2 (en) * 2021-01-19 2022-07-12 株式会社ニコン Image sensor and image sensor
WO2023186529A1 (en) * 2022-03-31 2023-10-05 Sony Group Corporation Sensor device and method for operating a sensor device
WO2024009750A1 (en) * 2022-07-06 2024-01-11 ソニーセミコンダクタソリューションズ株式会社 Imaging device and operation method of imaging device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09200617A (en) * 1996-01-12 1997-07-31 Nikon Corp Image pickup device
JP2012175234A (en) * 2011-02-18 2012-09-10 Sony Corp Imaging apparatus, imaging element and imaging control method, and program
JP2013051674A (en) * 2011-08-02 2013-03-14 Canon Inc Imaging device in which peripheral circuit is arranged and increase in chip area is suppressed, and imaging apparatus

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7742088B2 (en) * 2002-11-19 2010-06-22 Fujifilm Corporation Image sensor and digital camera
JP2004282227A (en) 2003-03-13 2004-10-07 Seiko Epson Corp Optical module, manufacturing method thereof, and electronic apparatus
KR100871688B1 (en) * 2004-02-27 2008-12-08 삼성전자주식회사 Solid State Imaging Device and Driving Method Therefor
JP4349232B2 (en) * 2004-07-30 2009-10-21 ソニー株式会社 Semiconductor module and MOS solid-state imaging device
ATE531346T1 (en) * 2005-02-24 2011-11-15 Morphogeny Llc CONNECTED, SLIDING AND MATCHABLE ROTATABLE COMPONENTS
KR20080031146A (en) * 2005-07-20 2008-04-08 코니카 미놀타 옵토 인코포레이티드 Optical pickup and recorder/reproducer of optical information recording medium
JP2007228019A (en) * 2006-02-21 2007-09-06 Olympus Corp Imaging apparatus
JP4984915B2 (en) * 2006-03-27 2012-07-25 セイコーエプソン株式会社 Imaging apparatus, imaging system, and imaging method
CN101460917B (en) * 2006-06-02 2011-09-28 三星电子株式会社 High dynamic contrast display system having multiple segmented backlight
JP4614925B2 (en) * 2006-07-28 2011-01-19 三洋電機株式会社 Pixel information reading method and imaging apparatus
US7944482B2 (en) 2006-07-28 2011-05-17 Sanyo Electric Co., Ltd. Pixel information readout method and image pickup apparatus
KR101338353B1 (en) * 2007-05-30 2013-12-06 삼성전자주식회사 Apparatus and method for photographing image
JP2010016621A (en) 2008-07-03 2010-01-21 Sony Corp Image data processing apparatus, image data processing method and program, and recording medium
US20100023173A1 (en) * 2008-07-24 2010-01-28 Wen Chen Wu Irrigation system and method
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
JP5398341B2 (en) * 2009-05-11 2014-01-29 キヤノン株式会社 Object recognition apparatus and object recognition method
US8848802B2 (en) * 2009-09-04 2014-09-30 Stmicroelectronics International N.V. System and method for object based parametric video coding
JP5012875B2 (en) * 2009-11-10 2012-08-29 富士通株式会社 High-speed moving image shooting device and high-speed moving image shooting method
KR20110076729A (en) * 2009-12-18 2011-07-06 삼성전자주식회사 Multi-step exposed image acquisition method by electronic shutter and apparatus using the same
JP2011205374A (en) 2010-03-25 2011-10-13 Fujifilm Corp Display apparatus
CN103053163A (en) * 2010-12-16 2013-04-17 松下电器产业株式会社 Image generation device, and image generation system, method, and program
JP5653207B2 (en) 2010-12-27 2015-01-14 アルパイン株式会社 Power consumption control system
JP5696513B2 (en) 2011-02-08 2015-04-08 ソニー株式会社 SOLID-STATE IMAGING DEVICE, ITS MANUFACTURING METHOD, AND ELECTRONIC DEVICE
WO2012155200A1 (en) * 2011-05-16 2012-11-22 Xtralis Technologies Ltd Surveillance system
US8757274B2 (en) * 2011-07-01 2014-06-24 Halliburton Energy Services, Inc. Well tool actuator and isolation valve for use in drilling operations
JP2013016675A (en) * 2011-07-05 2013-01-24 Sony Corp Solid-state imaging device, electronic device, and method of manufacturing solid-state imaging device
JP2013084744A (en) 2011-10-07 2013-05-09 Sony Corp Solid-state imaging element and electronic equipment
JP5809936B2 (en) 2011-11-08 2015-11-11 オリンパス株式会社 Imaging device
CN102999918B (en) * 2012-04-19 2015-04-22 浙江工业大学 Multi-target object tracking system of panorama video sequence image
WO2013164915A1 (en) 2012-05-02 2013-11-07 株式会社ニコン Imaging device
EP3588940B1 (en) * 2013-07-04 2023-03-22 Nikon Corporation Electronic apparatus, method for controlling electronic apparatus, and control program
CN110213508B (en) * 2013-08-12 2021-10-15 株式会社尼康 Electronic device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09200617A (en) * 1996-01-12 1997-07-31 Nikon Corp Image pickup device
JP2012175234A (en) * 2011-02-18 2012-09-10 Sony Corp Imaging apparatus, imaging element and imaging control method, and program
JP2013051674A (en) * 2011-08-02 2013-03-14 Canon Inc Imaging device in which peripheral circuit is arranged and increase in chip area is suppressed, and imaging apparatus

Also Published As

Publication number Publication date
WO2015022900A1 (en) 2015-02-19
EP3035667B1 (en) 2024-06-19
US20190253655A1 (en) 2019-08-15
US20220264048A1 (en) 2022-08-18
US11758303B2 (en) 2023-09-12
CN105474627B (en) 2019-06-04
JP7192843B2 (en) 2022-12-20
JP2019036988A (en) 2019-03-07
EP3035667A1 (en) 2016-06-22
US20230388674A1 (en) 2023-11-30
CN110213508A (en) 2019-09-06
US10805566B2 (en) 2020-10-13
US20200366862A1 (en) 2020-11-19
JP7063788B2 (en) 2022-05-09
JPWO2015022900A1 (en) 2017-03-02
US20160198115A1 (en) 2016-07-07
US10321083B2 (en) 2019-06-11
CN110213508B (en) 2021-10-15
EP3035667A4 (en) 2017-03-22
US11356629B2 (en) 2022-06-07
CN105474627A (en) 2016-04-06
JP2023024534A (en) 2023-02-16

Similar Documents

Publication Publication Date Title
JP7063788B2 (en) Electronics
JP6372488B2 (en) Electronics
JP6075393B2 (en) Electronic equipment and control program
JP6780745B2 (en) Electronics
JP6375607B2 (en) Electronic device, electronic device control method, and control program
JP6561428B2 (en) Electronic device, control method, and control program
JP2014165855A (en) Electronic apparatus
JP6409883B2 (en) Electronic equipment and control program
JP6885374B2 (en) Electronics
JP7176591B2 (en) Electronics
JP2020171054A (en) Electronic device
JP2018148590A (en) Electronic apparatus and imaging device
JP2019092219A (en) Imaging apparatus, control method of the same, and control program
JP2018042286A (en) Electronic apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221121

R150 Certificate of patent or registration of utility model

Ref document number: 7192843

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150