JP2019021991A - 撮像素子、撮像装置、撮像プログラム、撮像方法 - Google Patents
撮像素子、撮像装置、撮像プログラム、撮像方法 Download PDFInfo
- Publication number
- JP2019021991A JP2019021991A JP2017136419A JP2017136419A JP2019021991A JP 2019021991 A JP2019021991 A JP 2019021991A JP 2017136419 A JP2017136419 A JP 2017136419A JP 2017136419 A JP2017136419 A JP 2017136419A JP 2019021991 A JP2019021991 A JP 2019021991A
- Authority
- JP
- Japan
- Prior art keywords
- pixel data
- pixel
- focus detection
- processing unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 227
- 238000001514 detection method Methods 0.000 claims description 221
- 238000000034 method Methods 0.000 claims description 80
- 230000008569 process Effects 0.000 claims description 40
- 239000000203 mixture Substances 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 238000004148 unit process Methods 0.000 claims description 4
- 238000009792 diffusion process Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 22
- 230000005540 biological transmission Effects 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 238000012935 Averaging Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/709—Circuitry for control of the power supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
- H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】特性が異なる画素データを低消費電力でデータ処理することを可能とする撮像素子等を提供する。
【解決手段】複数の画素が入射光を光電変換して画素データを複数生成する撮像素子3において、特性が同一の画素データでなる画素データ列を生成する垂直走査部21、画素部22、アナログ処理部23、ADC処理部24、メモリ部25、水平走査部26、出力部27と、画素データ列の特性を示す付加情報を画素データ列に付加する出力部27と、を有する撮像素子3。
【選択図】図2
【解決手段】複数の画素が入射光を光電変換して画素データを複数生成する撮像素子3において、特性が同一の画素データでなる画素データ列を生成する垂直走査部21、画素部22、アナログ処理部23、ADC処理部24、メモリ部25、水平走査部26、出力部27と、画素データ列の特性を示す付加情報を画素データ列に付加する出力部27と、を有する撮像素子3。
【選択図】図2
Description
本発明は、複数の画素が入射光を光電変換して生成した複数の画素データを配列して画素データ列を生成する撮像素子、撮像装置、撮像プログラム、撮像方法に関する。
近年、撮像素子の出力インタフェースの高速化が図られている。こうした撮像素子では、例えば静止画モードのような最大のデータ転送レートを必要とする撮影モードに比べて、画素の間引きやミックス(MIX)処理を行うライブビュー(LV)モードのような、最大のデータ転送レートを必要としない撮影モードでは、出力インタフェースを制限することで、消費電力の低減を図っている。
具体的に、画素データの送信に用いるレーン(Lane)数が例えば4レーンある場合に、静止画モードでは4レーンの全てを用いて画素データを送信するが、LVモードにおいては使用するレーンを2つに制限して、許可されている2レーンのみを用いて画素データを送信する等が行われる。
しかしながら、撮像素子の出力インタフェースを制限しても、撮像装置全体の消費電力の低減には、それほど寄与しないことがある。
また、例えばPD分割センサと呼ばれる撮像素子は、画像用画素と焦点検出用画素のような、2つ以上の異なる特性をもつ画素が、1つの行の中に、または1つの列の中に混在している。撮像装置において、こうした撮像素子からの画素データ出力を受け取って処理するデータ処理部は、焦点検出用画素を抽出してAF処理を行う、あるいは焦点検出用画素から画像用画素を生成する、などの処理を行うために、処理の負荷が大きくなって消費電力が増大する。従って、撮像装置全体としてみたときの消費電力を低減する技術、すなわち実体的な低消費電力化を図ることができる技術が求められている。
本発明は上記事情に鑑みてなされたものであり、特性が異なる画素データを低消費電力でデータ処理することを可能とする撮像素子、撮像装置、撮像プログラム、撮像方法を提供することを目的としている。
本発明の一態様による撮像素子は、複数の画素を有し、上記複数の画素が入射光を光電変換して画素データを複数生成する撮像素子において、上記画素データの特性に応じて、複数の上記画素データを配列し、上記特性が同一の上記画素データでなる画素データ列を生成する画素データ列生成部と、上記画素データ列の上記特性を示す付加情報を上記画素データ列に付加する情報付加部と、を有する。
本発明の他の態様による撮像装置は、上記撮像素子と、上記撮像素子から出力される上記画素データが必要に応じて入力され、上記画素データが入力されたときに上記画素データを処理するデータ処理部と、上記付加情報に基づいて、有効な上記画素データが上記データ処理部に入力されるか否かを判定し、入力されると判定したときには上記データ処理部に対して電源およびクロックを供給し、入力されないと判定したときには上記データ処理部に対するクロックの供給を少なくとも停止するように制御する制御部と、を有する。
本発明のさらに他の態様による撮像プログラムは、コンピュータに、複数の画素が入射光を光電変換して画素データを複数生成する撮像ステップと、上記画素データの特性に応じて、複数の上記画素データを配列し、上記特性が同一の上記画素データでなる画素データ列を生成する画素データ列生成ステップと、上記画素データ列の上記特性を示す付加情報を上記画素データ列に付加する情報付加ステップと、撮像素子から出力される上記画素データが必要に応じてデータ処理部に入力され、上記画素データが入力されたときに上記データ処理部が上記画素データを処理するデータ処理ステップと、上記付加情報に基づいて、有効な上記画素データが上記データ処理部に入力されるか否かを判定し、入力されると判定したときには上記データ処理部に対して電源およびクロックを供給し、入力されないと判定したときには上記データ処理部に対するクロックの供給を少なくとも停止するように制御する制御ステップと、を実行させるためのプログラムである。
本発明のさらに他の態様による撮像方法は、複数の画素が入射光を光電変換して画素データを複数生成する撮像ステップと、上記画素データの特性に応じて、複数の上記画素データを配列し、上記特性が同一の上記画素データでなる画素データ列を生成する画素データ列生成ステップと、上記画素データ列の上記特性を示す付加情報を上記画素データ列に付加する情報付加ステップと、撮像素子から出力される上記画素データが必要に応じてデータ処理部に入力され、上記画素データが入力されたときに上記データ処理部が上記画素データを処理するデータ処理ステップと、上記付加情報に基づいて、有効な上記画素データが上記データ処理部に入力されるか否かを判定し、入力されると判定したときには上記データ処理部に対して電源およびクロックを供給し、入力されないと判定したときには上記データ処理部に対するクロックの供給を少なくとも停止するように制御する制御ステップと、を有する。
本発明の撮像素子、撮像装置、撮像プログラム、撮像方法によれば、特性が異なる画素データを低消費電力でデータ処理することが可能となる。
以下、図面を参照して本発明の実施の形態を説明する。
[実施形態1]
[実施形態1]
図1から図21は本発明の実施形態1を示したものであり、図1は撮像装置の構成を示すブロック図である。
図1に示すように、撮像装置は、レンズ1と、シャッタ2と、撮像素子3と、信号インタフェース(信号I/F)4と、画像処理部5と、記録部6と、焦点検出部7と、表示部8と、メモリ部9と、操作部10と、システム制御部11と、を備えている。
レンズ1は、被写体の光学像を撮像素子3上に結像するための撮影光学系である。このレンズ1は、フォーカス位置を調節するためのフォーカスレンズと、レンズ1を通過する光束の範囲を制御する光学絞りとを備え、例えば焦点距離を可変なズームレンズとして構成されている。
ここに、レンズ1のフォーカス位置、光学絞りの開口径(絞り値)、焦点距離は、後述するシステム制御部11によりレンズ1が駆動制御されることで、変更されるようになっている。
シャッタ2は、レンズ1からの光束が撮像素子3へ到達する時間を制御するものであり、例えばフォーカルプレーンシャッタなどの、シャッタ幕を走行させる構成のメカニカルシャッタとなっている。
撮像素子3は、複数の画素を有し、複数の画素が入射光を光電変換して画素データを複数生成する撮像部である。より具体的に、撮像素子3は、複数の画素が所定の画素ピッチで2次元状に配列された撮像面を有し、撮像制御部であるシステム制御部11の制御に基づき、シャッタ2を通してレンズ1により結像された被写体の光学像を光電変換して画素データを生成する。
この撮像素子3は、例えば、原色ベイヤ配列のカラーフィルタを備える単板式CMOS撮像素子として構成されている。ここに、原色ベイヤ配列は、公知のように、2×2画素を基本カラー配列として、この基本カラー配列の対角位置にG(緑色)フィルタを配置し、残りの対角位置にR(赤色)フィルタとB(青色)フィルタとをそれぞれ配置した構成となっている。なお、Rフィルタを備えるR画素と同一行に配置されているGフィルタを備えるG画素をGr画素、Bフィルタを備えるB画素と同一行に配置されているGフィルタを備えるG画素をGb画素と称する。
この撮像素子3は、1つの画素が複数に分割されて焦点検出用画素データを出力することができるように構成されているが、より具体的な構成については、後で図2以降を参照して説明する。
信号I/F4は、撮像素子3から出力される画素データ(後述するように、画像用画素データと焦点検出用画素データとが含まれる)を、画素データの特性に応じて、画像処理部5と焦点検出部7とへ振り分けて出力するものである。具体的に、信号I/F4は、画素データが画像用画素データである場合には画像処理部5のみへ出力し、画素データが焦点検出用画素データである場合には画像処理部5および焦点検出部7へ出力するようになっている。ただし、焦点検出用画素データを画像生成に用いない場合には、焦点検出用画素データを焦点検出部7のみへ出力するようにしても構わない。また、信号I/F4は、撮像素子3から出力される画素データ列に付加されている、画素データの特性を示す付加情報(後述する図14〜図18等参照)を抽出して、システム制御部11へ送信する。
画像処理部5は、画素データに画像処理を行って画像(表示部8に表示するための画像、または記録部6に記録するための画像)を生成するデータ処理部である。
例えば、画像処理部5は、信号I/F4から受信した画素データが焦点検出用画素データである場合には、焦点検出用画素データから画像用画素データを生成する処理を行う。
そして、画像処理部5は、画像用画素データに対して、例えば、OB減算、ホワイトバランス(WB)ゲイン、デモザイク、ノイズ低減、色変換、ガンマ変換、拡大縮小などの画像処理(いわゆる現像処理を含む)を行う。なお、静止画や動画を記録部6に記録する際あるいは記録部6から読み出す際のデータ圧縮/データ伸張は、この画像処理部5により行っても構わないし、専用の圧縮伸張部を設けて行うようにしてもよい。
記録部6は、複数の画素データで構成される画像データ(静止画像データ、動画像データなど)を不揮発に記憶する記録部であり、例えば、撮像装置本体に内蔵されているフラッシュメモリ、あるいは撮像装置本体に着脱可能なメモリカード等により構成されている。従って、記録部6は、撮像装置に固有の構成であることに限定されない。
焦点検出部7は、マイクロレンズL(図3参照)に対する位置が異なる画素により得られた焦点検出用画素データに基づいて焦点検出を行うデータ処理部である。すなわち、焦点検出部7は、信号I/F4から受信した焦点検出用画素データに基づき像面位相差検出を行うことにより、被写体像の位相差情報を検出して、レンズ1のフォーカス位置を合焦位置へ移動するためのレンズ制御パラメータを算出する。
画像処理部5および焦点検出部7は、撮像素子3から出力され、信号I/F4により振り分けられた画素データが必要に応じて入力され、画素データが入力されたときに画素データを処理するデータ処理部となっている。
表示部8は、画像を表示すると共に、この撮像装置に係る各種の情報を表示する表示装置である。この表示部8は、例えば、LCDパネルあるいは有機エレクトロルミネッセンス(有機EL)ディスプレイ等のデバイスを有している。表示部8の具体的な配置や構成としては、電子ビューファインダ(EVF)、撮像装置の背面パネル、撮像装置と無線接続されている携帯デバイスの表示装置などが挙げられる。従って、表示部8も、撮像装置に固有の構成であることに限定されない。
メモリ部9は、撮像素子3により生成された画素データを一時的に記憶する記憶部であり、例えばDRAM(ダイナミック・ランダム・アクセス・メモリ)等により構成されている。このメモリ部9は、画像処理部5が画像処理を行う際、あるいは焦点検出部7が位相差検出を行う際の、ワークメモリや画像のバッファメモリとしても用いられる。
操作部10は、この撮像装置に対する各種の操作入力を行うためのものである。操作部10は、例えば、撮像装置の電源をオン/オフするための電源ボタン、画像の撮影開始を指示するための例えばレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるOKボタン等の操作ボタンなどを含んでいる。
ここに、メニューボタンや十字キー、OKボタン等を用いて設定できる項目には、例えば、撮影モード(静止画撮影モード、動画撮影モード等)、記録モード(JPEG記録、RAW+JPEG記録など)、再生モードなどが含まれている。この操作部10に対して操作が行われると、操作内容に応じた信号がシステム制御部11へ出力される。
なお、操作部10の具体的な配置や構成としては、カメラ本体の外装に配設されたボタンやスイッチ類、あるいは表示部8における背面パネルの表示面に設けられたタッチパネル、遠隔操作するためのリモートレリーズ装置や携帯デバイスなどが挙げられる。従って、操作部10も、撮像装置に固有の構成であることに限定されない。
システム制御部11は、例えばCPUを含んで構成され、撮像装置内の各部を統括的に制御する制御部である。
システム制御部11は、所定の処理プログラム(撮像プログラムを含む)に従って、操作部10からの操作入力に応じた各種のシーケンスを実行する。ここに、処理プログラムは、システム制御部11内に不揮発に記憶されていてもよいし、メモリ部9に不揮発に記憶されていてシステム制御部11により読み込まれる構成であっても構わない。
例えば、システム制御部11は、焦点検出部7により算出されたレンズ制御パラメータに基づいて、レンズ1のフォーカスレンズを制御し、システム制御部11内で行った露出演算の結果に基づいてレンズ1の絞りおよびシャッタ2の制御を行い、撮像素子3を制御して撮像を行わせ画素データを出力させる。
さらに、システム制御部11は、信号I/F4から取得した付加情報に基づいて、画像処理部5および焦点検出部7の処理を変更させる制御を行うようになっている。
また、システム制御部11は、表示部8に各種情報を表示する制御、および記録部6へデータを記録しまたは読み出す制御なども行う。
次に、図2は、撮像素子3の構成を示すブロック図である。
この撮像素子3は、垂直走査部21と、画素部22と、アナログ処理部23と、ADC処理部24と、メモリ部25と、水平走査部26と、出力部27と、を備えている。
これらの内の、垂直走査部21、画素部22、メモリ部25、水平走査部26等は、単独で、または協働することにより素子内処理部として機能し、複数の画素データに対する加算演算や加算平均演算等を行うことができるようになっている。
ここに素子内処理部が行う処理には、1つのマイクロレンズLに対応する、所定数の画素によりそれぞれ生成された所定数の画素データの内の、複数の画素データから、1つの画素データを画素合成する処理(例えば、図8〜図10等参照)が含まれている。
このように、撮像素子3の素子内処理部で画素加算等を行うことで、撮像素子3から出力される画素数が減少するために、通信負荷を軽減することが可能となり、さらに画像処理部5や焦点検出部7の処理負荷を軽減することが可能となっている。
画素部22は、入射光を光電変換して画素データを生成する画素を2次元状(例えば、垂直方向(列方向)および水平方向(行方向))に配列した画素アレイ部であり、画素には、像面位相差検出用の焦点検出用画素が含まれている。
ここで、図3は、1つのマイクロレンズLに2つまたは4つのフォトダイオードPDが配置される画素構造の例を示す図表である。
この図3には、1つのマイクロレンズLに対して2つのフォトダイオードPDが配置される2PD画素構造と、1つのマイクロレンズLに対して4つのフォトダイオードPDが配置される4PD画素構造と、を例示している。
画素は、物体側から像側へ向かう積層方向の順に、マイクロレンズLとカラーフィルタFとフォトダイオードPDとが配設された構成となっている。ここに、カラーフィルタFは、例えば原色ベイヤ配列のカラーフィルタの場合には、Rフィルタ、Gフィルタ、またはBフィルタの何れかが、その画素位置に応じて配設されている。
ここで、図3に示す2PD画素構造の場合には、1つのマイクロレンズLの結像範囲に2つのフォトダイオードPDが配設されている。2つのフォトダイオードPDは、水平方向の位相差を検出するためのものである場合には左右に2分割されており、垂直方向の位相差を検出するためのものである場合には上下に2分割されている。これにより2つの画素a,bが構成されている。
一方、図3に示す4PD画素構造の場合には、1つのマイクロレンズLの結像範囲に4つのフォトダイオードPDが配設されている。4つのフォトダイオードPDは、水平方向および垂直方向の位相差を検出することができるように、上下左右に4分割されている(すなわち、4つのフォトダイオードPDが、左上、左下、右上、右下の位置にそれぞれ配置される)。これにより4つの画素a,b,c,dが構成されている。
このように撮像素子3は、複数である所定数の画素に1つのマイクロレンズLを通した入射光が到達するように構成されたマイクロレンズLを、複数備えている。
なお、ここでは1つのマイクロレンズLに対して、複数である所定数に分割されたフォトダイオードPDを有する画素構造を採用したが、これに限定されるものではなく、1つのマイクロレンズLに対して1つのフォトダイオードPDを配置するが、フォトダイオードPDに至る光線の光路上に瞳の一部を遮光する遮光部を設ける構成を採用しても構わない。
また、以下では、画素部22の全画素が4PD画素構造である場合を例に挙げて説明を行うこととする。ここに、4PD画素構造の場合には、各フォトダイオードPDから出力される画素データは焦点検出用画素データである。さらに、フォトダイオードPDの出力を垂直2画素加算、つまり、図3における(a+b)と(c+d)とを算出する場合には、水平方向の位相差を検出するための焦点検出用画素データとなる。そして、フォトダイオードPDの出力を水平2画素加算、つまり、図3における(a+c)と(b+d)とを算出する場合には、垂直方向の位相差を検出するための焦点検出用画素データとなる。さらに、フォトダイオードPDの出力を4画素加算、つまり、図3における(a+b+c+d)を算出する場合には、位相差情報を含まない画像用画素データとなる。
垂直走査部21は、画素アレイ部である画素部22の水平方向(行)を選択することを順次行うことで、走査を垂直方向に行う回路である。この垂直走査部21が、特定の行を選択して、選択された行にある各画素のリセットや転送を行うことで、画素の蓄積時間が制御されるようになっている。
アナログ処理部23は、画素部22から読み出されたアナログの画素データをアナログ信号処理する回路である。このアナログ処理部23は、例えば、画素データを増幅するプリアンプ、画素データからリセットノイズを低減する相関二重サンプリング(CDS)回路などを含んでいる。
アナログデジタル変換処理部(ADC処理部)24は、アナログ処理部23から出力されたアナログ画像信号をデジタル画像信号に変換する。このADC処理部24は、例えば、カラムADCに代表されるような、画素部22から読み出された画素データを列毎のアナログデジタルコンバータ(ADC)でAD変換する構成が採用されている。
メモリ部25は、ADC処理部24で変換された画素データを一時的に保持する揮発性メモリ回路等で構成されている。
水平走査部26は、メモリ部25から、画素データ(画像用画素データと焦点検出用画素データ)を列順に読み出す。
出力部27は、水平走査部26により読み出された画素データを配列して画素データ列を生成し、シリアル信号や差動信号などの出力信号形式に変換して出力する。
ここに、上述した垂直走査部21〜出力部27(垂直走査部21、画素部22、アナログ処理部23、ADC処理部24、メモリ部25、水平走査部26、および出力部27)は、画素データの特性(画素データが画像用と焦点検出用との何れであるかの特性、あるいは焦点検出用画素データが何れの方向の位相差検出用であるかの特性、さらにあるいは画素データがどのような画素混合(画素合成)により生成されたかの特性など)に応じて、複数の画素データを配列し、特性が同一の画素データでなる画素データ列を生成する画素データ列生成部となっている。
例えば、垂直走査部21〜出力部27は、複数の画像用画素データを配列してある画素データ列を生成し、また、複数の焦点検出用画素データを配列して他の画素データ列を生成する(従って、画像用画素データ列と焦点検出用画素データ列とは分けて出力される)。
さらに、出力部27は、画素データ列生成部により生成された画素データ列(の一部)に、画素データ列の特性を示す付加情報を付加する情報付加部として機能するようになっている。このとき、画像処理部5や焦点検出部7を制御して消費電力の低減等を図ることができるのは、付加情報が検出された以降の時点となるために、付加情報を付加する位置は、画素データ列の先頭であることが好ましい。
次に、図4は、4PD画素構造の画素の構成例を示す回路図である。
4PD画素構造の画素においては、1つのマイクロレンズLに対応する位置に4つのフォトダイオードPD1〜PD4が配置され、具体的には、マイクロレンズLの光学像が結像される範囲内の左上、左下、右上、右下位置に4つのフォトダイオードPD1〜PD4がそれぞれ配置されている。
4つのフォトダイオードPD1〜PD4には、スイッチとして機能するトランジスタTr1〜Tr4がそれぞれ接続されており、垂直走査部21から制御信号TX1〜TX4をそれぞれ印加することにより、トランジスタTr1〜Tr4のオン/オフがそれぞれ制御されるようになっている。
各トランジスタTr1〜Tr4は、フローティングディフュージョンFDに接続されていて、オンされたトランジスタTrに対応するフォトダイオードPDの信号電荷が、フローティングディフュージョンFDに転送されるようになっている。
また、各トランジスタTr1〜Tr4とフローティングディフュージョンFDとの間には、スイッチとして機能するトランジスタTr5が接続されており、リセット信号RESの印加によりオン/オフが制御されるようになっている。このトランジスタTr5は電源電圧VDDに接続されており、トランジスタTr5をオンにすることで、フローティングディフュージョンFDのリセットが行われる。さらに、トランジスタTr1〜Tr4をオンにした状態で、さらにトランジスタTr5をオンにすることで、フォトダイオードPD1〜PD4のリセットが行われる。
フローティングディフュージョンFDは、スイッチとして機能するトランジスタTr6と、電源電圧VDDに接続され増幅部として機能するトランジスタTr7と、を介して出力端子OUTに接続されている。
トランジスタTr6に選択信号SELを印加することで、フローティングディフュージョンFDの電圧値がトランジスタTr7により増幅されて、出力端子OUTから読み出されるようになっている。
図5は、4PD画素構造の画素により垂直2画素加算を行うときの撮像素子3の駆動例を示すタイミングチャートである。
タイミングt0において、リセット信号RESをオンにする(スイッチとして機能するトランジスタTr1〜Tr6の内、オンであることを明示したもの以外はオフであるものとする。以下同様。)と、フローティングディフュージョンFDがリセットされる。
続くタイミングt1において制御信号TX1をオンにすると、フォトダイオードPD1の信号電荷がフローティングディフュージョンFDへ転送される。
続くタイミングt2において制御信号TX2をオンにすると、フォトダイオードPD2の信号電荷がフローティングディフュージョンFDへ転送され、フローティングディフュージョンFDにはPD1の信号電荷およびPD2の信号電荷が蓄積される。
続くタイミングt3において選択信号SELをオンにすると、フローティングディフュージョンFDに蓄積された信号電荷(PD1+PD2)の電圧が、トランジスタTr7により増幅されて、出力端子OUTから読み出される。
続くタイミングt4においてリセット信号RESをオンにすると、フローティングディフュージョンFDがリセットされる。
続くタイミングt5において制御信号TX3をオンにすると、フォトダイオードPD3の信号電荷がフローティングディフュージョンFDへ転送される。
続くタイミングt6において制御信号TX4をオンにすると、フォトダイオードPD4の信号電荷がフローティングディフュージョンFDへ転送され、フローティングディフュージョンFDにはPD3の信号電荷およびPD4の信号電荷が蓄積される。
続くタイミングt7において選択信号SELをオンにすると、フローティングディフュージョンFDに蓄積された信号電荷(PD3+PD4)の電圧が、トランジスタTr7により増幅されて、出力端子OUTから読み出される。
続くタイミングt8においては、各制御信号TX1〜TX4、選択信号SEL、およびリセット信号RESがオフであるために、タイミングt7の状態から変化はない。
また、図6は、4PD画素構造の画素により水平2画素加算を行うときの撮像素子3の駆動例を示すタイミングチャートである。
タイミングt0において、リセット信号RESをオンにすると、フローティングディフュージョンFDがリセットされる。
続くタイミングt1において制御信号TX1をオンにすると、フォトダイオードPD1の信号電荷がフローティングディフュージョンFDへ転送される。
続くタイミングt2において制御信号TX3をオンにすると、フォトダイオードPD3の信号電荷がフローティングディフュージョンFDへ転送され、フローティングディフュージョンFDにはPD1の信号電荷およびPD3の信号電荷が蓄積される。
続くタイミングt3において選択信号SELをオンにすると、フローティングディフュージョンFDに蓄積された信号電荷(PD1+PD3)の電圧が、トランジスタTr7により増幅されて、出力端子OUTから読み出される。
続くタイミングt4においてリセット信号RESをオンにすると、フローティングディフュージョンFDがリセットされる。
続くタイミングt5において制御信号TX2をオンにすると、フォトダイオードPD2の信号電荷がフローティングディフュージョンFDへ転送される。
続くタイミングt6において制御信号TX4をオンにすると、フォトダイオードPD4の信号電荷がフローティングディフュージョンFDへ転送され、フローティングディフュージョンFDにはPD2の信号電荷およびPD4の信号電荷が蓄積される。
続くタイミングt7において選択信号SELをオンにすると、フローティングディフュージョンFDに蓄積された信号電荷(PD2+PD4)の電圧が、トランジスタTr7により増幅されて、出力端子OUTから読み出される。
続くタイミングt8においては、各制御信号TX1〜TX4、選択信号SEL、およびリセット信号RESがオフであるために、タイミングt7の状態から変化はない。
なお、図示はしないが、4画素加算についても、同様の制御により行われる。
このように、画素加算は、垂直走査部21や画素部22におけるアナログ段階で行うことが可能であり、さらに例えば画素加算平均もアナログ処理部23におけるアナログ段階で行うことが可能であるが、アナログ段階で行うに限るものではなく、ADC処理部24によりデジタル信号に変換された後でメモリ部25〜出力部27において行うようにしても構わない。あるいは例えば、下記に示すP1〜P3の画素データ生成はアナログ段階で行い、P4〜P5の画素データ生成はデジタル段階で行う等の、アナログ段階とデジタル段階とで処理の分担を行うようにしても勿論構わない。
図7は、4PD画素構造の撮像素子3から全画素読み出しした焦点検出用画素データP0の配置を示す図である。
上述したように、4PD画素構造の場合には、通常の1PD画素構造における1つのカラーフィルタが配置される1画素の位置が上下左右に4分割されて、4つの画素が配置されている。例えば、行方向の画素アドレスをm、列方向の画素アドレスをnにより示すとすると、図7の画素アドレス(1,1)、(1,2)、(2,1)、(2,2)のGr画素は、1PD画素構造における1つのGr画素を4分割した画素に対応する。
上下左右分割の焦点検出用画素データP0(m,n)を全画素読み出す方式は幾つかあるが、単純読み出し方式では、例えば次のように画素部22から読み出される。
P0(1,1),P0(1,2),・・・
P0(1,1),P0(1,2),・・・
また、減算読み出し方式では、例えば次のように読み出される。
[P0(1,1)+P0(1,2)+P0(2,1)+P0(2,2)],[P0(1,2)+P0(2,1)+P0(2,2)],[P0(2,1)+P0(2,2)],[P0(2,2)],・・・
[P0(1,1)+P0(1,2)+P0(2,1)+P0(2,2)],[P0(1,2)+P0(2,1)+P0(2,2)],[P0(2,1)+P0(2,2)],[P0(2,2)],・・・
上述した減算読み出し方式で読み出された画素データは、信号I/F4を介して焦点検出部7へ送信され、焦点検出部7において次のような処理を行うことにより、上下左右分割の焦点検出用画素データが復元される。
すなわち、A〜Dを以下であるとする。
A=[P0(1,1)+P0(1,2)+P0(2,1)+P0(2,2)]
B=[P0(1,2)+P0(2,1)+P0(2,2)]
C=[P0(2,1)+P0(2,2)]
D=[P0(2,2)]
A=[P0(1,1)+P0(1,2)+P0(2,1)+P0(2,2)]
B=[P0(1,2)+P0(2,1)+P0(2,2)]
C=[P0(2,1)+P0(2,2)]
D=[P0(2,2)]
このとき、Dは焦点検出用画素データP0(2,2)である。また、P0(2,2)以外の各焦点検出用画素データは、焦点検出部7が、次の各減算を行うことにより復元される。
A−B=P0(1,1)、B−C=P0(1,2)、C−D=P0(2,1)
A−B=P0(1,1)、B−C=P0(1,2)、C−D=P0(2,1)
さらに、Aは画像用画素データであるために、上述した減算読み出し方式を採用した場合には、信号I/F4は、Aのみを画像処理部5へ送信すればよい。従って、画像処理部5は、Aを算出する演算負荷が軽減される。
なお、減算読み出し方式には複数の種類があるために、ここでは一種類のみを例に挙げているが、任意の種類の減算読み出し方式を用いて構わない。
次に、図8は、4PD画素構造の撮像素子3から画素加算を行って読み出した画像用画素データP1の配置を示す図である。
画像用画素データP1の配置における画素座標アドレスをP1(m,n)の括弧内で示すとすると、撮像素子3において次のような加算を行い、画像用画素データP1(m,n)を算出する。
P1(1,1)=P0(1,1)+P0(1,2)+P0(2,1)+P0(2,2)
P2(1,2)=P0(3,1)+P0(3,2)+P0(4,1)+P0(4,2)
・・・
P1(1,1)=P0(1,1)+P0(1,2)+P0(2,1)+P0(2,2)
P2(1,2)=P0(3,1)+P0(3,2)+P0(4,1)+P0(4,2)
・・・
こうして、上記数式の右辺に示す複数の画素データから、左辺に示す1つの画素データが画素合成される。
そして、算出された結果が、次のように順次読み出される。
P1(1,1),P1(1,2),・・・
P1(1,1),P1(1,2),・・・
続いて、図9は、4PD画素構造の撮像素子3から画素加算を行って読み出した、水平方向の位相差検出を行うための焦点検出用画素データP2の配置を示す図である。
水平方向の位相差検出用の焦点検出用画素データを読み出す方式は幾つかあるが、焦点検出用画素データP2の配置における画素アドレスをP2(m,n)の括弧内で示すとすると、単純読み出し方式(左、右で分けて読み出す)では、撮像素子3において次のような加算を行い、焦点検出用画素データP2(m,n)を算出する。
P2(1,1)=P0(1,1)+P0(1,2)
P2(2,1)=P0(2,1)+P0(2,2)
・・・
P2(1,1)=P0(1,1)+P0(1,2)
P2(2,1)=P0(2,1)+P0(2,2)
・・・
こうして、上記数式の右辺に示す複数の画素データから、左辺に示す1つの画素データが画素合成される(以下、同様)。
また、第1の減算読み出し方式(左、左+右)では、撮像素子3において次のような加算を行い、焦点検出用画素データP2(m,n)を算出する。
P2(1,1)=P0(1,1)+P0(1,2)
P2(2,1)=P0(1,1)+P0(1,2)+P0(2,1)+P0(2,2)
・・・
P2(1,1)=P0(1,1)+P0(1,2)
P2(2,1)=P0(1,1)+P0(1,2)+P0(2,1)+P0(2,2)
・・・
さらに、第2の減算読み出し方式(左+右、右)では、撮像素子3において次のような加算を行い、焦点検出用画素データP2(m,n)を算出する。
P2(1,1)=P0(1,1)+P0(1,2)+P0(2,1)+P0(2,2)
P2(2,1)=P0(2,1)+P0(2,2)
・・・
P2(1,1)=P0(1,1)+P0(1,2)+P0(2,1)+P0(2,2)
P2(2,1)=P0(2,1)+P0(2,2)
・・・
そして、何れかの方式で算出された結果が、次のように順次読み出される。
P2(1,1),P2(2,1),・・・
P2(1,1),P2(2,1),・・・
さらに、第1の減算読み出し方式を採用した場合には、信号I/F4は、
P2(2,1)=P0(1,1)+P0(1,2)+P0(2,1)+P0(2,2)
等の1つのマイクロレンズLに対応する4つのフォトダイオード出力が加算された画像用画素データのみを画像処理部5へ送信すればよい。
P2(2,1)=P0(1,1)+P0(1,2)+P0(2,1)+P0(2,2)
等の1つのマイクロレンズLに対応する4つのフォトダイオード出力が加算された画像用画素データのみを画像処理部5へ送信すればよい。
同様に、第2の減算読み出し方式を採用した場合には、信号I/F4は、
P2(1,1)=P0(1,1)+P0(1,2)+P0(2,1)+P0(2,2)
等の1つのマイクロレンズLに対応する4つのフォトダイオード出力が加算された画像用画素データのみを画像処理部5へ送信すればよい。
P2(1,1)=P0(1,1)+P0(1,2)+P0(2,1)+P0(2,2)
等の1つのマイクロレンズLに対応する4つのフォトダイオード出力が加算された画像用画素データのみを画像処理部5へ送信すればよい。
何れの減算読み出し方式を採用した場合でも、画像処理部5は、[P0(1,1)+P0(1,2)+P0(2,1)+P0(2,2)]を算出する演算負荷が軽減される。
一方、焦点検出部7は、第1の減算読み出し方式(左、左+右)が用いられた場合には、
P2(2,1)−P2(1,1)=P0(2,1)+P0(2,2)
の演算をすることにより右焦点検出用画素データを復元する処理を行う。
P2(2,1)−P2(1,1)=P0(2,1)+P0(2,2)
の演算をすることにより右焦点検出用画素データを復元する処理を行う。
また、焦点検出部7は、第2の減算読み出し方式(左+右、右)が用いられた場合には、
P2(1,1)−P2(2,1)=P0(1,1)+P0(1,2)
の演算をすることにより左焦点検出用画素データを復元する処理を行う。
P2(1,1)−P2(2,1)=P0(1,1)+P0(1,2)
の演算をすることにより左焦点検出用画素データを復元する処理を行う。
また、図10は、4PD画素構造の撮像素子3から画素加算を行って読み出した、垂直方向の位相差検出を行うための焦点検出用画素データP3の配置を示す図である。
垂直方向の位相差検出用の焦点検出用画素データを読み出す方式は幾つかあるが、焦点検出用画素データP3の配置における画素アドレスをP3(m,n)の括弧内で示すとすると、単純読み出し方式(上、下で分けて読み出す)では、撮像素子3において次のような加算を行い、焦点検出用画素データP3(m,n)を算出する。
P3(1,1)=P0(1,1)+P0(2,1)
P3(1,2)=P0(1,2)+P0(2,2)
・・・
P3(1,1)=P0(1,1)+P0(2,1)
P3(1,2)=P0(1,2)+P0(2,2)
・・・
また、第1の減算読み出し方式(上、上+下)では、撮像素子3において次のような加算を行い、焦点検出用画素データP3(m,n)を算出する。
P3(1,1)=P0(1,1)+P0(2,1)
P3(1,2)=P0(1,1)+P0(2,1)+P0(1,2)+P0(2,2)
・・・
P3(1,1)=P0(1,1)+P0(2,1)
P3(1,2)=P0(1,1)+P0(2,1)+P0(1,2)+P0(2,2)
・・・
さらに、第2の減算読み出し方式(上+下、下)では、撮像素子3において次のような加算を行い、焦点検出用画素データP3(m,n)を算出する。
P3(1,1)=P0(1,1)+P0(2,1)+P0(1,2)+P0(2,2)
P3(1,2)=P0(1,2)+P0(2,2)
・・・
P3(1,1)=P0(1,1)+P0(2,1)+P0(1,2)+P0(2,2)
P3(1,2)=P0(1,2)+P0(2,2)
・・・
そして、何れかの方式で算出された結果が、次のように順次読み出される。
P3(1,1),P3(1,2),・・・
P3(1,1),P3(1,2),・・・
さらに、第1の減算読み出し方式を採用した場合には、信号I/F4は、
P3(1,2)=P0(1,1)+P0(2,1)+P0(1,2)+P0(2,2)
等の1つのマイクロレンズLに対応する4つのフォトダイオード出力が加算された画像用画素データのみを画像処理部5へ送信すればよい。
P3(1,2)=P0(1,1)+P0(2,1)+P0(1,2)+P0(2,2)
等の1つのマイクロレンズLに対応する4つのフォトダイオード出力が加算された画像用画素データのみを画像処理部5へ送信すればよい。
同様に、第2の減算読み出し方式を採用した場合には、信号I/F4は、
P3(1,1)=P0(1,1)+P0(2,1)+P0(1,2)+P0(2,2)
等の1つのマイクロレンズLに対応する4つのフォトダイオード出力が加算された画像用画素データのみを画像処理部5へ送信すればよい。
P3(1,1)=P0(1,1)+P0(2,1)+P0(1,2)+P0(2,2)
等の1つのマイクロレンズLに対応する4つのフォトダイオード出力が加算された画像用画素データのみを画像処理部5へ送信すればよい。
何れの減算読み出し方式を採用した場合でも、画像処理部5は、[P0(1,1)+P0(1,2)+P0(2,1)+P0(2,2)]を算出する演算負荷が軽減される。
一方、焦点検出部7は、第1の減算読み出し方式(上、上+下)が用いられた場合には、
P3(1,2)−P3(1,1)=P0(1,2)+P0(2,2)
の演算をすることにより下焦点検出用画素データを復元する処理を行う。
P3(1,2)−P3(1,1)=P0(1,2)+P0(2,2)
の演算をすることにより下焦点検出用画素データを復元する処理を行う。
また、焦点検出部7は、第2の減算読み出し方式(上+下、下)が用いられた場合には、
P3(1,1)−P3(1,2)=P0(1,1)+P0(2,1)
の演算をすることにより上焦点検出用画素データを復元する処理を行う。
P3(1,1)−P3(1,2)=P0(1,1)+P0(2,1)
の演算をすることにより上焦点検出用画素データを復元する処理を行う。
さらに、図11は、撮像素子3から加算平均を行って読み出した、V2/2H2/2ミックス読出画素データP4の配置を示す図である。
V2/2H2/2ミックス読出画素データP4の配置における画素アドレスをP4(m,n)の括弧内で示すとすると、撮像素子3において例えば次のような加算平均を行い、V2/2H2/2ミックス読出画素データP4(m,n)を算出する。
P4(1,1)=(P1(1,1)+P1(1,3)+P1(3,1)+P1(3,3))/4
P4(1,1)=(P1(1,1)+P1(1,3)+P1(3,1)+P1(3,3))/4
ここに、P1に係る各画素アドレス(1,1)、(1,3)、(3,1)、(3,3)は、(1,1)〜(4,4)までの(4×4)P1画素領域内における、同色4画素(ただし、GrとGbは区別している)に対する画素データの加算平均が行われることを示している。ここではGr画素に対する演算の例を示したが、他の色画素についても同様にして行われる。
そして、図12は、撮像素子3から加算平均を行って読み出した、V2/3H3/3ミックス読出画素データP5の配置を示す図である。
V2/3H3/3ミックス読出画素データP5の配置における画素アドレスをP5(m,n)の括弧内で示すとすると、撮像素子3において例えば次のような加算平均を行い、V2/3H3/3ミックス読出画素データP5(m,n)を算出する。
P5(1,1)=(P1(1,1)+P1(1,3)+P1(1,5)+P1(3,1)+P1(3,3)+P1(3,5))/6
P5(1,1)=(P1(1,1)+P1(1,3)+P1(1,5)+P1(3,1)+P1(3,3)+P1(3,5))/6
ここに、P1に係る各画素アドレス(1,1)、(1,3)、(1,5)、(3,1)、(3,3)、(3,5)は、(1,1)〜(6,6)までの(6×6)P1画素領域内における、第5行を除く同色6画素(ただし、GrとGbは区別している)に対する画素データの加算平均が行われることを示している。ここではGr画素に対する演算の例を示したが、他の色画素についても同様にして行われる。
なお、図11および図12においてはミックス読み出しの例を示したが、これに代えて、間引き読み出しを行っても構わない。
上述したような画素データP0〜P5を撮像素子3から読み出す撮像素子読出モードP0〜P5(撮像素子読出モードについても画素データと同じ符号P0〜P5を用いて示すことにする)は、撮像装置において、例えば次のように撮影モードに応じた使い分けがなされる。
カメラ撮影モード 撮像素子読出モード
静止画 P1
ライブビュー P5
4K動画 P1
1080HD動画 P4
焦点検出 P0又はP2又はP3
カメラ撮影モード 撮像素子読出モード
静止画 P1
ライブビュー P5
4K動画 P1
1080HD動画 P4
焦点検出 P0又はP2又はP3
次に、図13は、撮像素子3の画素部22に、P5読出領域とP2読出領域とを設定する例を示す図である。
この図13には、ライブビューを行っているときに、同時に焦点検出を行う例を示しており、画素部22の一部(図13の例では左側)をP5読出領域に、画素部22の他の一部(図13の例では右側)をP2読出領域に、それぞれ設定している(ただし、図13に示すのは一例であり、ここではP2読出領域として設定されているいわゆるAF領域は、画面中央部に設定されたり、画面内に複数設定されたり、特定の被写体に合わせて設定されたりと様々である)。
そして、P5読出領域には、V2/3H3/3ミックス読出画素データP5が、第1行目:A,B,C,…、第2行目:A’,B’,C’,…、のように配置され、P2読出領域には画素データP2が、第1行目:a,b,c,…、第2行目:a’,b’,c’,…、のように配置されているものとする。
図14は、画素データ列に特性を示す付加情報を付加して撮像素子3から出力する第1の動作例を示すタイミングチャートである。
まず、本実施形態においては、撮像素子3から画素データを出力するレーン(Lane)数が4(レーン0〜3)である場合を例に挙げて説明する。ただし、レーン数が4であることに限定されないことは勿論である。
撮像素子3は、水平同期信号HDのタイミングに基づいて、行毎に画素データ列を出力する。
このとき、画素データ列生成部である垂直走査部21〜出力部27は、画素データの特性に応じて、複数の画素データを配列し、特性が同一の上記画素データでなる画素データ列を生成するようになっている。
具体的にここでは、画素データ列生成部は、画素データがP5であるかP2であるかの特性に応じて、画素データP5のみが配列された画素データ列と、画素データP2のみが配列された画素データ列と、をそれぞれ生成する。
図14に示すように、画素データ列生成部は、図13に示したP5読出領域の第1行における奇数番目の画素データで構成される画素データ列をレーン0用に構成し、P5読出領域の第1行における偶数番目の画素データで構成される画素データ列をレーン1用に構成し、P2読出領域の第1行における奇数番目の画素データで構成される画素データ列をレーン2用に構成し、P2読出領域の第1行における偶数番目の画素データで構成される画素データ列をレーン3用に構成する処理を、水平同期信号HD毎に行を変更しながら次々と行う。
すなわち、図14に示す例では、画像用画素データ(P5)と、焦点検出用画素データ(P2)とは、異なるレーンに振り分けられて出力されるようになっている。
そして、情報付加部である出力部27は、画素データ列生成部により生成された画素データ列に(図14に示すように、好ましくは、画素データ列の先頭に)、画素データ列の特性を示す付加情報(後述する図18等参照)を付加する。この付加情報の付加は、画素データ列が無効な画素データ列である場合にも、図14に示すように行われる。
信号I/F4は、撮像素子3の出力から付加情報を抽出してシステム制御部11へ送信する。
制御部であるシステム制御部11は、信号I/F4から入力された付加情報に基づいて、有効な画素データがデータ処理部に入力されるか否かを判定し、入力されると判定したときにはデータ処理部に対して電源およびクロックを供給し、入力されないと判定したときにはデータ処理部に対するクロックの供給を少なくとも停止するように制御する。つまり、ここでは、データ処理部である、画像処理部5と焦点検出部7とのそれぞれに対して、このような判定および制御を行う。
ここに、データ処理部(画像処理部5、焦点検出部7)に対する消費電力を制御する場合に、クロック供給の制御と電源供給の制御とがあり、クロックの供給/停止は比較的短いタイムスケールでも実施することができるが、電源の供給/停止はクロックに比して制御期間をより長くとることが好ましい(例えば、1画素分の画素データが送信される期間のような短い期間だけ、電源供給を停止することは困難である)。
そこで、システム制御部11は、画像処理部5と焦点検出部7とのそれぞれに対して、有効な画素データがデータ処理部に入力されないと判定したときには、クロックの供給を少なくとも停止するように制御する。
さらに、システム制御部11は、画像処理部5と焦点検出部7とのそれぞれに対して、有効な画素データがデータ処理部に入力されないと判定したときであって、電源供給の制御が可能である場合には、データ処理部に対する電源の供給を停止する制御を行うようになっている。
具体的に、図14に示すように、レーン0〜3において有効な画素データP5およびP2が送信される期間においては、画像処理部5および焦点検出部7がオンされてクロックおよび電源が供給され、有効な画素データP5とP2が何れも送信されない期間(無効期間)においては、画像処理部5および焦点検出部7がオフされて、クロック供給が停止されるか、または、クロック供給および電源供給の両方が停止される。
次に、図15は、画素データ列に特性を示す付加情報を付加して撮像素子3から出力する第2の動作例を示すタイミングチャートである。
上述した図14の例では、水平同期信号HDのタイミングに合わせて、レーン0,1による画素データP5の送信と、レーン2,3による画素データP2の送信と、が同時に開始された。これに対して、この図15に示す例は、水平同期信号HDで区切られる1水平同期期間において、レーン0,1による画素データP5の送信タイミングと、レーン2,3による画素データP2の送信タイミングとを、できるだけ異ならせたものとなっている。
具体的に例えば、レーン0,1による画素データP5の送信は、1水平同期期間の開始時点から行われて、1水平同期期間の後半に無効期間が生じるようにし、レーン2,3による画素データP2の送信は、1水平同期期間の前半に無効期間が生じて、1水平同期期間の終了時点で画素データP2の送信が終了するように行われている。
ただし、1水平同期期間における画素データP5と画素データP2の送信順序を逆にして、1水平同期期間の前半にレーン2,3による画素データP2の送信を行い、1水平同期期間の後半にレーン0,1による画素データP5の送信を行うようにしても構わない。
画素データP5は、画像処理部5が画像を生成するのに用いられるが、焦点検出部7には用いられない。これに対して、画素データP2は、焦点検出部7における位相差検出に用いられるだけでなく、さらに、画像処理部5が画像を生成するのにも用いられる。
従って、図14に示した処理では、1水平同期期間の前半における画像処理部5の負荷が大きくなる。そこで、この図15に示した処理は、画像処理部5の負荷が集中するのを回避して、負荷を1水平同期期間内になるべく広く分散させるようにしたものとなっている。
このために、画像処理部5は例えば常にオンとなり(ただし、送信される画素データが少ない場合(画素データP5の送信期間と画素データP2の送信期間とを合わせても1水平同期期間よりも短く、無効期間が生じる場合)には、画像処理部5をオフとすることも勿論ある、下記の図16においても同様)、焦点検出部7は画素データP2が入力される期間だけオン(つまり、画素データP2が入力されない期間はオフ)となる。
図16は、画素データ列に特性を示す付加情報を付加して撮像素子3から出力する第3の動作例を示すタイミングチャートである。
上述した図14および図15の例では、画素データの送信に用いるレーンの制限を行わなかった。これに対して、この図16に示す例では、使用するレーンを2つに制限して、許可されている2レーンのみを用いて画素データを送信するようになっている。
すなわち、図16に示す例においては、レーン2,3を画素データの送信に用いることを禁止してオフにし、1水平同期期間の前半にレーン0,1による画素データP5の送信を行い、その後(例えば、1水平同期期間の後半)にレーン0,1による画素データP2の送信を行うようにしている。
そして、この図16に示す例でも図15に示した例とほぼ同様に、画像処理部5は例えば常にオンとなり、焦点検出部7は画素データP2が入力される期間だけオンとなる。
なお、図14および図15に示した例では、画像用画素データ(P5)はレーン0,1のみを用いて送信され、焦点検出用画素データ(P2)はレーン2,3のみを用いて送信されるために、信号I/F4は、レーン0,1の画素データを画像処理部5のみを転送し、レーン2,3の画素データを画像処理部5および焦点検出部7へ転送する振り分けを行う。
一方、図16に示した例では、画像用画素データ(P5)および焦点検出用画素データ(P2)がレーン0,1のみを用いて送信されるために、信号I/F4は、レーン0,1の1水平同期期間における、画素データP5の送信期間には画像処理部5のみへ転送し、画素データP2の送信期間には画像処理部5および焦点検出部7へ転送する振り分けを行う。
続いて、図17は図15の第2の動作例における付加情報の具体例を示す図、図18は図17の付加情報に含まれるフラグの具体例を示す図である。
システム制御部11は、設定されている撮影モードに応じて、撮像素子3に撮像素子読出モードP0〜P5を指示する。この指示に応じて生成された画素データ列に対して、撮像素子3の出力部27が、図18に示すような付加情報を生成して付加し出力するようになっている。
ここに、本実施形態における付加情報は、図18に示すように、複数のフラグを含んで構成されている。
具体的に、付加情報は、4ビット(あるいは将来への拡張に対応するために5以上のビット)の情報として構成されていて、ビット0には画像用画素フラグが、ビット1には焦点検出用画素フラグが、ビット2には画像用合成処理フラグが、ビット3には焦点検出用減算処理フラグが、それぞれ格納されるようになっている。
ここに、画像用画素フラグ(ビット0)は、フラグがオンになっているときに、画像処理部5をオンにすべきことを示すものである。
従って、システム制御部11は、画像用画素フラグがオンであるときは、有効な画素データが画像処理部5に入力されると判定して画像処理部5に対して電源およびクロックを供給し、画像処理部5に画像処理を行わせ、画像用画素フラグがオフであるときは、画像処理部5に対するクロックの供給を少なくとも停止するように制御する。
焦点検出用画素フラグ(ビット1)は、フラグがオンになっているときに、焦点検出部7をオンにすべきことを示すものである。
従って、システム制御部11は、焦点検出用画素フラグがオンであるときは、有効な画素データが焦点検出部7に入力されると判定して焦点検出部7に対して電源およびクロックを供給し、焦点検出部7に焦点検出を行わせ、焦点検出用画素フラグがオフであるときは、焦点検出部7に対するクロックの供給を少なくとも停止するように制御する。
画像用合成処理フラグ(ビット2)は、フラグがオンになっているときに、画像処理部5に、焦点検出用画素データ(P0,P2,P3)から画像用画素データ(P1,P4,P5)を合成する処理を行わせるためのフラグである。
システム制御部11は、画像用画素フラグがオンであって、さらに画像用合成処理フラグがオンであるとき(なお、画像用画素フラグがオフである場合には、画像用合成処理フラグも必然的にオフである)は、マイクロレンズLに対する位置が異なる画素により得られた焦点検出用画素データから画像画素データを合成する処理を、画像処理部5に行わせる。
焦点検出用減算処理フラグ(ビット3)は、焦点検出用画素データ(P2またはP3)が減算読み出し方式で生成されたときにオンとなる(単純読み出し方式で生成されたときはオフとなる)フラグである。
システム制御部11は、焦点検出用画素フラグがオンであって、さらに焦点検出用減算処理フラグがオンであるとき(なお、焦点検出用画素フラグがオフである場合には、焦点検出用減算処理フラグも必然的にオフである)は、焦点検出部7に、上述したような焦点検出用減算処理を行わせて焦点検出用画素データを復元させる。
なお、減算読み出し方式には上述したように複数種類があるために、どの減算読み出し方式が用いられているかを判別するためのビットを追加して、焦点検出用減算処理フラグを複数ビットで構成してもよい。
また、上述では付加情報として複数のフラグを含む例を示したが、これに限定されるものではなく、1つのフラグ(例えば、画像用画素データ列であるか否か(つまり、画像用画素データ列であるか、それ以外の他の用途の画素データ列であるか)を示すフラグ)のみを含むように付加情報を構成しても構わない。
そして、図17に示すように、画素データP5で構成される画素データ列の、例えば先頭には、図18の(1)に示す付加情報、すなわち、画像用画素フラグがオン「1」、焦点検出用画素フラグがオフ「0」、画像用合成処理フラグがオフ「0」、焦点検出用減算処理フラグがオフ「0」の付加情報が、撮像素子3の出力部27により付加される。
システム制御部11は、付加情報における、画像用画素フラグがオン「1」であることに応じて画像処理部5をオンし、焦点検出用画素フラグがオフ「0」であることに応じて焦点検出部7をオフする。
さらに、システム制御部11は、付加情報における、画像用合成処理フラグがオフ「0」であることに応じて、画像処理部5による焦点検出用画素データからの画像用画素データの合成処理を不要とする制御を行い、焦点検出用減算処理フラグがオフ「0」であることに応じて、焦点検出部7による焦点検出用減算処理を不要とする制御を行う。ただしここでは、焦点検出部7がオフとなるために、焦点検出部7の処理内容の制御は不要となる。
また、無効な画素データ列の、例えば先頭には、図18の(2)に示す付加情報、すなわち、画像用画素フラグがオフ「0」、焦点検出用画素フラグがオフ「0」、画像用合成処理フラグがオフ「0」、焦点検出用減算処理フラグがオフ「0」の付加情報が、撮像素子3の出力部27により付加される。すなわち、この付加情報は、画素データ列が無効な画素データ列であることを示す情報を含んでいる。
システム制御部11は、付加情報における、画像用画素フラグがオフ「0」であることに応じて画像処理部5をオフし、焦点検出用画素フラグがオフ「0」であることに応じて焦点検出部7をオフする。こうして、システム制御部11は、付加情報に、画素データ列が無効な画素データ列であることを示す情報が含まれているときには、少なくとも、画像処理部5に対するクロックの供給と、焦点検出部7に対するクロックの供給と、の両方を停止するように制御する。
さらに、システム制御部11は、付加情報における、画像用合成処理フラグがオフ「0」であることに応じて、画像処理部5による焦点検出用画素データからの画像用画素データの合成処理を不要とする制御を行い、焦点検出用減算処理フラグがオフ「0」であることに応じて、焦点検出部7による焦点検出用減算処理を不要とする制御を行う。ただしここでは、画像処理部5および焦点検出部7の両方がオフとなるために、画像処理部5の処理内容の制御、および焦点検出部7の処理内容の制御は、何れも不要となる。
続いて、画素データP2で構成される画素データ列の、例えば先頭には、図18の(3)に示す付加情報、すなわち、画像用画素フラグがオン「1」、焦点検出用画素フラグがオン「1」、画像用合成処理フラグがオン「1」、焦点検出用減算処理フラグがオフ「0」の付加情報が、撮像素子3の出力部27により付加される。従って、図18に示す例では、焦点検出用画素データP2が、単純読み出し方式で生成されたことを想定している。
システム制御部11は、付加情報における、画像用画素フラグがオン「1」であることに応じて画像処理部5をオンし、焦点検出用画素フラグがオン「1」であることに応じて焦点検出部7をオンする。
さらに、システム制御部11は、付加情報における、画像用合成処理フラグがオン「1」であることに応じて、画像処理部5に焦点検出用画素データから画像用画素データを合成する処理を行わせる制御を行い、焦点検出用減算処理フラグがオフ「0」であることに応じて、焦点検出部7による焦点検出用減算処理を不要とする制御を行う。
こうして、付加情報は、素子内処理部による画素合成の態様を示す情報(画像用合成処理フラグ、焦点検出用減算処理フラグ)を含み、システム制御部11は、付加情報に含まれる画素合成の態様を示す情報に基づいて、データ処理部(画像処理部5、焦点検出部7)における処理を変更させるように制御するようになっている。
図19は、撮像装置の作用を示すフローチャートである。
この処理を開始すると、撮像素子3に結像された被写体像を、撮像素子3の各画素が露光して光電変換し、電荷を蓄積して画素データを生成する(ステップS1)。
次に、撮像素子読出モードに応じた垂直走査部21の走査により、画素部22から順次読み出された画素データが、アナログ処理部23により処理され、ADC処理部24によりAD変換されて、メモリ部25に格納される(ステップS2)。
メモリ部25に格納されている画素データが、撮像素子3の出力部27から、付加情報を付加した画素データ列として読み出される(ステップS3)。
信号I/F4は、撮像素子3から入力されるデータから付加情報を抽出して、抽出した付加情報をシステム制御部11へ送信し、システム制御部11が、付加情報の画像用画素フラグに基づいて、画像処理部5をオンするべき画像用画素データ期間であるか否かを判定する(ステップS4)。
ここで、画像用画素データ期間であると判定された場合には、さらに、付加情報の焦点検出用画素フラグに基づいて、システム制御部11が、焦点検出部7をオンするべき焦点検出用画素データ期間であるか否かを判定する(ステップS5)。
ここで、焦点検出用画素データ期間であると判定された場合には、画像処理部5による画像用処理を後述する図20に示すように行うと共に(ステップS6)、このステップS6の処理と同時に(つまり、並列処理として)、焦点検出部7による焦点検出用処理を後述する図21に示すように行う(ステップS7)。
また、ステップS5において、焦点検出用画素データ期間でないと判定された場合には、システム制御部11が、焦点検出部7をオフする(少なくともクロック供給をオフし、好ましくはさらに電源供給をオフする)(ステップS8)。そして、上述したステップS6の画像用処理のみを行い、ステップS7の焦点検出用処理は行わない。
一方、ステップS4において、画像用画素データ期間でないと判定された場合には、システム制御部11が、画像処理部5をオフする(少なくともクロック供給をオフし、好ましくはさらに電源供給をオフする)(ステップS9)。
続いて、付加情報の焦点検出用画素フラグに基づいて、システム制御部11が、焦点検出部7をオンするべき焦点検出用画素データ期間であるか否かを判定する(ステップS10)。
ここで、焦点検出用画素データ期間であると判定された場合には、上述したステップS7の焦点検出用処理のみを行い、ステップS6の画像用処理は行わない。
また、ステップS10において、焦点検出用画素データ期間でないと判定された場合には、システム制御部11が、焦点検出部7をオフする(少なくともクロック供給をオフし、好ましくはさらに電源供給をオフする)(ステップS11)。
ステップS6およびステップS7、ステップS6のみ、ステップS7のみ、またはステップS11の処理を行ったら、この処理を終了するか否かをシステム制御部11が判定する(ステップS12)。ここで、まだ終了しないと判定された場合にはステップS4へ戻って上述したような処理を行い、終了すると判定された場合にはこの処理を終了する。
図20は、図19におけるステップS6の画像用処理の内容を示すフローチャートである。
この画像用処理に入ると、付加情報の画像用合成処理フラグに基づいて、システム制御部11が、画像用合成処理が必要であるか否かを判定する(ステップS21)。
そして、画像用合成処理が必要であると判定された場合には、システム制御部11の制御に基づいて、オンにされている画像処理部5が、入力される焦点検出用画素データから画像用画素データを合成する画像用合成処理を行う(ステップS22)。
このステップS22の処理を行うか、またはステップS21において画像用合成処理が不要であると判定された場合には、オンにされている画像処理部5が、いわゆる現像処理等の画像処理を行う(ステップS23)。
その後、システム制御部11の制御に基づいて、画像処理された画像を表示部8に表示し、あるいは記録部6に記録してから(ステップS24)、図19に示した処理にリターンする。
図21は、図19におけるステップS7の焦点検出用処理の内容を示すフローチャートである。
この焦点検出用処理に入ると、付加情報の焦点検出用減算処理フラグに基づいて、システム制御部11が、焦点検出用減算処理が必要であるか否かを判定する(ステップS31)。
そして、焦点検出用減算処理が必要であると判定された場合には、システム制御部11の制御に基づいて、オンにされている焦点検出部7が、入力される減算読み出し方式の焦点検出用画素データから、焦点検出用減算処理を行って、必要な焦点検出用画素データを復元する(ステップS32)。
このステップS32の処理を行うか、またはステップS31において焦点検出用減算処理が不要であると判定された場合には、オンにされている焦点検出部7が、位相差検出を行ってレンズ制御パラメータを算出する(ステップS33)。
その後、レンズ制御パラメータに基づいて、システム制御部11がレンズ1のAF制御を行ってから(ステップS34)、図19に示した処理にリターンする。
なお、上述では、焦点検出用画素データを画素部22における画素配列の順に出力したが、マイクロレンズLに対する位置が異なる焦点検出用画素データを、それぞれ別のデータ列として生成して別個に出力するようにしてもよい。例えば、左焦点検出用画素データと右焦点検出用画素データとを別の画素データ列として生成して別個に出力する等である。
同様に、画素ミックスを行う場合には、混合比を変更した画素データを別々の画素データ列として生成して出力しても構わない。
また、上述では、特性が異なる画素データを、レーン別に振り分けて出力する例、同一レーンの1水平同期期間における前半と後半とに振り分けて出力する例を説明したが、これらに限らず、例えば、異なるフレーム(あるいはフィールド)に振り分けて出力する等でも構わない。
さらに、上述では、撮像素子3から出力する焦点検出用画素データを位相差検出用の画素データとしたが、焦点検出用画素データは位相差検出用画素データに限定されるものではなく、撮像素子3内においてAF演算情報またはデプスデータ(距離情報)などに変換されたものであっても構わない。
このような実施形態1によれば、特性が同一の画素データ列を生成して、特性を示す付加情報を画素データ列に付加するようにしたために、後段のデータ処理部に有効な画素データが入力されるか否かを予め知ることができ、有効な画素データが入力されないデータ処理部をオフにして低消費電力化を図ることが可能となる。こうして、特性が異なる画素データを低消費電力でデータ処理することが可能となる。
また、付加情報に基づいて、有効な画素データが入力されないと判定したときにデータ処理部に対するクロックの供給を少なくとも停止することで、低消費電力化を達成することができる。このとき、さらにデータ処理部に対する電源の供給を停止することで、より一層の低消費電力化を達成することができる。
さらに、1つのマイクロレンズLに対応する複数の画素の焦点検出用画素データから画素データを画素合成する態様を示す情報を、付加情報に含めるようにしたために、画素合成の態様に応じてデータ処理部の処理を変更することで、適切な低消費電力化を図ることができる。
そして、付加情報に画像用画素フラグを含めて、画像用画素フラグがオフであるときは、画像処理部5に対するクロックの供給を少なくとも停止するようにしたために、画像用画素データが入力されないときに画像処理部5を適切に省電力化することができる。
このとき、付加情報に画像用合成処理フラグをさらに含めることで、焦点検出用画素データから画像画素データを合成する処理を画像処理部5に行わせるか否かを、適切に制御することが可能となる。
また、付加情報に焦点検出用画素フラグを含めて、焦点検出用画素フラグがオフであるときは、焦点検出部7に対するクロックの供給を少なくとも停止するようにしたために、焦点検出用画素データが入力されないときに焦点検出部7を適切に省電力化することができる。
このとき、付加情報に焦点検出用減算処理フラグをさらに含めることで、減算読み出し方式に応じた焦点検出用減算処理による焦点検出用画素データの復元を焦点検出部7に行わせるか否かを、適切に制御することが可能となる。
さらに、付加情報に画素データ列が無効な画素データ列であることを示す情報を含めて、付加情報に、画素データ列が無効な画素データ列であることを示す情報が含まれているときには、少なくとも、画像処理部5に対するクロックの供給と、焦点検出部7に対するクロックの供給と、の両方を停止するようにしたために、有効な画素データが入力されないときに画像処理部5および焦点検出部7を適切に省電力化することができる。
また、画素データ列の一部に付加情報を付加することで、付加情報を検出して以降に画素データ列が入力される期間の省電力化を図ることができる。このとき、画素データ列の先頭に付加情報を付加することで、画素データ列が入力される期間全ての省電力化を図ることができ、より一層の省電力化が達成される。
なお、上述した各部の処理は、ハードウェアとして構成された1つ以上のプロセッサが行うようにしてもよい。
また、上述では主として撮像素子、および撮像素子を備える撮像装置について説明したが、撮像素子または撮像素子と同様の処理を行う撮像方法であってもよいし、コンピュータに撮像素子または撮像素子と同様の処理を行わせるための撮像プログラム、該撮像プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
1…レンズ
2…シャッタ
3…撮像素子
4…信号インタフェース(信号I/F)
5…画像処理部
6…記録部
7…焦点検出部
8…表示部
9…メモリ部
10…操作部
11…システム制御部
21…垂直走査部
22…画素部
23…アナログ処理部
24…ADC処理部
25…メモリ部
26…水平走査部
27…出力部
2…シャッタ
3…撮像素子
4…信号インタフェース(信号I/F)
5…画像処理部
6…記録部
7…焦点検出部
8…表示部
9…メモリ部
10…操作部
11…システム制御部
21…垂直走査部
22…画素部
23…アナログ処理部
24…ADC処理部
25…メモリ部
26…水平走査部
27…出力部
Claims (13)
- 複数の画素を有し、上記複数の画素が入射光を光電変換して画素データを複数生成する撮像素子において、
上記画素データの特性に応じて、複数の上記画素データを配列し、上記特性が同一の上記画素データでなる画素データ列を生成する画素データ列生成部と、
上記画素データ列の上記特性を示す付加情報を上記画素データ列に付加する情報付加部と、
を有することを特徴とする撮像素子。 - 請求項1に記載の上記撮像素子と、
上記撮像素子から出力される上記画素データが必要に応じて入力され、上記画素データが入力されたときに上記画素データを処理するデータ処理部と、
上記付加情報に基づいて、有効な上記画素データが上記データ処理部に入力されるか否かを判定し、入力されると判定したときには上記データ処理部に対して電源およびクロックを供給し、入力されないと判定したときには上記データ処理部に対するクロックの供給を少なくとも停止するように制御する制御部と、
を有することを特徴とする撮像装置。 - 上記制御部は、有効な上記画素データが上記データ処理部に入力されないと判定したときには、さらに、上記データ処理部に対する電源の供給を停止するように制御することを特徴とする請求項2に記載の撮像装置。
- 上記撮像素子は、複数である所定数の画素に1つのマイクロレンズを通した入射光が到達するように構成された、複数の上記マイクロレンズと、1つの上記マイクロレンズに対応する、上記所定数の上記画素によりそれぞれ生成された上記所定数の上記画素データの内の、複数の上記画素データから、1つの画素データを画素合成する素子内処理部と、を含み、
上記付加情報は、上記素子内処理部による画素合成の態様を示す情報を含み、
上記制御部は、上記付加情報に含まれる上記画素合成の態様を示す情報に基づいて、上記データ処理部における処理を変更させるように制御することを特徴とする請求項2に記載の撮像装置。 - 上記データ処理部は、上記画素データに画像処理を行って画像を生成する画像処理部を含み、
上記付加情報は、画像用画素フラグを含み、
上記制御部は、上記画像用画素フラグがオンであるときは、有効な上記画素データが上記画像処理部に入力されると判定して上記画像処理部に対して電源およびクロックを供給し、上記画像処理部に画像処理を行わせ、上記画像用画素フラグがオフであるときは、上記画像処理部に対するクロックの供給を少なくとも停止するように制御することを特徴とする請求項4に記載の撮像装置。 - 上記付加情報は、さらに、画像用合成処理フラグを含み、
上記制御部は、上記画像用画素フラグがオンであって、さらに上記画像用合成処理フラグがオンであるときは、上記マイクロレンズに対する位置が異なる画素により得られた焦点検出用画素データから画像画素データを合成する処理を、上記画像処理部に行わせることを特徴とする請求項5に記載の撮像装置。 - 上記データ処理部は、上記マイクロレンズに対する位置が異なる画素により得られた焦点検出用画素データに基づいて焦点検出を行う焦点検出部を含み、
上記付加情報は、焦点検出用画素フラグを含み、
上記制御部は、上記焦点検出用画素フラグがオンであるときは、有効な上記画素データが上記焦点検出部に入力されると判定して上記焦点検出部に対して電源およびクロックを供給し、上記焦点検出部に焦点検出を行わせ、上記焦点検出用画素フラグがオフであるときは、上記焦点検出部に対するクロックの供給を少なくとも停止するように制御することを特徴とする請求項4に記載の撮像装置。 - 上記付加情報は、さらに、焦点検出用減算処理フラグを含み、
上記制御部は、上記焦点検出用画素フラグがオンであって、さらに上記焦点検出用減算処理フラグがオンであるときは、上記焦点検出部に、減算読み出し方式に応じた焦点検出用減算処理による上記焦点検出用画素データの復元を行わせることを特徴とする請求項7に記載の撮像装置。 - 上記データ処理部は、上記画素データに画像処理を行って画像を生成する画像処理部と、上記マイクロレンズに対する位置が異なる画素により得られた焦点検出用画素データに基づいて焦点検出を行う焦点検出部と、を含み、
上記付加情報は、上記画素データ列が無効な画素データ列であることを示す情報を含み、
上記制御部は、上記付加情報に、上記画素データ列が無効な画素データ列であることを示す情報が含まれているときには、少なくとも、上記画像処理部に対するクロックの供給と、上記焦点検出部に対するクロックの供給と、の両方を停止するように制御することを特徴とする請求項4に記載の撮像装置。 - 上記情報付加部は、上記画素データ列の一部に上記付加情報を付加することを特徴とする請求項2に記載の撮像装置。
- 上記情報付加部は、上記画素データ列の先頭に上記付加情報を付加することを特徴とする請求項10に記載の撮像装置。
- コンピュータに、
複数の画素が入射光を光電変換して画素データを複数生成する撮像ステップと、
上記画素データの特性に応じて、複数の上記画素データを配列し、上記特性が同一の上記画素データでなる画素データ列を生成する画素データ列生成ステップと、
上記画素データ列の上記特性を示す付加情報を上記画素データ列に付加する情報付加ステップと、
撮像素子から出力される上記画素データが必要に応じてデータ処理部に入力され、上記画素データが入力されたときに上記データ処理部が上記画素データを処理するデータ処理ステップと、
上記付加情報に基づいて、有効な上記画素データが上記データ処理部に入力されるか否かを判定し、入力されると判定したときには上記データ処理部に対して電源およびクロックを供給し、入力されないと判定したときには上記データ処理部に対するクロックの供給を少なくとも停止するように制御する制御ステップと、
を実行させるための撮像プログラム。 - 複数の画素が入射光を光電変換して画素データを複数生成する撮像ステップと、
上記画素データの特性に応じて、複数の上記画素データを配列し、上記特性が同一の上記画素データでなる画素データ列を生成する画素データ列生成ステップと、
上記画素データ列の上記特性を示す付加情報を上記画素データ列に付加する情報付加ステップと、
撮像素子から出力される上記画素データが必要に応じてデータ処理部に入力され、上記画素データが入力されたときに上記データ処理部が上記画素データを処理するデータ処理ステップと、
上記付加情報に基づいて、有効な上記画素データが上記データ処理部に入力されるか否かを判定し、入力されると判定したときには上記データ処理部に対して電源およびクロックを供給し、入力されないと判定したときには上記データ処理部に対するクロックの供給を少なくとも停止するように制御する制御ステップと、
を有することを特徴とする撮像方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017136419A JP2019021991A (ja) | 2017-07-12 | 2017-07-12 | 撮像素子、撮像装置、撮像プログラム、撮像方法 |
CN201810535835.5A CN109257534B (zh) | 2017-07-12 | 2018-05-30 | 摄像元件、摄像装置、记录介质、摄像方法 |
US16/027,218 US10827141B2 (en) | 2017-07-12 | 2018-07-03 | Image pickup device and and image pickup method having capability of adding additional information indicating the characteristic of a pixel data sequence to the pixel data sequence |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017136419A JP2019021991A (ja) | 2017-07-12 | 2017-07-12 | 撮像素子、撮像装置、撮像プログラム、撮像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019021991A true JP2019021991A (ja) | 2019-02-07 |
Family
ID=65000266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017136419A Pending JP2019021991A (ja) | 2017-07-12 | 2017-07-12 | 撮像素子、撮像装置、撮像プログラム、撮像方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10827141B2 (ja) |
JP (1) | JP2019021991A (ja) |
CN (1) | CN109257534B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3499869B1 (en) * | 2017-10-20 | 2022-05-04 | Shenzhen Goodix Technology Co., Ltd. | Pixel sensing module and image capturing device |
JP7353752B2 (ja) * | 2018-12-06 | 2023-10-02 | キヤノン株式会社 | 光電変換装置及び撮像システム |
EP3674973A1 (en) * | 2018-12-28 | 2020-07-01 | Samsung Electronics Co., Ltd. | Method and apparatus with liveness detection and object recognition |
CN110689846B (zh) * | 2019-11-06 | 2021-03-30 | 昆山国显光电有限公司 | 一种像素灰阶补偿参数压缩存储方法、装置和存储介质 |
WO2021163824A1 (zh) * | 2020-02-17 | 2021-08-26 | 深圳市汇顶科技股份有限公司 | 图像信号处理方法以及相关图像传感***及电子装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4410804A (en) * | 1981-07-13 | 1983-10-18 | Honeywell Inc. | Two dimensional image panel with range measurement capability |
US20040252217A1 (en) * | 2003-06-12 | 2004-12-16 | Battles Amy E. | System and method for analyzing a digital image |
US7579843B2 (en) * | 2006-10-13 | 2009-08-25 | General Electric Company | Methods and apparatus for analyzing partial discharge in electrical machinery |
JP5272890B2 (ja) * | 2009-05-21 | 2013-08-28 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN102087741B (zh) * | 2009-12-03 | 2013-01-02 | 财团法人工业技术研究院 | 采用区域架构的图像处理方法及*** |
JP2012010104A (ja) * | 2010-06-24 | 2012-01-12 | Sony Corp | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
US8970750B2 (en) * | 2010-11-12 | 2015-03-03 | Sony Corporation | Image outputting apparatus, image outputting method, image processing apparatus, image processing method, program, data structure and imaging apparatus |
WO2014024500A1 (ja) * | 2012-08-10 | 2014-02-13 | 株式会社ニコン | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
JP6530658B2 (ja) * | 2014-08-11 | 2019-06-12 | キヤノン株式会社 | 撮像装置およびその制御方法、プログラムならびに記録媒体 |
KR102210513B1 (ko) * | 2014-12-11 | 2021-02-02 | 삼성전자주식회사 | 커플링-프리 읽기를 수행할 수 있는 이미지 센서와 이를 포함하는 장치 |
CN105516698A (zh) * | 2015-12-18 | 2016-04-20 | 广东欧珀移动通信有限公司 | 图像传感器的成像方法、成像装置和电子装置 |
-
2017
- 2017-07-12 JP JP2017136419A patent/JP2019021991A/ja active Pending
-
2018
- 2018-05-30 CN CN201810535835.5A patent/CN109257534B/zh active Active
- 2018-07-03 US US16/027,218 patent/US10827141B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN109257534A (zh) | 2019-01-22 |
US20190020838A1 (en) | 2019-01-17 |
CN109257534B (zh) | 2020-10-30 |
US10827141B2 (en) | 2020-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10110827B2 (en) | Imaging apparatus, signal processing method, and program | |
US10218928B2 (en) | Image capturing apparatus and mobile telephone | |
JP2019021991A (ja) | 撮像素子、撮像装置、撮像プログラム、撮像方法 | |
JP6380974B2 (ja) | 撮像素子、撮像装置 | |
US10582113B2 (en) | Image pickup device, image pickup apparatus, image pickup apparatus control method and computer-readable non-transitory recording medium in which processing program is recorded | |
JP2009260404A (ja) | 固体撮像装置の駆動方法 | |
JP2008167004A (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
JP2013034045A (ja) | 固体撮像装置、撮像装置 | |
JP2010268529A (ja) | 固体撮像装置および電子機器 | |
JP2006080937A (ja) | 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール | |
JP6445866B2 (ja) | 撮像装置、撮像システム、および撮像装置の駆動方法 | |
JP6413401B2 (ja) | 固体撮像素子 | |
CN109474781B (zh) | 摄像装置、摄像装置的控制方法、记录介质 | |
JP2007104178A (ja) | 撮像素子および撮像装置 | |
JP5721518B2 (ja) | 撮像素子及び撮像装置 | |
JP6305169B2 (ja) | 固体撮像素子、撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2014187423A (ja) | 撮像素子及びその駆動方法、及び撮像装置 | |
JP2015207948A (ja) | 撮像素子及び撮像装置 | |
JP6733159B2 (ja) | 撮像素子、及び撮像装置 | |
JP6257348B2 (ja) | 固体撮像装置、撮像システム及び複写機 | |
JP2010171856A (ja) | 撮像装置 | |
JP2018207502A (ja) | 撮像素子、撮像装置 | |
WO2020203799A1 (ja) | 撮像素子、及び、撮像装置 | |
JP6389693B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2015180005A (ja) | 固体撮像素子およびその駆動方法、並びに撮像装置 |