JP2020014195A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2020014195A JP2020014195A JP2019104796A JP2019104796A JP2020014195A JP 2020014195 A JP2020014195 A JP 2020014195A JP 2019104796 A JP2019104796 A JP 2019104796A JP 2019104796 A JP2019104796 A JP 2019104796A JP 2020014195 A JP2020014195 A JP 2020014195A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- unit
- calculation
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 43
- 238000012546 transfer Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004904 shortening Methods 0.000 abstract description 3
- 238000009825 accumulation Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 10
- 239000000758 substrate Substances 0.000 description 9
- 230000008707 rearrangement Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Abstract
Description
本発明は、撮像装置に関するものである。 The present invention relates to an imaging device.
デジタルカメラの高機能化が進むにつれて、撮像素子から得られる画素信号に基づく演算の種類が増えてきている。これらの演算により得られる情報は、例えばオートフォーカス(AF)制御におけるレンズ駆動のために使用される。このレンズ駆動を高速に行うことによって、カメラの連写時におけるフレームレートを向上させることができるため、できるだけ高速に演算を終了させることが必要である。そこで、演算が終了するまでの時間を短縮するための種々の方法が提案されている。 As the functions of digital cameras have advanced, the types of operations based on pixel signals obtained from an image sensor have been increasing. Information obtained by these calculations is used, for example, for driving a lens in autofocus (AF) control. By performing this lens driving at a high speed, the frame rate at the time of continuous shooting by the camera can be improved. Therefore, it is necessary to terminate the calculation as quickly as possible. Therefore, various methods have been proposed for shortening the time until the calculation is completed.
例えば、特許文献1では、画素アレイの一部に焦点検出画素が存在する構成において、第1のモードと第2のモードとを切り替えて、画素から信号を出力する撮像装置が開示されている。まず、第1のモードでは、画素が配置された順番に信号を出力する。一方、第2のモードでは、焦点検出領域の焦点検出用画素とその周辺画素から先に信号を出力し、残りの画素の信号を後から出力する。この構成において、第2のモードは、第1のモードと比較して焦点検出用画素の信号を早く出力できるため、その後の焦点検出演算とそれに続くフォーカスレンズの駆動を早く終わらせることができる。 For example, Patent Document 1 discloses an imaging device that switches between a first mode and a second mode and outputs a signal from a pixel in a configuration in which a focus detection pixel exists in a part of a pixel array. First, in the first mode, signals are output in the order in which the pixels are arranged. On the other hand, in the second mode, a signal is output first from the focus detection pixel in the focus detection area and its peripheral pixels, and the signals of the remaining pixels are output later. In this configuration, since the signal of the focus detection pixel can be output earlier in the second mode than in the first mode, the subsequent focus detection calculation and subsequent driving of the focus lens can be completed earlier.
上述したように、特許文献1に開示された従来技術では、第2のモードは、画像信号を出力する順番が画素の配置の順番とは異なる。しかしながら、メカシャッタを開いたまま画素から信号を順次出力する電子シャッタ方式で動きのある被写体を撮影すると、次のような問題があった。すなわち、焦点検出領域が画面の上部に接していない場合に、先に焦点検出領域の焦点検出用画素から信号を出力すると、焦点検出領域の上下領域で露光(電荷蓄積)のタイミングが異なることになる。その結果、画像としては、焦点検出領域の上下の境目で不連続な、違和感のあるものとなってしまう。 As described above, in the related art disclosed in Patent Document 1, in the second mode, the order in which the image signals are output is different from the order in which the pixels are arranged. However, when a moving subject is photographed by an electronic shutter system in which signals are sequentially output from the pixels while the mechanical shutter is open, the following problem occurs. That is, when the focus detection area is not in contact with the upper part of the screen, if the signal is first output from the focus detection pixels of the focus detection area, the timing of exposure (charge accumulation) differs between the upper and lower areas of the focus detection area. Become. As a result, the image is discontinuous at the upper and lower boundaries of the focus detection area, giving an unnatural feeling.
本発明は上記問題点を鑑みてなされたものであり、電子シャッタ方式で撮影を行う場合に、複数の画素から得られた信号に基づく演算が終了するまでの時間を短縮しつつ、撮影された画像の違和感を低減することを目的とする。 The present invention has been made in view of the above-described problems, and in a case where shooting is performed by an electronic shutter method, shooting is performed while shortening the time until calculation based on signals obtained from a plurality of pixels is completed. An object is to reduce discomfort in an image.
上記目的を達成するために、本発明の撮像装置は、各々が複数の光電変換部および1つのマイクロレンズを備えた画素が複数配置された画素部と、前記画素部を駆動する駆動手段と、前記画素部から出力された画像データを記憶する記憶手段と、前記画像データの一部である第1の画像データを用いた演算を行う第1の処理と、前記画像データに対して画像を得るための処理を行う第2の処理とを行う少なくとも1つの画像処理手段と、前記画素部から出力された画像データを、前記記憶手段および前記画像処理手段に転送する制御を行う制御手段と、を有し、前記制御手段は、前記第1の画像データを前記画像処理手段に転送した後、前記画素部から出力された画像データのうち、前記第1の画像データを除く第2の画像データを前記画像処理手段に転送するように制御し、前記駆動手段は、前記第1の画像データおよび前記第2の画像データを前記画像処理手段に転送する順序とは異なる所定の順序で前記画像データを出力するように前記画素部を駆動する。 In order to achieve the above object, an imaging device according to the present invention includes a pixel unit in which a plurality of pixels each including a plurality of photoelectric conversion units and one microlens are arranged; a driving unit that drives the pixel unit; Storage means for storing the image data output from the pixel unit; first processing for performing an operation using first image data which is a part of the image data; and obtaining an image for the image data At least one image processing unit for performing a second process for performing a process for performing the above-mentioned processing, and a control unit for performing control for transferring image data output from the pixel unit to the storage unit and the image processing unit. The control unit transfers the first image data to the image processing unit, and then, among the image data output from the pixel unit, the second image data excluding the first image data. The image And the driving unit outputs the image data in a predetermined order different from the order in which the first image data and the second image data are transferred to the image processing unit. The pixel unit is driven as described above.
本発明によれば、電子シャッタ方式で撮影を行う場合に、複数の画素から得られた信号に基づく演算が終了するまでの時間を短縮しつつ、撮影された画像の違和感を低減することができる。 ADVANTAGE OF THE INVENTION According to this invention, when imaging | photography by an electronic shutter system, the uncomfortable feeling of an image | photographed image can be reduced, reducing the time until the calculation based on the signal obtained from a some pixel is complete | finished. .
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The following embodiments do not limit the invention according to the claims. Although a plurality of features are described in the embodiments, all of the plurality of features are not necessarily essential to the invention, and the plurality of features may be arbitrarily combined. Further, in the accompanying drawings, the same or similar components are denoted by the same reference numerals, and duplicate description will be omitted.
<第1の実施形態>
図1は、本発明の第1の実施形態に係る撮像装置の構成を示すブロック図である。図1において、第1レンズ100は撮影光学系120の先端に配置されている。絞り101は、その開口径を調節することで撮影時の光量調節を行う。第2レンズ102及び第3レンズ103は、フォーカスアクチュエータ117によって駆動され、光軸方向に進退することにより、撮影光学系120の焦点を調節する。
<First embodiment>
FIG. 1 is a block diagram showing the configuration of the imaging device according to the first embodiment of the present invention. In FIG. 1, the
フォーカルプレーンシャッタ104は、静止画撮影時に露光秒時を調節する。光学的ローパスフィルタ105は撮影画像の偽色やモアレを低減するために用いられる。撮像素子106は、撮影光学系120により形成された被写体の光学像を電気信号に光電変換する。フロントエンド(FE)107は、メモリと転送部を内蔵し、撮像素子106から画像データを受信し、その一部または全部をメモリに格納し、後段のDigital Signal Processor(DSP)108へと送信する。
The
DSP108は所定の画像処理を行う。すなわちDSP108は撮像素子106で撮影され、フロントエンド107から送信された画像データに対して、補正・圧縮等の処理を行う。また、送信された画像データを、後述するように位相差を有するA像データとB像データに分離する分離機能や、A像データとB像データを用いた相関演算を行う相関演算機能を有する。さらに、表示部111に表示するために画像データを加工する処理や、画像データを記録媒体113に記録するための処理を行う。なお、撮像素子106、フロントエンド107、DSP108における信号処理に関する詳細については後述する。
The DSP 108 performs predetermined image processing. That is, the DSP 108 performs processing such as correction and compression on image data captured by the
RAM109は、フロントエンド107からの出力データを保持する機能と、DSP108で処理された画像データを記憶する機能と、CPU110が動作を行う際のワークメモリとしての機能を兼備する。なお、アクセス速度が十分に速く、動作上問題のないレベルのメモリであれば、RAM以外の他の種類のメモリを用いることも可能である。また本実施形態では、RAM109は、DSP108、CPU110の外部に配置されているが、その一部または全部の機能をDSP108やCPU110に内蔵する構成であってもよい。
The
表示部111は、DSP108によって処理された静止画像や動画像及びメニュー等の表示を行う。操作部112は、撮影命令や撮影条件等の設定をCPU110に対して行う。記録媒体113は、静止画データ及び動画データを記録する着脱可能な記録媒体、ROM114は、CPU110が各部の動作を制御するためにロードして実行するプログラムを格納する。
The display unit 111 displays a still image, a moving image, a menu, and the like processed by the DSP 108. The operation unit 112 sets a shooting command, a shooting condition, and the like to the
CPU110は、撮像装置の各部を制御するためのプログラムを実行し、撮像装置の動作を統括的に制御する。また、DSP108から出力される相関演算の結果を用いて、フォーカス駆動回路116を制御し、撮影光学系120の焦点を調節する機能も有する。フォーカス駆動回路116は、CPU110からの指示に基づいてフォーカスアクチュエータ117を制御し、第2レンズ102及び第3レンズ103を光軸方向に進退駆動して焦点調節を行う。
The
更に、CPU110は、公知の測光方法による測光結果や、操作部112からの設定に基づいて、シャッタ駆動回路115及び絞り駆動回路118を制御する。CPU110からの指示に基づいて、シャッタ駆動回路115は、フォーカルプレーンシャッタ104を駆動制御し、絞り駆動回路118は、絞りアクチュエータ119を制御して、絞り101の開口を制御する。
Further, the
次に、本実施形態における撮像素子106の構成について、図2を参照しながら説明する。なお、図2(a)は、撮像素子106の画素アレイ(画素領域)200を示す図である。図2(a)に示すように、画素アレイ200には、単位画素201が行列方向に複数配置されている。それぞれの単位画素201は、1つのマイクロレンズ202を有し、各マイクロレンズ202下に、光電変換部として2つのフォトダイオード(PD)203a,203bを有する。
Next, the configuration of the
図2(b)は、単位画素201の詳細な回路構成を説明する図である。図2(b)において、PD203aとPD203bは前述した同一のマイクロレンズ下で単位画素201を構成するPDである。転送スイッチ204aは信号φtxaによって制御され、転送スイッチ204bは信号φtxbによって制御される。この信号φtxa、φtxbをHigh(以下Highを「H」と記す。)にすることによって、PD203a,203bに蓄積された電荷をフローティングディフュージョン部(FD)205に転送することができる。転送スイッチ204a,204bのON/OFFは独立に制御することができるため、PD203a,203bに蓄積された電荷は、独立に転送することができる。
FIG. 2B is a diagram illustrating a detailed circuit configuration of the
リセットスイッチ206はFD205を初期化するためのスイッチであり、信号φpresによって制御される。画素アンプ用トランジスタ207は、選択スイッチ208、及び後述する垂直出力線211を介して、後述する定電流源212に接続されている。選択スイッチ208の入力信号φselがHになると、画素アンプ用トランジスタ207は定電流源212と接続され、画素アンプを形成する。FD205はこの画素アンプに接続されているため、PD203a,203bからFD205に転送された電荷は、画素アンプによって電荷量に応じた電圧値に変換され、垂直出力線211に画素信号として出力されることになる。
The
このような構成を有する単位画素201では、異なる瞳領域を通過した光束をマイクロレンズ202により単位画素を構成する2つのPD203a,203bに結像する。そして、2つのPD203a,203bの各々で発生した電荷に応じた信号を加算した信号(A+B像信号)を撮像信号、個々のPD203a,203b各々で発生した電荷に応じた2つの信号(A像信号、B像信号)をAF用信号(焦点検出用信号)として用いる。
In the
なお、撮像信号とAF用信号をそれぞれ出力してもよいが、処理負荷を考慮して、次のようにしてもよい。即ち、撮像信号(A+B像信号)と、PD203a,203bのいずれか一方のAF用信号(例えばA像信号)とを出力し、差分を取ることで、視差を有するもう一方のAF用信号(例えばB像信号)を取得する。または、PD203a,203bのAF用信号(A像信号、B像信号)をそれぞれ出力し、出力された信号を加算することで撮像信号(A+B像信号)を取得する。 Note that the imaging signal and the AF signal may be respectively output, but the following may be performed in consideration of the processing load. That is, the imaging signal (A + B image signal) and the AF signal (for example, the A image signal) of one of the PDs 203a and 203b are output, and the difference is calculated to obtain the other AF signal having parallax (for example, B image signal). Alternatively, an AF signal (A image signal, B image signal) of each of the PDs 203a and 203b is output, and the output signals are added to obtain an imaging signal (A + B image signal).
そして、複数の画素から出力された複数のA像信号と複数のB像信号をそれぞれまとめることで、撮像面位相差検出方式によるAF(以下、「撮像面位相差AF」という。)に用いられる一対の像データ(A像データ、B像データ)を得る。後述するDSP108では、該一対の像データに対する相関演算を行って、これら一対の像データのずれ量である位相差(以下、「像ずれ量」という。)を算出し、さらに算出した像ずれ量から撮影光学系のデフォーカス量及びデフォーカス方向を算出する。
Then, by combining a plurality of A image signals and a plurality of B image signals output from a plurality of pixels, each is used for AF by an imaging surface phase difference detection method (hereinafter, referred to as “imaging surface phase difference AF”). A pair of image data (A image data, B image data) is obtained. The
なお、本実施形態では各画素において、1つのマイクロレンズ202に対して2つのPD203a,203bを有する構成としているが、フォトダイオードの数は2つに限定されず、それ以上であってもよい。また、瞳分割方向も水平方向に限られるものでは無く、垂直方向であっても良い。また、マイクロレンズ202に対して受光部の開口位置が異なる画素を複数有するようにしてもよい。つまり、結果として位相差検出用の2つ以上の信号が得られる構成であればよい。
In this embodiment, each pixel includes two PDs 203a and 203b for one
また、本発明は図2(a)に示すように全ての画素が複数のフォトダイオードを有する構成に限らず、画素アレイ200を構成する通常画素内に、図2(b)に示すような焦点検出用画素を離散的に設ける構成であってもよい。また、同じ画素アレイ200内において互いに異なる分割方法で分割された複数種類の画素が含まれてもよい。
In addition, the present invention is not limited to the configuration in which all pixels have a plurality of photodiodes as shown in FIG. 2A, but focuses on the normal pixels constituting the
さらに、単位画素下の画素が必ずしも分割されている必要はなく、例えば画素アレイ200の一部の画素の左半分が遮光されていて、また別の一部の画素の右半分が遮光されている構成をとってもよい。この場合、異なる画素の信号に基づいて、位相差検出用の信号が得られる構成となる。
Further, the pixels below the unit pixel do not necessarily have to be divided, for example, the left half of some pixels of the
また、本実施形態では、DSP108で行う処理として、撮像面位相差AFを例に挙げて説明するため、撮像素子106が上述した構成を有するが、本発明はこれに限られるものでは無い。例えば、撮像面位相差AFを行わず、DSP108がそれ以外の演算を行う場合には、単位画素が複数のフォトダイオードを有さなくてもよい。
Further, in the present embodiment, the
図2(c)は、撮像素子106の詳細な回路構成を示す。画素アレイ200には、水平方向に(m+1)個、垂直方向に(n+1)個の複数の単位画素201が配置されている。タイミングジェネレータ(TG)210は、CPU110によってプログラムされた設定に従って、各回路ブロックに制御パルスを供給する。
FIG. 2C shows a detailed circuit configuration of the
垂直走査回路209は、画素にパルスを送ることで、各画素における電荷蓄積時間を制御する(電子シャッタ)。まず、リセットスイッチ206と転送スイッチ204a,204bを同時にONすることで、PD203a,203bを電源電位VDDにリセットすることができる。この状態から、転送スイッチ204a,204bをOFFすることで、PD203a,203bにおいて電荷の蓄積が開始される。そして、リセットスイッチ206をOFFしてFD205のリセットを解除してから、転送スイッチ204a,204bをONすることで、蓄積された電荷の転送を行う。そして、転送された電荷に対応する画素信号を垂直出力線211へ出力する。また、特定の画素を選択し、選択画素と非選択画素とで駆動を切り替えることもできる。なお、本実施形態では、TG210は撮像素子106に内蔵されているが、撮像素子106の外部に配置される構成でも構わない。
The
各単位画素201で光電変換して得られたた画素信号は、前述のように垂直走査回路209から供給される駆動信号によって、垂直出力線211へと行単位で出力される。定電流源212は、前述した画素アンプ用トランジスタ207と組み合わされてソースフォロワ回路を形成する。読み出し回路213は、各列の垂直出力線211に出力された画素信号を増幅する機能を有する。AD変換回路(ADC)214は、読み出し回路213の出力をデジタル信号へ変換する。ADC214によって変換されたデジタル信号は、水平走査回路215によって順に選択されて、出力部216から撮像素子106の外部へ画像データとして出力される。
The pixel signal obtained by photoelectric conversion in each
なお、本実施形態では、電子シャッタ機能を利用して、画素アレイ200から様々な順序で信号を出力することが可能である。例えば、画面の一番上または下から順に電荷蓄積及び信号出力を行う方法がある。また、例えば偶数行の連続する2行を取得し、その次に前記2行の間の2行を含む奇数行の連続する2行を取得し、それを交互に繰り返すように、1行以上、飛び越しながら、行を変えて繰り返し電荷蓄積及び信号出力を行うことで、最終的に画素アレイ200の全画素から画像信号を得る方法などもある。このほかにも種々の信号出力方法があり得るが、得られた画像に明らかなギャップが現れないような信号出力方法であればよい。
In the present embodiment, it is possible to output signals from the
続いて、第1の実施形態における撮像素子106、フロントエンド107、DSP108の詳細な構成について、図3を参照しながら説明する。フロントエンド107は、RAM300を含み、前述のフロントエンド107に内蔵されるメモリの役割を担っている。このRAM300は、撮像素子106の出力部216から出力された少なくとも1フレーム分の画像データを格納する。なお、本実施形態ではフロントエンド107に含まれるメモリをRAMとする構成であるが、アクセス速度が十分に速く、動作上問題のないレベルのメモリであれば、他の種類のメモリを用いることも可能である。転送回路301は、RAM300に格納された画像データをDSP108へと転送する。制御回路302は、RAM300と転送回路301を制御し、画像データが転送される順序を制御する。
Next, a detailed configuration of the
DSP108には受信回路303が内蔵されており、転送回路301から転送されてきた画像データを、並べ替え回路304及び演算回路305に送る。並べ替え回路304は、転送回路301から送られてきた画像データの順番を、例えば、画素アレイ200の単位画素201の物理配列順や、後段の処理回路(不図示)のために好適な順番に並べ替えることができる。演算回路305は、画像データに基づいた種々の演算を行うことができる。なお、以下の説明においては一例として、前述のA像信号及びB像信号からA像データ及びB像データを生成し、得られたA像データ及びB像データの相関演算を行って、第2レンズ102及び第3レンズ103を駆動するためのデフォーカス量を得る場合について説明する。
The
他にも演算回路305では、表示部111に表示する画像を作成する演算、A像データとB像データから画像の深度情報を得るデフォーカスマップを作成する演算、被写体の動きを検出する追尾演算、露出をコントロールするためのAE演算等を行うことができる。また、画像のホワイトバランスを決定するためのWB演算、画像のフリッカを検出するための演算、フラッシュの発光量を決定するための調光演算、なども考えられる。なお、演算回路305で行うことができる演算は、ここに挙げた構成及び演算に限定されない。
In addition, the
なお、上述した相関演算に代表されるように、DSP108内の演算回路305で行われる演算は、必ずしも全画面の情報を必要とするものではない。図4は、全画面の中で演算に使用される領域を示した例である。ここでは、全画面400は、例えば画素アレイ200全体を示すが、その他にも、画素アレイ200の一部の画素をクロップして出力する場合、画素アレイ200の一部領域であってもよい。
As typified by the above-described correlation calculation, the calculation performed by the
測距枠401は、例えば操作部112を介して設定された被写体が存在する領域であり、この枠内の単位画素201から出力された画像信号を用いて演算回路305で相関演算を行う。その際、例えば垂直走査回路209を用いて、相関演算に使用する画素行を選択することができる。以下、選択された画素行に含まれる単位画素201を第1画素群402、選択されなかった画素行に含まれる単位画素201を第2画素群403とする。この場合、第1画素群402から出力された画像データは演算回路305での演算に使用されるが、第2画素群403から出力された画像データは使用されない。
The
次に、図5に示すタイミングチャートを参照して、画像の撮影を行った後、演算回路305で相関演算を行い、その情報に基づいてレンズを駆動させ、次のフレームの画像を撮影する場合の本第1の実施形態における処理について説明する。まず、時刻t10で電荷蓄積を開始し、時刻t11で蓄積された電荷に応じた画素信号をデジタル信号に変換することで得られる画像データの出力を開始する。本実施形態では、PD203a,203bのリセット解除から単位画素201外への電荷に応じた画素信号の出力までが、電荷蓄積時間、すなわち露光時間に相当し、行単位で順次制御される。この際に、画像信号は、単位画素201が第1画素群402に属するか第2画素群403に属するかは関係のない所定の順序で取得される。また、信号の出力開始と同時に、出力された画像データをRAM300に順次格納し始める。
Next, referring to the timing chart shown in FIG. 5, after taking an image, performing a correlation operation in the
時刻t12において、撮像素子106から出力された画像データのRAM300への格納が完了すると、同時に、第1画素群402の画像データがRAM300から出力され、フロントエンド107の転送回路301からDSP108への転送を順次開始する。第2画素群403の画像データの一部は、第1画素群402の画像データよりも先に撮像素子106から出力されているが、この時点ではRAM300に格納したまま出力しない。時刻t13において、第1画素群402に対応する全画像データの転送が完了すると、DSP108内の演算回路305では相関演算を開始する。同時に、RAM300からは第2画素群403に対応する画像データの転送を開始する。
At time t12, when the storage of the image data output from the
時刻t14において相関演算が完了すると、その結果に基づいて、CPU110はレンズの駆動を開始する。時刻t15でレンズの駆動が完了すると、次の蓄積を開始できる状態になるため、同時に次フレームの蓄積を開始する。時刻t16では時刻t13で転送が開始された第2画素群403の画像データの転送が完了する。この転送の完了を以て、1枚の画像の撮影が終了する。
When the correlation calculation is completed at time t14, the
なお、上述したように、RAM300から第1画素群402に対応する画像データを先に転送した場合、DSP108における画像データの受信順が、単位画素201の物理配列順から入れ替わってしまう。そのため、並べ替え回路304において、転送されてきた画像データを単位画素201の物理配列順に並び替えることによって、1枚の画像を取得することができる。
As described above, when the image data corresponding to the
以上説明したように第1の実施形態によれば、撮像素子からの画像データの取得は画像の違和感を低減する順番で行いつつ、次フレームの撮影に必要な演算を先に行うことができるため、画像の違和感を低減しつつもフレームレートを向上させることができる。特に、撮像素子106からフロントエンド107内のRAM300への転送レートよりもフロントエンド107からDSP108への転送レートの方が遅い場合に有効である。
As described above, according to the first embodiment, the acquisition of the image data from the image sensor can be performed in the order of reducing the discomfort of the image, and at the same time, the calculation necessary for photographing the next frame can be performed first. In addition, the frame rate can be improved while reducing the discomfort of the image. This is particularly effective when the transfer rate from the
なお、本実施形態では、DSPを一つのみ設ける例について説明したが、複数のDSPを設けるように構成し、各機能を分担するようにしてもかまわない。例えば、第1のDSPは、第1画素群402および第2画素群403の画像データの補正処理、表示部111に表示するための処理や記録媒体113に記録するための処理を行う。また、第2のDSPは、第1画素群402のA像データとB像データを用いた相関演算を行う。
Note that, in the present embodiment, an example in which only one DSP is provided has been described. However, a configuration in which a plurality of DSPs are provided and each function is shared may be employed. For example, the first DSP performs a process of correcting image data of the
(撮像素子106、フロントエンド107のチップ構成について)
撮像素子106、フロントエンド107の具体的なチップ構成は、いくつかの構成が考えられる。図6は、チップ構成に関する複数の具体的な例を示す図である。図6(a)は構成例1を示しており、撮像素子106が第1の半導体基板上に形成されて第2のチップ600を成し、フロントエンド107が第2の半導体基板上に形成されて第3のチップ601を成している。この2つのチップは第1の電気基板603に搭載され、第2の電気基板604に搭載されている、少なくともDSP108が含まれる第1のチップ602に接続されている。
(Chip configuration of
Some specific configurations of the
図6(b)は構成例2を示しており、撮像素子106が第3の半導体基板上に形成され、フロントエンド107が第4の半導体基板上に形成され、それらが積層されることによって第4のチップ605を成している。第4のチップ605は第1の電気基板603に搭載され、第2の電気基板604に搭載されている、少なくともDSP108が含まれる第1のチップ602に接続されている。
FIG. 6B shows Configuration Example 2, in which the
図6(c)は構成例3を示しており、撮像素子106とフロントエンド107が第5の半導体基板上に形成され、第5のチップ606を成している。第5のチップ606は第1の電気基板603に搭載され、第2の電気基板604に搭載されている、少なくともDSP108が含まれる第1のチップ602に接続されている。
FIG. 6C shows a configuration example 3, in which the
このように、基板やチップの構成は上記構成を含む種々の構成の中から好適なものを選択することができ、これらのうちのどの構成においても第1の実施形態の効果は変わらない。 As described above, a suitable configuration of the substrate and the chip can be selected from various configurations including the above configuration, and the effect of the first embodiment does not change in any of these configurations.
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。第1の実施形態では、撮像素子106から出力された1フレーム分の全画像データを一旦RAM300に格納した。そして、その後、第1画素群402に対応する画像データをRAM300から出力し、更にその後、第2画素群403に対応する画像データをRAM300から出力してDSP108へと転送した。これに対し、第2の実施形態では、1フレーム分の画像データの少なくとも一部をRAM300に格納しない転送方法について説明する。
<Second embodiment>
Next, a second embodiment of the present invention will be described. In the first embodiment, all the image data for one frame output from the
図7は、第2の実施形態における撮像素子106、フロントエンド107、DSP108の構成を示すブロック図である。なお、図7において、図3と同様の構成には同じ参照番号を付し、適宜説明を省略する。第2の実施形態におけるフロントエンド107は、図3に示す構成に、ルータ700とセレクタ701を追加し、制御回路702が、ルータ700、セレクタ701、RAM300を制御するところが第1の実施形態と異なる。ルータ700は、撮像素子106から出力された画像データをRAM300に格納させるか、セレクタ701に出力するかを、制御回路702からの制御信号によって切り替える。セレクタ701は、転送回路301から転送する画像データを、ルータ700からの画像データにするかRAM300からの画像データにするかを、制御回路702からの制御信号によって切り替える。なお、これ以外の構成は、図1及び図2を参照して説明した撮像装置の構成と同様であるため、説明を省略する。
FIG. 7 is a block diagram illustrating a configuration of the
第2の実施形態では、ルータ700とセレクタ701が、フロントエンド107内に個別に存在する構成として説明する。しかしながら、例えばRAM300にスルー機能があって、RAM300に対して読み書きが発生しないような経路を選択できるような構成であれば、ルータ700とセレクタ701を追加しなくてもよい。また、本発明の趣旨を逸脱しない範囲において、その他あらゆる構成が可能である。
In the second embodiment, a configuration in which the
図8は、第2の実施形態における処理を示すタイミングチャートであって、第1画素群402に対応する画像データをRAM300に格納しないで転送し、その後、RAM300から第2画素群403の画像データを転送する例を示す。まず、時刻t20で電荷蓄積を開始し、時刻t21で画像データの出力を開始する。この際に、画像データは、単位画素201が第1画素群402に属するか第2画素群403に属するかには関係のない所定の順序で取得される。ここでは、図4に示すように測距枠401が画面の中間部分にあり、画面の上部から下部に向かって、画像データを順次行単位で出力するものとして説明する。この場合、画像データの出力と同時に、制御回路702は第2画素群403から出力された画像データをRAM300に格納するようにルータ700を制御する。
FIG. 8 is a timing chart showing processing in the second embodiment, in which image data corresponding to the
時刻t22で、第1画素群402の画像データの出力が開始されると、制御回路702は、画像データをRAM300に格納せずにDSP108に転送を開始できるようにルータ700、セレクタ701を制御する。そして、DSP108に対して第1画素群402の画像データの転送を始める。ただし、フロントエンド107の転送回路301の出力レートが撮像素子106の出力部216の出力レートよりも遅い場合は、RAM300に第1画素群402のデータの一部を格納してもよい。すなわち、その場合、第1画素群402の少なくとも一部の画素から出力された画像データはRAM300に格納され、フロントエンド107の転送レートで出力できるように制御する。
At time t22, when the output of the image data of the
時刻t23では、全画像データの出力、及び、第2画素群403からの画像データ及び第1画素群402の一部の画像データのRAM300への格納が完了するが、この時点において第1画素群402のデータの転送は半ばまで済んでいる。時刻t24で第1画素群402の画像データの転送が完了すると、この時点から相関演算を開始することができる。また同時に、第2画素群403の画像データの転送を開始する。
At time t23, the output of all the image data and the storage of the image data from the
時刻t25において相関演算が完了すると、その結果に基づいて、CPU110はレンズの駆動を開始する。時刻t26でレンズの駆動が完了すると、次の蓄積を開始できる状態になるため、同時に次フレームの蓄積を開始する。時刻t27では時刻t24で転送が開始された第2画素群403の画像データの転送が完了する。図8に示す処理では、第1の実施形態で説明した図5に示す処理と比較して、より早いタイミングで相関演算を終えることができる。
When the correlation calculation is completed at time t25, the
上記の通り本第2の実施形態によれば、よりも早く相関演算を終えることができる。その結果、次フレームの蓄積の開始タイミングを早めることができるため、撮影フレームレートを向上させることができる。 As described above, according to the second embodiment, the correlation calculation can be completed earlier. As a result, the start timing of the accumulation of the next frame can be advanced, so that the shooting frame rate can be improved.
なお、上述したように、第1画素群402に対応する画像データを先に転送した場合、DSP108における画像データの受信順が、単位画素201の物理配列順から入れ替わってしまう。そのため、並べ替え回路304において、転送されてきた画像データを単位画素201の物理配列順に並び替えることによって、1枚の画像を取得することができる。
As described above, when the image data corresponding to the
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。図9は、本第3の実施形態における撮像素子106、フロントエンド107、DSP108の構成を示すブロック図である。図9に示す構成は、図7に示す構成のうち、並べ替え回路304が無い場合を示している。なお、図9において、図7と同様の構成には同じ参照番号を付し、適宜説明を省略する。また、これ以外の構成は、図1及び図2を参照して説明した撮像装置の構成と同様であるため、説明を省略する。
<Third embodiment>
Next, a third embodiment of the present invention will be described. FIG. 9 is a block diagram illustrating a configuration of the
図10は、第3の実施形態における処理を示すタイミングチャートである。第3の実施形態では、第2の実施形態において図8を参照して説明した方法と同様に、第1画素群402の画像データを出力した直後から送信するが、第1画素群402の画像データもすべてRAM300に格納する。そして第1画素群402の画像データの送信が終了した後、第2画素群403の画像データとともに、もう一度第1画素群402の画像データを転送する。
FIG. 10 is a timing chart showing the processing in the third embodiment. In the third embodiment, the image data of the
時刻t30で電荷蓄積を開始し、時刻t31で画像データの出力を開始する。この際に、画像データは、単位画素201が第1画素群402に属するか第2画素群403に属するかには関係のない所定の順序で取得される。また、これと同時に出力された画像データのRAM300への格納を開始する。ここでは、図4に示すように測距枠401が画面の中間部分にあり、画面の上部から下部に向かって、画像信号を順次行単位で出力するものとして説明する。
The charge accumulation is started at time t30, and the output of image data is started at time t31. At this time, the image data is obtained in a predetermined order irrespective of whether the
時刻t32では、第1画素群402の画素データの出力を開始する。このとき、制御回路702は、画像データをRAM300に格納しつつ、同時にDSP108にも転送できるようにルータ700、セレクタ701を制御し、DSP108に対して第1画素群402の画像データの転送を始める。時刻t33では、全画像データのRAM300への格納が完了するが、この時点において第1画素群402の画像データの転送は半ばまで済んでいる。時刻t34に第1画素群402の画像データの転送が完了すると、この時点から相関演算を開始することができる。
At time t32, the output of the pixel data of the
時刻t34から始まる第1画素群402と第2画素群403の画像データの転送では、RAM300に格納された画像データの順番を並び替えて転送することができる。例えば、画素アレイ200の画素配列順に並び替えて転送することによって、DSP108内に画像を並び替えるための並べ替え回路304が無くとも、適切な順番で画像データを出力することができる。
In the transfer of the image data of the
時刻t35において相関演算が完了すると、その結果に基づいて、CPU110はレンズの駆動を開始し、時刻t36で完了する。しかしこの時点では、まだRAM300から画像データの転送が終わっていないため、すぐに画像の蓄積を開始すると次フレームの画像データをRAM300に格納できなくなる。そのため、時刻t37での蓄積の開始は、時刻t38でRAM300からのが画像データの転送が終わるまで、出力が開始されないようなタイミングとなるように制御する。そして、時刻t38でRAM300から画像データの転送が終了すると、同時に次フレームの画像データの出力を開始する。
When the correlation calculation is completed at time t35, the
上記の通り第3の実施形態によれば、DSP108内に並べ替え回路304を具備しない構成においても、相関演算を早期に開始することができると共に、画像の違和感を低減することができる。
As described above, according to the third embodiment, even in a configuration in which the
なお、第1〜第3の実施形態では、第1画素群402の画像データの転送が全て完了してから相関演算を開始するものとして説明した。しかしながら、第1画素群402の画像データの一部だけで相関演算が開始できるのであれば、第1画素群402の画像データの転送をすべて待ってから演算を開始する必要はなく、演算に必要な画像データが揃い次第、演算を開始すれば良い。
In the first to third embodiments, it has been described that the correlation calculation is started after the transfer of the image data of the
<第4の実施形態>
次に、本発明の第4の実施形態について説明する。第1〜第3の実施形態においては、演算回路305が行う演算は相関演算の1種類のみであって、演算に使用する画像信号が1種類である例を開示した。しかし、先に挙げたように、一般に、演算回路305が行う演算には複数の種類がある。そして複数の演算が共存するシステムにおいては、演算の目的に応じて異なる性質の画像信号を使用することが考えられる。なお、第4の実施形態における撮像装置の構成は、第1〜第3の実施形態で用いた撮像装置のいずれの構成を有していても良いため、ここでは説明を省略する。ただし、以下の説明では、撮像素子106、フロントエンド107、DSP108は図3に示す構成を有し、画面の上部から下部に向かって、画像信号を順次行単位で出力するものとして説明する。
<Fourth embodiment>
Next, a fourth embodiment of the present invention will be described. In the first to third embodiments, examples in which the
図11は、全画面の中で演算に使用される領域を複数種類示した例である。なお、図11において、図4と同一の構成には同一の符号を付している。本第4の実施形態では、演算回路305でライブビュー(LV)表示画像作成(第1の演算)と相関演算(第2の演算)とを行う場合を考える。第1の演算には、解像度が低くてもよいので画面全体の画像データが必要である一方、第2の演算を行う場合には、測距枠401に対応する領域だけでよいので高解像度の画像データが必要である。このように、この2種類の演算に使用する画像データは性質が異なっている。
FIG. 11 is an example showing a plurality of types of regions used for calculation in the entire screen. In FIG. 11, the same components as those in FIG. 4 are denoted by the same reference numerals. In the fourth embodiment, a case is considered in which the
図11では、第1の演算に使用する第3画素群900を破線で表現しており、前述したように、画面全体に低解像度で分布している。一方、第2の演算に使用する第1画素群402を斜線をかけられた領域で表現しており、前述したように、測距枠401が存在する領域に高解像度で分布している。
In FIG. 11, the
図12は、第4の実施形態における処理を示すタイミングチャートである。まず、時刻t40で電荷蓄積を開始し、時刻t41で画像データの出力を開始する。なお、画像データは、画素が第1画素群402、第2画素群403、第3画素群900のいずれに属するかは関係のない所定の順序で取得される。また、出力開始と同時に、出力された画像データをRAM300に格納し始める。
FIG. 12 is a timing chart showing a process according to the fourth embodiment. First, charge accumulation is started at time t40, and output of image data is started at time t41. Note that the image data is acquired in a predetermined order regardless of which of the
時刻t42において、撮像素子106から出力された画像データのRAM300への格納が完了すると、同時に、第1の演算に使用する第3画素群900の画像データの転送を開始する。時刻t43で、第3画素群900の画像データの転送が完了すると、第1の演算(LV表示画像作成)が演算回路305で行われ、この演算によって作成された画像を、表示部111に表示することができるようになる。
At time t42, when the storage of the image data output from the
時刻t43では同時に第2の演算に使用される画像データの転送を開始する。時刻t44では第2の演算に使用される画像データの転送が完了し、この時点で第2の演算(相関演算)が演算回路305で開始される。時刻t46では第2の演算が完了し、レンズ駆動を始めることができる。時刻t47ではレンズ駆動が終了するので、次フレームに出力する画像の蓄積を開始することができる。時刻t48では第2画素群403の転送を終了し、1フレームの撮像を終了する。
At time t43, the transfer of the image data used for the second calculation is started at the same time. At time t44, the transfer of the image data used for the second operation is completed, and at this time, the second operation (correlation operation) is started by the
以上説明したように第4の実施形態によれば、DSP108内の演算回路305で複数の異なる演算を行う場合に、演算に使用する順番で画像データを転送する方法について開示した。この方法によって、複数の演算がある場合に全ての演算が完了するまでの時間を短縮するように画像データのやりとりを行うことができる。
As described above, according to the fourth embodiment, when the
また、画像データの転送順序は、例えば、第3画素群900よりも第1画素群402の画像データを先に転送するなど、撮像装置の構成に応じた順序を選択すればよく、上述した説明における順序に限定されるものではない。なお、本実施形態においても複数のDSPを設けるように構成し、各機能を分担するようにしてもかまわない。
In addition, the transfer order of the image data may be selected according to the configuration of the imaging apparatus, such as transferring the image data of the
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the above embodiments, and various changes and modifications can be made without departing from the spirit and scope of the invention. Accordingly, the claims are appended to make the scope of the invention public.
101:絞り、102:第2レンズ、103:第3レンズ、104:フォーカルプレーンシャッタ、106:撮像素子、107:フロントエンド(FE)、108:DSP、109:RAM、110:CPU、111:表示部、115:シャッター駆動回路、116:フォーカス駆動回路、117:フォーカスアクチュエータ、118:絞り駆動回路、119:絞りアクチュエータ、120:撮影光学系、209:垂直走査回路、216:出力部、300:RAM、301:転送回路、302,702:制御回路、303:受信回路、304:並べ替え回路、305:演算回路、401:測距枠、402:第1画素群、403:第2画素群、700:ルータ、701:セレクタ
101: aperture, 102: second lens, 103: third lens, 104: focal plane shutter, 106: image sensor, 107: front end (FE), 108: DSP, 109: RAM, 110: CPU, 111:
Claims (13)
前記画素部を駆動する駆動手段と、
前記画素部から出力された画像データを記憶する記憶手段と、
前記画像データの一部である第1の画像データを用いた演算を行う第1の処理と、前記画像データに対して画像を得るための処理を行う第2の処理とを行う少なくとも1つの画像処理手段と、
前記画素部から出力された画像データを、前記記憶手段および前記画像処理手段に転送する制御を行う制御手段と、を有し、
前記制御手段は、前記第1の画像データを前記画像処理手段に転送した後、前記画素部から出力された画像データのうち、前記第1の画像データを除く第2の画像データを前記画像処理手段に転送するように制御し、
前記駆動手段は、前記第1の画像データおよび前記第2の画像データを前記画像処理手段に転送する順序とは異なる所定の順序で前記画像データを出力するように前記画素部を駆動することを特徴とする撮像装置。 A pixel unit in which a plurality of pixels each including a plurality of photoelectric conversion units and one microlens are arranged;
Driving means for driving the pixel portion;
Storage means for storing image data output from the pixel unit,
At least one image for performing a first process of performing an operation using first image data that is a part of the image data and a second process of performing a process for obtaining an image on the image data Processing means;
Control means for controlling transfer of the image data output from the pixel unit to the storage means and the image processing means,
The control means transfers the first image data to the image processing means, and then performs second image processing on the image data output from the pixel unit except the first image data. Control to transfer to the means,
The driving unit drives the pixel unit to output the image data in a predetermined order different from the order in which the first image data and the second image data are transferred to the image processing unit. Characteristic imaging device.
前記制御手段は、前記第2の画像データの転送に先だって、前記第3の画像データを前記画像処理手段に転送するように制御することを特徴とする請求項1に記載の撮像装置。 The image processing unit further performs a third process of performing an operation using third image data that is different from the first image data and is another part of the image data,
2. The imaging apparatus according to claim 1, wherein the control unit controls to transfer the third image data to the image processing unit before transferring the second image data. 3.
前記画素部を駆動する駆動手段と、
前記画素部から出力された画像データを記憶する記憶手段と、
前記画素部から出力された画像データの一部である第1の画像データを用いた演算を行う第1の処理と、前記画素部から出力された画像データに対して画像を得るための処理を行う第2の処理とを行う少なくとも1つの画像処理手段と、
前記画素部から出力された画像データを、前記記憶手段および前記画像処理手段に転送する制御を行う制御手段と、を有し、
前記制御手段は、前記画素部から出力された画像データをすべて前記記憶手段に格納すると共に、前記第1の画像データを前記記憶手段へ格納しながら前記画像処理手段に転送し、当該第1の画像データを転送した後、前記記憶手段から、前記第1の画像データおよび第2の画像データを所定の順序で前記画像処理手段に転送するように制御し、
前記駆動手段は、前記第1の画像データおよび前記第2の画像データを前記画像処理手段に転送する順序とは異なる所定の順序で前記画像データを出力するように前記画素部を駆動することを特徴とする撮像装置。 A pixel unit in which a plurality of pixels each including a plurality of photoelectric conversion units and one microlens are arranged;
Driving means for driving the pixel portion;
Storage means for storing image data output from the pixel unit,
A first process of performing an operation using first image data that is a part of the image data output from the pixel unit, and a process of obtaining an image from the image data output from the pixel unit. At least one image processing means for performing the second processing to be performed;
Control means for controlling transfer of the image data output from the pixel unit to the storage means and the image processing means,
The control unit stores all the image data output from the pixel unit in the storage unit, and transfers the first image data to the image processing unit while storing the first image data in the storage unit. After transferring the image data, the storage means controls the first image data and the second image data to be transferred to the image processing means in a predetermined order,
The driving unit drives the pixel unit to output the image data in a predetermined order different from the order in which the first image data and the second image data are transferred to the image processing unit. Characteristic imaging device.
前記制御手段は、更に、前記第3の画像データを前記記憶手段へ格納しながら前記画像処理手段に転送し、前記第1および第3の画像データを転送した後、前記記憶手段から、前記第1の画像データ、前記第2の画像データ、前記第3の画像データを所定の順序で前記画像処理手段に転送するように制御することを特徴とする請求項10に記載の撮像装置。 The image processing unit further performs a third process of performing an operation using third image data that is different from the first image data and that is another part of the image data output from the pixel unit. ,
The control means further transfers the third image data to the image processing means while storing the third image data in the storage means, and transfers the first and third image data. 11. The imaging apparatus according to claim 10, wherein control is performed such that the first image data, the second image data, and the third image data are transferred to the image processing unit in a predetermined order.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/502,218 US10904424B2 (en) | 2018-07-06 | 2019-07-03 | Image capturing apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018129459 | 2018-07-06 | ||
JP2018129459 | 2018-07-06 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020014195A true JP2020014195A (en) | 2020-01-23 |
JP2020014195A5 JP2020014195A5 (en) | 2022-06-09 |
JP7277263B2 JP7277263B2 (en) | 2023-05-18 |
Family
ID=69170126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019104796A Active JP7277263B2 (en) | 2018-07-06 | 2019-06-04 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7277263B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021182190A1 (en) * | 2020-03-11 | 2021-09-16 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device, imaging system, and imaging method |
JP2021145961A (en) * | 2020-03-19 | 2021-09-27 | サミー株式会社 | Game machine |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015170503A1 (en) * | 2014-05-08 | 2015-11-12 | ソニー株式会社 | Information processing apparatus and information processing method |
JP2017005443A (en) * | 2015-06-09 | 2017-01-05 | ソニー株式会社 | Imaging control device, imaging apparatus, and imaging control method |
JP2017175379A (en) * | 2016-03-23 | 2017-09-28 | キヤノン株式会社 | Imaging device, control method therefor, imaging apparatus, and signal processing method |
-
2019
- 2019-06-04 JP JP2019104796A patent/JP7277263B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015170503A1 (en) * | 2014-05-08 | 2015-11-12 | ソニー株式会社 | Information processing apparatus and information processing method |
JP2017005443A (en) * | 2015-06-09 | 2017-01-05 | ソニー株式会社 | Imaging control device, imaging apparatus, and imaging control method |
JP2017175379A (en) * | 2016-03-23 | 2017-09-28 | キヤノン株式会社 | Imaging device, control method therefor, imaging apparatus, and signal processing method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021182190A1 (en) * | 2020-03-11 | 2021-09-16 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device, imaging system, and imaging method |
JP2021145961A (en) * | 2020-03-19 | 2021-09-27 | サミー株式会社 | Game machine |
Also Published As
Publication number | Publication date |
---|---|
JP7277263B2 (en) | 2023-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7243805B2 (en) | Imaging element and imaging device | |
JP2010062638A (en) | Image capturing apparatus | |
JP7200930B2 (en) | Imaging device, focusing device, and imaging device | |
JP2008263452A (en) | Imaging apparatus, imaging system and driving method of imaging apparatus | |
JP7176585B2 (en) | Imaging device and imaging device | |
JP6762710B2 (en) | Imaging device and its control method | |
US20180220058A1 (en) | Image capture apparatus, control method therefor, and computer-readable medium | |
US10812704B2 (en) | Focus detection device, method and storage medium, for controlling image sensor operations | |
JP7277263B2 (en) | Imaging device | |
JP2010062639A (en) | Imaging apparatus | |
US11171169B2 (en) | Image sensor, imaging device and imaging method | |
JP2008067241A (en) | Solid-state image pickup device and image pickup system | |
JP7309420B2 (en) | Imaging device | |
JP2020036073A (en) | Imaging device and control method thereof | |
JP6444254B2 (en) | FOCUS DETECTION DEVICE, IMAGING DEVICE, FOCUS DETECTION METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP2018042223A (en) | Imaging apparatus and control method, program thereof, storage medium | |
US10904424B2 (en) | Image capturing apparatus | |
JP2017103568A (en) | Imaging apparatus, control method for imaging device, and program | |
JP5127510B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP7148265B2 (en) | IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM | |
US20230232126A1 (en) | Image capturing circuit that can be applied to image capturing apparatus | |
JP2017195584A (en) | Imaging apparatus | |
JP5311927B2 (en) | Imaging apparatus and imaging method | |
JP2004153710A (en) | Control method of imaging apparatus, and imaging apparatus | |
JP2024071452A (en) | IMAGING APPARATUS, DRIVING METHOD OF IMAGING APPARATUS, AND PROGRAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220601 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230508 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7277263 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |