JP2007281887A - Imaging apparatus, and imaging processing method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To operate respective units of an imaging apparatus at a timing independent of a timing to read an image signal from an imaging device. <P>SOLUTION: Programs to be executed (AF evaluation value calculation program, AF control program, arithmetic processing program and the like) are changed in accordance with contents to be processed. Thus, time-sequential processing is performed in an order of parallel outputting of photoelectron from a CMOS sensor 103, calculation of an AF evaluation value, control of a focus lens (AF) and generation of an output image. In such time-sequential processing, image data based on the photoelectron accumulated in the CMOS image sensor 103 in a preceding vertical scanning term (V) are used to calculate the AF evaluation value and to control the focus lens and then, the accumulation of photoelectron in a present vertical scanning term (V) is performed. At such a time, the calculation of the AF evaluation value and the control of the focus lens based on the AF evaluation value are performed in the same frame term (or field term). <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、撮像装置、及び撮像処理方法に関し、特に、撮像素子から並列に画素信号を読み出して画像を形成するために用いて好適なものである。   The present invention relates to an imaging device and an imaging processing method, and is particularly suitable for use in forming an image by reading out pixel signals in parallel from an imaging element.

従来から、テレビジョン受像機や各種記録媒体に撮像画像を提供する撮像装置では、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子から出力された画像信号に対して所定の信号処理を施すようにしている。このように、撮像装置では、固体撮像素子から出力された画像に対して所定の信号処理を施すことにより、テレビジョン受像機へ出力する信号や記録媒体へ出力する画像データを生成している。   2. Description of the Related Art Conventionally, in an imaging apparatus that provides captured images to a television receiver or various recording media, predetermined signal processing is performed on image signals output from a solid-state imaging device such as a CCD image sensor or a CMOS image sensor. ing. As described above, in the imaging apparatus, a signal output to the television receiver and image data output to the recording medium are generated by performing predetermined signal processing on the image output from the solid-state imaging device.

固体撮像素子の一例であるＣＣＤイメージセンサが画像信号を生成する場合には、まず、撮像素子の各画素を形成するフォトダイオードに蓄積された光電子（全てのフォトダイオードに蓄積された全画素分の光電子）を、一度に垂直転送路に移す。そして、垂直・水平駆動波形を外部から与えることにより、ラスタスキャン（raster scan）状に光電子を転送する。続いて、転送した光電子を、出力端に設けられたＦＤ（フローティングディフュージョン）領域で電圧に変換し、変換した電圧を画像信号として出力する。そして、ＣＣＤイメージセンサに構成されている全ての画素数分の画像信号の出力が終了すれば、フォトダイオードに蓄積された電荷を再び垂直転送路に移す。このような動作をいわゆる１Ｖ周期で繰り返す。   When a CCD image sensor, which is an example of a solid-state image sensor, generates an image signal, first, photoelectrons accumulated in the photodiodes forming each pixel of the image sensor (for all pixels accumulated in all photodiodes). Photoelectrons) are transferred to the vertical transfer path at once. Then, vertical and horizontal drive waveforms are given from the outside, and photoelectrons are transferred in a raster scan form. Subsequently, the transferred photoelectrons are converted into a voltage in an FD (floating diffusion) region provided at the output end, and the converted voltage is output as an image signal. When the output of the image signals for all the pixels included in the CCD image sensor is completed, the charge accumulated in the photodiode is transferred again to the vertical transfer path. Such an operation is repeated in a so-called 1V cycle.

また、固体撮像素子の他の例であるカラム型のＣＭＯＳイメージセンサが画像信号を生成する場合には、垂直アドレス信号に対応した一列毎の画素単位で光電子をＦＤ領域に転送して電圧に変換する。そして、水平アドレスを順次変更することにより、変換した電圧を画像信号としてラスタスキャン状に出力する。尚、カラム型のＣＭＯＳイメージセンサは、ディジタルカメラ等に搭載される等、ＣＭＯＳイメージセンサの中では最も多く撮像装置に搭載されているものである。
以上のように、ＣＣＤイメージセンサ及びＣＭＯＳイメージセンサの何れを用いても、イメージセンサに設けられたフォトダイオードでは、ラスタスキャン状に画像信号が出力されている間に、次の垂直走査期間（Ｖ）で出力するための光電子を蓄積する。 When a column-type CMOS image sensor, which is another example of a solid-state imaging device, generates an image signal, photoelectrons are transferred to a FD region and converted into a voltage in units of pixels corresponding to a vertical address signal. To do. Then, by sequentially changing the horizontal address, the converted voltage is output as an image signal in a raster scan form. Note that column-type CMOS image sensors are most often mounted on image pickup devices among CMOS image sensors, such as mounted on digital cameras.
As described above, regardless of whether the CCD image sensor or the CMOS image sensor is used, the photodiode provided in the image sensor can output the next vertical scanning period (V) while the image signal is output in a raster scan form. ) To store photoelectrons for output.

このようにして得られたラスタスキャン状の画像信号は、アナログアンプにより増幅されて適当な振幅となった後、Ａ／Ｄ変換されてデジタル画像信号となり、所定の信号処理が施されることとなる。ここでいう所定の信号処理とは、前述したテレビジョン受像機や記録媒体に出力するための画像を生成するための信号処理だけではなく、撮像装置の制御、例えば、手ぶれ補正、ＡＦ制御、ＡＥ制御、及びＡＷＢ制御に必要な評価値を得るための信号処理も含まれる。   The raster scan-like image signal thus obtained is amplified by an analog amplifier to have an appropriate amplitude, and then A / D converted into a digital image signal, which is subjected to predetermined signal processing. Become. The predetermined signal processing here is not only signal processing for generating an image to be output to the above-described television receiver or recording medium, but also control of the imaging device, for example, camera shake correction, AF control, AE. Signal processing for obtaining evaluation values necessary for control and AWB control is also included.

図１６は、前述した従来の撮像装置における撮像処理及び信号処理の様子を示す図である。具体的に、図１６（ａ）は、フォトダイオードが光電子を蓄積する様子を示し、図１６（ｂ）は、固体撮像素子から画像信号が読み出される様子を示し、図１６（ｃ）は、信号処理の進行状況を示している。
さて、近年の撮像素子の画素数は、増加の一途をたどっていることは周知である。図１６に示す従来の撮像処理及び信号処理において、撮像素子の画素数の増加により最も技術的難易度が高まったものとして、図１６（ｂ）に示す画像信号の読み出し処理が挙げられる。画像信号の読み出し時のＶレート（垂直同期信号の周波数）を画素数の増加前のものと同じ値に維持しようとするならば、撮像素子の駆動周波数を高くしなければならない。しかしながら、ＣＣＤイメージセンサ及びＣＭＯＳイメージセンサでは、半導体の電気的特性の理由から、駆動周波数を上げるにも限界があるという課題がある。 FIG. 16 is a diagram illustrating an imaging process and a signal process in the above-described conventional imaging apparatus. Specifically, FIG. 16A shows a state where a photodiode accumulates photoelectrons, FIG. 16B shows a state where an image signal is read from a solid-state imaging device, and FIG. The progress of processing is shown.
Now, it is well known that the number of pixels of recent image sensors is increasing. In the conventional imaging processing and signal processing shown in FIG. 16, the image signal reading processing shown in FIG. 16B can be cited as one in which the technical difficulty level has increased most due to the increase in the number of pixels of the imaging device. If the V rate (frequency of the vertical synchronization signal) at the time of reading the image signal is to be maintained at the same value as that before the increase in the number of pixels, the drive frequency of the image sensor must be increased. However, the CCD image sensor and the CMOS image sensor have a problem that there is a limit in increasing the driving frequency because of the electrical characteristics of the semiconductor.

すなわち、図１６（ａ）に示す各期間に光電子を蓄積することより得られた画像信号を、図１６（ｂ）に示す各期間をかけて読み出し、読み出した画像信号に対して、図１６（ｃ）に示す各期間で所定の信号処理を行って最終的な画像データを得るようにしている。従って、前述した従来の技術では、図１６（ｂ）に示す各期間の動作にボトルネックが生じるという課題と、撮像装置各部の動作が、図１６（ｂ）に示す各期間にタイミングを合わせなければならないという課題とがあった。   That is, an image signal obtained by accumulating photoelectrons in each period shown in FIG. 16A is read over each period shown in FIG. 16B, and the read image signal is compared with FIG. The final image data is obtained by performing predetermined signal processing in each period shown in c). Therefore, in the conventional technique described above, the problem that the bottleneck occurs in the operation in each period shown in FIG. 16B and the operation of each part of the imaging apparatus must be synchronized in each period shown in FIG. There was a problem that had to be done.

こうした課題に対し、特許文献１には、撮像素子の複数のエリアから並列に画像信号を読み出すことにより、撮像素子の駆動周波数を無理に上げることなく画像信号を読み出し、読み出した複数の画像信号を合成して出力することが示されている。これにより、画像信号の読み出しの動作のボトルネックを解消することが可能になる。   In response to such a problem, Patent Document 1 reads out an image signal without forcibly increasing the drive frequency of the image pickup device by reading out the image signal in parallel from a plurality of areas of the image pickup device. It is shown that it is synthesized and output. Thereby, it is possible to eliminate the bottleneck of the image signal reading operation.

特開平３−１２４１７６号公報Japanese Patent Laid-Open No. 3-124176

しかしながら、特許文献１に記載の技術は、増大した画素数への対応を主眼としており、並列に読み出した画像信号群を合成して一つの画像に形成した後に、その画像に対して、図１６（ｃ）に示す各期間をかけて所定の信号処理を行っている。そのため、特許文献１に記載の技術でも、撮像装置の各部を、図１６（ｂ）に示す各期間にタイミングを合わせて動作させなければならないという課題は解決されていない。   However, the technique described in Patent Document 1 focuses on dealing with the increased number of pixels. After the image signals read in parallel are combined to form a single image, the image shown in FIG. Predetermined signal processing is performed over each period shown in (c). Therefore, even the technique described in Patent Document 1 does not solve the problem that each part of the imaging apparatus must be operated in synchronization with each period shown in FIG.

例えば、撮像装置の制御、例えば、手ぶれ補正、ＡＦ制御、ＡＥ制御、及びＡＷＢ制御に必要な評価値を得るための信号処理は、図１６（ｃ）に示す各期間を経て完了する（図１６のタイミングｔ₁）。従って、その評価値を得るための信号処理の結果に基づいた制御を、例えば画像信号１に対して反映できるのは、ＡＦ制御やＡＥ制御では、タイミングｔ₂（図１６（ａ）の画像信号３の蓄積開始時）になる。同様に、手ぶれ補正やＡＷＢ制御では、タイミングｔ₃（画像信号２の読み出し開始時）になる。従って、これら撮像装置の制御の応答性が低下してしまうという問題点があった。 For example, signal processing for obtaining evaluation values necessary for control of the imaging apparatus, for example, camera shake correction, AF control, AE control, and AWB control is completed after each period shown in FIG. of timing t _1). Therefore, the control based on the result of the signal processing for obtaining the evaluation value can be reflected on, for example, the image signal 1 in the AF control and the AE control at the timing t ₂ (the image signal at FIG. 16A). 3). Similarly, in camera shake correction and AWB control, timing t ₃ (when reading of the image signal 2 is started) is reached. Therefore, there has been a problem that the responsiveness of control of these image pickup apparatuses is lowered.

本発明は、このような問題点に鑑みてなされたものであり、撮像素子から画像信号を読み出すタイミングと独立したタイミングで、撮像装置の各部を動作させるようにすることを目的とする。   The present invention has been made in view of such problems, and an object of the present invention is to operate each unit of the imaging apparatus at a timing independent of the timing of reading out an image signal from the imaging element.

本発明の撮像装置は、調整された撮像条件において、光電変換を行って画素信号を生成する撮像領域と、前記撮像領域で生成された複数の画素信号を並列に読み出す読み出し手段と、前記読み出し手段により並列に読み出された複数の画像信号から、前記撮像条件を調整するための調整値を算出する算出手段と、前記読み出し手段により並列に読み出された複数の画素信号に基づく画像を形成する画像形成手段と、前記算出手段、及び前記画像形成手段で実行されるプログラムを、実行すべき内容に応じて変更する変更手段とを有し、前記変更手段がプログラムを変更することにより、前記算出手段、及び前記画像形成手段が、時系列的に動作することを特徴とする。
また、本発明の他の特徴とするところは、光電変換を行って画素信号を生成する撮像領域と、前記撮像領域で生成された複数の画素信号を並列に読み出す読み出し手段と、前記読み出し手段により複数の画素信号が並列に読み出された後に、前記撮像領域に光を結像するための光学系の調整値を算出する算出手段と、前記算出手段により調整値が算出されたフレーム期間又はフィールド期間と同一の期間に、前記算出手段により算出された調整値に基づいて、前記光学系を調整する調整手段と、前記調整手段により調整が行われた後に、前記読み出し手段により並列に読み出された複数の画素信号に基づく画像を形成する画像形成手段とを有することにある。 An imaging apparatus according to the present invention includes an imaging region that generates a pixel signal by performing photoelectric conversion under adjusted imaging conditions, a readout unit that reads out a plurality of pixel signals generated in the imaging region in parallel, and the readout unit A calculation unit that calculates an adjustment value for adjusting the imaging condition from a plurality of image signals read in parallel by the image forming unit, and an image based on the plurality of pixel signals read in parallel by the reading unit. An image forming unit; a calculating unit; and a changing unit configured to change a program executed by the image forming unit according to contents to be executed. And the image forming means operate in time series.
Another feature of the present invention is that an imaging region that performs photoelectric conversion to generate a pixel signal, a readout unit that reads out a plurality of pixel signals generated in the imaging region in parallel, and the readout unit A calculation unit that calculates an adjustment value of an optical system for imaging light in the imaging region after a plurality of pixel signals are read in parallel; and a frame period or a field in which the adjustment value is calculated by the calculation unit Based on the adjustment value calculated by the calculation unit, the adjustment unit that adjusts the optical system, and the adjustment unit performs adjustment, and then the readout unit reads out in parallel during the same period as the period And image forming means for forming an image based on a plurality of pixel signals.

本発明の撮像処理方法は、光電変換を行って画素信号を生成する撮像領域で生成された複数の画素信号を並列に読み出す撮像装置の撮像処理方法であって、並列に読み出された複数の画像信号から、前記撮像条件を調整するための調整値を算出する算出ステップと、並列に読み出された複数の画素信号に基づく画像を形成する画像形成ステップと、前記算出ステップ、及び前記画像形成ステップで実行されるプログラムを、実行すべき内容に応じて変更する変更ステップとを有し、前記変更ステップがプログラムを変更することにより、前記算出ステップ、前記調整ステップ、及び前記画像形成ステップが、時系列的に実行されることを特徴とする。
また、本発明の他の特徴とするところは、光電変換を行って画素信号を生成する撮像領域で生成された複数の画素信号を並列に読み出す撮像装置の撮像処理方法であって、複数の画素信号が並列に読み出された後に、前記撮像領域に光を結像するための光学系の調整値を算出する算出ステップと、前記算出ステップにより調整値が算出されたフレーム期間又はフィールド期間と同一の期間に、前記算出ステップにより算出された調整値に基づいて、前記光学系を調整する調整ステップと、前記調整ステップにより調整が行われた後に、前記読み出しステップにより並列に読み出された複数の画素信号に基づく画像を形成する画像形成ステップとを有することにある。 An imaging processing method of the present invention is an imaging processing method of an imaging apparatus that reads in parallel a plurality of pixel signals generated in an imaging region that performs photoelectric conversion to generate a pixel signal, and the plurality of pixels read out in parallel A calculation step for calculating an adjustment value for adjusting the imaging condition from an image signal, an image formation step for forming an image based on a plurality of pixel signals read in parallel, the calculation step, and the image formation A change step of changing the program executed in the step according to the contents to be executed, and the change step changes the program so that the calculation step, the adjustment step, and the image formation step include: It is characterized by being executed in time series.
Another feature of the present invention is an imaging processing method of an imaging apparatus that reads in parallel a plurality of pixel signals generated in an imaging region that performs photoelectric conversion to generate a pixel signal. After the signals are read out in parallel, a calculation step for calculating an adjustment value of an optical system for forming an image on the imaging region, and a frame period or a field period in which the adjustment value is calculated by the calculation step During the period, an adjustment step for adjusting the optical system based on the adjustment value calculated by the calculation step, and a plurality of read out in parallel by the read-out step after adjustment is performed by the adjustment step And an image forming step of forming an image based on the pixel signal.

本発明によれば、実行すべき内容に応じてプログラムを変更することにより、光学系の調整値を算出する処理と、画像を形成形成する処理とを時系列的に実行するようにした。これにより、撮像装置の各部の動作を、撮像素子で生成された画素信号の読み出し動作に合わせて行わなければならないという従来技術における制約を取り除くことができる。従って、撮像素子で生成された画素信号を読み出す速度とタイミングに大幅な自由度を与えることができる。   According to the present invention, the process of calculating the adjustment value of the optical system and the process of forming and forming an image are executed in time series by changing the program according to the contents to be executed. Thereby, it is possible to remove the restriction in the prior art that the operation of each part of the imaging apparatus must be performed in accordance with the readout operation of the pixel signal generated by the imaging device. Therefore, a great degree of freedom can be given to the speed and timing for reading out the pixel signal generated by the image sensor.

また、本発明の他の特徴によれば、複数の画素信号の並列読み出し、光学系の調整値の算出、前記調整値に基づく光学系の調整、及び前記読み出した複数の画像信号に基づく画像の形成の順番で処理を行う。ここで、前記調整値の算出と、その調整値に基づく光学系の調整とを、同じフレーム期間又は同じフィールド期間に行うようにした。これにより、光学系を従来よりも早く調整することができ、光学系の応答性を向上させることができる。   According to another aspect of the invention, parallel readout of a plurality of pixel signals, calculation of an adjustment value of an optical system, adjustment of an optical system based on the adjustment value, and an image based on the plurality of read image signals Processing is performed in the order of formation. Here, the calculation of the adjustment value and the adjustment of the optical system based on the adjustment value are performed in the same frame period or the same field period. Thereby, an optical system can be adjusted faster than before, and the responsiveness of an optical system can be improved.

（第１の実施形態）
以下に、図面を参照しながら、本発明の第１の実施形態について説明する。
図１は、撮像装置のハードウェアの構成の一例を示した図である。尚、図１では、説明の便宜上、撮像装置が有するハードウェアのうち、被写体を撮像してから、出力画像を生成するまでに必要な部分について示している。 (First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating an example of a hardware configuration of the imaging apparatus. In FIG. 1, for the sake of convenience of explanation, portions of the hardware included in the imaging apparatus that are necessary until an output image is generated after the subject is imaged are shown.

図１において、光学絞り１０１は、撮像装置の内部に入る光量を調節するためのものである。フォーカスレンズ系１０２は、レンズ、レンズモータ、及びアクチュエータを有する。ＣＭＯＳイメージセンサ１０３は、フォーカスレンズ系１０２を通じて入光された光学像に基づく画像信号を生成するためのものである。本実施形態では、ＣＭＯＳイメージセンサ１０３で生成された画像信号は、８系統の並列の読み出し経路を介して読み出される。   In FIG. 1, an optical aperture 101 is for adjusting the amount of light entering the imaging apparatus. The focus lens system 102 includes a lens, a lens motor, and an actuator. The CMOS image sensor 103 is for generating an image signal based on an optical image incident through the focus lens system 102. In the present embodiment, the image signal generated by the CMOS image sensor 103 is read out through eight parallel read paths.

ドライブ制御回路１０４は、ＣＭＯＳイメージセンサ１０３から画像信号を読み出すための読み出し波形を生成する。また、ドライブ制御回路１０４は、第１〜第８のメモリ１１３〜１２０の書き込みアドレスを制御する。第１〜第８のアナログフロントエンド１０５〜１１２は、それぞれＣＭＯＳイメージセンサ１０３の第１〜第８の出力部に接続される（図３を参照）。第１〜第８のアナログフロントエンド１０５〜１１２は、それぞれ第１〜第８の出力部から読み出し経路を介して出力された画像信号を増幅した後、Ａ／Ｄ変換して画像データを生成する。第１〜第８のメモリ１１３〜１２０は、それぞれ第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データを保持する。   The drive control circuit 104 generates a read waveform for reading an image signal from the CMOS image sensor 103. The drive control circuit 104 controls the write addresses of the first to eighth memories 113 to 120. The first to eighth analog front ends 105 to 112 are connected to the first to eighth output units of the CMOS image sensor 103, respectively (see FIG. 3). The first to eighth analog front ends 105 to 112 amplify the image signals output from the first to eighth output units via the readout path, respectively, and then perform A / D conversion to generate image data. . The first to eighth memories 113 to 120 hold image data output from the first to eighth analog front ends 105 to 112, respectively.

第１〜第８の信号処理回路１２１〜１２８は、それぞれ第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データに対してプログラマブルに信号処理を行う。また、第１〜第８の信号処理回路１２１〜１２８は、第１のメモリ１１３〜第８のメモリ１２０に保持された画像データに対してプログラマブルに信号処理を行う。第９の信号処理回路１２９は、第１〜第８の信号処理回路１２１〜１２９で信号処理された画像データ群に対してプログラマブルに信号処理を行う。   The first to eighth signal processing circuits 121 to 128 perform signal processing on the image data output from the first to eighth analog front ends 105 to 112 in a programmable manner. The first to eighth signal processing circuits 121 to 128 perform signal processing on the image data held in the first memory 113 to the eighth memory 120 in a programmable manner. The ninth signal processing circuit 129 performs signal processing on the image data group subjected to signal processing by the first to eighth signal processing circuits 121 to 129 in a programmable manner.

制御回路１３０は、第１のメモリ１１３〜第８のメモリ１２０における読み出しアドレスを制御する。また、制御回路１３０は、第１の信号処理回路１２１〜第９の信号処理回路１２９が信号処理を行う際に使用される各信号処理プログラムの制御を、ＣＰＵ１３１による動作モード指令に応じて行う。ＣＰＵ１３１は、制御回路１３０に動作モード指令信号を送り、第１〜第８の信号処理回路１２１〜１２８から出力される評価データに従い、光学絞り１０１と、フォーカスレンズ系１０２と、ドライブ制御回路１０４の動作制御を行う。出力画像端子１３２は、テレビジョン受像機や記録媒体に提供するための端子である。   The control circuit 130 controls read addresses in the first memory 113 to the eighth memory 120. The control circuit 130 controls each signal processing program used when the first signal processing circuit 121 to the ninth signal processing circuit 129 perform signal processing in accordance with an operation mode command from the CPU 131. The CPU 131 sends an operation mode command signal to the control circuit 130, and according to the evaluation data output from the first to eighth signal processing circuits 121 to 128, the optical diaphragm 101, the focus lens system 102, and the drive control circuit 104 Perform motion control. The output image terminal 132 is a terminal for providing to a television receiver or a recording medium.

図２は、第１〜第８の信号処理回路１２１〜１２８の内部構成の一例を示す図である。
図２において、データ入力端子２０１は、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データを入力する端子である。データ入力端子２０２は、第１〜第８のメモリ１１３〜１２０に保持された画像データを入力する端子である。プログラム入力端子２０３は、制御回路１３０から出力された信号処理プログラムを入力する端子である。 FIG. 2 is a diagram illustrating an example of the internal configuration of the first to eighth signal processing circuits 121 to 128.
In FIG. 2, a data input terminal 201 is a terminal for inputting image data output from the first to eighth analog front ends 105 to 112. The data input terminal 202 is a terminal for inputting image data held in the first to eighth memories 113 to 120. The program input terminal 203 is a terminal for inputting the signal processing program output from the control circuit 130.

プロセッサ２０４は、データ入力端子２０１、２０２から入力された画像データと、演算バッファメモリ２０５に保持された演算途中の画像データに対し、プログラム入力端子２０３からロードされた信号処理プログラムにより、２次元までの信号処理演算を行う。
演算バッファメモリ２０５は、プロセッサ２０４で行われる信号処理演算の途中結果を保持する。積分回路２０６は、ＡＦ評価値を求めるための積分演算を行う。出力端子２０７は、プロセッサ２０４の信号処理演算の結果を出力するための端子である。ＡＦ評価値出力端子２０８は、積分回路２０６で求められたＡＦ評価値を出力するための端子である。 The processor 204 processes the image data input from the data input terminals 201 and 202 and the image data in the middle of the operation held in the operation buffer memory 205 up to two dimensions by a signal processing program loaded from the program input terminal 203. The signal processing operation is performed.
The operation buffer memory 205 holds intermediate results of signal processing operations performed by the processor 204. The integration circuit 206 performs an integration operation for obtaining an AF evaluation value. The output terminal 207 is a terminal for outputting the result of the signal processing operation of the processor 204. The AF evaluation value output terminal 208 is a terminal for outputting the AF evaluation value obtained by the integration circuit 206.

次に、本実施形態の撮像装置における動作の一例を、図１〜図５を用いて説明する。
図３は、ＣＭＯＳイメージセンサ１０３の８系統の出力と、画素との対応関係の一例を示す図である。図４は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。図５は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を説明するフローチャートである。 Next, an example of the operation of the imaging apparatus according to the present embodiment will be described with reference to FIGS.
FIG. 3 is a diagram illustrating an example of a correspondence relationship between outputs of the eight systems of the CMOS image sensor 103 and pixels. FIG. 4 is a timing chart illustrating an example of a time transition among the accumulation operation, the readout operation, and the signal processing in the imaging apparatus. FIG. 5 is a flowchart for explaining an example of a time transition among the accumulation operation, the readout operation, and the signal processing in the imaging apparatus.

図１に示したように、光学絞り１０１、フォーカスレンズ系１０２を通じて入射された光学像は、ＣＭＯＳイメージセンサ１０３の受光面上に結像される。受光面上に結像された光学像は、ＣＭＯＳイメージセンサ１０３の各画素を構成するフォトダイオードで光電変換され、光電子が生成される。そして、図３に示す第１〜第８の分割エリア１０３ａ〜１０３ｈの内にある画素の光電子は、第１〜第８の出力部を通じて画像信号（電圧）として出力される。   As shown in FIG. 1, the optical image incident through the optical aperture 101 and the focus lens system 102 is formed on the light receiving surface of the CMOS image sensor 103. The optical image formed on the light receiving surface is photoelectrically converted by a photodiode that constitutes each pixel of the CMOS image sensor 103, and photoelectrons are generated. And the photoelectron of the pixel in the 1st-8th division area 103a-103h shown in FIG. 3 is output as an image signal (voltage) through the 1st-8th output part.

第１〜第８の出力部から出力された画像信号は、８系統の並列の読み出し経路を介して、第１〜第８のアナログフロントエンド１０５〜１１２に出力される。第１〜第８のアナログフロントエンド１０５〜１１２は、入力した８系統の画像信号の電圧を増幅した後、Ａ／Ｄ変換（アナログ・デジタル変換）して、８系統の画像データを生成する。生成された８系統の画像データは、第１〜第８のメモリ１１３〜１２０と、第１〜第８の信号処理回路１２１〜１２８に各々入力される。   The image signals output from the first to eighth output units are output to the first to eighth analog front ends 105 to 112 via the eight parallel readout paths. The first to eighth analog front ends 105 to 112 amplify the voltages of the inputted eight image signals, and then A / D convert (analog / digital conversion) to generate eight image data. The generated eight systems of image data are input to the first to eighth memories 113 to 120 and the first to eighth signal processing circuits 121 to 128, respectively.

第１〜第８のメモリ１１３〜１２０と、第１〜第８の信号処理回路１２１〜１２８に画像データが入力された後の動作については、図４に示すタイムチャート及び図５に示すフローチャートを参照しながら説明を行う。
まず、図５のステップＳ１において、ドライブ制御回路１０４の制御によって、１Ｖ（１垂直走査期間）前にＣＭＯＳイメージセンサ１０３に蓄積された光電子（電荷）の読み出しが行われる。図４のタイムチャートでは、期間４１（タイミングｔ１〜ｔ２）にこの光電子の読み出しが行われる。具体的に説明すると、ドライブ制御回路１０４は、駆動用信号を生成してＣＭＯＳイメージセンサ１０３を駆動するのと同時に、この駆動用信号に同期させて、第１〜第８のメモリ１１３〜１２０の書き込みアドレス及び書き込みイネーブル制御信号を生成する。これら書き込みアドレス及び書き込みイネーブル制御信号により、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データが、第１〜第８のメモリ１１３〜１２０に格納される。 The operation after image data is input to the first to eighth memories 113 to 120 and the first to eighth signal processing circuits 121 to 128 will be described with reference to the time chart shown in FIG. 4 and the flowchart shown in FIG. The description will be given with reference.
First, in step S <b> 1 of FIG. 5, reading of photoelectrons (charges) accumulated in the CMOS image sensor 103 before 1 V (one vertical scanning period) is performed under the control of the drive control circuit 104. In the time chart of FIG. 4, this photoelectron is read out during a period 41 (timing t1 to t2). More specifically, the drive control circuit 104 generates a driving signal to drive the CMOS image sensor 103, and at the same time, synchronizes with the driving signal to store the first to eighth memories 113 to 120. A write address and a write enable control signal are generated. The image data output from the first to eighth analog front ends 105 to 112 is stored in the first to eighth memories 113 to 120 by these write address and write enable control signals.

次に、図５のステップＳ２において、第１〜第８の信号処理回路１２１〜１２８は、ＡＦ評価値を算出する。図４のタイムチャートでは、期間４２（タイミングｔ１〜ｔ２）及び期間４３（タイミングｔ１〜ｔ３）にＡＦ評価値が算出される。すなわち、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データと、制御回路１３０から出力されたＡＦ評価値算出用プログラムとが入力されると、第１〜第８の信号処理回路１２１〜１２８は、ＡＦ評価値を計算する。図２を参照しながら具体的に説明すると、データ入力端子２０１により入力された画像データは、プロセッサ２０４に入力する。一方、第１のＡＦ評価値を求めるための信号処理プログラムが、プログラム入力端子２０３を介して、プロセッサ２０４にロードされる。この信号処理プログラムは、プロセッサ２０４が、画像の第１のエッジ成分を抽出するための第１のバンドパスフィルタを構成するための演算プログラムである。以下、このプログラムを第１の演算プログラムと称する。   Next, in step S2 of FIG. 5, the first to eighth signal processing circuits 121 to 128 calculate AF evaluation values. In the time chart of FIG. 4, AF evaluation values are calculated in the period 42 (timing t1 to t2) and the period 43 (timing t1 to t3). That is, when the image data output from the first to eighth analog front ends 105 to 112 and the AF evaluation value calculation program output from the control circuit 130 are input, the first to eighth signal processing. The circuits 121 to 128 calculate AF evaluation values. More specifically, referring to FIG. 2, the image data input from the data input terminal 201 is input to the processor 204. On the other hand, a signal processing program for obtaining the first AF evaluation value is loaded into the processor 204 via the program input terminal 203. This signal processing program is an arithmetic program for configuring the first bandpass filter for the processor 204 to extract the first edge component of the image. Hereinafter, this program is referred to as a first arithmetic program.

この第１の演算プログラムにより、プロセッサ２０４からは、ＡＦ用の第１のバンドパスフィルタを通過した画像データが得られる。積分回路２０６は、この第１のバンドパスフィルタを通過した画像データの積分を行うことにより、第１のＡＦ評価値をＡＦ評価値出力端子２０８より出力する。また、プロセッサ２０４から出力された画像データは、演算バッファメモリ２０５に一時的に記憶され、第１のＡＦ評価値が出力された後、プログラム入力端子２０３より、第２のＡＦ評価値を求めるための信号処理プログラムがプロセッサ２０４にロードされる。この信号処理プログラムは、プロセッサ２０４が、画像の第２のエッジ成分を抽出するための第２のバンドパスフィルタを構成するための演算プログラムである。以下、このプログラムを第２の演算プログラムと称する。   With this first calculation program, the processor 204 obtains image data that has passed through the first band-pass filter for AF. The integration circuit 206 outputs the first AF evaluation value from the AF evaluation value output terminal 208 by integrating the image data that has passed through the first bandpass filter. Further, the image data output from the processor 204 is temporarily stored in the operation buffer memory 205, and after the first AF evaluation value is output, the second AF evaluation value is obtained from the program input terminal 203. The signal processing program is loaded into the processor 204. This signal processing program is an arithmetic program for configuring the second band pass filter for the processor 204 to extract the second edge component of the image. Hereinafter, this program is referred to as a second arithmetic program.

この第２の演算プログラムがロードされると、プロセッサ２０４は、第１のバンドパスフィルタを通過して演算バッファメモリ２０５に記憶された画像データに対し、第２のバンドパスフィルタ処理を加える。そうすると、第２のバンドパスフィルタを通過した画像データを得ることができる。ここで、第２のバンドパスフィルタは、第１のバンドパスフィルタにおける帯域の一部の帯域を切り出すようになっており、第１のバンドパスフィルタよりも狭帯域のバンドパスフィルタである。第２のバンドパスフィルタを通過した画像データは、積分回路２０６にて積分される。これにより第２のＡＦ評価値が得られる。この第２のＡＦ評価値は、ＡＦ評価値出力端子２０８より出力される。第２のＡＦ評価値を算出するために必要となる時間として、図４のタイムチャートにおけるタイミングｔ３が設定されている。
以上のようにして、第１〜第８の信号処理回路１２１〜１２８において算出されたＡＦ評価値は、ＣＰＵ１３１に送られる。 When the second calculation program is loaded, the processor 204 adds a second bandpass filter process to the image data that has passed through the first bandpass filter and is stored in the calculation buffer memory 205. Then, the image data that has passed through the second band pass filter can be obtained. Here, the second bandpass filter cuts out a part of the band in the first bandpass filter, and is a bandpass filter having a narrower band than the first bandpass filter. The image data that has passed through the second bandpass filter is integrated by the integration circuit 206. Thereby, the second AF evaluation value is obtained. The second AF evaluation value is output from the AF evaluation value output terminal 208. As a time required for calculating the second AF evaluation value, a timing t3 in the time chart of FIG. 4 is set.
As described above, the AF evaluation values calculated by the first to eighth signal processing circuits 121 to 128 are sent to the CPU 131.

次に、図５のステップＳ３において、フォーカスレンズが調整される。図４のタイムチャートにおいては、タイミングｔ７（フォーカスレンズ調整）のタイミングでフォーカスレンズが調整される。具体的に説明すると、ＣＰＵ１３１は、図示しないＡＦ制御プログラムに従い、フォーカスレンズ系１０２での合焦状態を調整する。この時点において、ＣＭＯＳイメージセンサ１０３の受光面における光学像の合焦状態が更新される。   Next, in step S3 of FIG. 5, the focus lens is adjusted. In the time chart of FIG. 4, the focus lens is adjusted at timing t7 (focus lens adjustment). More specifically, the CPU 131 adjusts the in-focus state in the focus lens system 102 according to an AF control program (not shown). At this time, the focused state of the optical image on the light receiving surface of the CMOS image sensor 103 is updated.

次に、図５のステップＳ４において、ＣＭＯＳイメージセンサ１０３は、光電子の蓄積を開始する。図４のタイムチャートでは、タイミングｔ７（フォーカスレンズ調整）以降に光電子の蓄積が行われる。
次に、図５のステップＳ５において、第１〜第８の信号処理回路１２１〜１２８は、第１〜第８のメモリ１１３〜１２０に記憶されている画像データを参照する。図４のタイムチャートでは、期間４４（タイミングｔ４〜ｔ５）に画像データが参照される。すなわち、１Ｖ前にＣＭＯＳイメージセンサ１０３に蓄積された光電子に基づいて第１〜第８のアナログフロントエンド１０５〜１１２で生成された画像データが、第１〜第８のメモリ１１３〜１２０から第１〜第８の信号処理回路１２１〜１２８に読み出される。このとき、第１〜第８のメモリ１１３〜１２０の読み出しアドレスは、制御回路１３０により制御される。 Next, in step S4 of FIG. 5, the CMOS image sensor 103 starts accumulating photoelectrons. In the time chart of FIG. 4, photoelectrons are accumulated after timing t7 (focus lens adjustment).
Next, in step S5 of FIG. 5, the first to eighth signal processing circuits 121 to 128 refer to the image data stored in the first to eighth memories 113 to 120. In the time chart of FIG. 4, the image data is referred to during the period 44 (timing t4 to t5). In other words, the image data generated by the first to eighth analog front ends 105 to 112 based on the photoelectrons accumulated in the CMOS image sensor 103 before 1V are first to eighth from the first to eighth memories 113 to 120. To the eighth signal processing circuits 121 to 128. At this time, the read addresses of the first to eighth memories 113 to 120 are controlled by the control circuit 130.

次に、図５のステップＳ６において、第１〜第８の信号処理回路１２１〜１２８は、出力する画像を生成するための出力画像処理を行う。図４のタイムチャートでは、期間４５（タイミングｔ４〜ｔ６）に出力画像処理が行われる。具体的に説明すると、第１〜第８の信号処理回路１２１〜１２８は、出力画像を形成するために必要な複数の処理を、制御回路１３０による演算処理プログラムに従って行う。ここで、出力画像を形成するために必要な処理とは、例えば、輝度信号生成、単板色フィルタ別の同時化処理、色マトリクス演算処理、輝度アパーチャ付加処理、ガンマ補正処理、及びホワイトバランス処理等である。これにより、図３に示した各分割エリア（画素範囲）１０３ａ〜１０３ｈに対応する８系統の出力画像が形成される。形成された出力画像は、第９の信号処理回路１２９に入力される。   Next, in step S6 of FIG. 5, the first to eighth signal processing circuits 121 to 128 perform output image processing for generating an image to be output. In the time chart of FIG. 4, output image processing is performed in a period 45 (timing t4 to t6). Specifically, the first to eighth signal processing circuits 121 to 128 perform a plurality of processes necessary for forming an output image in accordance with an arithmetic processing program executed by the control circuit 130. Here, the processes necessary to form an output image include, for example, luminance signal generation, synchronization processing for each single-plate color filter, color matrix calculation processing, luminance aperture addition processing, gamma correction processing, and white balance processing. Etc. Thereby, eight systems of output images corresponding to the divided areas (pixel ranges) 103a to 103h shown in FIG. 3 are formed. The formed output image is input to the ninth signal processing circuit 129.

第９の信号処理回路１２９は、入力した８系統の出力画像を合成する処理を行う。この合成処理の内容とタイミングは、制御回路１３０によりプログラムされている。そして、図４のタイムチャートにおけるタイミングｔ６（出力画像処理）で、第９の信号処理回路１２９にて合成された最終出力画像が、出力画像端子１３２より出力される。この最終出力画像は、ラスタスキャン信号にはなっておらず、テレビジョン受像機や記録媒体に適合するフォーマットにはなっていないが、図示しないフォーマット変換手段を設けることにより、テレビジョン受像機等へ提供できる。   The ninth signal processing circuit 129 performs a process of synthesizing the eight input output images. The contents and timing of this synthesis process are programmed by the control circuit 130. Then, the final output image synthesized by the ninth signal processing circuit 129 is output from the output image terminal 132 at timing t6 (output image processing) in the time chart of FIG. This final output image is not a raster scan signal and is not in a format suitable for a television receiver or a recording medium, but by providing a format conversion means (not shown) to a television receiver or the like. Can be provided.

以上のように、本実施形態では、ＣＰＵ１３１は、実行するプログラム（ＡＦ評価値算出用プログラム、ＡＦ制御プログラム、演算処理プログラム等）を、処理すべき内容に応じて変更する。これにより、ＣＭＯＳセンサ１０３からの光電子の並列出力、ＡＦ評価値の算出、フォーカスレンズの調整（ＡＦ）、及び出力画像の生成の順番で時系列的に処理を行うことができる。従って、撮像装置の各部の動作を、撮像電荷の読み出し動作に合わせて行わなければならないという従来技術における制約を取り除くことができ、撮像電荷の読み出し速度、タイミングに大幅な自由度を与えることができる。   As described above, in the present embodiment, the CPU 131 changes a program to be executed (an AF evaluation value calculation program, an AF control program, an arithmetic processing program, etc.) according to the content to be processed. Thereby, processing can be performed in time series in the order of parallel output of photoelectrons from the CMOS sensor 103, calculation of AF evaluation values, adjustment of the focus lens (AF), and generation of an output image. Therefore, it is possible to remove the restriction in the prior art that the operation of each part of the imaging apparatus must be performed in accordance with the readout operation of the imaging charge, and it is possible to give a great degree of freedom to the readout speed and timing of the imaging charge. .

また、このようにして行われる時系列的な処理において、前の垂直走査期間（Ｖ）にＣＭＯＳイメージセンサ１０３に蓄積した光電子に基づく画像データを用いて、ＡＦ評価値を先に算出しておく。そして、算出しておいたＡＦ評価値に基づいてフォーカスレンズを調整した後に、現在の垂直走査期間（Ｖ）における光電子の蓄積を開始する。このとき、ＡＦ評価値の算出と、そのＡＦ評価値に基づくフォーカスレンズの調整とを同じフレーム期間（又はフィールド期間）に行う。これにより、ＡＦの応答性が大幅に向上するものとなり（例えば図１６に示したフォーカスレンズの位置調整のタイミングより１Ｖ早く、フォーカスレンズを調整することが可能となり）、適切に且つ迅速に出力画像の形成を行うことができる。   In the time-series processing performed in this way, the AF evaluation value is calculated in advance using image data based on photoelectrons accumulated in the CMOS image sensor 103 during the previous vertical scanning period (V). . Then, after adjusting the focus lens based on the calculated AF evaluation value, accumulation of photoelectrons in the current vertical scanning period (V) is started. At this time, calculation of the AF evaluation value and adjustment of the focus lens based on the AF evaluation value are performed in the same frame period (or field period). As a result, the AF responsiveness is greatly improved (for example, the focus lens can be adjusted 1V earlier than the focus lens position adjustment timing shown in FIG. 16), and the output image can be appropriately and quickly outputted. Can be formed.

尚、本実施形態においては、８系統の読み出し経路を有するＣＭＯＳイメージセンサと同じく８系統の信号処理系とを有する構成を例に挙げて示したが、系統の数やセンサの種類は、これに限定されない。ＣＭＯＳイメージセンサ１０３の代わりに、例えば、４系統の転送・出力経路を有するＣＣＤイメージセンサを用いてもよい。   In the present embodiment, the configuration having the eight signal processing systems as well as the CMOS image sensor having the eight readout paths has been described as an example. However, the number of systems and the types of sensors are not limited thereto. It is not limited. Instead of the CMOS image sensor 103, for example, a CCD image sensor having four transfer / output paths may be used.

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。尚、本実施形態の説明において、前述した第１の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付す等して詳細な説明を省略する。 (Second Embodiment)
Next, a second embodiment of the present invention will be described. In the description of the present embodiment, the same parts as those in the first embodiment described above are denoted by the same reference numerals as those in FIGS.

図６は、撮像装置のハードウェアの構成の一例を示した図である。尚、図６では、説明の便宜上、撮像装置が有するハードウェアのうち、被写体を撮像してから、出力画像を生成するまでに必要な部分について示している。
撮像処理部６０３は、光学絞り１０１、フォーカスレンズ系１０２を通じて入射された光学像を処理するためのものであり、ワンチップで構成されている。撮像処理部６０３には、ＣＭＯＳイメージセンサ部６０４、第１のメモリ６０５、第２のメモリ６０６、画像処理回路６０７、第３のメモリ６０８、駆動回路６０９、プログラム制御回路６１０、及びラインピーク積分回路６１４が形成されている。 FIG. 6 is a diagram illustrating an example of a hardware configuration of the imaging apparatus. In FIG. 6, for the sake of convenience of explanation, portions of the hardware included in the imaging apparatus that are necessary until the output image is generated after the subject is imaged are shown.
The imaging processing unit 603 is for processing an optical image incident through the optical aperture 101 and the focus lens system 102, and is configured as a single chip. The imaging processing unit 603 includes a CMOS image sensor unit 604, a first memory 605, a second memory 606, an image processing circuit 607, a third memory 608, a drive circuit 609, a program control circuit 610, and a line peak integration circuit. 614 is formed.

ＣＭＯＳイメージセンサ部６０４は、光学絞り１０１、フォーカスレンズ系１０２を通じて入射された光学像から画像信号を生成するためのものである。第１及び第２のメモリ６０５、６０６は、ＣＭＯＳイメージセンサ部６０４で生成された画像信号を１Ｈ（１水平走査期間）分保持する。画像処理回路６０７は、画像処理を行って画像データを生成するためのプログラム可能な回路である。   The CMOS image sensor unit 604 is for generating an image signal from an optical image incident through the optical aperture 101 and the focus lens system 102. The first and second memories 605 and 606 hold the image signal generated by the CMOS image sensor unit 604 for 1H (one horizontal scanning period). The image processing circuit 607 is a programmable circuit for performing image processing and generating image data.

第３のメモリ６０８は、画像処理回路６０７で処理された画像データを保持する。駆動回路６０９は、ＣＭＯＳイメージセンサ部６０４から画像信号を読み出すための制御を行う。プログラム制御回路６１０は、画像処理回路６０７で使用される信号処理プログラムを設定する。ラインピーク積分回路６１４は、第３のメモリ６０８より出力される最終的な出力画像データからＡＦ評価値を生成する。   The third memory 608 holds the image data processed by the image processing circuit 607. The drive circuit 609 performs control for reading an image signal from the CMOS image sensor unit 604. The program control circuit 610 sets a signal processing program used in the image processing circuit 607. The line peak integration circuit 614 generates an AF evaluation value from the final output image data output from the third memory 608.

記録系信号処理部６１１は、出力画像データに対し、画像記録フォーマットに係る信号処理を行う。記録信号出力端子６１２は、画像記録フォーマットに係る信号処理が行われた出力画像データを、画像記録メディアへ出力する、ＣＰＵ６１３は、撮像処理部６０３の動作モードを制御すると共に、光学絞り１０１及びフォーカスレンズ系１０２を制御する。   The recording system signal processing unit 611 performs signal processing related to the image recording format on the output image data. A recording signal output terminal 612 outputs output image data subjected to signal processing according to an image recording format to an image recording medium. A CPU 613 controls an operation mode of the imaging processing unit 603, and controls the optical aperture 101 and the focus. The lens system 102 is controlled.

図７は、ＣＭＯＳイメージセンサ部６０４の内部構成の一例を示す図である。
図７において、フォトダイオード７０１は、フォーカスレンズ系１０２を通じて入光された光学像を光電変換する。ＭＯＳトランジスタ７０２はセンサゲートを構成する。フローティングディフュージョン７０３は、フォトダイオード７０１に隣接して構成される。ＭＯＳトランジスタ７０４は、フローティングディフュージョン７０２に隣接して構成され、リセットゲートを構成する。 FIG. 7 is a diagram illustrating an example of the internal configuration of the CMOS image sensor unit 604.
In FIG. 7, a photodiode 701 photoelectrically converts an optical image incident through the focus lens system 102. MOS transistor 702 forms a sensor gate. The floating diffusion 703 is configured adjacent to the photodiode 701. The MOS transistor 704 is configured adjacent to the floating diffusion 702 and forms a reset gate.

フローティングディフュージョンアンプ７０５は、フローティングディフュージョン７０４に保持された電荷を電圧に変換する。第１及び第２のサンプルホールド回路７０６、７０７は、フローティングディフュージョンアンプ７０５から出力された電圧を保持する。ＭＯＳトランジスタ７０９は、差動アンプ７０８から出力された電圧をゲートする。これら各構成要素７０１〜７０９をもって、１画素が構成される。   The floating diffusion amplifier 705 converts the electric charge held in the floating diffusion 704 into a voltage. The first and second sample and hold circuits 706 and 707 hold the voltage output from the floating diffusion amplifier 705. The MOS transistor 709 gates the voltage output from the differential amplifier 708. These components 701 to 709 constitute one pixel.

センサゲート（ＳＧ）制御線７１０は、ＭＯＳトランジスタ７０２のゲートにＳＧパルス（ゲート制御信号）を供給する。電源電圧線７１１は、基準電圧を供給する。リセットゲート（ＲＧ）制御線７１２は、ＭＯＳトランジスタ７０４のゲートにＲＧパルス（ゲート制御信号）を供給する。データレベルホールド（ＳＨＤ）制御線７１３は、ＳＨＤパルスを第１のサンプルホールド回路７０６に供給する。リセットレベルホールド（ＳＨＰ）制御線７１４は、ＳＨＰパルスを第１のサンプルホールド回路７０６に供給する。これら各構成要素７１０〜７１４は、全ての画素に対して共通に構成される。これらの各構成要素７１０〜７１４から供給される信号は、図６に示した駆動回路６０９により与えられるものである。   A sensor gate (SG) control line 710 supplies an SG pulse (gate control signal) to the gate of the MOS transistor 702. The power supply voltage line 711 supplies a reference voltage. The reset gate (RG) control line 712 supplies an RG pulse (gate control signal) to the gate of the MOS transistor 704. The data level hold (SHD) control line 713 supplies the SHD pulse to the first sample hold circuit 706. A reset level hold (SHP) control line 714 supplies an SHP pulse to the first sample and hold circuit 706. Each of these components 710 to 714 is configured in common for all pixels. Signals supplied from these components 710 to 714 are supplied by the drive circuit 609 shown in FIG.

行選択線７１５は、水平１行の各画素に対して共通に構成され、図６に示した駆動回路６０９からの行読み出しパルスをＭＯＳトランジスタ７０９に与えるものである。列信号線７１６は、差動アンプ７０８からＭＯＳトランジスタ７０９を介して出力された電圧をＡ／Ｄコンバータ７１７に与えるものである。Ａ／Ｄコンバータ７１７は、差動アンプ７０８からＭＯＳトランジスタ７０９を介して出力された電圧をＡ／Ｄ変換するものである。列信号線７１６及びＡ／Ｄコンバータ７１７は、垂直方向の１列の各画素に対して共通に構成される。   The row selection line 715 is configured in common for each pixel in one horizontal row, and applies a row read pulse from the drive circuit 609 shown in FIG. 6 to the MOS transistor 709. The column signal line 716 supplies the voltage output from the differential amplifier 708 via the MOS transistor 709 to the A / D converter 717. The A / D converter 717 A / D converts the voltage output from the differential amplifier 708 via the MOS transistor 709. The column signal line 716 and the A / D converter 717 are configured in common for each pixel in one column in the vertical direction.

図８は、図６の画像処理回路６０７の内部構成と入出力画素との関係の一例を示す図である。
図８において、第１の画像データ８０１は、図６の第３のメモリ６０８から入力する１Ｈ（１水平走査期間）分の画像データである。第２の画像データ８０２は、図６のＣＭＯＳイメージセンサ部６０４より入力する１Ｈ（１水平走査期間）分の画像データである。第３の画像データ８０３は、図６の第１のメモリ６０５から入力する１Ｈ（１水平走査期間）分の画像データである。第４の画像データ８０４は、図６の第２のメモリ６０６から入力する１Ｈ（１水平走査期間）分の画像データである。 FIG. 8 is a diagram illustrating an example of the relationship between the internal configuration of the image processing circuit 607 in FIG. 6 and input / output pixels.
In FIG. 8, first image data 801 is image data for 1H (one horizontal scanning period) input from the third memory 608 in FIG. The second image data 802 is image data for 1H (one horizontal scanning period) input from the CMOS image sensor unit 604 in FIG. The third image data 803 is image data for 1H (one horizontal scanning period) input from the first memory 605 of FIG. The fourth image data 804 is image data for 1H (one horizontal scanning period) input from the second memory 606 in FIG.

プログラム制御データ８０５は、図６のプログラム制御回路６１０から入力するデータである。第１〜第５の演算回路８０６〜８１０は、第１〜第４の画像データを、プログラム制御データ８０５に基づいて画像処理する。画像処理された画像データ８１１は、図６の第３のメモリ６０８に書き戻される。   Program control data 805 is data input from the program control circuit 610 of FIG. The first to fifth arithmetic circuits 806 to 810 perform image processing on the first to fourth image data based on the program control data 805. Image-processed image data 811 is written back to the third memory 608 in FIG.

図９は、第１〜第５の演算回路８０６〜８１０の内部構成の一例を示した図である。尚、第１〜第５の演算回路８０６〜８１０の内部構成は同じであるので、図９では、これら第１の演算回路８０６の内部構成について示している。
図９において、第１〜第４の画像データ９０１〜９０４は、図８に示した第１〜第４の画像データ８０１〜８０４の一部である。第１の演算回路８０６は、切替スイッチ９０５〜９１４、第１の加算回路群９１５〜９２４、乗算回路群９２５〜９３４、第２の加算回路群９３５〜９４４、最終加算回路９４５を有する。切替制御信号９４６、第１の加算係数９４７、乗算係数９４８、及び第２の加算係数９４９は、図８に示したプログラム制御データ８０５の構成要素である。 FIG. 9 is a diagram illustrating an example of the internal configuration of the first to fifth arithmetic circuits 806 to 810. Since the internal configurations of the first to fifth arithmetic circuits 806 to 810 are the same, FIG. 9 shows the internal configuration of the first arithmetic circuit 806.
In FIG. 9, the first to fourth image data 901 to 904 are a part of the first to fourth image data 801 to 804 shown in FIG. The first arithmetic circuit 806 includes changeover switches 905 to 914, first addition circuit groups 915 to 924, multiplication circuit groups 925 to 934, second addition circuit groups 935 to 944, and a final addition circuit 945. The switching control signal 946, the first addition coefficient 947, the multiplication coefficient 948, and the second addition coefficient 949 are components of the program control data 805 illustrated in FIG.

以下、本実施形態の撮像装置における動作を、図６〜図１０を用いて説明する。
図１０は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。 Hereinafter, the operation of the imaging apparatus according to the present embodiment will be described with reference to FIGS.
FIG. 10 is a timing chart illustrating an example of time transitions between the accumulation operation, the read operation, and the signal processing in the imaging apparatus.

図６に示したように、ＣＰＵ６１３によって制御された光学絞り１０１及びフォーカスレンズ系１０２を通じて入射された光学像は、ＣＭＯＳイメージセンサ部４０３の受光面上に結像される。そうすると、図７に示したフォトダイオード７０１は、入射された光学像の光量（強度と照射時間）に応じて光電子を発生して、蓄積する。所定の時間、光電子が蓄積された後、駆動回路６０９は、図１０のタイミングｔ１で、センサゲート（ＳＧ）制御線７１０を介してＳＧパルスを印加する。そうすると、フォトダイオード７０１に蓄積された光電子がＭＯＳトランジスタ７０２を経由して、フローティングディフュージョン７０３に移動し、フローティングディフュージョン７０３に移動した光電子に応じた画素電圧が発生する。この画素電圧は、フローティングディフュージョンアンプ７０５を経由して、第１のサンプルホールド回路７０６と、第２のサンプルホールド回路７０７に入力する。   As shown in FIG. 6, the optical image incident through the optical aperture 101 and the focus lens system 102 controlled by the CPU 613 is formed on the light receiving surface of the CMOS image sensor unit 403. Then, the photodiode 701 shown in FIG. 7 generates and accumulates photoelectrons according to the amount of light (intensity and irradiation time) of the incident optical image. After the photoelectrons are accumulated for a predetermined time, the drive circuit 609 applies an SG pulse via the sensor gate (SG) control line 710 at a timing t1 in FIG. Then, the photoelectrons accumulated in the photodiode 701 move to the floating diffusion 703 via the MOS transistor 702, and a pixel voltage corresponding to the photoelectrons moved to the floating diffusion 703 is generated. This pixel voltage is input to the first sample hold circuit 706 and the second sample hold circuit 707 via the floating diffusion amplifier 705.

図１０のタイミングｔ２で、駆動回路６０９は、データレベルホールド（ＳＨＤ）制御線７１３を介してＳＨＤパルスを印加する。そうすると、第１のサンプルホールド回路７０６においてのみ、フローティングディフュージョンアンプ７０５を経由して入力した画素電圧が保持（ホールド）される。
次に、タイミングｔ３で、駆動回路６０９は、リセットゲート（ＲＧ）制御線７１２を介してＲＧパルスを印加する。そうすると、ＭＯＳトランジスタ７０４がオンするので、フローティングディフュージョン７０３の電圧は、電源電圧線７１１に印加されている基準電圧（リセット電圧）となる。このリセット電圧は、フローティングディフュージョンアンプ７０５を経由して、第１のサンプルホールド回路７０６と、第２のサンプルホールド回路７０７に入力する。 At timing t2 in FIG. 10, the drive circuit 609 applies an SHD pulse via the data level hold (SHD) control line 713. Then, the pixel voltage input via the floating diffusion amplifier 705 is held (held) only in the first sample hold circuit 706.
Next, at timing t <b> 3, the drive circuit 609 applies an RG pulse via the reset gate (RG) control line 712. Then, since the MOS transistor 704 is turned on, the voltage of the floating diffusion 703 becomes the reference voltage (reset voltage) applied to the power supply voltage line 711. This reset voltage is input to the first sample hold circuit 706 and the second sample hold circuit 707 via the floating diffusion amplifier 705.

図１０のタイミングｔ４で、駆動回路６０９は、リセットレベルホールド（ＳＨＰ）制御線７１４を介してＳＨＰパルスを印加する。そうすると、第２のサンプルホールド回路７０７においてのみ、フローティングディフュージョンアンプ７０５を経由して入力したリセット電圧が保持される。第１及び第２のサンプルホールド回路７０６、７０６から出力された画素電圧及びリセット電圧は、差動アンプ７０８に入力する。差動アンプ７０８は、画素電圧からリセット電圧が差し引かれたセンサ出力電圧が出力される。図１０のタイミングｔ４において、このセンサ出力電圧が、全画素分、保持された状態となる。   At timing t4 in FIG. 10, the drive circuit 609 applies the SHP pulse via the reset level hold (SHP) control line 714. Then, only the second sample hold circuit 707 holds the reset voltage input via the floating diffusion amplifier 705. The pixel voltage and the reset voltage output from the first and second sample and hold circuits 706 and 706 are input to the differential amplifier 708. The differential amplifier 708 outputs a sensor output voltage obtained by subtracting the reset voltage from the pixel voltage. At timing t4 in FIG. 10, the sensor output voltage is held for all pixels.

駆動回路６０９が図７の行選択線７１５に行読み出しパルスを印加している間、保持された状態となっている各画素のセンサ出力電圧は、ＭＯＳトランジスタ７０９及び列信号線７１６を通じてＡ／Ｄコンバータ７１７に入力する。これにより、水平方向の１ライン分の各画素のセンサ出力電圧が、並列に画像信号に変換される。ここで、行選択線７１５は、各水平ラインに一本づつ配線されているので、行読み出しパルスを順次印加してゆけば、一画面全体の画像信号がライン毎に順次得られることとなる。一画面全体の画像信号の読み出しは、図１０のタイミングｔ５〜ｔ６で行われる。
以上のように、ここまで説明したセンサ出力電圧の保持と、センサ出力電圧に基づく画像信号の読み出しは、ＣＰＵ６１３と駆動回路６０９により制御される。 While the drive circuit 609 applies a row readout pulse to the row selection line 715 in FIG. 7, the sensor output voltage of each pixel held is A / D through the MOS transistor 709 and the column signal line 716. Input to the converter 717. Thereby, the sensor output voltage of each pixel for one line in the horizontal direction is converted into an image signal in parallel. Here, since the row selection lines 715 are wired one by one for each horizontal line, if the row reading pulse is sequentially applied, the image signal of the entire screen is obtained sequentially for each line. Reading of the image signal of the entire screen is performed at timings t5 to t6 in FIG.
As described above, the holding of the sensor output voltage and the reading of the image signal based on the sensor output voltage described so far are controlled by the CPU 613 and the drive circuit 609.

続いて、以上のようにして読み出された画像信号に対する信号処理について説明する。
ＣＭＯＳイメージセンサ部６０４から２Ｈ（２水平走査期間）前に出力された画像信号は、第２のメモリ６０６に保持されている。また、ＣＭＯＳイメージセンサ部６０４から１Ｈ（１水平走査期間）前に出力された画像信号は、第１のメモリ６０５に保持されている。さらに、ＣＭＯＳイメージセンサ部６０４では、現在の水平走査期間（Ｈ）における画像信号が生成される。これら２Ｈ前、１Ｈ前、及び現在の画像信号の合計３Ｈ分の画像信号が、並列に、画像処理回路６０７に入力する。 Next, signal processing for the image signal read as described above will be described.
An image signal output 2H (two horizontal scanning periods) from the CMOS image sensor unit 604 is held in the second memory 606. An image signal output from the CMOS image sensor unit 604 1H (one horizontal scanning period) before is held in the first memory 605. Further, the CMOS image sensor unit 604 generates an image signal in the current horizontal scanning period (H). The image signals for a total of 3H of these 2H before, 1H before, and current image signals are input to the image processing circuit 607 in parallel.

画像処理回路６０７においては、図８に示すように、前記３Ｈ分の画像信号は、第２〜第４の画像データ８０２〜８０４として入力され、各々第１〜第５の演算回路８０６〜８１０に入力される。図８では、簡単のため、１Ｈ当たり１７画素の処理が行われるものとして説明する。   In the image processing circuit 607, as shown in FIG. 8, the image signals for 3H are input as second to fourth image data 802 to 804, and are input to the first to fifth arithmetic circuits 806 to 810, respectively. Entered. For the sake of simplicity, FIG. 8 will be described assuming that 17 pixels are processed per 1H.

第２〜第４の画像データ８０２〜８０４の１〜５画素目は第１の演算回路８０６に、４〜８画素目は第２の演算回路８０７にそれぞれ入力される。同様に、第２〜第４の画像データ８０２〜８０４の７〜１１画素目は第３の演算回路８０８に、１０〜１４画素目は第４の演算回路８０９に、１３〜１７画素目は第５の演算回路８１０にそれぞれ入力される。さらに、第１の画像データ８０１（第３のメモリ６０８に保持された画像データ）の２〜４画素目は第１の演算回路８０６に、５〜７画素目は第２の演算回路８０７にそれぞれ入力される。同様に、第１の画像データ８０１の８〜１０画素目は第３の演算回路８０８に、１１〜１３画素目は第４の演算回路８０９に、１４〜１６画素目は第５の演算回路８１０にそれぞれ入力される。   The first to fifth pixels of the second to fourth image data 802 to 804 are input to the first arithmetic circuit 806, and the fourth to eighth pixels are input to the second arithmetic circuit 807, respectively. Similarly, the seventh to eleventh pixels of the second to fourth image data 802 to 804 are in the third arithmetic circuit 808, the tenth to fourteenth pixels are in the fourth arithmetic circuit 809, and the thirteenth to seventeenth pixels are in the first. 5 arithmetic circuits 810, respectively. Further, the second to fourth pixels of the first image data 801 (image data held in the third memory 608) are supplied to the first arithmetic circuit 806, and the fifth to seventh pixels are supplied to the second arithmetic circuit 807, respectively. Entered. Similarly, the eighth to tenth pixels of the first image data 801 are in the third arithmetic circuit 808, the eleventh to thirteenth pixels are in the fourth arithmetic circuit 809, and the fourteenth to sixteenth pixels are in the fifth arithmetic circuit 810. Respectively.

すなわち、第１〜第５の演算回路８０６〜８１０には、３Ｈ×５画素の２次元の画像データと、３Ｈ×５画素の中心画素とその両隣に位置する処理途中の３画素分の画像データ（第３のメモリ６０８に保持された画像データ）が入力される。よって、第１〜第５の演算回路８０６〜８１０が並列に動作することにより、１Ｈ分の演算が一度に実行されることとなる。   That is, the first to fifth arithmetic circuits 806 to 810 include 3H × 5 pixel two-dimensional image data, 3H × 5 pixel center pixels, and image data for three pixels in the middle of processing located on both sides thereof. (Image data held in the third memory 608) is input. Therefore, when the first to fifth arithmetic circuits 806 to 810 operate in parallel, the calculation for 1H is executed at a time.

次に、前述した２次元の画像データと、処理途中の３画素分の画像データに対する具体的な処理の一例を説明する。
図９において、第１の画像データ９０１が、前記処理途中の３画素分の画像データである。第２〜第４の画像データ９０２〜９０４が、前記３Ｈ×５画素の２次元の画像データである。より具体的に説明すると、第２の画像データ９０２は、現在の１Ｈ分の画像データ８０２における５画素分の画像データである。第３の画像データ９０３は、１Ｈ前の画像データ８０３における５画素分の画像データである。第４の画像データ９０４は、２Ｈ前の画像データ８０４における５画素分の画像データである。 Next, an example of specific processing for the above-described two-dimensional image data and image data for three pixels during processing will be described.
In FIG. 9, first image data 901 is image data for three pixels in the process. Second to fourth image data 902 to 904 are the 3H × 5 pixel two-dimensional image data. More specifically, the second image data 902 is image data for five pixels in the current image data 802 for 1H. The third image data 903 is image data for five pixels in the image data 803 before 1H. The fourth image data 904 is image data for five pixels in the image data 804 before 2H.

第１〜第４の画像データ９０１〜９０４は、各切替スイッチ９０５〜９１４に入力される。これら切替スイッチ９０５〜９１４は、切替制御信号９４６により接続が切り替えられる。図１０において、期間１００２（タイミングｔ５〜ｔ６）に、一画面全体の画像データの読み出しが行われる。この期間１００２（タイミングｔ５〜ｔ６）の前半では、図９の第１及び第２の加算係数９４７、９４９と、乗算係数９４８には、ＡＦ評価値における２次元空間フィルタが構成できるような係数が設定される。この２次元空間フィルタは、ここで形成される２次元空間フィルタは、TOP-Evaluationと呼ばれる、合焦判定用の比較的高い空間周波数成分を抽出するためのものである。   The first to fourth image data 901 to 904 are input to the changeover switches 905 to 914. These change-over switches 905 to 914 are switched in connection by a change control signal 946. In FIG. 10, the image data of the entire screen is read during a period 1002 (timing t5 to t6). In the first half of this period 1002 (timing t5 to t6), the first and second addition coefficients 947 and 949 and the multiplication coefficient 948 in FIG. 9 have coefficients that can form a two-dimensional spatial filter in the AF evaluation value. Is set. The two-dimensional spatial filter formed here is for extracting a relatively high spatial frequency component for focus determination called TOP-Evaluation.

一方、期間１００２（タイミングｔ５〜ｔ６）の後半でも、第１及び第２の加算係数９４７、９４９と、乗算係数９４８には、ＡＦ評価値における２次元空間フィルタが構成できるような係数が設定される。ただし、ここで形成される２次元空間フィルタは、FOOT-Evaluationと呼ばれる、ボケ判定用の比較的低い空間周波数成分を抽出するためのものである。   On the other hand, even in the latter half of the period 1002 (timing t5 to t6), the first and second addition coefficients 947 and 949 and the multiplication coefficient 948 are set to coefficients that can form a two-dimensional spatial filter in the AF evaluation value. The However, the two-dimensional spatial filter formed here is for extracting a relatively low spatial frequency component for blur determination called FOOT-Evaluation.

期間１００２（タイミングｔ５〜ｔ６）の前半において、ＣＭＯＳイメージセンサ部６０４と、第１及び第２のメモリ６０５、６０６とから出力された合計３Ｈ分の画像データと、第３のメモリ６０８から出力された１Ｈ分の処理途中の画像データが順次入力する。そして、図１０に示すように、切替制御信号９４６によって、切替スイッチ９０５〜９１４がａ端子、ｂ端子、ｃ端子の順に切り替わる。切替スイッチ９０６〜９１４がａ端子に接続されている場合、切替スイッチ９０６〜９１４からの出力は、前記３Ｈ×５画素の２次元の画像データ９０２〜９０４のうち、左側の３Ｈ×３画素の画像データとなる。切替スイッチ９０６〜９１４がｂ端子に接続されている場合、切替スイッチ９０６〜９１４からの出力は、３Ｈ×５画素の２次元の画像データ９０２〜９０４のうち、中央の３Ｈ×３画素の画像データとなる。切替スイッチ９０６〜９１４がｃ端子に接続されている場合、切替スイッチ９０６〜９１４からの出力は、３Ｈ×５画素の２次元の画像データ９０２〜９０４のうち、右側の３Ｈ×３画素となる。   In the first half of the period 1002 (timing t5 to t6), the image data for a total of 3H output from the CMOS image sensor unit 604 and the first and second memories 605 and 606 and the third memory 608 are output. In addition, image data in the middle of processing for 1 H is sequentially input. Then, as illustrated in FIG. 10, the changeover switches 905 to 914 are switched in the order of the a terminal, the b terminal, and the c terminal by the switching control signal 946. When the changeover switches 906 to 914 are connected to the a terminal, the output from the changeover switches 906 to 914 is the left 3H × 3 pixel image of the 3H × 5 pixel two-dimensional image data 902 to 904. It becomes data. When the changeover switches 906 to 914 are connected to the b terminal, the output from the changeover switches 906 to 914 is the 3H × 5 pixel two-dimensional image data 902 to 904, and the center 3H × 3 pixel image data. It becomes. When the changeover switches 906 to 914 are connected to the c terminal, the output from the changeover switches 906 to 914 is 3H × 3 pixels on the right side of the 2H image data 902 to 904 of 3H × 5 pixels.

同様に、切替スイッチ９０５がａ端子に接続されている場合、切替スイッチ９０５からの出力は、前記処理途中の３画素分の画像データ９０１のうち、左側の画像データとなる。切替スイッチ９０５がｂ端子に接続されている場合、切替スイッチ９０５からの出力は、前記処理途中の３画素分の画像データ９０１のうち、中央の画像データとなる。切替スイッチ９０５がｃ端子に接続されている場合、切替スイッチ９０５からの出力は、前記処理途中の３画素分の画像データ９０１のうち、右側の画像データとなる。   Similarly, when the changeover switch 905 is connected to the terminal a, the output from the changeover switch 905 is image data on the left side of the image data 901 for the three pixels being processed. When the changeover switch 905 is connected to the b terminal, the output from the changeover switch 905 is the center image data among the image data 901 for the three pixels being processed. When the changeover switch 905 is connected to the c terminal, the output from the changeover switch 905 is image data on the right side of the image data 901 for the three pixels being processed.

切替制御信号９４６によって切替スイッチ９０５〜９１４がａ端子、ｂ端子、ｃ端子の各端子に順次切り替え接続されると、第１の加算回路群９１５〜９２４には、前述した２次元の画像データ９０２〜９０４と、処理途中の画像データ９０１とが順次入力される。そして、TOP-Evaluation用に設定された第１加算係数９４７を用いて、第１の加算回路群９１５〜９２４により、２次元の画像データ９０２〜９０４と、処理途中の画像データ９０１とに対して、オフセット付加が行われる。その後、TOP-Evaluation用に設定された乗算係数９４８を用いて、乗算回路群９２５〜９３４により、２次元の画像データ９０２〜９０４と、処理途中の画像データ９０１に対して、ゲイン付加が行われる。その後、TOP-Evaluation用に設定された第２の加算係数９４９を用いて、第２の加算回路群９３５〜９４４により、２次元の画像データ９０２〜９０４と、処理途中の画像データ９０１に対して、オフセット付加が行われる。   When the changeover switches 905 to 914 are sequentially connected to the terminals a, b, and c by the changeover control signal 946, the above-described two-dimensional image data 902 is added to the first adder circuit group 915 to 924. ˜904 and image data 901 in the middle of processing are sequentially input. Then, using the first addition coefficient 947 set for TOP-Evaluation, the first addition circuit group 915 to 924 applies the two-dimensional image data 902 to 904 and the image data 901 being processed. Offset addition is performed. Thereafter, using the multiplication coefficient 948 set for TOP-Evaluation, the multiplication circuit groups 925 to 934 add gain to the two-dimensional image data 902 to 904 and the image data 901 being processed. . Thereafter, using the second addition coefficient 949 set for TOP-Evaluation, the second addition circuit groups 935 to 944 apply the two-dimensional image data 902 to 904 and the image data 901 being processed. Offset addition is performed.

以上のようにして、第１の加算回路群９１５〜９２４、乗算回路群９２５〜９３４、及び第２の加算回路群９３５〜９４４により基本演算が行われた画像データは、最終加算回路９４５にて加算されることにより、２次元画像処理が行われる。この場合には、前記TOP-Evaluation用の２次元フィルタリングが実行されることとなる。このように、画像データ９０２〜９０４及び処理途中の画像データ９０１の１Ｈ毎の読み出しと、切替スイッチ９０５〜９１４の切り替えとを繰り返すことにより、一画面全体に対して、TOP-Evaluation用の２次元フィルタリングが実行される。   As described above, the final addition circuit 945 receives the image data on which the basic operation is performed by the first addition circuit groups 915 to 924, the multiplication circuit groups 925 to 934, and the second addition circuit groups 935 to 944. By the addition, two-dimensional image processing is performed. In this case, the two-dimensional filtering for TOP-Evaluation is executed. In this way, by repeating the readout of the image data 902 to 904 and the image data 901 being processed for each 1H and the switching of the changeover switches 905 to 914, the two-dimensional for TOP-Evaluation is applied to the entire screen. Filtering is performed.

TOP-Evaluation用の２次元フィルタリングが実行された画像データは、第３のメモリ６０８へ一旦書き込まれた後に、読み出されてラインピーク積分回路６１４に入力する。ラインピーク積分回路６１４では、TOP-Evaluation用の２次元フィルタリングが実行された画像データにおける、各ライン上のピーク値を、画像の垂直方向に積分する演算を行う。これにより、第１のＡＦ評価値としてのTOP-Evaluation値が算出される。そして、算出された第１のＡＦ評価値（TOP-Evaluation値）は、ＣＰＵ６１３に出力される。   The image data on which the two-dimensional filtering for TOP-Evaluation has been executed is once written in the third memory 608 and then read out and input to the line peak integration circuit 614. The line peak integration circuit 614 performs an operation of integrating the peak value on each line in the image data on which the two-dimensional filtering for TOP-Evaluation has been executed in the vertical direction of the image. Thereby, the TOP-Evaluation value as the first AF evaluation value is calculated. Then, the calculated first AF evaluation value (TOP-Evaluation value) is output to the CPU 613.

前述したように、ＣＭＯＳイメージセンサ部６０４は、タイミングｔ４において、センサ出力電圧を、全画素分保持している。そのため、期間（タイミングｔ５〜ｔ６）１００１の後半においても、FOOT-Evaluation用の２次元フィルタリングが、一画面全体に対して実行される。そして、ラインピーク積分回路６１４において、第２のＡＦ評価値としてのFOOT-Evaluation値が算出され、ＣＰＵ６１３に出力される。   As described above, the CMOS image sensor unit 604 holds the sensor output voltage for all pixels at the timing t4. Therefore, also in the second half of the period (timing t5 to t6) 1001, the two-dimensional filtering for FOOT-Evaluation is performed on the entire screen. Then, the line peak integration circuit 614 calculates a FOOT-Evaluation value as the second AF evaluation value and outputs it to the CPU 613.

以上、第１及び第２のＡＦ評価値の算出が完了するタイミングが、図１０のタイミングｔ６である。そして、ＣＰＵ６１３は、算出されたＡＦ評価値を用いてフォーカスレンズを調整するためのアルゴリズムを動作させ、次の蓄積開始時点におけるフォーカスレンズのとるべき位置を算出する。そして、図１０のタイミングｔ７において、ＣＰＵ６１３は、フォーカスレンズ系６０２の駆動を完了させる。   As described above, the timing at which the calculation of the first and second AF evaluation values is completed is the timing t6 in FIG. Then, the CPU 613 operates an algorithm for adjusting the focus lens using the calculated AF evaluation value, and calculates a position to be taken by the focus lens at the next accumulation start time. At timing t7 in FIG. 10, the CPU 613 completes driving of the focus lens system 602.

ここで、タイミングｔ１において、ＳＧパルスがＭＯＳトランジスタ７０２に印加されると、フォトダイオード７０１は光電子の再蓄積を始めてしまう。従って、タイミングｔ７におけるフォーカスレンズの位置の調整に合わせて、フォトダイオード７０１に蓄積された光電子をクリアする必要がある。そこで、タイミングｔ８、ｔ９において、ＳＧパルスとＲＧパルスとを再び印加して、フォトダイオード７０１とフローティングディフュージョン７０３の電荷をクリアする。そして、タイミングｔ７から再度蓄積された光電子は、次の１Ｖにおける画像として使用される。   Here, when the SG pulse is applied to the MOS transistor 702 at the timing t1, the photodiode 701 starts re-accumulation of photoelectrons. Therefore, it is necessary to clear the photoelectrons accumulated in the photodiode 701 in accordance with the adjustment of the position of the focus lens at the timing t7. Therefore, the SG pulse and the RG pulse are applied again at timings t8 and t9 to clear the charges in the photodiode 701 and the floating diffusion 703. Then, the photoelectrons accumulated again from the timing t7 are used as an image at the next 1V.

一方、タイミングｔ６においてＡＦ評価値の算出は完了している。従って、タイミングｔ１０〜ｔ１１にかけて、画像記録フォーマットに係る信号処理を行う記録系信号処理部６１１に供給する出力画像データに対する処理を、ＡＦ評価値用の２次元処理と同様に実行する。この場合、例えば、色の同時化（単板カラーカメラを前提）、輝度のベースバンドのフィルタ処理、及びアパーチャ補正等は、第１及び第２の加算係数９４７、９４９、及び乗算係数９４８を、それら用に設定して２次元フィルタリングすることにより実現できる。また、色のマトリクス処理、及びホワイトバランス処理等は、第３のメモリ６０８と画像処理回路６０７との間でデータ処理を数回ループさせることにより、同時化した後の画像データに対する所定係数を乗ずる演算等が実行される。   On the other hand, the calculation of the AF evaluation value is completed at timing t6. Accordingly, the processing for the output image data supplied to the recording system signal processing unit 611 that performs the signal processing related to the image recording format is executed in the same manner as the two-dimensional processing for the AF evaluation value from timing t10 to t11. In this case, for example, color synchronization (assuming a single-panel color camera), luminance baseband filtering, aperture correction, and the like include the first and second addition coefficients 947 and 949 and the multiplication coefficient 948. It can be realized by setting for those and performing two-dimensional filtering. In addition, color matrix processing, white balance processing, and the like are multiplied by a predetermined coefficient for image data after synchronization by looping data processing several times between the third memory 608 and the image processing circuit 607. Arithmetic etc. are executed.

このようにして得られた出力画像データは、画像記録フォーマットに係る信号処理を行う記録系信号処理部６１１に対して供給される。記録系信号処理部６１１は、供給された出力画像データを記録メディアに適合した記録信号に変換し、その記録信号を、記録信号出力端子６１２を介して図示しない記録メディアに出力して記録する。   The output image data obtained in this way is supplied to a recording system signal processing unit 611 that performs signal processing related to the image recording format. The recording system signal processing unit 611 converts the supplied output image data into a recording signal suitable for the recording medium, and outputs the recording signal to a recording medium (not shown) via the recording signal output terminal 612 for recording.

以上のように本実施形態においても、ＣＭＯＳイメージセンサ部６０４に蓄積した光電子に基づく画像データから、ＡＦ評価値を先に算出しておき、先に算出しておいたＡＦ評価値に基づいてフォーカスレンズを調整した後に、光電子の蓄積を開始する。このとき、ＡＦ評価値の算出と、そのＡＦ評価値に基づくフォーカスレンズの調整とを同じフレーム期間（又はフィールド期間）に行う。従って、第１の実施形態で説明した効果と同様の効果を得ることができる。   As described above, also in this embodiment, the AF evaluation value is calculated first from the image data based on the photoelectrons accumulated in the CMOS image sensor unit 604, and the focus is based on the previously calculated AF evaluation value. After the lens is adjusted, photoelectron accumulation begins. At this time, calculation of the AF evaluation value and adjustment of the focus lens based on the AF evaluation value are performed in the same frame period (or field period). Therefore, the same effect as that described in the first embodiment can be obtained.

尚、本実施形態においては、図８に示したように、１Ｈ当たり１７画素の処理が行われるものとしたが、１Ｈ当たりに処理する画素数（水平方向の画素数）は任意の値を取り得る。また、図８及び図９に示したように、２次元画像処理の範囲を３Ｈ×３画素の構成としたが、２次元画像処理の範囲もこれに限定されない。   In this embodiment, as shown in FIG. 8, 17 pixels are processed per 1H, but the number of pixels processed per 1H (the number of pixels in the horizontal direction) takes an arbitrary value. obtain. Further, as shown in FIGS. 8 and 9, the range of the two-dimensional image processing is configured to be 3H × 3 pixels, but the range of the two-dimensional image processing is not limited to this.

また、本実施形態では、ＡＦ評価値を算出しておき、そのＡＦ評価値に基づいてフォーカスレンズを調整する場合を例に挙げて説明したが、画像信号を調整する処理であれば、ＡＦ評価値の算出、及びフォーカスレンズの調整に限定されない。例えば、ＡＥ評価値を先に算出し、算出したＡＥ評価値に基づいて自動露出（ＡＥ）を行ってもよいし、動きベクトルを先に算出し、算出した動きベクトルに基づいて手振れ補正を行うようにしてもよい。この他、ＡＷＢ（Auto White Balance）評価値を先に算出し、算出したＡＷＢ評価値に基づいてＡＷＢを行ってもよい。   In the present embodiment, an example has been described in which an AF evaluation value is calculated and the focus lens is adjusted based on the AF evaluation value. However, if the process is to adjust an image signal, AF evaluation is performed. It is not limited to the calculation of the value and the adjustment of the focus lens. For example, the AE evaluation value may be calculated first, automatic exposure (AE) may be performed based on the calculated AE evaluation value, or the motion vector may be calculated first, and camera shake correction may be performed based on the calculated motion vector. You may do it. In addition, an AWB (Auto White Balance) evaluation value may be calculated first, and AWB may be performed based on the calculated AWB evaluation value.

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。尚、本実施形態の説明において、前述した第１の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付す等して詳細な説明を省略する。
図１１は、撮像装置のハードウェアの構成の一例を示した図である。尚、図１では、説明の便宜上、撮像装置が有するハードウェアのうち、被写体を撮像してから、出力画像を生成するまでに必要な部分について示している。 (Third embodiment)
Next, a third embodiment of the present invention will be described. In the description of the present embodiment, the same parts as those in the first embodiment described above are denoted by the same reference numerals as those in FIGS.
FIG. 11 is a diagram illustrating an example of a hardware configuration of the imaging apparatus. In FIG. 1, for the sake of convenience of explanation, portions of the hardware included in the imaging apparatus that are necessary until an output image is generated after the subject is imaged are shown.

図１１に示すように、本実施形態の撮像装置のハードウェアの構成は、図１に示した第１の実施形態の撮像装置に対し、フレームメモリ１３３と、ＶＡＰ制御回路１３４と、バリアングルプリズム（以下ＶＡＰと称する）１３５とが付加されたものである。また、図１に示した第１〜第８の信号処理回路１４１〜１４８の代わりに、第１〜第８の信号処理回路１４１〜１４８と構成の一部が異なる第１〜第８の信号処理回路１４１〜１４８が設けられている。
フレームメモリ１３３は、画像の輪郭情報を記録するためのものである。ＶＡＰ制御回路１３４は、ＣＰＵ１３１による制御に基づいて、手ぶれを打ち消す方向にＶＡＰ１３５の頂角を調整するためのものである。ＶＡＰ１３５は、頂角が可変のプリズムである。 As shown in FIG. 11, the hardware configuration of the imaging apparatus of this embodiment is different from that of the imaging apparatus of the first embodiment shown in FIG. 1 in that the frame memory 133, the VAP control circuit 134, and the vari-angle prism. (Hereinafter referred to as VAP) 135 is added. Also, instead of the first to eighth signal processing circuits 141 to 148 shown in FIG. 1, first to eighth signal processing having a part of configuration different from that of the first to eighth signal processing circuits 141 to 148. Circuits 141 to 148 are provided.
The frame memory 133 is for recording image contour information. The VAP control circuit 134 is for adjusting the apex angle of the VAP 135 in a direction to cancel camera shake based on control by the CPU 131. The VAP 135 is a prism having a variable apex angle.

図１２は、第１〜第８の信号処理回路１４１〜１４８の内部構成の一例を示す図である。
図１２において、データ入力端子２０１は、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データを入力する端子である。データ入力端子２０２は、第１〜第８のメモリ１１３〜１２０に保持された画像データを入力する端子である。プログラム入力端子２０３は、制御回路１３０から出力された信号処理プログラムを入力する端子である。データ入力端子２０９は、フレームメモリ１３３から、１フィールド前の画像の輪郭信号の一部を入力する端子である。 FIG. 12 is a diagram illustrating an example of the internal configuration of the first to eighth signal processing circuits 141 to 148.
In FIG. 12, a data input terminal 201 is a terminal for inputting image data output from the first to eighth analog front ends 105 to 112. The data input terminal 202 is a terminal for inputting image data held in the first to eighth memories 113 to 120. The program input terminal 203 is a terminal for inputting the signal processing program output from the control circuit 130. The data input terminal 209 is a terminal for inputting a part of the contour signal of the image one field before from the frame memory 133.

プロセッサ２１０は、データ入力端子２０１、２０２から入力された画像データと、演算バッファメモリ２０５に保持された演算途中の画像データに対し、プログラム入力端子２０３からロードされた信号処理プログラムにより、２次元までの信号処理演算を行う。
また、プロセッサ２１０は、データ入力端子２０９を介して、フレームメモリ１３３から、１フィールド前の画像の輪郭の一部を示す画像輪郭信号を読み出して、バッファメモリ２０５に一時的に記憶する。このように、バッファメモリ２０５は、１フィールド前の画像輪郭信号を一時的に記憶する。
さらに、プロセッサ２１０は、フレームメモリ１３３（データ入力端子２０９）から読み出された画像データに基づく現在のフィールドの画像輪郭信号と、バッファメモリ２０５に記憶している１フィールド前の画像輪郭信号とを比較して相関を求める。そして、比較した領域の中で最も相関が高い動きベクトルを、動きベクトル検出結果としてバッファメモリ２１１に記憶する。このように、バッファメモリ２１１は、動きベクトル検出結果を一時的に記憶する。 The processor 210 uses the signal processing program loaded from the program input terminal 203 to perform two-dimensional processing on the image data input from the data input terminals 201 and 202 and the image data being processed held in the operation buffer memory 205. The signal processing operation is performed.
Further, the processor 210 reads an image contour signal indicating a part of the contour of the image one field before from the frame memory 133 via the data input terminal 209 and temporarily stores it in the buffer memory 205. Thus, the buffer memory 205 temporarily stores the image contour signal of the previous field.
Further, the processor 210 receives the image contour signal of the current field based on the image data read from the frame memory 133 (data input terminal 209) and the image contour signal of the previous field stored in the buffer memory 205. The correlation is obtained by comparison. Then, the motion vector having the highest correlation among the compared regions is stored in the buffer memory 211 as a motion vector detection result. Thus, the buffer memory 211 temporarily stores the motion vector detection result.

出力端子２０７は、プロセッサ２０４の信号処理演算の結果を出力するための端子である。出力端子２０８は、動きベクトル検出結果を出力するための端子である。尚、ＣＭＯＳイメージセンサ１０３の８系統の出力と、画素との対応関係は、図３に示すようなものであるとする。   The output terminal 207 is a terminal for outputting the result of the signal processing operation of the processor 204. The output terminal 208 is a terminal for outputting a motion vector detection result. Note that the correspondence between the eight outputs of the CMOS image sensor 103 and the pixels is as shown in FIG.

次に、本実施形態の撮像装置における動作の一例を説明する。
図１１に示すように、ＶＡＰ１３５、光学絞り１０１、フォーカスレンズ系１０２を通じて入射された光学像は、ＣＭＯＳイメージセンサ１０３の受光面上に結像される。受光面上に結像された光学像は、ＣＭＯＳイメージセンサ１０３の各画素を構成するフォトダイオードで光電変換され、光電子が生成される。そして、図３に示した第１〜第８の分割エリア１０３ａ〜１０３ｈの内にある画素の光電子は、第１〜第８の出力部を通じて画像信号（電圧）として出力される。 Next, an example of the operation in the imaging apparatus of this embodiment will be described.
As shown in FIG. 11, the optical image incident through the VAP 135, the optical diaphragm 101, and the focus lens system 102 is formed on the light receiving surface of the CMOS image sensor 103. The optical image formed on the light receiving surface is photoelectrically converted by a photodiode that constitutes each pixel of the CMOS image sensor 103, and photoelectrons are generated. And the photoelectron of the pixel in the 1st-8th division area 103a-103h shown in FIG. 3 is output as an image signal (voltage) through the 1st-8th output part.

第１〜第８の出力部から出力された画像信号は、８系統の並列の読み出し経路を介して、第１〜第８のアナログフロントエンド１０５〜１１２に出力される。第１〜第８のアナログフロントエンド１０５〜１１２は、入力した８系統の画像信号の電圧を増幅した後、Ａ／Ｄ変換（アナログ・デジタル変換）して、８系統の画像データを生成する。生成された８系統の画像データは、第１〜第８のメモリ１１３〜１２０と、第１〜第８の信号処理回路１４１〜１４８に各々入力される。   The image signals output from the first to eighth output units are output to the first to eighth analog front ends 105 to 112 via the eight parallel readout paths. The first to eighth analog front ends 105 to 112 amplify the voltages of the inputted eight image signals, and then A / D convert (analog / digital conversion) to generate eight image data. The generated eight systems of image data are input to the first to eighth memories 113 to 120 and the first to eighth signal processing circuits 141 to 148, respectively.

第１〜第８のメモリ１１３〜１２０と、第１〜第８の信号処理回路１４１〜１４８に画像データが入力された後の動作については、図１３に示すタイムチャート及び図１４に示すフローチャートを参照しながら説明を行う。
図１３は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。図１４は、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を説明するフローチャートである。 The operation after image data is input to the first to eighth memories 113 to 120 and the first to eighth signal processing circuits 141 to 148 will be described with reference to the time chart shown in FIG. 13 and the flowchart shown in FIG. The description will be given with reference.
FIG. 13 is a timing chart illustrating an example of time transitions between the accumulation operation, the readout operation, and the signal processing in the imaging apparatus. FIG. 14 is a flowchart for explaining an example of a time transition among the accumulation operation, the read operation, and the signal processing in the imaging apparatus.

まず、図１４のフローチャートのステップＳ１１において、ドライブ制御回路１０４の制御によって、１Ｖ（１垂直走査期間）前にＣＭＯＳイメージセンサ１０３に蓄積された光電子の読み出しが行われる。図１３のタイムチャートでは、期間１３１（タイミングｔ１〜ｔ２）にこの光電子の読み出しが行われる。具体的に説明すると、ドライブ制御回路１０４は、駆動用信号を生成してＣＭＯＳイメージセンサ１０３を駆動するのと同時に、この駆動用信号に同期させて、第１〜第８のメモリ１１３〜１２０の書き込みアドレス及び書き込みイネーブル制御信号を生成する。これら書き込みアドレス及び書き込みイネーブル制御信号により、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データが、第１〜第８のメモリ１１３〜１２０に格納される。   First, in step S11 of the flowchart of FIG. 14, the photoelectrons accumulated in the CMOS image sensor 103 before 1 V (one vertical scanning period) are read out by the control of the drive control circuit 104. In the time chart of FIG. 13, this photoelectron is read during a period 131 (timing t1 to t2). More specifically, the drive control circuit 104 generates a driving signal to drive the CMOS image sensor 103, and at the same time, synchronizes with the driving signal to store the first to eighth memories 113 to 120. A write address and a write enable control signal are generated. The image data output from the first to eighth analog front ends 105 to 112 is stored in the first to eighth memories 113 to 120 by these write address and write enable control signals.

次に、図１４のステップＳ１２において、第１〜第８の信号処理回路１４１〜１４８は、輪郭抽出処理を実行する。図１３のタイムチャートでは、期間１３０２（タイミングｔ１〜ｔ２）及び期間１３０３（タイミングｔ１〜ｔ３）に、この輪郭抽出処理が実行される。すなわち、第１〜第８のアナログフロントエンド１０５〜１１２から出力された画像データと、制御回路１３０から出力された輪郭抽出用プログラムとが入力されると、第１〜第８の信号処理回路１４１〜１４８は、輪郭抽出処理を実行する。図１２を参照しながら具体的に説明すると、データ入力端子２０１により入力された画像データは、プロセッサ２１０に入力する。一方、画像の輪郭を抽出するための信号処理プログラムである輪郭抽出用プログラムが、プログラム入力端子２０３を介して、プロセッサ２１０にロードされる。この輪郭抽出用プログラムは、プロセッサ２１０が、画像の輪郭を抽出のためのバンドパスフィルタを構成するための第１の演算プログラムである。これにより、プロセッサ２１０は、図１５（ａ）及び図１５（ｂ）に示すような画像輪郭信号１５０１、１５０２を生成し、生成した画像輪郭信号１５０１、１５０２を、出力端子２０７を介してフレームメモリ１３３に記憶する。尚、図１５（ａ）に示す画像輪郭信号１５０１は、１フィールド前の画像の輪郭を示す信号であり、図１５（ｂ）に示す画像輪郭信号１５０２は、現在のフィールドの画像の輪郭を示す信号である。   Next, in step S <b> 12 of FIG. 14, the first to eighth signal processing circuits 141 to 148 perform contour extraction processing. In the time chart of FIG. 13, this contour extraction processing is executed in a period 1302 (timing t1 to t2) and a period 1303 (timing t1 to t3). That is, when the image data output from the first to eighth analog front ends 105 to 112 and the contour extraction program output from the control circuit 130 are input, the first to eighth signal processing circuits 141 are input. ˜148 execute the contour extraction process. More specifically, with reference to FIG. 12, the image data input from the data input terminal 201 is input to the processor 210. On the other hand, a contour extraction program which is a signal processing program for extracting the contour of an image is loaded into the processor 210 via the program input terminal 203. This contour extraction program is a first calculation program for the processor 210 to configure a bandpass filter for extracting the contour of an image. As a result, the processor 210 generates image contour signals 1501 and 1502 as shown in FIGS. 15A and 15B, and the generated image contour signals 1501 and 1502 are output to the frame memory via the output terminal 207. 133 to store. Note that the image contour signal 1501 shown in FIG. 15A is a signal indicating the contour of the image one field before, and the image contour signal 1502 shown in FIG. 15B shows the contour of the image in the current field. Signal.

次に、図１４のステップＳ１３において、第１〜第８の信号処理回路１４１〜１４８は、動きベクトル検出処理を実行する。図１３のタイムチャートでは、期間１３０２（タイミングｔ１〜ｔ２）及び期間１３０３（タイミングｔ１〜ｔ３）に、この動きベクトル検出処理が実行される。すなわち、フレームメモリ１３３から出力された画像輪郭信号１５０１、１５０２と、制御回路１３０から出力された動きベクトル検出用プログラムとが入力されると、第１〜第８の信号処理回路１４１〜１４８は、動きベクトルを検出する。   Next, in step S13 of FIG. 14, the first to eighth signal processing circuits 141 to 148 execute motion vector detection processing. In the time chart of FIG. 13, this motion vector detection process is executed in a period 1302 (timing t1 to t2) and a period 1303 (timing t1 to t3). That is, when the image contour signals 1501 and 1502 output from the frame memory 133 and the motion vector detection program output from the control circuit 130 are input, the first to eighth signal processing circuits 141 to 148 are: Detect motion vectors.

図１２及び図１５を参照しながら具体的に説明すると、まず、第１〜第８の信号処理回路１４１〜１４８に設けられたプロセッサ２１０は、フレームメモリ１３３から、１フィールド前の画像輪郭信号１５０１の一部１５０１ａを読み出す（図１５（ｃ）を参照）。そして、プロセッサ２１０は、読み出された１フィールド前の画像輪郭信号１５０１ａを、バッファメモリ２０５に一時的に記憶する。一方、現在のフィールドの画像輪郭信号と１フィールド前の画像輪郭信号とを比較して動きベクトルを検出するための信号処理プログラムである動きベクトル検出用プログラムが第２の演算プログラムとして、プロセッサ２１０にロードされる。   A specific description will be given with reference to FIGS. 12 and 15. First, the processor 210 provided in the first to eighth signal processing circuits 141 to 148 receives the image contour signal 1501 of the previous field from the frame memory 133. Is read out (see FIG. 15C). Then, the processor 210 temporarily stores the read image contour signal 1501a one field before in the buffer memory 205. On the other hand, a motion vector detection program, which is a signal processing program for detecting a motion vector by comparing the image contour signal of the current field with the image contour signal of the previous field, is sent to the processor 210 as a second arithmetic program. Loaded.

次に、制御回路１３０は、フィールドメモリ１３３を制御し、図１５に（ｄ）に示すように、現在のフィールドの画像輪郭信号１５０２の中で位置を変化させて、現在のフィールドの画像輪郭信号１５０２の一部１５０２ａ〜１５０２ｃを抽出する。そして、制御回路１３０は、抽出した現在のフィールドの画像輪郭信号１５０２ａ〜１５０２ｃを、第１〜第８の信号処理回路１４１〜１４８に出力する。そして、プロセッサ２１０は、フレームメモリ１３３から読み出された現在のフィールドの画像輪郭信号１５０２ａ〜１５０２ｃと、バッファメモリ２０５に記憶されている１フィールド前の画像輪郭信号１５０３ａとの相関を求める。そして、プロセッサ２１０は、求めた相関が最も高い２つの画像輪郭信号における動きベクトルをバッファメモリ２０６に記憶する。図１５（ｄ）に示した例では、１フィールド前の画像輪郭信号１５０１ａと、現在のフィールドの画像輪郭信号１５０２ｃとにおける動きベクトルがバッファメモリ２０６に記憶される。   Next, the control circuit 130 controls the field memory 133 to change the position in the image contour signal 1502 of the current field as shown in FIG. A part 1502a to 1502c of 1502 is extracted. Then, the control circuit 130 outputs the extracted image contour signals 1502a to 1502c of the current field to the first to eighth signal processing circuits 141 to 148. Then, the processor 210 obtains a correlation between the image contour signals 1502a to 1502c of the current field read from the frame memory 133 and the image contour signal 1503a of the previous field stored in the buffer memory 205. Then, the processor 210 stores the motion vectors in the two image contour signals having the highest correlation obtained in the buffer memory 206. In the example shown in FIG. 15D, motion vectors in the image contour signal 1501a of the previous field and the image contour signal 1502c of the current field are stored in the buffer memory 206.

このようにして、第１〜第８の信号処理回路１４１〜１４８において検出された動きベクトルは、ＣＰＵ１３１に送られる。そして、図１４のステップ１４において、ＣＰＵ１３１は、ＶＡＰ調整を行う。図１３のタイムチャートでは、タイミングｔ７に、このＶＡＰ調整が行われる。ＣＰＵ１３１は、図示しないＶＡＰ調整用プログラムに従い、ＶＡＰ制御回路１３４を制御し、第１〜第８の信号処理回路１４１〜１４８で検出された動きベクトルに基づいて、手ぶれを打ち消す方向にＶＡＰ１３５の頂角を調整する。この時点において、ＣＭＯＳイメージセンサ１０３の受光面における光学像が更新される。   In this manner, the motion vectors detected by the first to eighth signal processing circuits 141 to 148 are sent to the CPU 131. In step 14 of FIG. 14, the CPU 131 performs VAP adjustment. In the time chart of FIG. 13, this VAP adjustment is performed at timing t7. The CPU 131 controls the VAP control circuit 134 in accordance with a VAP adjustment program (not shown), and based on the motion vectors detected by the first to eighth signal processing circuits 141 to 148, the vertex angle of the VAP 135 in the direction of canceling camera shake. Adjust. At this time, the optical image on the light receiving surface of the CMOS image sensor 103 is updated.

次に、図１４のステップＳ１６において、ＣＭＯＳイメージセンサ１０３は、光電子の蓄積を開始する。図１３のタイムチャートでは、タイミングｔ７（ＶＡＰ調整）以降に光電子の蓄積が行われる。
次に、図１４のステップ１７において、第１〜第８の信号処理回路１４１〜１４８は、第１〜第８のメモリ１１３〜１２０に記憶されている画像データを参照する。図１３のタイムチャートでは、期間１３０４（タイミングｔ４〜ｔ５）に画像データが参照される。すなわち、１Ｖ前にＣＭＯＳイメージセンサ１０３に蓄積された光電子に基づいて第１〜第８のアナログフロントエンド１０５〜１１２で生成された画像データが、第１〜第８のメモリ１１３〜１２０から第１〜第８の信号処理回路１４１〜１４８に読み出される。このとき、第１〜第８のメモリ１１３〜１２０の読み出しアドレスは、制御回路１３０により制御される。 Next, in step S16 of FIG. 14, the CMOS image sensor 103 starts accumulating photoelectrons. In the time chart of FIG. 13, photoelectrons are accumulated after timing t7 (VAP adjustment).
Next, in step 17 of FIG. 14, the first to eighth signal processing circuits 141 to 148 refer to the image data stored in the first to eighth memories 113 to 120. In the time chart of FIG. 13, image data is referred to during a period 1304 (timing t4 to t5). In other words, the image data generated by the first to eighth analog front ends 105 to 112 based on the photoelectrons accumulated in the CMOS image sensor 103 before 1V are first to eighth from the first to eighth memories 113 to 120. To the eighth signal processing circuits 141 to 148. At this time, the read addresses of the first to eighth memories 113 to 120 are controlled by the control circuit 130.

次に、図１４のステップＳ１８において、第１〜第８の信号処理回路１４１〜１４８は、出力する画像を生成するための出力画像処理を行う。図１３のタイムチャートでは、期間１３０５（タイミングｔ４〜ｔ６）に出力画像処理が行われる。具体的に説明すると、第１〜第８の信号処理回路１４１〜１４８は、出力画像を形成するために必要な複数の処理を、制御回路１３０による演算処理プログラムに従って行う。ここで、出力画像を形成するために必要な処理とは、例えば、輝度信号生成、単板色フィルタ別の同時化処理、色マトリクス演算処理、輝度アパーチャ付加処理、ガンマ補正処理、及びホワイトバランス処理等である。これにより、図３に示した各分割エリア（画素範囲）１０３ａ〜１０３ｈに対応する８系統の出力画像が形成される。形成された出力画像は、第９の信号処理回路１２９に入力される。   Next, in step S <b> 18 of FIG. 14, the first to eighth signal processing circuits 141 to 148 perform output image processing for generating an image to be output. In the time chart of FIG. 13, output image processing is performed in a period 1305 (timing t4 to t6). Specifically, the first to eighth signal processing circuits 141 to 148 perform a plurality of processes necessary for forming an output image according to an arithmetic processing program by the control circuit 130. Here, the processes necessary to form an output image include, for example, luminance signal generation, synchronization processing for each single-plate color filter, color matrix calculation processing, luminance aperture addition processing, gamma correction processing, and white balance processing. Etc. Thereby, eight systems of output images corresponding to the divided areas (pixel ranges) 103a to 103h shown in FIG. 3 are formed. The formed output image is input to the ninth signal processing circuit 129.

第９の信号処理回路１２９は、入力した８系統の出力画像を合成する処理を行う。この合成処理の内容とタイミングは、制御回路１３０によりプログラムされている。そして、図１３のタイムチャートにおけるタイミングｔ６（出力画像処理）で、第９の信号処理回路１２９にて合成された最終出力画像が、出力画像端子１３２より出力される。この最終出力画像は、ラスタスキャン信号にはなっておらず、テレビジョン受像機や記録媒体に適合するフォーマットにはなっていないが、図示しないフォーマット変換手段を設けることにより、テレビジョン受像機等へ提供できる。   The ninth signal processing circuit 129 performs a process of synthesizing the eight input output images. The contents and timing of this synthesis process are programmed by the control circuit 130. Then, the final output image synthesized by the ninth signal processing circuit 129 is output from the output image terminal 132 at timing t6 (output image processing) in the time chart of FIG. This final output image is not a raster scan signal and is not in a format suitable for a television receiver or a recording medium, but by providing a format conversion means (not shown) to a television receiver or the like. Can be provided.

以上のように、本実施形態では、ＣＰＵ１３１は、実行するプログラム（（輪郭抽出用プログラム、動きベクトル検出用プログラム、ＶＡＰ調整用プログラム、演算処理プログラム等）を、処理すべき内容に応じて変更する。これにより、ＣＭＯＳセンサ１０３からの光電子の並列出力、動きベクトルの検出、ＶＡＰ１３５の調整、及び出力画像の生成の順番で時系列的に処理を行うことができる。これにより、撮像装置の各部の動作を、撮像電荷の読み出し動作に合わせて行わなければならないという従来技術における制約を取り除くことができ、撮像電荷の読み出し速度、タイミングに大幅な自由度を与えることができる。   As described above, in the present embodiment, the CPU 131 changes a program to be executed (such as a contour extraction program, a motion vector detection program, a VAP adjustment program, and an arithmetic processing program) according to the content to be processed. Thereby, processing can be performed in time series in the order of parallel output of photoelectrons from the CMOS sensor 103, motion vector detection, VAP 135 adjustment, and output image generation. The restriction in the prior art that the operation must be performed in accordance with the readout operation of the imaging charge can be removed, and a great degree of freedom can be given to the readout speed and timing of the imaging charge.

また、このようにして行われる時系列的な処理において、前の垂直走査期間（Ｖ）にＣＭＯＳイメージセンサ１０３に蓄積した光電子に基づく画像データを用いて、動きベクトルを先に検出しておく。そして、検出しておいた動きベクトルに基づいてＶＡＰ１３５を調整した後に、現在の垂直走査期間（Ｖ）における光電子の蓄積を開始する。このとき、動きベクトルの検出と、その動きベクトルに基づくＶＡＰ１３５の調整とを同じフレーム期間（又はフィールド期間）に行う。これにより、手ぶれ補正の応答性が大幅に向上するものとなり（例えば図１６に示した手振れ補正のタイミングより１Ｖ早く、手振れ補正を行うことが可能となり）、適切に且つ迅速に出力画像の形成を行うことができる。   In the time-series processing performed in this way, a motion vector is detected in advance using image data based on photoelectrons accumulated in the CMOS image sensor 103 during the previous vertical scanning period (V). Then, after adjusting the VAP 135 based on the detected motion vector, the accumulation of photoelectrons in the current vertical scanning period (V) is started. At this time, detection of the motion vector and adjustment of the VAP 135 based on the motion vector are performed in the same frame period (or field period). This greatly improves the responsiveness of the camera shake correction (for example, the camera shake correction can be performed 1V earlier than the camera shake correction timing shown in FIG. 16), and the output image can be formed appropriately and quickly. It can be carried out.

尚、本実施形態においても、第１の実施形態と同様に、８系統の読み出し経路を有するＣＭＯＳイメージセンサと同じく８系統の信号処理系とを有する構成を例に挙げて示したが、系統の数やセンサの種類は、これに限定されない。
また、第１の実施形態（第３の実施形態）では、ＡＦ評価値（動きベクトル）を先に算出しておき、先に算出しておいたＡＦ評価値（動きベクトル）に基づいてフォーカスレンズを調整する（手振れを補正する）場合を例に挙げて説明した。しかしながら、画像信号を調整する処理であれば、ＡＦ評価値（動きベクトル）の算出、及びフォーカスレンズの調整（手振れの補正）に限定されない。例えば、ＡＥ評価値を先に算出し、算出したＡＥ評価値に基づいて自動露出（ＡＥ）を行ってもよい。この他、ＡＷＢ（AWB Auto White Balance）評価値を先に算出し、算出したＡＷＢ評価値に基づいてＡＷＢを行ってもよい。 In the present embodiment, as in the first embodiment, a configuration having an eight signal processing system as well as a CMOS image sensor having eight reading paths is shown as an example. The number and the type of sensor are not limited to this.
In the first embodiment (third embodiment), the AF evaluation value (motion vector) is calculated in advance, and the focus lens is based on the AF evaluation value (motion vector) calculated in advance. The case of adjusting (correcting camera shake) has been described as an example. However, the process for adjusting the image signal is not limited to the calculation of the AF evaluation value (motion vector) and the adjustment of the focus lens (camera shake correction). For example, the AE evaluation value may be calculated first, and automatic exposure (AE) may be performed based on the calculated AE evaluation value. In addition, an AWB (AWB Auto White Balance) evaluation value may be calculated first, and AWB may be performed based on the calculated AWB evaluation value.

（本発明の他の実施形態）
前述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給してもよい。そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。 (Other embodiments of the present invention)
In order to operate various devices to realize the functions of the above-described embodiments, program codes of software for realizing the functions of the above-described embodiments are provided to an apparatus or a computer in the system connected to the various devices. You may supply. What was implemented by operating said various devices according to the program stored in the computer (CPU or MPU) of the system or apparatus is also included in the category of the present invention.

また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになる。また、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。   In this case, the program code of the software itself realizes the functions of the above-described embodiment. The program code itself and means for supplying the program code to a computer, for example, a recording medium storing the program code constitute the present invention. As a recording medium for storing the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.

また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでない。そのプログラムコードがコンピュータにおいて稼働しているオペレーティングシステムあるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。   Further, the functions of the above-described embodiments are not only realized by executing the program code supplied by the computer. It goes without saying that the program code is also included in the embodiment of the present invention even when the function of the above-described embodiment is realized in cooperation with an operating system or other application software running on the computer. Yes.

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードに備わるＣＰＵが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
また、供給されたプログラムコードがコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいて機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。 Further, after the supplied program code is stored in the memory provided in the function expansion board of the computer, the CPU provided in the function expansion board performs part or all of the actual processing based on the instruction of the program code. Needless to say, the present invention includes the case where the functions of the above-described embodiments are realized by the processing.
Further, after the supplied program code is stored in the memory provided in the function expansion unit connected to the computer, the CPU or the like provided in the function expansion unit performs part or all of the actual processing based on the instruction of the program code. Do. Needless to say, the present invention includes the case where the functions of the above-described embodiments are realized by the processing.

尚、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。   It should be noted that each of the above-described embodiments is merely a specific example for carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. . That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.

本発明の第１の実施形態を示し、撮像装置のハードウェアの構成の一例を示した図である。1 is a diagram illustrating an example of a hardware configuration of an imaging apparatus according to a first embodiment of the present invention. 本発明の第１の実施形態を示し、第１〜第８の信号処理回路の内部構成の一例を示す図である。It is a figure which shows the 1st Embodiment of this invention and shows an example of the internal structure of the 1st-8th signal processing circuit. 本発明の第１の実施形態を示し、ＣＭＯＳイメージセンサの８系統の出力と、画素との対応関係の一例を示す図である。It is a figure which shows the 1st Embodiment of this invention and shows an example of the correspondence of 8 systems output of a CMOS image sensor, and a pixel. 本発明の第１の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。3 is a timing chart illustrating an example of a time transition among an accumulation operation, a read operation, and signal processing in the imaging apparatus according to the first embodiment of this invention. 本発明の第１の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を説明するフローチャートである。5 is a flowchart illustrating an example of time transitions of accumulation operation, readout operation, and signal processing in the imaging apparatus according to the first embodiment of this invention. 本発明の第２の実施形態を示し、撮像装置のハードウェアの構成の一例を示した図である。FIG. 8 is a diagram illustrating an example of a hardware configuration of an imaging apparatus according to the second embodiment of this invention. 本発明の第２の実施形態を示し、ＣＭＯＳイメージセンサ部の内部構成の一例を示す図である。It is a figure which shows the 2nd Embodiment of this invention and shows an example of an internal structure of a CMOS image sensor part. 本発明の第２の実施形態を示し、画像処理回路の内部構成と入出力画素との関係の一例を示す図である。FIG. 9 is a diagram illustrating an example of a relationship between an internal configuration of an image processing circuit and input / output pixels according to the second embodiment of this invention. 本発明の第２の実施形態を示し、第１〜第５の演算回路の内部構成の一例を示した図である。FIG. 8 is a diagram illustrating an example of an internal configuration of first to fifth arithmetic circuits according to the second embodiment of this invention. 本発明の第２の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。FIG. 9 is a timing chart illustrating an example of time transitions of accumulation operation, readout operation, and signal processing in the imaging apparatus according to the second embodiment of the present invention. 本発明の第３の実施形態を示し、撮像装置のハードウェアの構成の一例を示した図である。FIG. 9 is a diagram illustrating an example of a hardware configuration of an imaging apparatus according to a third embodiment of the present invention. 本発明の第３の実施形態を示し、第１〜第８の信号処理回路の内部構成の一例を示す図である。It is a figure which shows the 3rd Embodiment of this invention and shows an example of the internal structure of the 1st-8th signal processing circuit. 本発明の第３の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を示すタイミングチャートである。FIG. 10 is a timing chart illustrating an example of time transitions of accumulation operation, readout operation, and signal processing in the imaging apparatus according to the third embodiment of the present invention. 本発明の第３の実施形態を示し、撮像装置における蓄積動作と読み出し動作と信号処理との時間遷移の一例を説明するフローチャートである。FIG. 10 is a flowchart illustrating an example of time transition among accumulation operation, readout operation, and signal processing in the imaging apparatus according to the third embodiment of this invention. 本発明の第３の実施形態を示し、画像輪郭信号の一例を示した図である。It is the figure which showed the 3rd Embodiment of this invention and showed an example of the image outline signal. 従来の技術を示し、撮像装置における撮像処理及び信号処理の様子を示す図である。It is a figure which shows the prior art and shows the mode of the imaging process and signal processing in an imaging device.

符号の説明Explanation of symbols

１０１ 光学絞り
１０２ フォーカスレンズ系
１０３ ＣＭＯＳイメージセンサ
１０４ ドライブ制御回路
１０５〜１１２ 第１〜第８のアナログフロントエンド
１１３〜１２０ 第１〜第８のメモリ
１２１〜１２９ 第１〜第９の信号処理回路
１３０ 制御回路
１３１ ＣＰＵ
１３４ ＶＡＰ制御回路
１３５ ＶＡＰ
１４１〜１４８ 第１〜第８の信号処理回路
２０４ プロセッサ
２０５ 演算バッファメモリ
２０６ 積分回路
６０３ 撮像処理部
６０４ ＣＭＯＳイメージセンサ部
６０５ 第１のメモリ
６０６ 第２のメモリ
６０７ 画像処理回路
６０８ 第３のメモリ
６０９ 駆動回路
６１０ プログラム制御回路
６１１ 記録系信号処理部
６１３ ＣＰＵ
６１４ ラインピーク積分回路 DESCRIPTION OF SYMBOLS 101 Optical aperture 102 Focus lens system 103 CMOS image sensor 104 Drive control circuit 105-112 1st-8th analog front end 113-120 1st-8th memory 121-129 1st-9th signal processing circuit 130 Control circuit 131 CPU
134 VAP control circuit 135 VAP
141 to 148 First to eighth signal processing circuits 204 Processor 205 Operation buffer memory 206 Integration circuit 603 Imaging processing unit 604 CMOS image sensor unit 605 First memory 606 Second memory 607 Image processing circuit 608 Third memory 609 Drive circuit 610 Program control circuit 611 Recording system signal processor 613 CPU
614 Line peak integration circuit

Claims (10)

調整された撮像条件において、光電変換を行って画素信号を生成する撮像領域と、
前記撮像領域で生成された複数の画素信号を並列に読み出す読み出し手段と、
前記読み出し手段により並列に読み出された複数の画像信号から、前記撮像条件を調整するための調整値を算出する算出手段と、
前記読み出し手段により並列に読み出された複数の画素信号に基づく画像を形成する画像形成手段と、
前記算出手段、及び前記画像形成手段で実行されるプログラムを、実行すべき内容に応じて変更する変更手段とを有し、
前記変更手段がプログラムを変更することにより、前記算出手段、及び前記画像形成手段が、時系列的に動作することを特徴とする撮像装置。 In an adjusted imaging condition, an imaging area that performs photoelectric conversion to generate a pixel signal;
Reading means for reading in parallel a plurality of pixel signals generated in the imaging region;
Calculating means for calculating an adjustment value for adjusting the imaging condition from a plurality of image signals read in parallel by the reading means;
Image forming means for forming an image based on a plurality of pixel signals read in parallel by the reading means;
And a changing unit that changes the program executed by the calculating unit and the image forming unit according to the content to be executed,
An image pickup apparatus, wherein the calculating unit and the image forming unit operate in time series when the changing unit changes a program. 光電変換を行って画素信号を生成する撮像領域と、
前記撮像領域で生成された複数の画素信号を並列に読み出す読み出し手段と、
前記読み出し手段により複数の画素信号が並列に読み出された後に、前記撮像領域に光を結像するための光学系の調整値を算出する算出手段と、
前記算出手段により調整値が算出されたフレーム期間又はフィールド期間と同一の期間に、前記算出手段により算出された調整値に基づいて、前記光学系を調整する調整手段と、
前記調整手段により調整が行われた後に、前記読み出し手段により並列に読み出された複数の画素信号に基づく画像を形成する画像形成手段とを有することを特徴とする撮像装置。 An imaging region that performs photoelectric conversion to generate a pixel signal;
Reading means for reading in parallel a plurality of pixel signals generated in the imaging region;
A calculation unit that calculates an adjustment value of an optical system for imaging light in the imaging region after a plurality of pixel signals are read in parallel by the reading unit;
An adjustment unit that adjusts the optical system based on the adjustment value calculated by the calculation unit in the same period as the frame period or the field period in which the adjustment value is calculated by the calculation unit;
An image forming apparatus comprising: an image forming unit configured to form an image based on a plurality of pixel signals read in parallel by the reading unit after the adjustment by the adjusting unit. 前記算出手段は、１フィールド期間又は１フレーム期間前に形成された画像のデータを用いて、前記光学系の調整値を算出することを特徴とする請求項１又は２に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the calculation unit calculates an adjustment value of the optical system using data of an image formed before one field period or one frame period. 前記算出手段により算出された調整値に基づく調整が行われた後に、前記撮像領域に対し、光電子の蓄積を開始させる蓄積制御手段を有することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。   4. The storage apparatus according to claim 1, further comprising an accumulation control unit that starts accumulation of photoelectrons in the imaging area after adjustment based on the adjustment value calculated by the calculation unit. The imaging device described in 1. 前記算出手段は、前記撮像条件を調整するための調整値として、オートフォーカス調整値を算出し、
前記算出手段により算出されたオートフォーカス調整値に基づいてフォーカス用光学系を制御することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。 The calculation means calculates an autofocus adjustment value as an adjustment value for adjusting the imaging condition,
5. The imaging apparatus according to claim 1, wherein a focusing optical system is controlled based on an autofocus adjustment value calculated by the calculation unit. 前記算出手段は、前記撮像条件を調整するための調整値として、撮像装置の振れ量を算出し、
前記算出手段により算出された振れ量に基づいて前記撮像領域の受光面上に結像する光学像の結像位置を変更することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。 The calculation means calculates a shake amount of the imaging apparatus as an adjustment value for adjusting the imaging condition,
5. The imaging position of an optical image formed on the light receiving surface of the imaging region is changed based on the shake amount calculated by the calculating unit. 6. Imaging device. 前記撮像領域は、ＣＭＯＳイメージセンサ内に形成され、
前記読み出し手段は、前記ＣＭＯＳイメージセンサで生成された複数の画素信号を並列にデジタル信号に変換し、デジタル信号に変換した画像信号を並列にメモリに保持し、メモリに保持した画像信号を読み出すことを特徴とする請求項１〜６の何れか１項に記載の撮像装置。 The imaging region is formed in a CMOS image sensor,
The reading means converts a plurality of pixel signals generated by the CMOS image sensor into digital signals in parallel, holds the image signals converted into digital signals in parallel in a memory, and reads out the image signals held in the memory The imaging apparatus according to claim 1, wherein 前記撮像領域は、光電変換を行って生成した複数の画素信号を並列にサンプリングホールドするＣＭＯＳイメージセンサ内に形成され、
前記読み出し手段は、前記ＣＭＯＳイメージセンサでサンプリングホールドされた後に複数の画像信号を並列にデジタル信号に変換し、デジタル信号に変換した画像信号を並列に読み出すことを特徴とする請求項１〜６の何れか１項に記載の撮像装置。 The imaging region is formed in a CMOS image sensor that samples and holds a plurality of pixel signals generated by performing photoelectric conversion in parallel.
7. The reading device according to claim 1, wherein the reading means converts a plurality of image signals into digital signals in parallel after being sampled and held by the CMOS image sensor, and reads the image signals converted into digital signals in parallel. The imaging device according to any one of the above. 光電変換を行って画素信号を生成する撮像領域で生成された複数の画素信号を並列に読み出す撮像装置の撮像処理方法であって、
並列に読み出された複数の画像信号から、前記撮像条件を調整するための調整値を算出する算出ステップと、
並列に読み出された複数の画素信号に基づく画像を形成する画像形成ステップと、
前記算出ステップ、及び前記画像形成ステップで実行されるプログラムを、実行すべき内容に応じて変更する変更ステップとを有し、
前記変更ステップがプログラムを変更することにより、前記算出ステップ、前記調整ステップ、及び前記画像形成ステップが、時系列的に実行されることを特徴とする撮像処理方法。 An imaging processing method of an imaging apparatus that reads in parallel a plurality of pixel signals generated in an imaging region that performs photoelectric conversion to generate pixel signals,
A calculation step of calculating an adjustment value for adjusting the imaging condition from a plurality of image signals read in parallel;
An image forming step of forming an image based on a plurality of pixel signals read in parallel;
Changing the program executed in the calculation step and the image forming step according to the content to be executed,
An imaging processing method, wherein the calculating step, the adjusting step, and the image forming step are executed in time series by changing the program in the changing step. 光電変換を行って画素信号を生成する撮像領域で生成された複数の画素信号を並列に読み出す撮像装置の撮像処理方法であって、
複数の画素信号が並列に読み出された後に、前記撮像領域に光を結像するための光学系の調整値を算出する算出ステップと、
前記算出ステップにより調整値が算出されたフレーム期間又はフィールド期間と同一の期間に、前記算出ステップにより算出された調整値に基づいて、前記光学系を調整する調整ステップと、
前記調整ステップにより調整が行われた後に、前記読み出しステップにより並列に読み出された複数の画素信号に基づく画像を形成する画像形成ステップとを有することを特徴とする撮像処理方法。 An imaging processing method of an imaging apparatus that reads in parallel a plurality of pixel signals generated in an imaging region that performs photoelectric conversion to generate pixel signals,
A calculation step of calculating an adjustment value of an optical system for imaging light in the imaging region after a plurality of pixel signals are read in parallel;
An adjustment step of adjusting the optical system based on the adjustment value calculated by the calculation step in the same period as the frame period or the field period in which the adjustment value is calculated by the calculation step;
An image forming method comprising: an image forming step of forming an image based on a plurality of pixel signals read in parallel by the reading step after the adjustment is performed by the adjusting step.

Images