JP2019024172A - Imaging apparatus and control method of the same - Google Patents
Imaging apparatus and control method of the same Download PDFInfo
- Publication number
- JP2019024172A JP2019024172A JP2017142841A JP2017142841A JP2019024172A JP 2019024172 A JP2019024172 A JP 2019024172A JP 2017142841 A JP2017142841 A JP 2017142841A JP 2017142841 A JP2017142841 A JP 2017142841A JP 2019024172 A JP2019024172 A JP 2019024172A
- Authority
- JP
- Japan
- Prior art keywords
- image
- read
- image signal
- unit
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Focusing (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は撮像装置およびその制御方法に関する。 The present invention relates to an imaging apparatus and a control method thereof.
撮像素子が有する画素のうち、一部を画素から信号を読み出して画像を生成することにより、読み出し速度の向上や画像の倍率の変更などを実現することが知られている(特許文献1)。 It is known to improve the reading speed, change the magnification of an image, and the like by reading a signal from a part of the pixels of the image sensor and generating an image (Patent Document 1).
通常、表示装置の解像度は撮像素子の解像度(画素数)よりも低い。そのため、表示用の画像を生成する場合には、表示に必要な数の画素だけを読み出すことで、読み出しおよび画像処理に要する時間を短縮できる。 Usually, the resolution of the display device is lower than the resolution (number of pixels) of the image sensor. Therefore, when generating an image for display, the time required for reading and image processing can be shortened by reading out only the number of pixels necessary for display.
例えば動画記録を行いながらライブビュー表示を行う場合のように、同一フレームの撮影画像から記録用と表示用の画像を生成する場合がある。このような場合、記録用の画像を生成するために、表示用の画像の生成に必要な画素より多くの画素から信号を読み出す必要がある。その結果、撮影から表示用の画像が得られるまでに要する時間が、ライブビュー表示だけを行う場合よりも長くなり、ライブビュー表示のリアルタイム性が低下する。 For example, there are cases in which recording and display images are generated from captured images of the same frame, such as when live view display is performed while recording a moving image. In such a case, in order to generate a recording image, it is necessary to read out signals from more pixels than are necessary for generating a display image. As a result, the time required for obtaining an image for display after shooting becomes longer than when only live view display is performed, and the real-time property of live view display is reduced.
このような従来技術の課題に鑑み、本発明は、同一フレームの撮像画像について、使用する画像信号の数が異なる処理を実行する場合に、使用する画像信号の数が少ない処理の遅延を抑制可能な撮像装置およびその制御方法を提供することを目的とする。 In view of such a problem of the prior art, the present invention can suppress a delay in a process with a small number of image signals to be used when executing a process with a different number of image signals to be used for captured images of the same frame. An object of the present invention is to provide an image pickup apparatus and a control method thereof.
上述の目的は、撮像素子と、撮像素子から画像信号を読み出す読み出し手段と、読み出し手段が読み出した画像信号を用いた第1の処理を実行する第1の処理手段と、読み出し手段が読み出した画像信号を用いた第2の処理を実行する第2の処理手段と、を有し、第2の処理は第1の処理よりも少ない画像信号を用いる処理であり、読み出し手段は、第2の処理に用いられる画像信号を第2の処理に用いられない画像信号よりも優先して読み出して第2の処理手段に供給し、さらに、読み出し手段が読み出した画像信号を、第2の処理に用いられる画像信号を優先して読み出さない場合と同じ順序に並び替えて第1の処理手段に供給する第1の並び替え手段と、を有することを特徴とする撮像装置によって達成される。 The above-described object is to provide an imaging device, a reading unit that reads an image signal from the imaging device, a first processing unit that executes a first process using the image signal read by the reading unit, and an image read by the reading unit. Second processing means for executing a second process using a signal, the second process is a process using fewer image signals than the first process, and the reading means is a second process. The image signal used for the image processing is read out in preference to the image signal not used in the second processing and supplied to the second processing means, and the image signal read out by the reading means is used in the second processing. This is achieved by an imaging apparatus comprising: a first rearrangement unit that rearranges the image signal in the same order as that when the image signal is not preferentially read and supplies the first signal to the first processing unit.
本発明によれば、同一フレームの撮像画像について、使用する画像信号の数が異なる処理を実行する場合に、使用する画像信号の数が少ない処理の遅延を抑制可能な撮像装置およびその制御方法を提供することができる。 According to the present invention, there is provided an imaging apparatus capable of suppressing processing delay with a small number of image signals to be used and a method for controlling the same when executing processing with different numbers of image signals to be used for captured images of the same frame. Can be provided.
以下、図面を参照しながら本発明の例示的な実施形態を説明する。本発明は、例えば動画像を記録しながらライブビュー表示を行うといったような、同一フレームの撮像画像について、使用する画像信号の数が異なる処理を実行することが可能な任意の撮像装置に適用可能である。なお、本明細書における撮像装置とは、カメラのみならず、内蔵または外付けのカメラを制御可能な任意の電子機器を含む。このような電子機器にはスマートフォン、パーソナルコンピュータ、タブレット端末、ゲーム機などが含まれるが、これらに限定されない。 Hereinafter, exemplary embodiments of the present invention will be described with reference to the drawings. The present invention can be applied to any imaging apparatus capable of executing processing with different numbers of image signals to be used for captured images of the same frame, for example, performing live view display while recording a moving image. It is. Note that the imaging device in this specification includes not only a camera but also any electronic device that can control a built-in or external camera. Such electronic devices include, but are not limited to, smartphones, personal computers, tablet terminals, game machines, and the like.
図1は、本発明に係る実施形態の一例としてのデジタルカメラ100(以下、単にカメラ100と呼ぶ)の構成要素のうち、撮像素子から信号を読み出し、記録用の画像および表示用の画像を生成するために用いられる構成要素を模式的に示したブロック図である。
撮影光学系1は、フォーカスレンズおよび絞りを含み、被写体像を撮像素子2の結像面に形成する。撮像素子2は2次元配置された複数の画素を有し、画素が有する光電変換部によって被写体像を電気信号群(画像信号)に変換する。撮像素子2はCCDイメージセンサまたはCMOSイメージセンサであってよい。
FIG. 1 shows a digital camera 100 (hereinafter simply referred to as a camera 100) as an example of an embodiment according to the present invention, which reads out signals from an image sensor and generates a recording image and a display image. It is the block diagram which showed typically the component used in order to do.
The photographic
撮像IF部3(読み出し手段)は撮像素子2の駆動回路および読み出し回路を有し、システム制御部10の制御に従って撮像素子2から画像信号を読み出す。撮像IF部3はまた、読み出した画像信号をメモリ4に出力する。撮像IF部3はさらに、読み出した画像信号の一部、具体的には記録用画像の生成に用い、表示用画像の生成に用いない画像信号を現像部8にも出力するセレクタとしても機能する。
The imaging IF unit 3 (reading unit) includes a drive circuit and a readout circuit for the
メモリ4は画像信号を一時的に記憶するためのバッファとして用いられる。並び替え部5(第1の並び替え手段)は、メモリ4に記憶されている画像信号を、記録用の画像を構成する順序(撮像素子における並び)で読み出して現像部6に出力する。
The
現像部6(第1の処理手段)は例えばメモリおよび画像処理回路を有し、並び替え部5から供給される画像信号をメモリに格納する。現像部6は画像信号に現像処理(第1の処理)を適用して記録用の画像信号を生成する。現像処理はRAW画像信号を汎用的な画像信号に変換するための画像処理の総称である。現像処理には例えばノイズ低減、色補間、ホワイトバランス調整、光学歪み補正などの処理が含まれるが、特に処理の種類に制限はない。現像部6はさらに、管理情報の生成や画像信号の信号型式の変換(RGB→YCrCb)や符号化処理など、記録形式に応じた処理を実行し、画像信号を格納したデータファイルを生成する。データファイルの構造や、格納する管理情報の種類、画像信号のデータ形式は予め定められている。
The developing unit 6 (first processing unit) includes, for example, a memory and an image processing circuit, and stores the image signal supplied from the rearranging
記録部7は、システム制御部10の制御に従い、記録媒体にデータを記録したり、記録媒体に記録されたデータを読み出したりする。記録媒体は例えば着脱可能なメモリカードであってよい。
The
現像部8(第2の処理手段)は例えばメモリおよび画像処理回路を有し、撮像IF部3から供給される画像信号をメモリに格納する。現像部8は、画像信号に現像部6と同様の現像処理(第2の処理)を適用することにより、表示用の画像信号を生成する。現像部8はデータファイルを生成しない。現像部8は例えば表示部9の解像度に合わせた画像のスケーリング処理など、表示のための処理を画像信号に適用してもよい。
The developing unit 8 (second processing unit) includes, for example, a memory and an image processing circuit, and stores the image signal supplied from the
表示部9は例えばLCDなどの表示デバイス、ビデオメモリ、表示制御回路などを有する。表示制御回路は、現像部8からビデオメモリに書き込まれる画像信号を読み出し、LCDに表示させる。
The
システム制御部10は例えば1つ以上のプログラマブルプロセッサである。システム制御部10は、例えばROM102に記憶されているプログラムをRAM101に読み込んで実行することにより、上述した各部の動作を制御し、カメラ100の機能を実現する。なお、システム制御部10は、例えば表示用の画像信号に基づいて自動露出制御(AE)や自動焦点検出(AF)といった、一般的なカメラが有する機能も実現する。
The
操作部103は、ボタン、スイッチ、タッチパネルなどの入力デバイス群の総称である。操作部103の操作はシステム制御部10で検出され、システム制御部10は検出された操作に応じた処理を実行する。
The
RAM101はシステム制御部10がワークエリアとして用いるメモリである。なお、RAM101、メモリ4、および現像部6,8が有するメモリは、同一メモリ空間の一部領域であってもよい。
ROM102は、システム制御部10が実行するためのプログラム、GUIデータ、設定値などを記憶する。ROM102は書き換え可能であってよい。
A
The
本実施形態においては、撮像素子2の画素領域について、所定サイズの部分領域ごとにその用途が予め設定されているものとする。具体的には、各部分領域について、記録および表示の両方に用いる領域(表示兼用領域)か、記録だけに用いる領域(記録専用領域)かが予め設定されているものとする。部分領域とその用途との関係は例えばROM102に記憶しておくことができる。
In the present embodiment, the use of the pixel area of the
ここでは一例として、複数の画素が2次元配置された画素領域をラスタースキャンする際の1スキャンラインに相当する画素ラインを部分領域とする。なお、部分領域を複数の画素ラインで構成してもよい。また、画素領域をスキャン方向とスキャン方向に直交する二方向とにそれぞれ複数分割した個々の領域を部分領域としてもよい。 Here, as an example, a pixel line corresponding to one scan line when raster scanning a pixel region in which a plurality of pixels are two-dimensionally arranged is defined as a partial region. The partial area may be composed of a plurality of pixel lines. In addition, individual regions obtained by dividing a pixel region into a plurality of regions in a scanning direction and two directions orthogonal to the scanning direction may be used as partial regions.
以下の説明では、表示兼用領域に設定された画素ラインを表示兼用ライン、記録専用領域に設定された画素ラインを記録専用ラインと呼ぶ。また、本実施形態では、表示兼用ラインを周期的に設定する。これは、1フレームの撮像画像をおおよそ均等に縮小した表示用画像を表示兼用ラインから読み出した画像信号に基づいて生成するためである。 In the following description, the pixel line set in the display shared area is called a display shared line, and the pixel line set in the recording dedicated area is called a recording dedicated line. In this embodiment, the display line is set periodically. This is because a display image obtained by reducing a captured image of one frame approximately evenly is generated based on an image signal read from the display line.
図2(a)は、表示兼用ラインが4画素ラインごとに割り当てられた、13画素ラインから構成される画素領域を模式的に示している。先頭の画素ラインの番号を0、nを0以上の整数とすると、番号が4nの画素ラインが表示兼用ライン、残りの画素ラインが記録専用ラインである。 FIG. 2A schematically shows a pixel region composed of 13 pixel lines, in which a display combined line is assigned every 4 pixel lines. When the number of the first pixel line is 0 and n is an integer greater than or equal to 0, the pixel line with the number 4n is a display-shared line, and the remaining pixel lines are recording-only lines.
本実施形態において、撮像IF部3は、記録用と表示用の両方の画像を生成する必要がある場合、1フレームの画像信号について、全ての表示兼用ラインを読み出してから、記録専用ラインを読み出す。従って、撮像素子2からは図2(b)に示す順序で画像信号が読み出される。なお、撮像IF部3は、例えば撮影スタンバイ時のように、記録を実行せずに表示を実行している間は、1フレームの撮像画像のうち、表示兼用ラインだけを読み出す。また、撮像IF部3は、表示を実行せずに記録を実行している間は、1フレームの撮像画像を画素ラインの順番通りに読み出す。表示を実行しないのは、例えば表示部9での表示を行わないように操作部11から設定された場合などである。
In the present embodiment, when it is necessary to generate both recording and display images, the imaging IF
上述の通り、撮像素子2の画素領域は部分領域ごとの用途が事前に設定されている。そのため、記録用と表示用の両方の画像を生成する必要がある場合、表示用の画像だけを生成する場合、記録用の画像だけを生成する場合、の3通りの読み出しモードについて、読み出し順序を予め定めておくことができる。従って、例えばシステム制御部10はカメラ100の動作状況に応じて読み出しモードを撮像IF部3に設定し、撮像IF部3は設定された読み出しモードに応じた画像信号の読み出しを実行するように構成してもよい。
As described above, the pixel area of the
図2(c)は、撮像IF部3から読み出された画像信号がメモリ4に格納された状態を模式的に示している。メモリ4には読み出された順序で画像信号が格納されるため、メモリ4内の画像信号の並びは図2(b)に示した読み出し順序と同じである。
FIG. 2C schematically shows a state in which the image signal read from the imaging IF
図3は、並び替え部5の機能ブロック図である。
読み出し制御部51および読み出し制御部52は、並び替え制御部53の制御に従い、メモリ4の所定のアドレスから画像信号を読み出す。セレクタ54は、並び替え制御部53の制御に従い、読み出し制御部51および読み出し制御部52の出力の一方を現像部6へ出力する。並び替え制御部53は、読み出し制御部51および読み出し制御部52の読み出しアドレスと、セレクタ54が選択する出力の切り替えとを制御する。並び替え制御部53は、メモリ4に格納された画像信号が、撮像素子2から通常の順序(画素ラインの番号順にラスタースキャン)で読み出された場合と同じ順序で出力されるよう、読み出し制御部51、読み出し制御部52、およびセレクタ54の動作を制御する。
FIG. 3 is a functional block diagram of the
The
図4は並び替え部5の各部の動作を示すタイミングチャートである。
ここで、読み出し制御部51は、メモリ4内に格納された画像信号のうち、表示兼用ラインの画像信号の先頭アドレスを把握しているものとする。同様に、読み出し制御部52は、メモリ4内に格納された画像信号のうち、記録専用ラインの画像信号の先頭アドレスを把握しているものとする。これらの先頭アドレスは、システム制御部10を通じて並び替え制御部53が読み出し制御部51、52に設定してもよい。なお、表示兼用ラインの画像信号が格納されている先頭アドレスは、固定アドレスとしておいてもよいし、撮像IF部3がメモリ4への格納を開始する際にシステム制御部10に通知してもよい。記録専用ラインの画像信号が格納されている先頭アドレスは、表示兼用ラインが格納されている先頭アドレス、表示兼用ラインの数、1表示兼用ラインあたりのデータ量から算出することができる。
FIG. 4 is a timing chart showing the operation of each part of the
Here, it is assumed that the
そして、読み出し制御部51、52は、並び替え制御部53から入力される制御信号がLレベルの期間に画像信号を順次読み出して出力するものとする。また、セレクタ54は、並び替え制御部53から入力される制御信号がLレベルの期間に読み出し制御部51の出力を、Hレベルの期間に読み出し制御部52の出力を、それぞれ選択して現像部6へ供給するものとする。したがって、並び替え制御部53は、読み出し制御部51およびセレクタ54に同一の制御信号STOPを供給する。そして、読み出し制御部52には制御信号STOPのレベルを反転した制御信号が供給される。
The
図2(c)に示した並びで画像信号がメモリ4に格納されている場合、並び替え制御部53は、図4に示すように、表示兼用ラインの1ライン読み出しと、記録専用ラインの3ライン読み出しとが交互に実行されるように制御信号STOPの論理レベルを制御する。これにより、現像部6には、図2(d)のような(図2(a)と同じ)順序で画像信号が出力される。
When the image signals are stored in the
なお、図3の並び替え部5は、表示兼用ラインの画像信号は読み出し制御部51が、記録専用ラインの画像信号は読み出し制御部52が読み出し、セレクタ54で読み出し制御部51,52の一方の出力を現像部6へ供給する構成を有する。しかし、並び替え部5は、1つの読み出し制御部と、並び替え制御部53とから構成してもよい。この場合、番号0の画素ラインの画像信号、番号1の画素ラインの画像信号、・・・という順序で読み出し制御部がメモリ4から画像信号を読み出すよう、並び替え制御部53が読み出しアドレスや読み出し範囲を制御する。
In the
撮像IF部3は、撮像素子2から読み出される各フレームの画像において、表示兼用ラインから先に読み出すことは先に述べた。また、撮像IF部3は、表示兼用ラインから読み出した画像信号については、メモリ4だけでなく、現像部8にも出力する。これにより、1フレーム全体の画像信号を読み出し終わるより前に、現像部8には表示用画像を生成するために必要な画像信号が供給される。従って、撮影から現像部8で表示用画像を生成するまでの時間が短縮され、表示用画像がほぼリアルタイムに表示されるようになる。
As described above, the imaging IF
なお、記録中に表示を行う際の、撮影から表示用画像が生成されるまでの時間を短縮する効果が最も高い構成として、表示に用いる領域の画像信号を全て読み出してから、記録だけに用いる領域の画像信号を読み出す構成を説明した。しかし、1フレーム分の画像信号が全て読み出されるよりも前に、表示に用いる領域の画像信号が全て読み出されれば効果は得られる。従って、必ずしも1フレームの撮影画像を読み出す際、表示に用いる領域の画像信号を最初に全て読み出さなくてもよい。 Note that, as a configuration that is most effective in shortening the time from shooting to generation of a display image when displaying during recording, it is used only for recording after reading all the image signals in the region used for display. The configuration for reading the image signal of the region has been described. However, the effect can be obtained if all the image signals in the region used for display are read out before all the image signals for one frame are read out. Therefore, when reading a frame of a captured image, it is not always necessary to first read out all the image signals in the area used for display.
以上、説明したように、本実施形態によれば、同一フレームの撮影画像から記録用と表示用の画像を生成する場合、表示用の画像に用いる画像信号を記録用の画像だけに用いる画像信号よりも優先して読み出すようにした。そのため、表示用の画像の生成に要する時間を短縮することができる。また、読み出した画像信号を、通常の順序で読み出した場合と同等になるように並び替えてから記録用の画像を生成するようにしたので、記録用の画像も正しく生成することができる。 As described above, according to the present embodiment, when generating a recording image and a display image from captured images of the same frame, the image signal used for the display image is used only for the recording image. Read more preferentially. As a result, the time required for generating a display image can be shortened. In addition, since the read image signals are rearranged so that they are equivalent to the case of reading them in a normal order, the recording image is generated, so that the recording image can also be generated correctly.
●(第2実施形態)
次に、本発明の第2実施形態について説明する。本実施形態は、撮像素子が像面位相差方式の焦点検出用信号を生成可能な構成である点で第1実施形態と異なる。具体的には、画素領域の部分領域ごとの用途として、表示および記録用と記録用の他に、AFおよび記録用、AF・表示・記録用が設定される。以下では、AFおよび記録用に設定された画素ラインをAF兼用ライン、AF・表示・記録の全てに用いられるように設定された画素ラインをAF表示兼用ラインと呼ぶ。
● (Second Embodiment)
Next, a second embodiment of the present invention will be described. The present embodiment is different from the first embodiment in that the image sensor is configured to generate an image plane phase difference type focus detection signal. Specifically, for each partial area of the pixel area, in addition to display and recording and recording, AF and recording, and AF / display / recording are set. Hereinafter, a pixel line set for AF and recording is called an AF combined line, and a pixel line set to be used for all of AF, display and recording is called an AF display combined line.
図5は本実施形態に係るカメラ100Bの機能構成例を示すブロック図であり、第1実施形態と同一の構成には同一参照番号を付してある。以下では、第1実施形態と異なる点について主に説明する。
FIG. 5 is a block diagram showing an example of the functional configuration of the
まず、撮像素子11の構成および撮像IF部12の読み出し動作について図6を用いて説明する。
図6(a)および図6(b)は、撮像素子11の画素領域におけるマイクロレンズおよび光電変換部の配置例を示す図である。画素領域は複数のマイクロレンズ11fによって構成されるマイクロレンズアレイを有する。本実施形態の撮像素子11は、1つのマイクロレンズに対して複数のフォトダイオード(PD)が設けられた構成を有する。図6(a)ではマイクロレンズあたり2つ、図6(b)ではマイクロレンズあたり4つのPDが設けられた例を示す。なお、マイクロレンズあたりのPDの数に特に制限はない。
First, the configuration of the
6A and 6B are diagrams illustrating an arrangement example of the microlens and the photoelectric conversion unit in the pixel region of the
図6(a)の構成例において、PD11hはA像用光電変換部、PD11gはB像用光電変換部を構成する。1つのマイクロレンズ11fに対応する撮像領域を1画素とした場合、画素領域には、水平方向にh画素、垂直方向にv画素配置されている。PD11hとPD11gで蓄積された信号は、加算された後、あるいは別個に、電圧信号に変換され、画像信号として読み出される。PD11hとPD11gには、マイクロレンズ11fに対応する瞳領域の異なる一部から光束が入射するため、PD11hの信号群から得られる像信号と、PD11gの信号群から得られる像信号とは視点の異なる像となる。AF部16は、これら1対の像信号(焦点検出用信号)の位相差を相関演算によって求め、デフォーカス量に変換することにより、撮影光学系1のフォーカスレンズの駆動量および方向が得られる。ここではPD11h群から得られる像信号をA像、PD11g群から得られる像信号をB像と呼び、PD11hをA像用光電変換部、PD11gをB像用光電変換部と呼ぶ。図6(a)では、PD11hとPD11gとが水平方向に並んで配置されているため、A像とB像との相関演算からは水平方向の位相差が得られるが、PD11hとPD11gとを垂直方向に並んで配置すれば同様にして垂直方向の位相差が得られる。
In the configuration example of FIG. 6A, PD 11h constitutes an A image photoelectric conversion unit, and
図6(b)に示す構成の場合、PD11j、PD11k、PD11m、およびPD11nでそれぞれ視点の異なる像が得られる。例えばPD11jと11kの信号を加算し、PD11mと11nの信号を加算すれば、実質的に図6(a)と同様の構成として取り扱うことができる。また、PD11jと11mの信号を加算し、PD11kと11nの信号を加算すれば、垂直方向にPDを2つ設けた構成と同様に取り扱うことができる。 In the case of the configuration shown in FIG. 6B, images with different viewpoints are obtained in PD11j, PD11k, PD11m, and PD11n. For example, if the signals of PD11j and 11k are added, and the signals of PD11m and 11n are added, it can be handled as a configuration substantially similar to that shown in FIG. Further, if the signals of PD11j and 11m are added and the signals of PD11k and 11n are added, it can be handled in the same manner as the configuration in which two PDs are provided in the vertical direction.
本実施形態において、撮像IF部12は、個々のPDから独立して、またはマイクロレンズを共有する複数のPDの2つ以上の電荷を加算して読み出すことができる。
表示および記録用(表示兼用ライン)および記録用(記録専用ライン)については、各画素の全PDの電荷を加算した信号を読み出す。
In the present embodiment, the imaging IF
For display and recording (display combined line) and recording (recording dedicated line), a signal obtained by adding the charges of all PDs of each pixel is read out.
また、AFおよび記録用(AF兼用ライン)およびAF・表示・記録用(AF表示兼用ライン)については、PDごとの信号、もしくは各画素の全PDの加算信号と、一部のPDの信号を読み出す。例えば、図6(a)に示すように、画素あたり2つのPD11h、11gが設けられている場合、撮像IF部12は、11h+11gの加算信号と、11hまたは11gの信号の2つを読み出すか、11hと11gとのそれぞれから信号を読み出す。また、図6(b)の構成において図6(a)の構成と同様のA像およびB像を得る場合、撮像IF部12は、11j+11k+11m+11nの加算信号と、11j+11kの加算信号もしくは11m+11nの加算信号とを読み出す。あるいは、撮像IF部12は、11j+11kの加算信号と、11m+11nの加算信号とを読み出す。
Also, for AF and recording (AF combined line) and AF / display / recording (AF display combined line), a signal for each PD, or an addition signal of all PDs of each pixel and a part of PD signals are sent. read out. For example, as shown in FIG. 6A, when two PDs 11h and 11g are provided per pixel, the imaging IF
撮像IF部12は、読み出した全ての画像信号をメモリ4に出力する。撮像IF部12はさらに、表示用の画像生成に用いる画像信号はメモリ14に、AFに用いる画像信号はAF部16にもそれぞれ出力する。メモリ14は、並び替え部15が用いるバッファメモリである。メモリ14も他のメモリと同じメモリ空間の領域であってよい。
The imaging IF
並び替え部13は、割り当てられた用途に応じた読み出し順でメモリ4に格納された画像信号を、撮像素子11のラスタースキャン順(通常の読み出し順)となるように読み出して現像部6に供給する。
The
並び替え部15(第2の並び替え手段)は、割り当てられた用途に応じた読み出し順でメモリ14に格納された表示用の画像信号を、撮像素子11のラスタースキャン順(通常の読み出し順)となるように読み出して現像部8に供給する。
The rearrangement unit 15 (second rearrangement unit) converts the display image signals stored in the
AF部16(第3の処理手段)は、撮像IF部12から供給される、AF兼用ラインとAF表示兼用ラインの画像信号から、上述した焦点検出用信号(A像およびB像)を生成する(第3の処理)。そしてAF部16は、相関演算によってA像とB像の位相差を算出し、システム制御部10に出力する。
システム制御部10はAF部16から得られる位相差をデフォーカス量に変換する。そして、システム制御部10は、デフォーカス量に基づいて撮影光学系1のフォーカスレンズを駆動する。
The AF unit 16 (third processing unit) generates the above-described focus detection signals (A image and B image) from the image signals of the AF combined line and the AF display combined line supplied from the imaging IF
The
図7は、図2と同様に本実施形態における画像信号の配列の変化を示した図である。ここでは、画像が21画素ラインで構成されているものとする。図7(a)に示すように、本実施形態においても、先頭の画素ラインの番号を0、nを0以上の整数とすると、番号が4nの画素ラインが表示に用いられる画素ライン(表示兼用ラインもしくはAF表示兼用ライン)である。また、AFに用いられる画素ライン(AF兼用ラインもしくはAF表示兼用ライン)が4画素ラインずつ2箇所に割り当てられ、残りは記録専用ラインである。なお、AFに用いられる画素ラインは例えば焦点検出領域の設定に応じて動的に位置が変化してもよい。 FIG. 7 is a diagram showing a change in the arrangement of image signals in the present embodiment, as in FIG. Here, it is assumed that the image is composed of 21 pixel lines. As shown in FIG. 7A, also in this embodiment, when the number of the first pixel line is 0 and n is an integer equal to or larger than 0, the pixel line with the number 4n is used for display (for both display and display). Line or AF display combined line). In addition, pixel lines used for AF (AF combined line or AF display combined line) are assigned to two positions of four pixel lines, and the rest are recording dedicated lines. Note that the position of the pixel line used for AF may change dynamically according to the setting of the focus detection area, for example.
本実施形態において、撮像IF部12は、同一フレームの撮像画像から記録用画像、表示用画像に加え、AF用信号を必要がある場合、AF動作の速度を最優先とし、表示用画像の生成の速度を次に優先する。そのため、撮像IF部12はまず、AFに用いられる画素ライン(AF兼用ラインおよびAF表示兼用ライン)をラスタースキャン順(画素ラインの番号の小さい順)に読み出す。撮像IF部12は、AFに用いられる画素ラインを全て読み出すと、次に、表示に用いられる画素ラインで、AFに用いられない画素ライン(表示兼用ライン)を読み出す。AF表示兼用ラインは既に読み出されているためである。そして、撮像IF部12は、AF兼用ラインを全て読み出すと、最後に記録専用ラインを読み出す。従って、撮像素子2からは図7(b)に示す順序で画像信号が読み出される。なお、撮影モードや、撮影条件に応じて、表示に用いられる画素ラインをAFに用いられる画素ラインよりも優先して読み出すようにしてもよい。つまり、本実施形態では、1フレームの画像信号について、AFに用いられる画素ラインと、表示に用いられる画素ラインとを、記録専用ラインよりも優先して読み出す。
In this embodiment, the imaging IF
なお、撮像IF部12は、例えば撮影スタンバイ時のように、記録を実行せずに表示およびAFを実行している間は、1フレームの撮像画像のうち、記録専用ライン以外を読み出す。また、撮像IF部3は、表示およびAFを実行せずに記録を実行している間は、1フレームの撮像画像を画素ラインの順番通りに読み出す。
Note that the imaging IF
図7(c)は、撮像IF部12から読み出された画像信号がメモリ4に格納された状態を模式的に示している。メモリ4には読み出された順序で画像信号が格納されるため、メモリ4内の画像信号の並びは図7(b)に示した読み出し順序と同じである。
FIG. 7C schematically shows a state in which the image signal read from the imaging IF
図7(e)は、撮像IF部12から読み出された画像信号がメモリ14に格納された状態を模式的に示している。メモリ14には表示に用いられる画像信号が読み出された順序で格納されるため、AF表示兼用ラインが先に格納され、その後AF兼用ラインが格納される。
FIG. 7E schematically shows a state in which the image signal read from the imaging IF
図8は、並び替え部13の機能ブロック図である。
読み出し制御部55〜57は、並び替え制御部58の制御に従い、メモリ4の所定のアドレスから画像信号を読み出す。セレクタ59は、並び替え制御部58の制御に従い、読み出し制御部55〜57の出力の一つを現像部6へ出力する。並び替え制御部58は、読み出し制御部55〜57の読み出しアドレスと、セレクタ59が選択する出力の切り替えとを制御する。並び替え制御部58は、メモリ4に格納された画像信号が、撮像素子2から通常の順序(画素ラインの番号順にラスタースキャン)で読み出された場合と同じ順序で出力されるよう、読み出し制御部55〜57およびセレクタ59の動作を制御する。これにより、図7(d)に示す順序で画像信号が出力される。
FIG. 8 is a functional block diagram of the
The
図9は並び替え部13の各部の動作を示すタイミングチャートである。
ここで、読み出し制御部55は、メモリ4内に格納された画像信号のうち、AFに用いられる画素ライン(AF兼用ラインおよびAF表示兼用ライン)の画像信号の先頭アドレスを把握しているものとする。また、読み出し制御部56は、メモリ4内に格納された画像信号のうち、表示兼用ラインの画像信号の先頭アドレスを把握しているものとする。さらに、読み出し制御部57は、メモリ4内に格納された画像信号のうち、記録専用ラインの画像信号の先頭アドレスを把握しているものとする。これらの先頭アドレスは、システム制御部10を通じて並び替え制御部58が読み出し制御部55〜57に設定してもよい。なお、AF兼用ライン、AF表示兼用ライン、および表示兼用ラインの画像信号が格納されている先頭アドレスは、固定アドレスとしておいてもよいし、撮像IF部3がメモリ4への格納を開始する際にシステム制御部10に通知してもよい。記録専用ラインの画像信号が格納されている先頭アドレスは、記録専用ラインの番号と1画素ラインあたりのデータ量から算出することができる。
FIG. 9 is a timing chart showing the operation of each part of the
Here, the
そして、読み出し制御部55〜57は、並び替え制御部58から入力される制御信号がLレベルの期間に画像信号を順次読み出して出力するものとする。また、セレクタ59は、並び替え制御部58から入力されるセレクタ制御信号の値が0の期間に読み出し制御部56の出力を、1の期間に読み出し制御部57の出力を、2の期間に読み出し制御部55の出力を、それぞれ選択して現像部6へ供給するものとする。並び替え制御部58は、読み出し制御部55、56に図9に示す制御信号STOPを供給する。読み出し制御部57には、読み出し制御部55、56への制御信号の否定論理積(NAND)に相当する制御信号が供給される。
The
図10は、並び替え部15の機能ブロック図である。
読み出し制御部60および読み出し制御部61は、並び替え制御部62の制御に従い、メモリ14の所定のアドレスから画像信号を読み出す。セレクタ63は、並び替え制御部62の制御に従い、読み出し制御部60および読み出し制御部61の出力の一方を現像部6へ出力する。並び替え制御部62は、読み出し制御部60および読み出し制御部61の読み出しアドレスと、セレクタ63が選択する出力の切り替えとを制御する。並び替え制御部62は、メモリ14に格納された画像信号が、撮像素子2から通常の順序(画素ラインの番号順にラスタースキャン)で読み出された場合と同じ順序で出力されるよう、読み出し制御部60、読み出し制御部61、セレクタ63の動作を制御する。これにより、図7(f)に示す順序で画像信号が出力される。
FIG. 10 is a functional block diagram of the
The
図11は並び替え部15の各部の動作を示すタイミングチャートである。
ここで、読み出し制御部60は、メモリ14内に格納された画像信号のうち、AF表示兼用ラインの画像信号の先頭アドレスを把握しているものとする。同様に、読み出し制御部61は、メモリ14内に格納された画像信号のうち、表示兼用ラインの画像信号の先頭アドレスを把握しているものとする。これらの先頭アドレスは、システム制御部10を通じて並び替え制御部62が読み出し制御部60、61に設定してもよい。なお、これらの画素ラインの画像信号が格納されている先頭アドレスは、固定アドレスとしておいてもよいし、撮像IF部3がメモリ14への格納を開始する際にシステム制御部10に通知してもよい。
FIG. 11 is a timing chart showing the operation of each part of the
Here, it is assumed that the
そして、読み出し制御部60、61は、並び替え制御部62から入力される制御信号がLレベルの期間に画像信号を順次読み出して出力するものとする。また、セレクタ63は、並び替え制御部62から入力される制御信号がLレベルの期間に読み出し制御部60の出力を、Hレベルの期間に読み出し制御部61の出力を、それぞれ選択して現像部6へ供給するものとする。したがって、並び替え制御部62は、読み出し制御部60およびセレクタ63に同一の制御信号STOPを、読み出し制御部61には制御信号STOPの論理を反転した信号を出力する。
The
なお、AF処理よりも表示処理が優先される場合、撮像IF部12はからは表示に用いられる画素ラインが順番通りに出力されるため、メモリ14および並び替え部15は実質的に不要である。そのため、並び替え制御部62は、読み出し制御部61、62によってメモリ14から交互に1画素ラインずつ画像信号を読み出し、セレクタ63で出力するように制御する。
When display processing is prioritized over AF processing, the imaging IF
本実施形態においても、第1の実施形態と同様に、並び替え部13、15はそれぞれ1つの読み出し制御部と並び替え制御部とで構成することができる。この場合、画素ラインの番号と用途との組み合わせを踏まえて、上述したセレクタ59、63が出力する順序でメモリ4、14から画像信号を読み出すよう、並び替え制御部58、62が読み出し制御部の読み出しアドレスや読み出し範囲を制御する。
Also in the present embodiment, as in the first embodiment, the rearranging
以上、説明したように、本実施形態によれば、同一フレームの撮影画像から表示用および記録用の画像のほか、AF用の信号を生成する場合に、AFに用いる画像信号も記録用の画像だけに用いる画像信号よりも優先して読み出すようにした。そのため、第1実施形態の効果に加え、AF処理に要する時間も短縮することができる。 As described above, according to the present embodiment, in addition to display and recording images from the captured image of the same frame, when generating AF signals, image signals used for AF are also recorded images. The image signal used only for reading is prioritized. Therefore, in addition to the effect of the first embodiment, the time required for the AF process can be shortened.
●(第3実施形態)
次に、本発明の第3実施形態について説明する。本実施形態は、記録よりも優先したい処理に必要な画像信号が不足した場合であっても、その処理に要する時間を短縮するための構成に関する。以下、本実施形態と第2実施形態との相違点を重点的に説明する。図12は本実施形態に係るカメラ100Cの機能構成例を示すブロック図であり、第2実施形態と同一の構成には同一参照番号を付してある。
● (Third embodiment)
Next, a third embodiment of the present invention will be described. The present embodiment relates to a configuration for shortening the time required for processing even when image signals required for processing that has priority over recording are insufficient. Hereinafter, differences between the present embodiment and the second embodiment will be mainly described. FIG. 12 is a block diagram showing a functional configuration example of the
本実施形態では、部分領域の用途として、表示と記録(表示兼用ライン)がなく、AFと記録(AF兼用ライン)、AFと表示と記録(AF表示兼用ライン)、記録のみ(記録専用ライン)の3種類が設定される。 In this embodiment, there is no display and recording (display combined line) as the use of the partial area, AF and recording (AF combined line), AF and display and recording (AF display combined line), and recording only (record dedicated line). Are set.
そして、撮像IF部17は、読み出した全ての画像信号をメモリ4に格納する一方、AFに用いられる画像信号(AF兼用ラインおよびAF表示兼用ライン)はAF部16へも出力する。撮像IF部17はさらに、表示に用いられる画像信号(AF表示兼用ライン)については、補間部19へも出力する。
The imaging IF
並び替え部18は、割り当てられた用途に応じた読み出し順でメモリ4に格納された画像信号を、撮像素子11のラスタースキャン順(通常の読み出し順)となるように読み出して現像部6に供給する。
The
補間部19は、複数のAF表示兼用ラインの画像信号を補間し、表示画像の生成に不足している位置の画素ラインの画像信号を生成する。そして、AF表示兼用ラインの画像信号と、補間により生成した画像信号を、撮像素子11のラスタースキャン順(通常の読み出し順)となるように現像部8に供給する。
The
図13は、図7と同様に本実施形態における画像信号の配列の変化を示した図である。ここでは、画像が21画素ラインで構成されているものとする。図13(a)に示すように、本実施形態においては、先頭の画素ライン(番号0)と末尾の画素ライン(番号20)の2つが表示に用いられる画素ライン(AF表示兼用ライン)である。また、AFに用いられる画素ライン(AF兼用ラインもしくはAF表示兼用ライン)が4画素ラインずつ2箇所に割り当てられ、残りは記録専用ラインである。なお、AFに用いられる画素ラインは例えば焦点検出領域の設定に応じて動的に位置が変化してもよい。 FIG. 13 is a diagram showing a change in the arrangement of image signals in the present embodiment, as in FIG. Here, it is assumed that the image is composed of 21 pixel lines. As shown in FIG. 13 (a), in the present embodiment, the first pixel line (number 0) and the last pixel line (number 20) are pixel lines (AF display combined lines) used for display. . In addition, pixel lines used for AF (AF combined line or AF display combined line) are assigned to two positions of four pixel lines, and the rest are recording dedicated lines. Note that the position of the pixel line used for AF may change dynamically according to the setting of the focus detection area, for example.
第2実施形態と同様、撮像IF部17は、同一フレームの撮像画像から記録用画像、表示用画像に加え、AF用信号を必要がある場合、AF動作の速度を最優先とする。そのため、撮像IF部17はまず、AFに用いられる画素ライン(AF兼用ラインおよびAF表示兼用ライン)をラスタースキャン順(画素ラインの番号の小さい順)に読み出す。
Similar to the second embodiment, the imaging IF
本実施形態では表示に用いられる画素ラインはAFにも用いられるため、AFに用いられる画素ラインの読み出しが完了した時点で、表示に用いられる画素ラインの読み出しも完了している。したがって、撮像IF部17は、記録にだけ用いられる画素ライン(記録専用ライン)の読み出しを開始する。つまり、撮像素子2からは図13(b)に示す順序で画像信号が読み出される。このように、本実施形態でも、1フレームの画像信号について、AFに用いられる画素ラインと、表示に用いられる画素ラインとを、記録専用ラインよりも優先して読み出している。
In the present embodiment, since the pixel line used for display is also used for AF, reading of the pixel line used for display is completed when reading of the pixel line used for AF is completed. Therefore, the imaging IF
なお、撮像IF部12は、例えば撮影スタンバイ時のように、記録を実行せずに表示およびAFを実行している間は、1フレームの撮像画像のうち、記録専用ライン以外を読み出す。また、撮像IF部17は、表示およびAFを実行せずに記録を実行している間は、1フレームの撮像画像を画素ラインの順番通りに読み出す。
Note that the imaging IF
図13(c)は、撮像IF部17から読み出された画像信号がメモリ4に格納された状態を模式的に示している。メモリ4には読み出された順序で画像信号が格納されるため、メモリ4内の画像信号の並びは図13(b)に示した読み出し順序と同じである。
FIG. 13C schematically shows a state in which the image signal read from the imaging IF
図14は、並び替え部18の機能ブロック図である。
読み出し制御部64、65は、並び替え制御部66の制御に従い、メモリ4の所定のアドレスから画像信号を読み出す。セレクタ67は、並び替え制御部66の制御に従い、読み出し制御部64、65の出力の一つを現像部6へ出力する。並び替え制御部66は、読み出し制御部64、65の読み出しアドレスと、セレクタ67が選択する出力の切り替えとを制御する。並び替え制御部66は、メモリ4に格納された画像信号が、撮像素子2から通常の順序(画素ラインの番号順にラスタースキャン)で読み出された場合と同じ順序で出力されるよう、読み出し制御部64、65およびセレクタ67の動作を制御する。これにより、図13(d)に示す順序で画像信号が出力される。
FIG. 14 is a functional block diagram of the
The
図15は並び替え部18の各部の動作を示すタイミングチャートである。
ここで、読み出し制御部64は、メモリ4内に格納された画像信号のうち、AFに用いられる画素ライン(AF兼用ラインおよびAF表示兼用ライン)の画像信号の先頭アドレスを把握しているものとする。また、読み出し制御部65は、メモリ4内に格納された画像信号のうち、記録専用ラインの画像信号の先頭アドレスを把握しているものとする。これらの先頭アドレスは、システム制御部10を通じて並び替え制御部66が読み出し制御部64、65に設定してもよい。なお、AF兼用ラインおよびAF表示兼用ラインの画像信号が格納されている先頭アドレスは、固定アドレスとしておいてもよいし、撮像IF部17がメモリ4への格納を開始する際にシステム制御部10に通知してもよい。記録専用ラインの画像信号が格納されている先頭アドレスは、記録専用ラインの番号と1画素ラインあたりのデータ量から算出することができる。
FIG. 15 is a timing chart showing the operation of each part of the
Here, the
そして、読み出し制御部64、65は、並び替え制御部66から入力される制御信号がLレベルの期間に画像信号を順次読み出して出力するものとする。また、セレクタ67は、並び替え制御部66から入力されるセレクタ制御信号がLレベルの期間に読み出し制御部64の出力を、Hレベルの期間に読み出し制御部65の出力を選択して現像部6へ供給するものとする。並び替え制御部66は、読み出し制御部64に図15に示す制御信号STOPを供給する。読み出し制御部65には、制御信号STOPのレベルを反転した制御信号が供給される。
The
図16は、補間部19の動作を模式的に示した図である。第2実施形態では表示に用いる画素ラインが4画素ラインごとに設定されていたが、本実施形態ではAFに用いられる画素ラインのみを表示に用いるようにした。これにより、AFを表示用画像の生成より優先した場合でも第2実施形態のメモリ14および並び替え部15が不要となる。しかし、表示に用いる画素ラインの数が少なくなるため、表示用画像のサイズ(解像度)が小さくなる。そのため、本実施形態では補間部19で表示用画像に用いる画像信号を生成することで、表示用画像生成用に読み出される画像信号数の低下を補う。
FIG. 16 is a diagram schematically illustrating the operation of the
本実施形態では先頭(番号0)と末尾(番号20)の2画素ラインの画像信号から、間に位置する番号4、8、12、16の4画素ラインの画像信号を補間によって生成することで、第2実施形態と同等の解像度を有する表示用画像の生成を可能にする。
In the present embodiment, the image signals of the four pixel lines of
図16に示すように、補間部19は、実際に読み出された2つの画素ラインの画像信号を加重加算することによって画像信号を生成する。その際、2つの画素ラインと、補間によって生成する画素ラインとの距離に反比例する重みを用いる。例えば、番号4の画素ラインの画像信号を生成する場合、番号0と番号4の画素ラインとの距離は、番号20と番号4の画素ラインの距離の1/4である。したがって、補間部19は、
番号4の画素ラインの画像信号=
番号0の画素ラインの画像信号*4/5+番号20の画素ラインの画像信号/5
として生成する。同様に補間部19は、
番号8の画素ラインの画像信号=
番号0の画素ラインの画像信号*3/5+番号20の画素ラインの画像信号2/5
として生成する。他の画素ラインについても同様である。なお、補間は、各画素ライン内の水平位置(画素)ごとに実行する。
As illustrated in FIG. 16, the
Image signal of
Image signal of
Generate as Similarly, the
Image signal of
Image signal of
Generate as The same applies to the other pixel lines. Interpolation is executed for each horizontal position (pixel) in each pixel line.
図17は、補間部19の機能ブロック図である。メモリ190は、撮像IF部17から供給される、AF表示兼用ラインの画像信号を格納する。メモリ190の容量は補間に用いる画素ライン分でよく、本実施形態であれば2画素ライン分の画像信号が格納できればよいため、少容量ですむ。
FIG. 17 is a functional block diagram of the
演算部191は、メモリ190に格納された複数のAF表示兼用ラインの画像信号を、補間制御部192から指定される比率(重み)に従って加重加算し、画素信号を生成する。補間制御部192は、例えばシステム制御部10から、撮像IF部17から供給される画素ラインの位置(番号)と、画像信号を生成する画素ラインの位置とに応じて、比率(重み)を決定する。補間制御部192はまた、セレクタ193の動作を制御する。
The
セレクタ193は、補間制御部192の制御に従い、補間部19の入力信号(撮像IF部17から供給される画像信号)をそのまま現像部6に出力するか、演算部191の出力を現像部6に出力する。
The
図18は、補間部19の各部の動作を示すタイミングチャートである。
セレクタ193は、補間制御部192から入力されるセレクタ制御信号がLレベルの期間には、撮像IF部17からの入力信号をそのまま現像部6に供給し、Hレベルの期間は演算部191が出力する信号を現像部6に供給する。
FIG. 18 is a timing chart showing the operation of each unit of the
The
補間制御部192は、撮像IF部17からAF表示兼用ライン(番号0)が入力される期間は、セレクタ制御信号をLレベルとする。また、AF表示兼用ライン(番号0)の画像信号はメモリ190に格納される。その後、補間制御部192は、撮像IF部17からAF表示兼用ライン(番号20)が入力される期間になると、セレクタ制御信号をHレベルとする。また、補間制御部192は、AF表示兼用ライン(番号20)の画像信号がメモリ190に格納され始めると、演算部191に補間動作の開始と、比率(重み)とを通知する。
The
ここで、比率(重み)は、いずれか一方の画素ラインに対するものであってよい。演算部191は、通知された比率(重み)を1から減じることによってもう一方の画素ラインの比率(重み)を求めることができる。補間制御部192は、比率の異なる補間を連続して実行する必要がある場合、複数の比率を、補間を実行する順番で演算部191に通知することができる。また、補間制御部192は、メモリ190に格納されている画素ラインの画像信号のうち、番号の大きい方の画素ラインの画像信号を読み出して出力する指示として、特定の比率(例えば0)を演算部191に通知することができる。
Here, the ratio (weight) may be for any one of the pixel lines. The
本実施形態の場合、補間制御部192は番号4、8、12、16の画素ラインの画像信号を順次補間したのち、番号20の画素ラインの画像信号をメモリ190から読み出してて出力する指示として、演算部191に以下の5つの比率を通知することができる。
比率=(4/5,3/5,2/5,1/5,0)
In this embodiment, the
Ratio = (4/5, 3/5, 2/5, 1/5, 0)
補間制御部192はまた、演算部191に補間処理の開始を通知すると、撮像IF部17への制御信号STOPをHレベルにする。制御信号STOPは、撮像IF部17からの画素ラインの画像信号を入力を禁止するための信号である。撮像IF部17は、制御信号STOPがHレベルの場合には補間部19への出力を保留する。撮像IF部17は、制御信号STOPがLレベルであれば、画像信号を補間部19に出力する。
When the
ここでは、メモリ190が、2画素ライン分の画像信号を保持するのに必要最低限の容量しか有さないため、補間処理中は、次のAF表示兼用ラインが入力されないように制御信号STOPをHレベルにしている。しかし、メモリ190の容量に余裕がある場合は、空き容量が閾値未満になるまで制御信号STOPをHレベルにする必要はない。
Here, since the
演算部191は通知された比率に従って補間を実行し、生成した画像信号(またはメモリ190から読み出した画像信号)をセレクタ193に順次出力する。
The
本実施形態によれば、記録よりも優先すべき処理に用いる画像信号の一部を、補間により生成することで、並び替えを行う場合よりも簡便な構成で同様の効果を実現できる。 According to the present embodiment, by generating a part of an image signal used for processing that should be prioritized over recording by interpolation, the same effect can be realized with a simpler configuration than when rearrangement is performed.
●(記録用撮影処理)
図19は、上述した第1〜第3実施形態の動作を伴う記録動作に関するフローチャートである。この処理は、システム制御部10がROM102に記憶されたプログラムをRAM101に読み込んで実行し、カメラ100〜100Cの構成要素を制御することによって実現される。
● (Recording process for recording)
FIG. 19 is a flowchart relating to a recording operation involving the operations of the first to third embodiments described above. This process is realized by the
S101でシステム制御部10は、撮影処理を実行する。これにより、1フレームの撮像画像の画像信号が撮像素子に蓄積される。
S103で撮像IF部は、記録処理よりも優先すべき処理(AFおよび/または表示)に用いる部分領域の画像信号を、記録処理だけに用いる部分領域の画像信号よりも優先して撮像素子から読み出す。
In step S101, the
In step S103, the imaging IF unit reads out the image signal of the partial area used for processing (AF and / or display) to be prioritized over the recording process from the imaging element with priority over the image signal of the partial area used only for the recording process. .
S105で撮像IF部は、部分領域から読み出した画像信号を、その部分領域に設定されている用途に応じた宛先に分配(出力)する。上述の実施形態では並び替え用のメモリ、表示画像生成用の現像部、AF部、補間部が宛先に該当する。そして、宛先の構成要素では、AF処理の実行を開始したり(S121)、表示用画像の生成を開始したり(S131)する。補間が必要な場合には補間も随時実行する。 In S105, the imaging IF unit distributes (outputs) the image signal read from the partial area to destinations according to the use set in the partial area. In the above-described embodiment, the rearrangement memory, the display image generation developing unit, the AF unit, and the interpolation unit correspond to the destination. Then, in the destination component, execution of AF processing is started (S121), or generation of a display image is started (S131). If interpolation is necessary, interpolation is also performed as needed.
S107で撮像IF部は、優先して読み出すべき画像信号を全て読み出したか否かを判定し、読み出したと判定されればS109へ処理を進め、判定されなければS103に処理を戻して読み出しを継続する。 In S107, the imaging IF unit determines whether or not all the image signals to be read out have been read out. If it is determined that the image signals have been read, the process proceeds to S109. If not, the process returns to S103 to continue reading. .
S109で撮像IF部は、記録処理にだけ用いる部分領域から画像信号を読み出し、記録用画像を生成するための画像信号を格納するためのメモリ(メモリ4)に格納する。
S111で撮像IF部は、記録処理にだけ用いる部分領域から画像信号を全て読み出したか否かを判定し、読み出したと判定されればS113へ処理を進め、判定されなければS109に処理を戻して読み出しを継続する。
In S109, the imaging IF unit reads an image signal from a partial area used only for recording processing, and stores the image signal in a memory (memory 4) for storing an image signal for generating a recording image.
In S111, the imaging IF unit determines whether or not all image signals have been read from the partial area used only for the recording process. If it is determined that the image signal has been read, the process proceeds to S113. If not determined, the process returns to S109 and is read. Continue.
S113で並び替え部は、メモリ4に格納されている、記録用画像の生成に用いる画像信号を、撮像素子から通常の順序で読み出した場合と同じ順序となるように読み出し、記録用画像の現像部へ出力する。
In S113, the rearrangement unit reads out the image signals stored in the
S115で記録用画像の現像部は、記録用画像を生成する。また、記録用画像の現像部は、記録形式に応じて、記録用画像を格納したデータファイルを生成する。
S117で記録部は、データファイルを記録媒体に記録する。
In S115, the recording image developing unit generates a recording image. Further, the recording image developing unit generates a data file storing the recording image in accordance with the recording format.
In S117, the recording unit records the data file on the recording medium.
システム制御部10は、以上の動作を撮影が終了するまで継続して実行させ、撮影が終了すると記録媒体に記録中のデータファイルのクローズ処理などを実行する。
The
(その他の実施形態)
上述の実施形態では、撮像画像の画像信号を用いた処理のうち、優先順位を異ならせる処理の例として、記録用画像の生成、表示用画像の生成、焦点検出用信号の生成について説明した。しかし、本発明はこれら特定の処理に限定されない。
(Other embodiments)
In the above-described embodiment, the generation of the recording image, the generation of the display image, and the generation of the focus detection signal have been described as examples of the processing for changing the priority among the processing using the image signal of the captured image. However, the present invention is not limited to these specific processes.
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
1…撮影光学系、2…撮像素子、3…撮像IF部、4…メモリ、5…並び替え部、6、8…現像部、7…記録部、9…表示部、10…システム制御部、51、52…読み出し制御部、53、58…並び替え制御部、54…セレクタ
DESCRIPTION OF
Claims (10)
前記撮像素子から画像信号を読み出す読み出し手段と、
前記読み出し手段が読み出した画像信号を用いた第1の処理を実行する第1の処理手段と、
前記読み出し手段が読み出した画像信号を用いた第2の処理を実行する第2の処理手段と、を有し、
前記第2の処理は前記第1の処理よりも少ない画像信号を用いる処理であり、
前記読み出し手段は、前記第2の処理に用いられる画像信号を前記第2の処理に用いられない画像信号よりも優先して読み出して前記第2の処理手段に供給し、
さらに、前記読み出し手段が読み出した画像信号を、前記第2の処理に用いられる画像信号を優先して読み出さない場合と同じ順序に並び替えて前記第1の処理手段に供給する第1の並び替え手段と、を有する
ことを特徴とする撮像装置。 An image sensor;
Reading means for reading out an image signal from the image sensor;
First processing means for executing first processing using the image signal read by the reading means;
Second processing means for executing second processing using the image signal read by the reading means,
The second process is a process that uses fewer image signals than the first process,
The reading means reads the image signal used for the second processing in preference to the image signal not used for the second processing, and supplies the read image signal to the second processing means.
Further, a first rearrangement in which the image signals read by the reading means are rearranged in the same order as when the image signals used for the second processing are not read preferentially and supplied to the first processing means. And an imaging device.
前記第3の処理は前記第1の処理よりも少ない画像信号を用いる処理であり、
前記読み出し手段は、前記画像信号を、前記第3の処理に用いられる画像信号、前記第2の処理に用いられる画像信号、前記第1の処理だけに用いられる画像信号の順に読み出し、
前記第1の並び替え手段は、前記読み出し手段が読み出した画像信号を、前記撮像素子が有する画素の並び順に読み出した場合と同じ順序に並び替えて前記第1の処理手段に供給し、
前記撮像装置は、
前記第3の処理および前記第2の処理に用いられる画像信号と、前記第3の処理に用いられず前記第2の処理に用いられる画像信号とを、前記撮像素子が有する画素の並び順に読み出した場合と同じ順序に並び替えて前記第2の処理手段に供給する第2の並び替え手段をさらに有する、
ことを特徴とする請求項1に記載の撮像装置。 Furthermore, it has a 3rd process means to perform the 3rd process using the said image signal,
The third process is a process that uses fewer image signals than the first process,
The reading means reads the image signal in order of an image signal used for the third process, an image signal used for the second process, and an image signal used only for the first process,
The first rearrangement unit rearranges the image signals read by the readout unit in the same order as when read in the pixel arrangement order of the imaging element, and supplies the rearranged image signals to the first processing unit.
The imaging device
The image signal used for the third process and the second process, and the image signal not used for the third process and used for the second process are read in the order in which the pixels of the image sensor are arranged. A second rearrangement unit that rearranges the second processing unit in the same order as that supplied to the second processing unit;
The imaging apparatus according to claim 1.
前記生成手段は、前記読み出し手段が読み出した画像信号と、前記生成した画像信号とを、前記撮像素子における画素の並び順で前記第2の処理手段に供給する、
ことを特徴とする請求項2または請求項3に記載の撮像装置。 The image processing apparatus further includes a generation unit configured to generate an image signal corresponding to a pixel at a position different from the pixel from which the image signal is read from the image signal used for the second processing read by the reading unit.
The generation unit supplies the image signal read by the reading unit and the generated image signal to the second processing unit in the order of pixels in the image sensor.
The imaging apparatus according to claim 2 or claim 3, wherein
前記読み出し手段は、前記部分領域ごとに前記画像信号を読み出す、
ことを特徴とする請求項1から請求項6のいずれか1項に記載の撮像装置。 The pixel area of the image sensor is predetermined for each partial area,
The readout means reads out the image signal for each of the partial areas.
The imaging apparatus according to any one of claims 1 to 6, wherein the imaging apparatus is configured as described above.
前記画素領域に含まれる複数の画素ラインには、用途として第2の処理が周期的に設定される、
ことを特徴とする請求項7に記載の撮像装置。 The partial area is a pixel line;
A second process is periodically set as a use for a plurality of pixel lines included in the pixel region.
The imaging apparatus according to claim 7.
前記撮像素子から読み出された画像信号を用いた第2の処理を実行する第2の処理手段と、を有する撮像装置の制御方法であって、
前記第2の処理は前記第1の処理よりも少ない画像信号を用いる処理であり、
前記撮像素子から画像信号を読み出す読み出し工程であって、前記第2の処理に用いられる画像信号を前記第2の処理に用いられない画像信号よりも優先して読み出して前記第2の処理手段に供給する読み出し工程と、
前記読み出し工程で読み出された画像信号を、前記第2の処理に用いられる画像信号が優先して読み出されない場合と同じ順序に並び替えて前記第1の処理手段に供給する並び替え工程と、を有する
ことを特徴とする撮像装置の制御方法。 First processing means for executing first processing using an image signal read from the image sensor;
A second processing unit that executes a second process using an image signal read from the image sensor, and a method for controlling the imaging apparatus,
The second process is a process that uses fewer image signals than the first process,
A reading step of reading an image signal from the image sensor, wherein the image signal used in the second process is read out in preference to an image signal not used in the second process, and is sent to the second processing unit; A reading process to supply;
A rearrangement step of rearranging the image signals read in the reading step in the same order as when the image signals used for the second processing are not read preferentially and supplying the rearranged image signals to the first processing unit; And a method of controlling the imaging apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017142841A JP2019024172A (en) | 2017-07-24 | 2017-07-24 | Imaging apparatus and control method of the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017142841A JP2019024172A (en) | 2017-07-24 | 2017-07-24 | Imaging apparatus and control method of the same |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019024172A true JP2019024172A (en) | 2019-02-14 |
Family
ID=65368703
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017142841A Pending JP2019024172A (en) | 2017-07-24 | 2017-07-24 | Imaging apparatus and control method of the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019024172A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023228714A1 (en) * | 2022-05-26 | 2023-11-30 | ソニーグループ株式会社 | Image-capturing device, image-capturing method, and program |
-
2017
- 2017-07-24 JP JP2017142841A patent/JP2019024172A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023228714A1 (en) * | 2022-05-26 | 2023-11-30 | ソニーグループ株式会社 | Image-capturing device, image-capturing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6019692B2 (en) | Image pickup device, image pickup device control method, and image pickup apparatus | |
US9338346B2 (en) | Focus detection apparatus, control method therefor, and image capture apparatus | |
JP6762766B2 (en) | Image sensor, image sensor, and image signal processing method | |
JP7142507B2 (en) | Image processing device, image processing method, and imaging device | |
JP6557499B2 (en) | FOCUS DETECTION DEVICE, ITS CONTROL METHOD, IMAGING DEVICE, PROGRAM, AND STORAGE MEDIUM | |
JP2018125730A (en) | Imaging device and control method thereof | |
JP2019220830A (en) | Imaging apparatus and control method therefor, program and storage medium | |
US8908060B2 (en) | Imaging apparatus generating evaluation values at a high frame rate and having a live view function of displaying a video smoothly at a low frame rate | |
JP2019024172A (en) | Imaging apparatus and control method of the same | |
US11985423B2 (en) | Imaging element, imaging apparatus, operation method of imaging element, and program improving real-time output of shake degree information | |
JP6235788B2 (en) | Imaging apparatus and control method thereof | |
US10070064B2 (en) | Display control device including display control section that causes display data to be displayed in first and second regions og display, and controlling method of image capturing sensor and display | |
JP6557451B2 (en) | Imaging apparatus, control method therefor, and program | |
JP2017201749A (en) | Image processing apparatus and control method thereof | |
CN110169054B (en) | Image pickup apparatus and image pickup method | |
JP6590055B2 (en) | Imaging device | |
JP6167473B2 (en) | Imaging device | |
JP2015026910A (en) | Imaging device and method of controlling the same | |
US11729506B2 (en) | Imaging element with processor configured to receive vibration information, imaging apparatus, operation method of imaging element, and program | |
JP5663989B2 (en) | Imaging apparatus and image composition program | |
JP5874473B2 (en) | Electronic camera | |
JP7410088B2 (en) | Imaging device, imaging device, image data output method, and program | |
US20230164434A1 (en) | Electronic device and control method thereof | |
JP2004153710A (en) | Control method of imaging apparatus, and imaging apparatus | |
JP5017601B2 (en) | Data transfer control device and data transfer method |