JP2019024172A - Imaging apparatus and control method of the same - Google Patents
Imaging apparatus and control method of the same Download PDFInfo
- Publication number
- JP2019024172A JP2019024172A JP2017142841A JP2017142841A JP2019024172A JP 2019024172 A JP2019024172 A JP 2019024172A JP 2017142841 A JP2017142841 A JP 2017142841A JP 2017142841 A JP2017142841 A JP 2017142841A JP 2019024172 A JP2019024172 A JP 2019024172A
- Authority
- JP
- Japan
- Prior art keywords
- image
- read
- image signal
- unit
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Focusing (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は撮像装置およびその制御方法に関する。 The present invention relates to an imaging apparatus and a control method thereof.
撮像素子が有する画素のうち、一部を画素から信号を読み出して画像を生成することにより、読み出し速度の向上や画像の倍率の変更などを実現することが知られている（特許文献１)。 It is known to improve the reading speed, change the magnification of an image, and the like by reading a signal from a part of the pixels of the image sensor and generating an image (Patent Document 1).
通常、表示装置の解像度は撮像素子の解像度（画素数）よりも低い。そのため、表示用の画像を生成する場合には、表示に必要な数の画素だけを読み出すことで、読み出しおよび画像処理に要する時間を短縮できる。 Usually, the resolution of the display device is lower than the resolution (number of pixels) of the image sensor. Therefore, when generating an image for display, the time required for reading and image processing can be shortened by reading out only the number of pixels necessary for display.
例えば動画記録を行いながらライブビュー表示を行う場合のように、同一フレームの撮影画像から記録用と表示用の画像を生成する場合がある。このような場合、記録用の画像を生成するために、表示用の画像の生成に必要な画素より多くの画素から信号を読み出す必要がある。その結果、撮影から表示用の画像が得られるまでに要する時間が、ライブビュー表示だけを行う場合よりも長くなり、ライブビュー表示のリアルタイム性が低下する。 For example, there are cases in which recording and display images are generated from captured images of the same frame, such as when live view display is performed while recording a moving image. In such a case, in order to generate a recording image, it is necessary to read out signals from more pixels than are necessary for generating a display image. As a result, the time required for obtaining an image for display after shooting becomes longer than when only live view display is performed, and the real-time property of live view display is reduced.
このような従来技術の課題に鑑み、本発明は、同一フレームの撮像画像について、使用する画像信号の数が異なる処理を実行する場合に、使用する画像信号の数が少ない処理の遅延を抑制可能な撮像装置およびその制御方法を提供することを目的とする。 In view of such a problem of the prior art, the present invention can suppress a delay in a process with a small number of image signals to be used when executing a process with a different number of image signals to be used for captured images of the same frame. An object of the present invention is to provide an image pickup apparatus and a control method thereof.
上述の目的は、撮像素子と、撮像素子から画像信号を読み出す読み出し手段と、読み出し手段が読み出した画像信号を用いた第１の処理を実行する第１の処理手段と、読み出し手段が読み出した画像信号を用いた第２の処理を実行する第２の処理手段と、を有し、第２の処理は第１の処理よりも少ない画像信号を用いる処理であり、読み出し手段は、第２の処理に用いられる画像信号を第２の処理に用いられない画像信号よりも優先して読み出して第２の処理手段に供給し、さらに、読み出し手段が読み出した画像信号を、第２の処理に用いられる画像信号を優先して読み出さない場合と同じ順序に並び替えて第１の処理手段に供給する第１の並び替え手段と、を有することを特徴とする撮像装置によって達成される。 The above-described object is to provide an imaging device, a reading unit that reads an image signal from the imaging device, a first processing unit that executes a first process using the image signal read by the reading unit, and an image read by the reading unit. Second processing means for executing a second process using a signal, the second process is a process using fewer image signals than the first process, and the reading means is a second process. The image signal used for the image processing is read out in preference to the image signal not used in the second processing and supplied to the second processing means, and the image signal read out by the reading means is used in the second processing. This is achieved by an imaging apparatus comprising: a first rearrangement unit that rearranges the image signal in the same order as that when the image signal is not preferentially read and supplies the first signal to the first processing unit.
本発明によれば、同一フレームの撮像画像について、使用する画像信号の数が異なる処理を実行する場合に、使用する画像信号の数が少ない処理の遅延を抑制可能な撮像装置およびその制御方法を提供することができる。 According to the present invention, there is provided an imaging apparatus capable of suppressing processing delay with a small number of image signals to be used and a method for controlling the same when executing processing with different numbers of image signals to be used for captured images of the same frame. Can be provided.
以下、図面を参照しながら本発明の例示的な実施形態を説明する。本発明は、例えば動画像を記録しながらライブビュー表示を行うといったような、同一フレームの撮像画像について、使用する画像信号の数が異なる処理を実行することが可能な任意の撮像装置に適用可能である。なお、本明細書における撮像装置とは、カメラのみならず、内蔵または外付けのカメラを制御可能な任意の電子機器を含む。このような電子機器にはスマートフォン、パーソナルコンピュータ、タブレット端末、ゲーム機などが含まれるが、これらに限定されない。 Hereinafter, exemplary embodiments of the present invention will be described with reference to the drawings. The present invention can be applied to any imaging apparatus capable of executing processing with different numbers of image signals to be used for captured images of the same frame, for example, performing live view display while recording a moving image. It is. Note that the imaging device in this specification includes not only a camera but also any electronic device that can control a built-in or external camera. Such electronic devices include, but are not limited to, smartphones, personal computers, tablet terminals, game machines, and the like.
図１は、本発明に係る実施形態の一例としてのデジタルカメラ１００（以下、単にカメラ１００と呼ぶ）の構成要素のうち、撮像素子から信号を読み出し、記録用の画像および表示用の画像を生成するために用いられる構成要素を模式的に示したブロック図である。
撮影光学系１は、フォーカスレンズおよび絞りを含み、被写体像を撮像素子２の結像面に形成する。撮像素子２は２次元配置された複数の画素を有し、画素が有する光電変換部によって被写体像を電気信号群（画像信号）に変換する。撮像素子２はＣＣＤイメージセンサまたはＣＭＯＳイメージセンサであってよい。
FIG. 1 shows a digital camera 100 (hereinafter simply referred to as a camera 100) as an example of an embodiment according to the present invention, which reads out signals from an image sensor and generates a recording image and a display image. It is the block diagram which showed typically the component used in order to do.
The photographic
撮像ＩＦ部３（読み出し手段）は撮像素子２の駆動回路および読み出し回路を有し、システム制御部１０の制御に従って撮像素子２から画像信号を読み出す。撮像ＩＦ部３はまた、読み出した画像信号をメモリ４に出力する。撮像ＩＦ部３はさらに、読み出した画像信号の一部、具体的には記録用画像の生成に用い、表示用画像の生成に用いない画像信号を現像部８にも出力するセレクタとしても機能する。
The imaging IF unit 3 (reading unit) includes a drive circuit and a readout circuit for the
メモリ４は画像信号を一時的に記憶するためのバッファとして用いられる。並び替え部５（第１の並び替え手段）は、メモリ４に記憶されている画像信号を、記録用の画像を構成する順序（撮像素子における並び）で読み出して現像部６に出力する。
The
現像部６（第１の処理手段）は例えばメモリおよび画像処理回路を有し、並び替え部５から供給される画像信号をメモリに格納する。現像部６は画像信号に現像処理（第１の処理）を適用して記録用の画像信号を生成する。現像処理はＲＡＷ画像信号を汎用的な画像信号に変換するための画像処理の総称である。現像処理には例えばノイズ低減、色補間、ホワイトバランス調整、光学歪み補正などの処理が含まれるが、特に処理の種類に制限はない。現像部６はさらに、管理情報の生成や画像信号の信号型式の変換（ＲＧＢ→ＹＣｒＣｂ）や符号化処理など、記録形式に応じた処理を実行し、画像信号を格納したデータファイルを生成する。データファイルの構造や、格納する管理情報の種類、画像信号のデータ形式は予め定められている。
The developing unit 6 (first processing unit) includes, for example, a memory and an image processing circuit, and stores the image signal supplied from the rearranging
記録部７は、システム制御部１０の制御に従い、記録媒体にデータを記録したり、記録媒体に記録されたデータを読み出したりする。記録媒体は例えば着脱可能なメモリカードであってよい。
The
現像部８（第２の処理手段）は例えばメモリおよび画像処理回路を有し、撮像ＩＦ部３から供給される画像信号をメモリに格納する。現像部８は、画像信号に現像部６と同様の現像処理（第２の処理）を適用することにより、表示用の画像信号を生成する。現像部８はデータファイルを生成しない。現像部８は例えば表示部９の解像度に合わせた画像のスケーリング処理など、表示のための処理を画像信号に適用してもよい。
The developing unit 8 (second processing unit) includes, for example, a memory and an image processing circuit, and stores the image signal supplied from the
表示部９は例えばＬＣＤなどの表示デバイス、ビデオメモリ、表示制御回路などを有する。表示制御回路は、現像部８からビデオメモリに書き込まれる画像信号を読み出し、ＬＣＤに表示させる。
The
システム制御部１０は例えば１つ以上のプログラマブルプロセッサである。システム制御部１０は、例えばＲＯＭ１０２に記憶されているプログラムをＲＡＭ１０１に読み込んで実行することにより、上述した各部の動作を制御し、カメラ１００の機能を実現する。なお、システム制御部１０は、例えば表示用の画像信号に基づいて自動露出制御（ＡＥ）や自動焦点検出（ＡＦ）といった、一般的なカメラが有する機能も実現する。
The
操作部１０３は、ボタン、スイッチ、タッチパネルなどの入力デバイス群の総称である。操作部１０３の操作はシステム制御部１０で検出され、システム制御部１０は検出された操作に応じた処理を実行する。
The
ＲＡＭ１０１はシステム制御部１０がワークエリアとして用いるメモリである。なお、ＲＡＭ１０１、メモリ４、および現像部６，８が有するメモリは、同一メモリ空間の一部領域であってもよい。
ＲＯＭ１０２は、システム制御部１０が実行するためのプログラム、ＧＵＩデータ、設定値などを記憶する。ＲＯＭ１０２は書き換え可能であってよい。
A
The
本実施形態においては、撮像素子２の画素領域について、所定サイズの部分領域ごとにその用途が予め設定されているものとする。具体的には、各部分領域について、記録および表示の両方に用いる領域（表示兼用領域）か、記録だけに用いる領域（記録専用領域）かが予め設定されているものとする。部分領域とその用途との関係は例えばＲＯＭ１０２に記憶しておくことができる。
In the present embodiment, the use of the pixel area of the
ここでは一例として、複数の画素が２次元配置された画素領域をラスタースキャンする際の１スキャンラインに相当する画素ラインを部分領域とする。なお、部分領域を複数の画素ラインで構成してもよい。また、画素領域をスキャン方向とスキャン方向に直交する二方向とにそれぞれ複数分割した個々の領域を部分領域としてもよい。 Here, as an example, a pixel line corresponding to one scan line when raster scanning a pixel region in which a plurality of pixels are two-dimensionally arranged is defined as a partial region. The partial area may be composed of a plurality of pixel lines. In addition, individual regions obtained by dividing a pixel region into a plurality of regions in a scanning direction and two directions orthogonal to the scanning direction may be used as partial regions.
以下の説明では、表示兼用領域に設定された画素ラインを表示兼用ライン、記録専用領域に設定された画素ラインを記録専用ラインと呼ぶ。また、本実施形態では、表示兼用ラインを周期的に設定する。これは、１フレームの撮像画像をおおよそ均等に縮小した表示用画像を表示兼用ラインから読み出した画像信号に基づいて生成するためである。 In the following description, the pixel line set in the display shared area is called a display shared line, and the pixel line set in the recording dedicated area is called a recording dedicated line. In this embodiment, the display line is set periodically. This is because a display image obtained by reducing a captured image of one frame approximately evenly is generated based on an image signal read from the display line.
図２（ａ）は、表示兼用ラインが４画素ラインごとに割り当てられた、１３画素ラインから構成される画素領域を模式的に示している。先頭の画素ラインの番号を０、ｎを０以上の整数とすると、番号が４ｎの画素ラインが表示兼用ライン、残りの画素ラインが記録専用ラインである。 FIG. 2A schematically shows a pixel region composed of 13 pixel lines, in which a display combined line is assigned every 4 pixel lines. When the number of the first pixel line is 0 and n is an integer greater than or equal to 0, the pixel line with the number 4n is a display-shared line, and the remaining pixel lines are recording-only lines.
本実施形態において、撮像ＩＦ部３は、記録用と表示用の両方の画像を生成する必要がある場合、１フレームの画像信号について、全ての表示兼用ラインを読み出してから、記録専用ラインを読み出す。従って、撮像素子２からは図２（ｂ）に示す順序で画像信号が読み出される。なお、撮像ＩＦ部３は、例えば撮影スタンバイ時のように、記録を実行せずに表示を実行している間は、１フレームの撮像画像のうち、表示兼用ラインだけを読み出す。また、撮像ＩＦ部３は、表示を実行せずに記録を実行している間は、１フレームの撮像画像を画素ラインの順番通りに読み出す。表示を実行しないのは、例えば表示部９での表示を行わないように操作部１１から設定された場合などである。
In the present embodiment, when it is necessary to generate both recording and display images, the imaging IF
上述の通り、撮像素子２の画素領域は部分領域ごとの用途が事前に設定されている。そのため、記録用と表示用の両方の画像を生成する必要がある場合、表示用の画像だけを生成する場合、記録用の画像だけを生成する場合、の３通りの読み出しモードについて、読み出し順序を予め定めておくことができる。従って、例えばシステム制御部１０はカメラ１００の動作状況に応じて読み出しモードを撮像ＩＦ部３に設定し、撮像ＩＦ部３は設定された読み出しモードに応じた画像信号の読み出しを実行するように構成してもよい。
As described above, the pixel area of the
図２（ｃ）は、撮像ＩＦ部３から読み出された画像信号がメモリ４に格納された状態を模式的に示している。メモリ４には読み出された順序で画像信号が格納されるため、メモリ４内の画像信号の並びは図２（ｂ）に示した読み出し順序と同じである。
FIG. 2C schematically shows a state in which the image signal read from the imaging IF
図３は、並び替え部５の機能ブロック図である。
読み出し制御部５１および読み出し制御部５２は、並び替え制御部５３の制御に従い、メモリ４の所定のアドレスから画像信号を読み出す。セレクタ５４は、並び替え制御部５３の制御に従い、読み出し制御部５１および読み出し制御部５２の出力の一方を現像部６へ出力する。並び替え制御部５３は、読み出し制御部５１および読み出し制御部５２の読み出しアドレスと、セレクタ５４が選択する出力の切り替えとを制御する。並び替え制御部５３は、メモリ４に格納された画像信号が、撮像素子２から通常の順序（画素ラインの番号順にラスタースキャン）で読み出された場合と同じ順序で出力されるよう、読み出し制御部５１、読み出し制御部５２、およびセレクタ５４の動作を制御する。
FIG. 3 is a functional block diagram of the
The
図４は並び替え部５の各部の動作を示すタイミングチャートである。
ここで、読み出し制御部５１は、メモリ４内に格納された画像信号のうち、表示兼用ラインの画像信号の先頭アドレスを把握しているものとする。同様に、読み出し制御部５２は、メモリ４内に格納された画像信号のうち、記録専用ラインの画像信号の先頭アドレスを把握しているものとする。これらの先頭アドレスは、システム制御部１０を通じて並び替え制御部５３が読み出し制御部５１、５２に設定してもよい。なお、表示兼用ラインの画像信号が格納されている先頭アドレスは、固定アドレスとしておいてもよいし、撮像ＩＦ部３がメモリ４への格納を開始する際にシステム制御部１０に通知してもよい。記録専用ラインの画像信号が格納されている先頭アドレスは、表示兼用ラインが格納されている先頭アドレス、表示兼用ラインの数、１表示兼用ラインあたりのデータ量から算出することができる。
FIG. 4 is a timing chart showing the operation of each part of the
Here, it is assumed that the
そして、読み出し制御部５１、５２は、並び替え制御部５３から入力される制御信号がＬレベルの期間に画像信号を順次読み出して出力するものとする。また、セレクタ５４は、並び替え制御部５３から入力される制御信号がＬレベルの期間に読み出し制御部５１の出力を、Ｈレベルの期間に読み出し制御部５２の出力を、それぞれ選択して現像部６へ供給するものとする。したがって、並び替え制御部５３は、読み出し制御部５１およびセレクタ５４に同一の制御信号ＳＴＯＰを供給する。そして、読み出し制御部５２には制御信号ＳＴＯＰのレベルを反転した制御信号が供給される。
The
図２（ｃ）に示した並びで画像信号がメモリ４に格納されている場合、並び替え制御部５３は、図４に示すように、表示兼用ラインの１ライン読み出しと、記録専用ラインの３ライン読み出しとが交互に実行されるように制御信号ＳＴＯＰの論理レベルを制御する。これにより、現像部６には、図２（ｄ）のような（図２（ａ）と同じ）順序で画像信号が出力される。
When the image signals are stored in the
なお、図３の並び替え部５は、表示兼用ラインの画像信号は読み出し制御部５１が、記録専用ラインの画像信号は読み出し制御部５２が読み出し、セレクタ５４で読み出し制御部５１，５２の一方の出力を現像部６へ供給する構成を有する。しかし、並び替え部５は、１つの読み出し制御部と、並び替え制御部５３とから構成してもよい。この場合、番号０の画素ラインの画像信号、番号１の画素ラインの画像信号、・・・という順序で読み出し制御部がメモリ４から画像信号を読み出すよう、並び替え制御部５３が読み出しアドレスや読み出し範囲を制御する。
In the
撮像ＩＦ部３は、撮像素子２から読み出される各フレームの画像において、表示兼用ラインから先に読み出すことは先に述べた。また、撮像ＩＦ部３は、表示兼用ラインから読み出した画像信号については、メモリ４だけでなく、現像部８にも出力する。これにより、１フレーム全体の画像信号を読み出し終わるより前に、現像部８には表示用画像を生成するために必要な画像信号が供給される。従って、撮影から現像部８で表示用画像を生成するまでの時間が短縮され、表示用画像がほぼリアルタイムに表示されるようになる。
As described above, the imaging IF
なお、記録中に表示を行う際の、撮影から表示用画像が生成されるまでの時間を短縮する効果が最も高い構成として、表示に用いる領域の画像信号を全て読み出してから、記録だけに用いる領域の画像信号を読み出す構成を説明した。しかし、１フレーム分の画像信号が全て読み出されるよりも前に、表示に用いる領域の画像信号が全て読み出されれば効果は得られる。従って、必ずしも１フレームの撮影画像を読み出す際、表示に用いる領域の画像信号を最初に全て読み出さなくてもよい。 Note that, as a configuration that is most effective in shortening the time from shooting to generation of a display image when displaying during recording, it is used only for recording after reading all the image signals in the region used for display. The configuration for reading the image signal of the region has been described. However, the effect can be obtained if all the image signals in the region used for display are read out before all the image signals for one frame are read out. Therefore, when reading a frame of a captured image, it is not always necessary to first read out all the image signals in the area used for display.
以上、説明したように、本実施形態によれば、同一フレームの撮影画像から記録用と表示用の画像を生成する場合、表示用の画像に用いる画像信号を記録用の画像だけに用いる画像信号よりも優先して読み出すようにした。そのため、表示用の画像の生成に要する時間を短縮することができる。また、読み出した画像信号を、通常の順序で読み出した場合と同等になるように並び替えてから記録用の画像を生成するようにしたので、記録用の画像も正しく生成することができる。 As described above, according to the present embodiment, when generating a recording image and a display image from captured images of the same frame, the image signal used for the display image is used only for the recording image. Read more preferentially. As a result, the time required for generating a display image can be shortened. In addition, since the read image signals are rearranged so that they are equivalent to the case of reading them in a normal order, the recording image is generated, so that the recording image can also be generated correctly.
●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態は、撮像素子が像面位相差方式の焦点検出用信号を生成可能な構成である点で第１実施形態と異なる。具体的には、画素領域の部分領域ごとの用途として、表示および記録用と記録用の他に、ＡＦおよび記録用、ＡＦ・表示・記録用が設定される。以下では、ＡＦおよび記録用に設定された画素ラインをＡＦ兼用ライン、ＡＦ・表示・記録の全てに用いられるように設定された画素ラインをＡＦ表示兼用ラインと呼ぶ。
● (Second Embodiment)
Next, a second embodiment of the present invention will be described. The present embodiment is different from the first embodiment in that the image sensor is configured to generate an image plane phase difference type focus detection signal. Specifically, for each partial area of the pixel area, in addition to display and recording and recording, AF and recording, and AF / display / recording are set. Hereinafter, a pixel line set for AF and recording is called an AF combined line, and a pixel line set to be used for all of AF, display and recording is called an AF display combined line.
図５は本実施形態に係るカメラ１００Ｂの機能構成例を示すブロック図であり、第１実施形態と同一の構成には同一参照番号を付してある。以下では、第１実施形態と異なる点について主に説明する。
FIG. 5 is a block diagram showing an example of the functional configuration of the
まず、撮像素子１１の構成および撮像ＩＦ部１２の読み出し動作について図６を用いて説明する。
図６（ａ）および図６（ｂ）は、撮像素子１１の画素領域におけるマイクロレンズおよび光電変換部の配置例を示す図である。画素領域は複数のマイクロレンズ１１ｆによって構成されるマイクロレンズアレイを有する。本実施形態の撮像素子１１は、１つのマイクロレンズに対して複数のフォトダイオード（ＰＤ）が設けられた構成を有する。図６（ａ）ではマイクロレンズあたり２つ、図６（ｂ）ではマイクロレンズあたり４つのＰＤが設けられた例を示す。なお、マイクロレンズあたりのＰＤの数に特に制限はない。
First, the configuration of the
6A and 6B are diagrams illustrating an arrangement example of the microlens and the photoelectric conversion unit in the pixel region of the
図６（ａ）の構成例において、ＰＤ１１ｈはＡ像用光電変換部、ＰＤ１１ｇはＢ像用光電変換部を構成する。１つのマイクロレンズ１１ｆに対応する撮像領域を１画素とした場合、画素領域には、水平方向にｈ画素、垂直方向にｖ画素配置されている。ＰＤ１１ｈとＰＤ１１ｇで蓄積された信号は、加算された後、あるいは別個に、電圧信号に変換され、画像信号として読み出される。ＰＤ１１ｈとＰＤ１１ｇには、マイクロレンズ１１ｆに対応する瞳領域の異なる一部から光束が入射するため、ＰＤ１１ｈの信号群から得られる像信号と、ＰＤ１１ｇの信号群から得られる像信号とは視点の異なる像となる。ＡＦ部１６は、これら１対の像信号（焦点検出用信号）の位相差を相関演算によって求め、デフォーカス量に変換することにより、撮影光学系１のフォーカスレンズの駆動量および方向が得られる。ここではＰＤ１１ｈ群から得られる像信号をＡ像、ＰＤ１１ｇ群から得られる像信号をＢ像と呼び、ＰＤ１１ｈをＡ像用光電変換部、ＰＤ１１ｇをＢ像用光電変換部と呼ぶ。図６（ａ）では、ＰＤ１１ｈとＰＤ１１ｇとが水平方向に並んで配置されているため、Ａ像とＢ像との相関演算からは水平方向の位相差が得られるが、ＰＤ１１ｈとＰＤ１１ｇとを垂直方向に並んで配置すれば同様にして垂直方向の位相差が得られる。
In the configuration example of FIG. 6A, PD 11h constitutes an A image photoelectric conversion unit, and
図６（ｂ）に示す構成の場合、ＰＤ１１ｊ、ＰＤ１１ｋ、ＰＤ１１ｍ、およびＰＤ１１ｎでそれぞれ視点の異なる像が得られる。例えばＰＤ１１ｊと１１ｋの信号を加算し、ＰＤ１１ｍと１１ｎの信号を加算すれば、実質的に図６（ａ）と同様の構成として取り扱うことができる。また、ＰＤ１１ｊと１１ｍの信号を加算し、ＰＤ１１ｋと１１ｎの信号を加算すれば、垂直方向にＰＤを２つ設けた構成と同様に取り扱うことができる。 In the case of the configuration shown in FIG. 6B, images with different viewpoints are obtained in PD11j, PD11k, PD11m, and PD11n. For example, if the signals of PD11j and 11k are added, and the signals of PD11m and 11n are added, it can be handled as a configuration substantially similar to that shown in FIG. Further, if the signals of PD11j and 11m are added and the signals of PD11k and 11n are added, it can be handled in the same manner as the configuration in which two PDs are provided in the vertical direction.
本実施形態において、撮像ＩＦ部１２は、個々のＰＤから独立して、またはマイクロレンズを共有する複数のＰＤの２つ以上の電荷を加算して読み出すことができる。
表示および記録用（表示兼用ライン）および記録用（記録専用ライン）については、各画素の全ＰＤの電荷を加算した信号を読み出す。
In the present embodiment, the imaging IF
For display and recording (display combined line) and recording (recording dedicated line), a signal obtained by adding the charges of all PDs of each pixel is read out.
また、ＡＦおよび記録用（ＡＦ兼用ライン）およびＡＦ・表示・記録用（ＡＦ表示兼用ライン）については、ＰＤごとの信号、もしくは各画素の全ＰＤの加算信号と、一部のＰＤの信号を読み出す。例えば、図６（ａ）に示すように、画素あたり２つのＰＤ１１ｈ、１１ｇが設けられている場合、撮像ＩＦ部１２は、１１ｈ＋１１ｇの加算信号と、１１ｈまたは１１ｇの信号の２つを読み出すか、１１ｈと１１ｇとのそれぞれから信号を読み出す。また、図６（ｂ）の構成において図６（ａ）の構成と同様のＡ像およびＢ像を得る場合、撮像ＩＦ部１２は、１１ｊ＋１１ｋ＋１１ｍ＋１１ｎの加算信号と、１１ｊ＋１１ｋの加算信号もしくは１１ｍ＋１１ｎの加算信号とを読み出す。あるいは、撮像ＩＦ部１２は、１１ｊ＋１１ｋの加算信号と、１１ｍ＋１１ｎの加算信号とを読み出す。
Also, for AF and recording (AF combined line) and AF / display / recording (AF display combined line), a signal for each PD, or an addition signal of all PDs of each pixel and a part of PD signals are sent. read out. For example, as shown in FIG. 6A, when two PDs 11h and 11g are provided per pixel, the imaging IF
撮像ＩＦ部１２は、読み出した全ての画像信号をメモリ４に出力する。撮像ＩＦ部１２はさらに、表示用の画像生成に用いる画像信号はメモリ１４に、ＡＦに用いる画像信号はＡＦ部１６にもそれぞれ出力する。メモリ１４は、並び替え部１５が用いるバッファメモリである。メモリ１４も他のメモリと同じメモリ空間の領域であってよい。
The imaging IF
並び替え部１３は、割り当てられた用途に応じた読み出し順でメモリ４に格納された画像信号を、撮像素子１１のラスタースキャン順（通常の読み出し順）となるように読み出して現像部６に供給する。
The
並び替え部１５（第２の並び替え手段）は、割り当てられた用途に応じた読み出し順でメモリ１４に格納された表示用の画像信号を、撮像素子１１のラスタースキャン順（通常の読み出し順）となるように読み出して現像部８に供給する。
The rearrangement unit 15 (second rearrangement unit) converts the display image signals stored in the
ＡＦ部１６（第３の処理手段）は、撮像ＩＦ部１２から供給される、ＡＦ兼用ラインとＡＦ表示兼用ラインの画像信号から、上述した焦点検出用信号（Ａ像およびＢ像）を生成する（第３の処理）。そしてＡＦ部１６は、相関演算によってＡ像とＢ像の位相差を算出し、システム制御部１０に出力する。
システム制御部１０はＡＦ部１６から得られる位相差をデフォーカス量に変換する。そして、システム制御部１０は、デフォーカス量に基づいて撮影光学系１のフォーカスレンズを駆動する。
The AF unit 16 (third processing unit) generates the above-described focus detection signals (A image and B image) from the image signals of the AF combined line and the AF display combined line supplied from the imaging IF
The
図７は、図２と同様に本実施形態における画像信号の配列の変化を示した図である。ここでは、画像が２１画素ラインで構成されているものとする。図７（ａ）に示すように、本実施形態においても、先頭の画素ラインの番号を０、ｎを０以上の整数とすると、番号が４ｎの画素ラインが表示に用いられる画素ライン（表示兼用ラインもしくはＡＦ表示兼用ライン）である。また、ＡＦに用いられる画素ライン（ＡＦ兼用ラインもしくはＡＦ表示兼用ライン）が４画素ラインずつ２箇所に割り当てられ、残りは記録専用ラインである。なお、ＡＦに用いられる画素ラインは例えば焦点検出領域の設定に応じて動的に位置が変化してもよい。 FIG. 7 is a diagram showing a change in the arrangement of image signals in the present embodiment, as in FIG. Here, it is assumed that the image is composed of 21 pixel lines. As shown in FIG. 7A, also in this embodiment, when the number of the first pixel line is 0 and n is an integer equal to or larger than 0, the pixel line with the number 4n is used for display (for both display and display). Line or AF display combined line). In addition, pixel lines used for AF (AF combined line or AF display combined line) are assigned to two positions of four pixel lines, and the rest are recording dedicated lines. Note that the position of the pixel line used for AF may change dynamically according to the setting of the focus detection area, for example.
本実施形態において、撮像ＩＦ部１２は、同一フレームの撮像画像から記録用画像、表示用画像に加え、ＡＦ用信号を必要がある場合、ＡＦ動作の速度を最優先とし、表示用画像の生成の速度を次に優先する。そのため、撮像ＩＦ部１２はまず、ＡＦに用いられる画素ライン（ＡＦ兼用ラインおよびＡＦ表示兼用ライン）をラスタースキャン順（画素ラインの番号の小さい順）に読み出す。撮像ＩＦ部１２は、ＡＦに用いられる画素ラインを全て読み出すと、次に、表示に用いられる画素ラインで、ＡＦに用いられない画素ライン（表示兼用ライン）を読み出す。ＡＦ表示兼用ラインは既に読み出されているためである。そして、撮像ＩＦ部１２は、ＡＦ兼用ラインを全て読み出すと、最後に記録専用ラインを読み出す。従って、撮像素子２からは図７（ｂ）に示す順序で画像信号が読み出される。なお、撮影モードや、撮影条件に応じて、表示に用いられる画素ラインをＡＦに用いられる画素ラインよりも優先して読み出すようにしてもよい。つまり、本実施形態では、１フレームの画像信号について、ＡＦに用いられる画素ラインと、表示に用いられる画素ラインとを、記録専用ラインよりも優先して読み出す。
In this embodiment, the imaging IF
なお、撮像ＩＦ部１２は、例えば撮影スタンバイ時のように、記録を実行せずに表示およびＡＦを実行している間は、１フレームの撮像画像のうち、記録専用ライン以外を読み出す。また、撮像ＩＦ部３は、表示およびＡＦを実行せずに記録を実行している間は、１フレームの撮像画像を画素ラインの順番通りに読み出す。
Note that the imaging IF
図７（ｃ）は、撮像ＩＦ部１２から読み出された画像信号がメモリ４に格納された状態を模式的に示している。メモリ４には読み出された順序で画像信号が格納されるため、メモリ４内の画像信号の並びは図７（ｂ）に示した読み出し順序と同じである。
FIG. 7C schematically shows a state in which the image signal read from the imaging IF
図７（ｅ）は、撮像ＩＦ部１２から読み出された画像信号がメモリ１４に格納された状態を模式的に示している。メモリ１４には表示に用いられる画像信号が読み出された順序で格納されるため、ＡＦ表示兼用ラインが先に格納され、その後ＡＦ兼用ラインが格納される。
FIG. 7E schematically shows a state in which the image signal read from the imaging IF
図８は、並び替え部１３の機能ブロック図である。
読み出し制御部５５〜５７は、並び替え制御部５８の制御に従い、メモリ４の所定のアドレスから画像信号を読み出す。セレクタ５９は、並び替え制御部５８の制御に従い、読み出し制御部５５〜５７の出力の一つを現像部６へ出力する。並び替え制御部５８は、読み出し制御部５５〜５７の読み出しアドレスと、セレクタ５９が選択する出力の切り替えとを制御する。並び替え制御部５８は、メモリ４に格納された画像信号が、撮像素子２から通常の順序（画素ラインの番号順にラスタースキャン）で読み出された場合と同じ順序で出力されるよう、読み出し制御部５５〜５７およびセレクタ５９の動作を制御する。これにより、図７（ｄ）に示す順序で画像信号が出力される。
FIG. 8 is a functional block diagram of the
The
図９は並び替え部１３の各部の動作を示すタイミングチャートである。
ここで、読み出し制御部５５は、メモリ４内に格納された画像信号のうち、ＡＦに用いられる画素ライン（ＡＦ兼用ラインおよびＡＦ表示兼用ライン）の画像信号の先頭アドレスを把握しているものとする。また、読み出し制御部５６は、メモリ４内に格納された画像信号のうち、表示兼用ラインの画像信号の先頭アドレスを把握しているものとする。さらに、読み出し制御部５７は、メモリ４内に格納された画像信号のうち、記録専用ラインの画像信号の先頭アドレスを把握しているものとする。これらの先頭アドレスは、システム制御部１０を通じて並び替え制御部５８が読み出し制御部５５〜５７に設定してもよい。なお、ＡＦ兼用ライン、ＡＦ表示兼用ライン、および表示兼用ラインの画像信号が格納されている先頭アドレスは、固定アドレスとしておいてもよいし、撮像ＩＦ部３がメモリ４への格納を開始する際にシステム制御部１０に通知してもよい。記録専用ラインの画像信号が格納されている先頭アドレスは、記録専用ラインの番号と１画素ラインあたりのデータ量から算出することができる。
FIG. 9 is a timing chart showing the operation of each part of the
Here, the
そして、読み出し制御部５５〜５７は、並び替え制御部５８から入力される制御信号がＬレベルの期間に画像信号を順次読み出して出力するものとする。また、セレクタ５９は、並び替え制御部５８から入力されるセレクタ制御信号の値が０の期間に読み出し制御部５６の出力を、１の期間に読み出し制御部５７の出力を、２の期間に読み出し制御部５５の出力を、それぞれ選択して現像部６へ供給するものとする。並び替え制御部５８は、読み出し制御部５５、５６に図９に示す制御信号ＳＴＯＰを供給する。読み出し制御部５７には、読み出し制御部５５、５６への制御信号の否定論理積（ＮＡＮＤ）に相当する制御信号が供給される。
The
図１０は、並び替え部１５の機能ブロック図である。
読み出し制御部６０および読み出し制御部６１は、並び替え制御部６２の制御に従い、メモリ１４の所定のアドレスから画像信号を読み出す。セレクタ６３は、並び替え制御部６２の制御に従い、読み出し制御部６０および読み出し制御部６１の出力の一方を現像部６へ出力する。並び替え制御部６２は、読み出し制御部６０および読み出し制御部６１の読み出しアドレスと、セレクタ６３が選択する出力の切り替えとを制御する。並び替え制御部６２は、メモリ１４に格納された画像信号が、撮像素子２から通常の順序（画素ラインの番号順にラスタースキャン）で読み出された場合と同じ順序で出力されるよう、読み出し制御部６０、読み出し制御部６１、セレクタ６３の動作を制御する。これにより、図７（ｆ）に示す順序で画像信号が出力される。
FIG. 10 is a functional block diagram of the
The
図１１は並び替え部１５の各部の動作を示すタイミングチャートである。
ここで、読み出し制御部６０は、メモリ１４内に格納された画像信号のうち、ＡＦ表示兼用ラインの画像信号の先頭アドレスを把握しているものとする。同様に、読み出し制御部６１は、メモリ１４内に格納された画像信号のうち、表示兼用ラインの画像信号の先頭アドレスを把握しているものとする。これらの先頭アドレスは、システム制御部１０を通じて並び替え制御部６２が読み出し制御部６０、６１に設定してもよい。なお、これらの画素ラインの画像信号が格納されている先頭アドレスは、固定アドレスとしておいてもよいし、撮像ＩＦ部３がメモリ１４への格納を開始する際にシステム制御部１０に通知してもよい。
FIG. 11 is a timing chart showing the operation of each part of the
Here, it is assumed that the
そして、読み出し制御部６０、６１は、並び替え制御部６２から入力される制御信号がＬレベルの期間に画像信号を順次読み出して出力するものとする。また、セレクタ６３は、並び替え制御部６２から入力される制御信号がＬレベルの期間に読み出し制御部６０の出力を、Ｈレベルの期間に読み出し制御部６１の出力を、それぞれ選択して現像部６へ供給するものとする。したがって、並び替え制御部６２は、読み出し制御部６０およびセレクタ６３に同一の制御信号ＳＴＯＰを、読み出し制御部６１には制御信号ＳＴＯＰの論理を反転した信号を出力する。
The
なお、ＡＦ処理よりも表示処理が優先される場合、撮像ＩＦ部１２はからは表示に用いられる画素ラインが順番通りに出力されるため、メモリ１４および並び替え部１５は実質的に不要である。そのため、並び替え制御部６２は、読み出し制御部６１、６２によってメモリ１４から交互に１画素ラインずつ画像信号を読み出し、セレクタ６３で出力するように制御する。
When display processing is prioritized over AF processing, the imaging IF
本実施形態においても、第１の実施形態と同様に、並び替え部１３、１５はそれぞれ１つの読み出し制御部と並び替え制御部とで構成することができる。この場合、画素ラインの番号と用途との組み合わせを踏まえて、上述したセレクタ５９、６３が出力する順序でメモリ４、１４から画像信号を読み出すよう、並び替え制御部５８、６２が読み出し制御部の読み出しアドレスや読み出し範囲を制御する。
Also in the present embodiment, as in the first embodiment, the rearranging
以上、説明したように、本実施形態によれば、同一フレームの撮影画像から表示用および記録用の画像のほか、ＡＦ用の信号を生成する場合に、ＡＦに用いる画像信号も記録用の画像だけに用いる画像信号よりも優先して読み出すようにした。そのため、第１実施形態の効果に加え、ＡＦ処理に要する時間も短縮することができる。 As described above, according to the present embodiment, in addition to display and recording images from the captured image of the same frame, when generating AF signals, image signals used for AF are also recorded images. The image signal used only for reading is prioritized. Therefore, in addition to the effect of the first embodiment, the time required for the AF process can be shortened.
●（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態は、記録よりも優先したい処理に必要な画像信号が不足した場合であっても、その処理に要する時間を短縮するための構成に関する。以下、本実施形態と第２実施形態との相違点を重点的に説明する。図１２は本実施形態に係るカメラ１００Ｃの機能構成例を示すブロック図であり、第２実施形態と同一の構成には同一参照番号を付してある。
● (Third embodiment)
Next, a third embodiment of the present invention will be described. The present embodiment relates to a configuration for shortening the time required for processing even when image signals required for processing that has priority over recording are insufficient. Hereinafter, differences between the present embodiment and the second embodiment will be mainly described. FIG. 12 is a block diagram showing a functional configuration example of the
本実施形態では、部分領域の用途として、表示と記録（表示兼用ライン）がなく、ＡＦと記録（ＡＦ兼用ライン）、ＡＦと表示と記録（ＡＦ表示兼用ライン）、記録のみ（記録専用ライン）の３種類が設定される。 In this embodiment, there is no display and recording (display combined line) as the use of the partial area, AF and recording (AF combined line), AF and display and recording (AF display combined line), and recording only (record dedicated line). Are set.
そして、撮像ＩＦ部１７は、読み出した全ての画像信号をメモリ４に格納する一方、ＡＦに用いられる画像信号（ＡＦ兼用ラインおよびＡＦ表示兼用ライン）はＡＦ部１６へも出力する。撮像ＩＦ部１７はさらに、表示に用いられる画像信号（ＡＦ表示兼用ライン）については、補間部１９へも出力する。
The imaging IF
並び替え部１８は、割り当てられた用途に応じた読み出し順でメモリ４に格納された画像信号を、撮像素子１１のラスタースキャン順（通常の読み出し順）となるように読み出して現像部６に供給する。
The
補間部１９は、複数のＡＦ表示兼用ラインの画像信号を補間し、表示画像の生成に不足している位置の画素ラインの画像信号を生成する。そして、ＡＦ表示兼用ラインの画像信号と、補間により生成した画像信号を、撮像素子１１のラスタースキャン順（通常の読み出し順）となるように現像部８に供給する。
The
図１３は、図７と同様に本実施形態における画像信号の配列の変化を示した図である。ここでは、画像が２１画素ラインで構成されているものとする。図１３（ａ）に示すように、本実施形態においては、先頭の画素ライン（番号０）と末尾の画素ライン（番号２０）の２つが表示に用いられる画素ライン（ＡＦ表示兼用ライン）である。また、ＡＦに用いられる画素ライン（ＡＦ兼用ラインもしくはＡＦ表示兼用ライン）が４画素ラインずつ２箇所に割り当てられ、残りは記録専用ラインである。なお、ＡＦに用いられる画素ラインは例えば焦点検出領域の設定に応じて動的に位置が変化してもよい。 FIG. 13 is a diagram showing a change in the arrangement of image signals in the present embodiment, as in FIG. Here, it is assumed that the image is composed of 21 pixel lines. As shown in FIG. 13 (a), in the present embodiment, the first pixel line (number 0) and the last pixel line (number 20) are pixel lines (AF display combined lines) used for display. . In addition, pixel lines used for AF (AF combined line or AF display combined line) are assigned to two positions of four pixel lines, and the rest are recording dedicated lines. Note that the position of the pixel line used for AF may change dynamically according to the setting of the focus detection area, for example.
第２実施形態と同様、撮像ＩＦ部１７は、同一フレームの撮像画像から記録用画像、表示用画像に加え、ＡＦ用信号を必要がある場合、ＡＦ動作の速度を最優先とする。そのため、撮像ＩＦ部１７はまず、ＡＦに用いられる画素ライン（ＡＦ兼用ラインおよびＡＦ表示兼用ライン）をラスタースキャン順（画素ラインの番号の小さい順）に読み出す。
Similar to the second embodiment, the imaging IF
本実施形態では表示に用いられる画素ラインはＡＦにも用いられるため、ＡＦに用いられる画素ラインの読み出しが完了した時点で、表示に用いられる画素ラインの読み出しも完了している。したがって、撮像ＩＦ部１７は、記録にだけ用いられる画素ライン（記録専用ライン）の読み出しを開始する。つまり、撮像素子２からは図１３（ｂ）に示す順序で画像信号が読み出される。このように、本実施形態でも、１フレームの画像信号について、ＡＦに用いられる画素ラインと、表示に用いられる画素ラインとを、記録専用ラインよりも優先して読み出している。
In the present embodiment, since the pixel line used for display is also used for AF, reading of the pixel line used for display is completed when reading of the pixel line used for AF is completed. Therefore, the imaging IF
なお、撮像ＩＦ部１２は、例えば撮影スタンバイ時のように、記録を実行せずに表示およびＡＦを実行している間は、１フレームの撮像画像のうち、記録専用ライン以外を読み出す。また、撮像ＩＦ部１７は、表示およびＡＦを実行せずに記録を実行している間は、１フレームの撮像画像を画素ラインの順番通りに読み出す。
Note that the imaging IF
図１３（ｃ）は、撮像ＩＦ部１７から読み出された画像信号がメモリ４に格納された状態を模式的に示している。メモリ４には読み出された順序で画像信号が格納されるため、メモリ４内の画像信号の並びは図１３（ｂ）に示した読み出し順序と同じである。
FIG. 13C schematically shows a state in which the image signal read from the imaging IF
図１４は、並び替え部１８の機能ブロック図である。
読み出し制御部６４、６５は、並び替え制御部６６の制御に従い、メモリ４の所定のアドレスから画像信号を読み出す。セレクタ６７は、並び替え制御部６６の制御に従い、読み出し制御部６４、６５の出力の一つを現像部６へ出力する。並び替え制御部６６は、読み出し制御部６４、６５の読み出しアドレスと、セレクタ６７が選択する出力の切り替えとを制御する。並び替え制御部６６は、メモリ４に格納された画像信号が、撮像素子２から通常の順序（画素ラインの番号順にラスタースキャン）で読み出された場合と同じ順序で出力されるよう、読み出し制御部６４、６５およびセレクタ６７の動作を制御する。これにより、図１３（ｄ）に示す順序で画像信号が出力される。
FIG. 14 is a functional block diagram of the
The
図１５は並び替え部１８の各部の動作を示すタイミングチャートである。
ここで、読み出し制御部６４は、メモリ４内に格納された画像信号のうち、ＡＦに用いられる画素ライン（ＡＦ兼用ラインおよびＡＦ表示兼用ライン）の画像信号の先頭アドレスを把握しているものとする。また、読み出し制御部６５は、メモリ４内に格納された画像信号のうち、記録専用ラインの画像信号の先頭アドレスを把握しているものとする。これらの先頭アドレスは、システム制御部１０を通じて並び替え制御部６６が読み出し制御部６４、６５に設定してもよい。なお、ＡＦ兼用ラインおよびＡＦ表示兼用ラインの画像信号が格納されている先頭アドレスは、固定アドレスとしておいてもよいし、撮像ＩＦ部１７がメモリ４への格納を開始する際にシステム制御部１０に通知してもよい。記録専用ラインの画像信号が格納されている先頭アドレスは、記録専用ラインの番号と１画素ラインあたりのデータ量から算出することができる。
FIG. 15 is a timing chart showing the operation of each part of the
Here, the
そして、読み出し制御部６４、６５は、並び替え制御部６６から入力される制御信号がＬレベルの期間に画像信号を順次読み出して出力するものとする。また、セレクタ６７は、並び替え制御部６６から入力されるセレクタ制御信号がＬレベルの期間に読み出し制御部６４の出力を、Ｈレベルの期間に読み出し制御部６５の出力を選択して現像部６へ供給するものとする。並び替え制御部６６は、読み出し制御部６４に図１５に示す制御信号ＳＴＯＰを供給する。読み出し制御部６５には、制御信号ＳＴＯＰのレベルを反転した制御信号が供給される。
The
図１６は、補間部１９の動作を模式的に示した図である。第２実施形態では表示に用いる画素ラインが４画素ラインごとに設定されていたが、本実施形態ではＡＦに用いられる画素ラインのみを表示に用いるようにした。これにより、ＡＦを表示用画像の生成より優先した場合でも第２実施形態のメモリ１４および並び替え部１５が不要となる。しかし、表示に用いる画素ラインの数が少なくなるため、表示用画像のサイズ（解像度）が小さくなる。そのため、本実施形態では補間部１９で表示用画像に用いる画像信号を生成することで、表示用画像生成用に読み出される画像信号数の低下を補う。
FIG. 16 is a diagram schematically illustrating the operation of the
本実施形態では先頭（番号０）と末尾（番号２０）の２画素ラインの画像信号から、間に位置する番号４、８、１２、１６の４画素ラインの画像信号を補間によって生成することで、第２実施形態と同等の解像度を有する表示用画像の生成を可能にする。
In the present embodiment, the image signals of the four pixel lines of
図１６に示すように、補間部１９は、実際に読み出された２つの画素ラインの画像信号を加重加算することによって画像信号を生成する。その際、２つの画素ラインと、補間によって生成する画素ラインとの距離に反比例する重みを用いる。例えば、番号４の画素ラインの画像信号を生成する場合、番号０と番号４の画素ラインとの距離は、番号２０と番号４の画素ラインの距離の１／４である。したがって、補間部１９は、
番号４の画素ラインの画像信号＝
番号０の画素ラインの画像信号＊４／５＋番号２０の画素ラインの画像信号／５
として生成する。同様に補間部１９は、
番号８の画素ラインの画像信号＝
番号０の画素ラインの画像信号＊３／５＋番号２０の画素ラインの画像信号２／５
として生成する。他の画素ラインについても同様である。なお、補間は、各画素ライン内の水平位置（画素）ごとに実行する。
As illustrated in FIG. 16, the
Image signal of
Image signal of
Generate as Similarly, the
Image signal of
Image signal of
Generate as The same applies to the other pixel lines. Interpolation is executed for each horizontal position (pixel) in each pixel line.
図１７は、補間部１９の機能ブロック図である。メモリ１９０は、撮像ＩＦ部１７から供給される、ＡＦ表示兼用ラインの画像信号を格納する。メモリ１９０の容量は補間に用いる画素ライン分でよく、本実施形態であれば２画素ライン分の画像信号が格納できればよいため、少容量ですむ。
FIG. 17 is a functional block diagram of the
演算部１９１は、メモリ１９０に格納された複数のＡＦ表示兼用ラインの画像信号を、補間制御部１９２から指定される比率（重み）に従って加重加算し、画素信号を生成する。補間制御部１９２は、例えばシステム制御部１０から、撮像ＩＦ部１７から供給される画素ラインの位置（番号）と、画像信号を生成する画素ラインの位置とに応じて、比率（重み）を決定する。補間制御部１９２はまた、セレクタ１９３の動作を制御する。
The
セレクタ１９３は、補間制御部１９２の制御に従い、補間部１９の入力信号（撮像ＩＦ部１７から供給される画像信号）をそのまま現像部６に出力するか、演算部１９１の出力を現像部６に出力する。
The
図１８は、補間部１９の各部の動作を示すタイミングチャートである。
セレクタ１９３は、補間制御部１９２から入力されるセレクタ制御信号がＬレベルの期間には、撮像ＩＦ部１７からの入力信号をそのまま現像部６に供給し、Ｈレベルの期間は演算部１９１が出力する信号を現像部６に供給する。
FIG. 18 is a timing chart showing the operation of each unit of the
The
補間制御部１９２は、撮像ＩＦ部１７からＡＦ表示兼用ライン（番号０）が入力される期間は、セレクタ制御信号をＬレベルとする。また、ＡＦ表示兼用ライン（番号０）の画像信号はメモリ１９０に格納される。その後、補間制御部１９２は、撮像ＩＦ部１７からＡＦ表示兼用ライン（番号２０）が入力される期間になると、セレクタ制御信号をＨレベルとする。また、補間制御部１９２は、ＡＦ表示兼用ライン（番号２０）の画像信号がメモリ１９０に格納され始めると、演算部１９１に補間動作の開始と、比率（重み）とを通知する。
The
ここで、比率（重み）は、いずれか一方の画素ラインに対するものであってよい。演算部１９１は、通知された比率（重み）を１から減じることによってもう一方の画素ラインの比率（重み）を求めることができる。補間制御部１９２は、比率の異なる補間を連続して実行する必要がある場合、複数の比率を、補間を実行する順番で演算部１９１に通知することができる。また、補間制御部１９２は、メモリ１９０に格納されている画素ラインの画像信号のうち、番号の大きい方の画素ラインの画像信号を読み出して出力する指示として、特定の比率（例えば０）を演算部１９１に通知することができる。
Here, the ratio (weight) may be for any one of the pixel lines. The
本実施形態の場合、補間制御部１９２は番号４、８、１２、１６の画素ラインの画像信号を順次補間したのち、番号２０の画素ラインの画像信号をメモリ１９０から読み出してて出力する指示として、演算部１９１に以下の５つの比率を通知することができる。
比率＝（４／５，３／５，２／５，１／５，０）
In this embodiment, the
Ratio = (4/5, 3/5, 2/5, 1/5, 0)
補間制御部１９２はまた、演算部１９１に補間処理の開始を通知すると、撮像ＩＦ部１７への制御信号ＳＴＯＰをＨレベルにする。制御信号ＳＴＯＰは、撮像ＩＦ部１７からの画素ラインの画像信号を入力を禁止するための信号である。撮像ＩＦ部１７は、制御信号ＳＴＯＰがＨレベルの場合には補間部１９への出力を保留する。撮像ＩＦ部１７は、制御信号ＳＴＯＰがＬレベルであれば、画像信号を補間部１９に出力する。
When the
ここでは、メモリ１９０が、２画素ライン分の画像信号を保持するのに必要最低限の容量しか有さないため、補間処理中は、次のＡＦ表示兼用ラインが入力されないように制御信号ＳＴＯＰをＨレベルにしている。しかし、メモリ１９０の容量に余裕がある場合は、空き容量が閾値未満になるまで制御信号ＳＴＯＰをＨレベルにする必要はない。
Here, since the
演算部１９１は通知された比率に従って補間を実行し、生成した画像信号（またはメモリ１９０から読み出した画像信号）をセレクタ１９３に順次出力する。
The
本実施形態によれば、記録よりも優先すべき処理に用いる画像信号の一部を、補間により生成することで、並び替えを行う場合よりも簡便な構成で同様の効果を実現できる。 According to the present embodiment, by generating a part of an image signal used for processing that should be prioritized over recording by interpolation, the same effect can be realized with a simpler configuration than when rearrangement is performed.
●（記録用撮影処理）
図１９は、上述した第１〜第３実施形態の動作を伴う記録動作に関するフローチャートである。この処理は、システム制御部１０がＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０１に読み込んで実行し、カメラ１００〜１００Ｃの構成要素を制御することによって実現される。
● (Recording process for recording)
FIG. 19 is a flowchart relating to a recording operation involving the operations of the first to third embodiments described above. This process is realized by the
Ｓ１０１でシステム制御部１０は、撮影処理を実行する。これにより、１フレームの撮像画像の画像信号が撮像素子に蓄積される。
Ｓ１０３で撮像ＩＦ部は、記録処理よりも優先すべき処理（ＡＦおよび／または表示）に用いる部分領域の画像信号を、記録処理だけに用いる部分領域の画像信号よりも優先して撮像素子から読み出す。
In step S101, the
In step S103, the imaging IF unit reads out the image signal of the partial area used for processing (AF and / or display) to be prioritized over the recording process from the imaging element with priority over the image signal of the partial area used only for the recording process. .
Ｓ１０５で撮像ＩＦ部は、部分領域から読み出した画像信号を、その部分領域に設定されている用途に応じた宛先に分配（出力）する。上述の実施形態では並び替え用のメモリ、表示画像生成用の現像部、ＡＦ部、補間部が宛先に該当する。そして、宛先の構成要素では、ＡＦ処理の実行を開始したり（Ｓ１２１）、表示用画像の生成を開始したり（Ｓ１３１）する。補間が必要な場合には補間も随時実行する。 In S105, the imaging IF unit distributes (outputs) the image signal read from the partial area to destinations according to the use set in the partial area. In the above-described embodiment, the rearrangement memory, the display image generation developing unit, the AF unit, and the interpolation unit correspond to the destination. Then, in the destination component, execution of AF processing is started (S121), or generation of a display image is started (S131). If interpolation is necessary, interpolation is also performed as needed.
Ｓ１０７で撮像ＩＦ部は、優先して読み出すべき画像信号を全て読み出したか否かを判定し、読み出したと判定されればＳ１０９へ処理を進め、判定されなければＳ１０３に処理を戻して読み出しを継続する。 In S107, the imaging IF unit determines whether or not all the image signals to be read out have been read out. If it is determined that the image signals have been read, the process proceeds to S109. If not, the process returns to S103 to continue reading. .
Ｓ１０９で撮像ＩＦ部は、記録処理にだけ用いる部分領域から画像信号を読み出し、記録用画像を生成するための画像信号を格納するためのメモリ（メモリ４）に格納する。
Ｓ１１１で撮像ＩＦ部は、記録処理にだけ用いる部分領域から画像信号を全て読み出したか否かを判定し、読み出したと判定されればＳ１１３へ処理を進め、判定されなければＳ１０９に処理を戻して読み出しを継続する。
In S109, the imaging IF unit reads an image signal from a partial area used only for recording processing, and stores the image signal in a memory (memory 4) for storing an image signal for generating a recording image.
In S111, the imaging IF unit determines whether or not all image signals have been read from the partial area used only for the recording process. If it is determined that the image signal has been read, the process proceeds to S113. If not determined, the process returns to S109 and is read. Continue.
Ｓ１１３で並び替え部は、メモリ４に格納されている、記録用画像の生成に用いる画像信号を、撮像素子から通常の順序で読み出した場合と同じ順序となるように読み出し、記録用画像の現像部へ出力する。
In S113, the rearrangement unit reads out the image signals stored in the
Ｓ１１５で記録用画像の現像部は、記録用画像を生成する。また、記録用画像の現像部は、記録形式に応じて、記録用画像を格納したデータファイルを生成する。
Ｓ１１７で記録部は、データファイルを記録媒体に記録する。
In S115, the recording image developing unit generates a recording image. Further, the recording image developing unit generates a data file storing the recording image in accordance with the recording format.
In S117, the recording unit records the data file on the recording medium.
システム制御部１０は、以上の動作を撮影が終了するまで継続して実行させ、撮影が終了すると記録媒体に記録中のデータファイルのクローズ処理などを実行する。
The
（その他の実施形態）
上述の実施形態では、撮像画像の画像信号を用いた処理のうち、優先順位を異ならせる処理の例として、記録用画像の生成、表示用画像の生成、焦点検出用信号の生成について説明した。しかし、本発明はこれら特定の処理に限定されない。
(Other embodiments)
In the above-described embodiment, the generation of the recording image, the generation of the display image, and the generation of the focus detection signal have been described as examples of the processing for changing the priority among the processing using the image signal of the captured image. However, the present invention is not limited to these specific processes.
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１…撮影光学系、２…撮像素子、３…撮像ＩＦ部、４…メモリ、５…並び替え部、６、８…現像部、７…記録部、９…表示部、１０…システム制御部、５１、５２…読み出し制御部、５３、５８…並び替え制御部、５４…セレクタ
DESCRIPTION OF
Claims (10)
前記撮像素子から画像信号を読み出す読み出し手段と、
前記読み出し手段が読み出した画像信号を用いた第１の処理を実行する第１の処理手段と、
前記読み出し手段が読み出した画像信号を用いた第２の処理を実行する第２の処理手段と、を有し、
前記第２の処理は前記第１の処理よりも少ない画像信号を用いる処理であり、
前記読み出し手段は、前記第２の処理に用いられる画像信号を前記第２の処理に用いられない画像信号よりも優先して読み出して前記第２の処理手段に供給し、
さらに、前記読み出し手段が読み出した画像信号を、前記第２の処理に用いられる画像信号を優先して読み出さない場合と同じ順序に並び替えて前記第１の処理手段に供給する第１の並び替え手段と、を有する
ことを特徴とする撮像装置。 An image sensor;
Reading means for reading out an image signal from the image sensor;
First processing means for executing first processing using the image signal read by the reading means;
Second processing means for executing second processing using the image signal read by the reading means,
The second process is a process that uses fewer image signals than the first process,
The reading means reads the image signal used for the second processing in preference to the image signal not used for the second processing, and supplies the read image signal to the second processing means.
Further, a first rearrangement in which the image signals read by the reading means are rearranged in the same order as when the image signals used for the second processing are not read preferentially and supplied to the first processing means. And an imaging device.
前記第３の処理は前記第１の処理よりも少ない画像信号を用いる処理であり、
前記読み出し手段は、前記画像信号を、前記第３の処理に用いられる画像信号、前記第２の処理に用いられる画像信号、前記第１の処理だけに用いられる画像信号の順に読み出し、
前記第１の並び替え手段は、前記読み出し手段が読み出した画像信号を、前記撮像素子が有する画素の並び順に読み出した場合と同じ順序に並び替えて前記第１の処理手段に供給し、
前記撮像装置は、
前記第３の処理および前記第２の処理に用いられる画像信号と、前記第３の処理に用いられず前記第２の処理に用いられる画像信号とを、前記撮像素子が有する画素の並び順に読み出した場合と同じ順序に並び替えて前記第２の処理手段に供給する第２の並び替え手段をさらに有する、
ことを特徴とする請求項１に記載の撮像装置。 Furthermore, it has a 3rd process means to perform the 3rd process using the said image signal,
The third process is a process that uses fewer image signals than the first process,
The reading means reads the image signal in order of an image signal used for the third process, an image signal used for the second process, and an image signal used only for the first process,
The first rearrangement unit rearranges the image signals read by the readout unit in the same order as when read in the pixel arrangement order of the imaging element, and supplies the rearranged image signals to the first processing unit.
The imaging device
The image signal used for the third process and the second process, and the image signal not used for the third process and used for the second process are read in the order in which the pixels of the image sensor are arranged. A second rearrangement unit that rearranges the second processing unit in the same order as that supplied to the second processing unit;
The imaging apparatus according to claim 1.
前記生成手段は、前記読み出し手段が読み出した画像信号と、前記生成した画像信号とを、前記撮像素子における画素の並び順で前記第２の処理手段に供給する、
ことを特徴とする請求項２または請求項３に記載の撮像装置。 The image processing apparatus further includes a generation unit configured to generate an image signal corresponding to a pixel at a position different from the pixel from which the image signal is read from the image signal used for the second processing read by the reading unit.
The generation unit supplies the image signal read by the reading unit and the generated image signal to the second processing unit in the order of pixels in the image sensor.
The imaging apparatus according to claim 2 or claim 3, wherein
前記読み出し手段は、前記部分領域ごとに前記画像信号を読み出す、
ことを特徴とする請求項１から請求項６のいずれか１項に記載の撮像装置。 The pixel area of the image sensor is predetermined for each partial area,
The readout means reads out the image signal for each of the partial areas.
The imaging apparatus according to any one of claims 1 to 6, wherein the imaging apparatus is configured as described above.
前記画素領域に含まれる複数の画素ラインには、用途として第２の処理が周期的に設定される、
ことを特徴とする請求項７に記載の撮像装置。 The partial area is a pixel line;
A second process is periodically set as a use for a plurality of pixel lines included in the pixel region.
The imaging apparatus according to claim 7.
前記撮像素子から読み出された画像信号を用いた第２の処理を実行する第２の処理手段と、を有する撮像装置の制御方法であって、
前記第２の処理は前記第１の処理よりも少ない画像信号を用いる処理であり、
前記撮像素子から画像信号を読み出す読み出し工程であって、前記第２の処理に用いられる画像信号を前記第２の処理に用いられない画像信号よりも優先して読み出して前記第２の処理手段に供給する読み出し工程と、
前記読み出し工程で読み出された画像信号を、前記第２の処理に用いられる画像信号が優先して読み出されない場合と同じ順序に並び替えて前記第１の処理手段に供給する並び替え工程と、を有する
ことを特徴とする撮像装置の制御方法。 First processing means for executing first processing using an image signal read from the image sensor;
A second processing unit that executes a second process using an image signal read from the image sensor, and a method for controlling the imaging apparatus,
The second process is a process that uses fewer image signals than the first process,
A reading step of reading an image signal from the image sensor, wherein the image signal used in the second process is read out in preference to an image signal not used in the second process, and is sent to the second processing unit; A reading process to supply;
A rearrangement step of rearranging the image signals read in the reading step in the same order as when the image signals used for the second processing are not read preferentially and supplying the rearranged image signals to the first processing unit; And a method of controlling the imaging apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017142841A JP2019024172A (en) | 2017-07-24 | 2017-07-24 | Imaging apparatus and control method of the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017142841A JP2019024172A (en) | 2017-07-24 | 2017-07-24 | Imaging apparatus and control method of the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019024172A true JP2019024172A (en) | 2019-02-14 |
Family
ID=65368703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017142841A Pending JP2019024172A (en) | 2017-07-24 | 2017-07-24 | Imaging apparatus and control method of the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019024172A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023228714A1 (en) * | 2022-05-26 | 2023-11-30 | ソニーグループ株式会社 | Image-capturing device, image-capturing method, and program |
-
2017
- 2017-07-24 JP JP2017142841A patent/JP2019024172A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023228714A1 (en) * | 2022-05-26 | 2023-11-30 | ソニーグループ株式会社 | Image-capturing device, image-capturing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6019692B2 (en) | Image pickup device, image pickup device control method, and image pickup apparatus | |
| US9338346B2 (en) | Focus detection apparatus, control method therefor, and image capture apparatus | |
| JP6762766B2 (en) | Image sensor, image sensor, and image signal processing method | |
| JP7142507B2 (en) | Image processing device, image processing method, and imaging device | |
| JP6557499B2 (en) | FOCUS DETECTION DEVICE, ITS CONTROL METHOD, IMAGING DEVICE, PROGRAM, AND STORAGE MEDIUM | |
| JP2018125730A (en) | Imaging device and control method thereof | |
| JP2019220830A (en) | Imaging apparatus and control method therefor, program and storage medium | |
| US8908060B2 (en) | Imaging apparatus generating evaluation values at a high frame rate and having a live view function of displaying a video smoothly at a low frame rate | |
| JP2019024172A (en) | Imaging apparatus and control method of the same | |
| US11985423B2 (en) | Imaging element, imaging apparatus, operation method of imaging element, and program improving real-time output of shake degree information | |
| JP6235788B2 (en) | Imaging apparatus and control method thereof | |
| US10070064B2 (en) | Display control device including display control section that causes display data to be displayed in first and second regions og display, and controlling method of image capturing sensor and display | |
| JP6557451B2 (en) | Imaging apparatus, control method therefor, and program | |
| JP2017201749A (en) | Image processing apparatus and control method thereof | |
| CN110169054B (en) | Image pickup apparatus and image pickup method | |
| JP6590055B2 (en) | Imaging device | |
| JP6167473B2 (en) | Imaging device | |
| JP2015026910A (en) | Imaging device and method of controlling the same | |
| US11729506B2 (en) | Imaging element with processor configured to receive vibration information, imaging apparatus, operation method of imaging element, and program | |
| JP5663989B2 (en) | Imaging apparatus and image composition program | |
| JP5874473B2 (en) | Electronic camera | |
| JP7410088B2 (en) | Imaging device, imaging device, image data output method, and program | |
| US20230164434A1 (en) | Electronic device and control method thereof | |
| JP2004153710A (en) | Control method of imaging apparatus, and imaging apparatus | |
| JP5017601B2 (en) | Data transfer control device and data transfer method |