JP2020031432A - Imaging apparatus and control method - Google Patents
Imaging apparatus and control method Download PDFInfo
- Publication number
- JP2020031432A JP2020031432A JP2019192853A JP2019192853A JP2020031432A JP 2020031432 A JP2020031432 A JP 2020031432A JP 2019192853 A JP2019192853 A JP 2019192853A JP 2019192853 A JP2019192853 A JP 2019192853A JP 2020031432 A JP2020031432 A JP 2020031432A
- Authority
- JP
- Japan
- Prior art keywords
- mode
- signal
- read
- imaging device
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Abstract
Description
本発明は、撮像装置及びその制御方法に関する。 The present invention relates to an imaging device and a control method thereof.
近年、ＣＭＯＳセンサなど撮像素子を用いた撮像装置においては多機能化が進み、静止画／動画といった撮像画像の生成だけでなく、例えば焦点調節のような撮像装置の制御も撮像素子で得た被写体情報に基づいて行われるようになっている。 2. Description of the Related Art In recent years, an imaging device using an imaging device such as a CMOS sensor has become multifunctional, and not only generation of a captured image such as a still image / moving image but also control of the imaging device such as focus adjustment has been performed by an imaging device. This is done based on information.
例えば、特許文献１には、撮像素子から得た信号を用いて瞳分割方式の焦点検出が可能な技術が開示されている。特許文献１では、撮像素子の画素毎に１つのマイクロレンズと２つのフォトダイオードを備えることにより、それぞれのフォトダイオードは撮影レンズの異なる瞳を通過した光を受光する。この２つのフォトダイオードからの出力信号を比較することで焦点検出が可能となると共に、２つのフォトダイオードからの出力信号を加算することで撮像画像を生成することも可能となる。
For example,
しかしながら、特許文献１のように各画素が複数のフォトダイオードを有する場合には、全画素の信号を読み出すのに長い時間を要してしまう。
However, when each pixel has a plurality of photodiodes as in
本発明の目的は、読出し時間の増大を抑制しつつ、良好な画質を得ることが可能な撮像装置及びその制御方法を提供することにある。 An object of the present invention is to provide an imaging apparatus capable of obtaining good image quality while suppressing an increase in read time, and a control method thereof.
本発明の一観点によれば、行列方向に配列された複数のマイクロレンズと、前記複数のマイクロレンズの各々に対応して行列方向に複数の単位画素が配列された画素領域とを有する撮像素子であって、各々の前記単位画素は、第１の光電変換部と第２の光電変換部とを含む撮像素子と、前記第１の光電変換部と前記第２の光電変換部とでそれぞれ発生した電荷に対応する信号に対して読み出しを行うモードである第１のモードと、前記第１の光電変換部で発生した電荷に対応する信号に対して読み出しを行うモードである第２のモードとを少なくともとり得る制御手段と、を備え、前記制御手段によって、前記第１のモードで前記撮像素子から読み出される信号数は、前記第２のモードで前記撮像素子から読み出される信号数と略等しい、ことを特徴とする撮像装置が提供される。 According to one aspect of the present invention, an imaging device having a plurality of microlenses arranged in a matrix direction and a pixel region in which a plurality of unit pixels are arranged in a matrix direction corresponding to each of the plurality of microlenses Wherein each of the unit pixels is generated by an image sensor including a first photoelectric conversion unit and a second photoelectric conversion unit, and by the first photoelectric conversion unit and the second photoelectric conversion unit, respectively. A first mode in which reading is performed on a signal corresponding to the generated electric charge, and a second mode in which reading is performed on a signal corresponding to the electric charge generated in the first photoelectric conversion unit. Control means that can at least take, the number of signals read from the image sensor in the first mode by the control means is substantially equal to the number of signals read from the image sensor in the second mode, This Imaging apparatus is provided, wherein.
本発明によれば、焦点検出用の信号の取得のための読出し時間の増大を抑制しつつ、良好な画質を得ることが可能な撮像装置及びその制御方法を提供することができる。 According to the present invention, it is possible to provide an imaging apparatus and a control method thereof capable of obtaining good image quality while suppressing an increase in a read time for acquiring a signal for focus detection.
特許文献１のように各画素が複数のフォトダイオードを有する場合には、全画素の信号を読み出すのに長い時間を要してしまう。
When each pixel has a plurality of photodiodes as in
そこで、焦点検出処理に使用する画素行では、各画素のフォトダイオード毎に独立に信号を読出し、焦点検出処理を行わない画素エリアでは、画素内でフォトダイオードの信号を加算して画像生成用の信号のみを読み出すようにする。そうすれば、読出し時間の増大を抑制することもできる。 Therefore, in a pixel row used for focus detection processing, a signal is read out independently for each photodiode of each pixel, and in a pixel area where focus detection processing is not performed, a signal of a photodiode is added in a pixel to generate an image for image generation. Read only the signal. Then, an increase in the read time can be suppressed.
しかしながら、その場合、焦点検出に使用する画素行とそうではない画素行とでは、読出しに掛かる時間が異なる。そのために、ライブビューや動画撮影時の動作として一般的なスリットローリング動作においては、画素行によって蓄積時間が異なり露光量が異なってしまう現象（以下、「露光量ずれ」と呼ぶ）が発生してしまう。 However, in this case, the time required for reading differs between a pixel row used for focus detection and a pixel row that is not. For this reason, in a general slit rolling operation as an operation at the time of live view or moving image shooting, a phenomenon (hereinafter, referred to as “exposure amount shift”) occurs in which the accumulation time differs depending on the pixel row and the exposure amount differs. I will.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
［第１実施形態］
第１実施形態による撮像装置について図面を用いて説明する。図１は、本実施形態による撮像装置１００の全体構成を示す図である。
[First Embodiment]
The imaging device according to the first embodiment will be described with reference to the drawings. FIG. 1 is a diagram illustrating an overall configuration of an
図１に示すように、結像光学系の先端に配置された第１のレンズ群１０１は、光軸方向に進退可能に保持される。絞り１０２は、その開口径を調節することで撮影時の光量調節を行う。第２のレンズ群１０３は、第１のレンズ群１０１の進退動作と連動して変倍作用（ズーム機能）を為す。第３のレンズ群１０４は、光軸方向の進退移動により焦点調節を行う。
As shown in FIG. 1, the
光学的ローパスフィルタ１０５は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子（撮像ユニット）１０６は、レンズ群１０１，１０３，１０４によって結像された被写体像を光電変換（撮像）して撮像信号（画素信号）を生成する。ここでは、撮像素子１０６にはベイヤー配列のＣＭＯＳイメージセンサが使用されるものとする。
The optical low-
撮像素子１０６から出力されるアナログ画像信号はＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０７によりデジタル信号（画像データ）に変換されてＤＦＥ（Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）１０８に入力され、所定の演算処理が施される。ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｅｒ）１０９は、ＤＦＥ１０８から出力される画像データに対する補正処理や現像処理などを行なう。また、ＤＳＰ１０９は、画像データから焦点ずれ量を算出するＡＦ（オートフォーカス）演算も行う。
An analog image signal output from the
記録媒体１１０には画像データが記録される。表示部１１１は撮影した画像や各種メニュー画面などを表示するためのものであり、液晶ディスプレイ（ＬＣＤ）などが使用される。
Image data is recorded on the
ＲＡＭ１１２は画像データなどを一時的に記憶するものであり、ＤＳＰ１０９と接続されている。タイミングジェネレータ（ＴＧ）１１３は、撮像素子１０６に駆動信号を供給する。
The
ＣＰＵ（コントローラ、制御部）１１４は、ＡＦＥ１０７，ＤＦＥ１０８，ＤＳＰ１０９，ＴＧ１１３，及び、絞り駆動回路１１５の制御を行う。また、ＣＰＵ１１４は、ＤＳＰ１０９のＡＦ演算結果に基づいてフォーカス駆動回路１１６を制御する。ＣＰＵ１１４によって行われるこれらの制御は、ＣＰＵ１１４がＲＯＭ１１９または不図示のメモリに記憶されている制御プログラムを読み出して実行することで実現される。
A CPU (controller, control unit) 114 controls the AFE 107, the DFE 108, the DSP 109, the
絞り駆動回路１１５は、絞りアクチュエータ１１７を駆動制御することにより絞り１０２を駆動する。フォーカス駆動回路１１６は、フォーカスアクチュエータ１１８を駆動制御することにより第３のレンズ群１０４を光軸方向に進退移動させ、これにより焦点調節を行う。ＲＯＭ１１９は、各種補正データ等を記憶するものである。メカニカルシャッター１２０は、静止画撮影時において撮像素子１０６への露光量を制御する。メカニカルシャッター１２０は、ライブビュー動作時や動画撮影時においては開状態を保持し、撮像素子１０６を露光し続ける状態となる。シャッター駆動回路１２１は、メカニカルシャッター１２０を制御する。
The
図２は、撮像素子１０６の画素配置を示す模式的に示す図である。図２に示すように、単位画素２００が行列状（２次元、行列方向）、即ち、マトリクス状に配列されており、各単位画素２００に対してＲ（Ｒｅｄ）／Ｇ（Ｇｒｅｅｎ）／Ｂ（Ｂｌｕｅ）のカラーフィルタがベイヤー状に配置されている。また、各単位画素２００内にはそれぞれ副画素ａ，副画素ｂが配置されており、フォトダイオード（以下ＰＤと表す）２０１ａ、２０１ｂがそれぞれの副画素ａ，ｂに配置されている。副画素ａ，ｂから出力される各々の撮像信号は焦点検出に利用され、副画素ａ，副画素ｂから出力される撮像信号を加算した信号であるａ／ｂ合成信号は画像生成用に利用される。
FIG. 2 is a diagram schematically illustrating a pixel arrangement of the
図３は、第１〜第３のレンズ群１０１，１０３，１０４及び絞り１０２により構成される撮影レンズの射出瞳から出る光束と単位画素２００との関係を示した模式的に示す図である。図３において、図２と同様の部分については、同じ符号を付して示している。
FIG. 3 is a diagram schematically illustrating a relationship between a
図３に示すように、カラーフィルタ３０１とマイクロレンズ３０２とが、各々の単位画素２００上に形成されている。撮影レンズの射出瞳３０３を通過した光は、光軸３０４を中心として単位画素２００に入射する。撮影レンズの射出瞳３０３の一部の領域である瞳領域３０５を通過する光束は、マイクロレンズ３０２を通って、副画素ａで受光される。一方、射出瞳３０３の他の一部の領域である瞳領域３０６を通過する光束は、マイクロレンズ３０２を通って、副画素ｂで受光される。したがって、副画素ａと副画素ｂは、それぞれ、撮影レンズの射出瞳３０３の別々の瞳領域３０５，３０６の光を受光している。このため、副画素ａと副画素ｂの出力信号を比較することで位相差方式の焦点検出が可能となる。
As shown in FIG. 3, a
図４は、副画素ａから得られる像信号波形４０１と副画素ｂから得られる像信号波形４０２との相関関係を、異なる焦点状態について示す図である。図４（ａ）に示すように、合焦状態から外れている場合には、副画素ａ，ｂのそれぞれから得られる像信号波形４０１と４０２とは一致せず、大きくずれた状態となる。合焦状態に近づくと、図４（ｂ）に示すように、それぞれの像信号波形４０１と４０２とのずれは小さくなり、合焦状態では像信号波形４０１と４０２とが重なり合うことになる。このように副画素ａ，ｂから得られる像信号波形４０１と４０２のズレ量から焦点のずれ量（デフォーカス量）を検出し、焦点調節を行うことができる。
FIG. 4 is a diagram showing the correlation between the
図５は、撮像素子１０６の全体構成を示す図である。画素領域ＰＡには、単位画素２００がｐ１１〜ｐｋｎのように行列状（ｎ行×ｋ列）、即ち、マトリクス状に配置されている。ここで、単位画素２００の構成を、図６を用いて説明する。図６は、撮像素子の単位画素の回路構成を示す図である。
FIG. 5 is a diagram illustrating the overall configuration of the
図６において、前述した副画素ａ，ｂのＰＤ（光電変換部）６０１ａ，６０１ｂに入射した光信号が、ＰＤ６０１ａ，６０１ｂによって光電変換され、露光量に応じた電荷がＰＤ６０１ａ，６０１ｂに蓄積される。転送ゲート６０２ａ，６０２ｂのゲートに印加する信号ｔｘａ，ｔｘｂをそれぞれＨｉｇｈレベルにすることで、ＰＤ６０１ａ，６０１ｂに蓄積されている電荷がＦＤ（フローティングディフュージョン）部６０３に転送される（電荷転送）。ＦＤ部６０３は、フローティングディフュージョンアンプ６０４（以下ＦＤアンプと表す）のゲートに接続されており、ＰＤ６０１ａ，６０１ｂから転送されてきた電荷量がＦＤアンプ６０４によって電圧量に変換される。
In FIG. 6, the optical signals incident on the PDs (photoelectric conversion units) 601a and 601b of the sub-pixels a and b are photoelectrically converted by the PDs 601a and 601b, and the charges corresponding to the exposure amounts are accumulated in the PDs 601a and 601b. . By setting the signals txa and txb applied to the gates of the
ＦＤ部６０３をリセットするためのＦＤリセットスイッチ６０５のゲートに印加する信号ｒｅｓをＨｉｇｈレベルとすることにより、ＦＤ部６０３がリセットされる。また、ＰＤ６０１ａ，６０１ｂの電荷をリセットする場合には、信号ｒｅｓと信号ｔｘａ，ｔｘｂとを同時にＨｉｇｈレベルとする。これにより、転送ゲート６０２ａ，６０２ｂ及びＦＤリセットスイッチ６０５の両方がＯＮ状態となり、ＦＤ部６０３経由でＰＤ６０１ａ，６０１ｂがリセットされる。画素選択スイッチ６０６のゲートに印加する信号ｓｅｌをＨｉｇｈレベルとすることにより、ＦＤアンプ６０４によって電圧に変換された画素信号が単位画素２００の出力ｖｏｕｔに出力される。
By setting the signal res applied to the gate of the FD reset switch 605 for resetting the
図５に示すように、垂直走査回路５０１は、前述の単位画素２００の各スイッチを制御するｒｅｓ，ｔｘａ，ｔｘｂ，ｓｅｌといった駆動信号を各単位画素２００に供給する。これらの駆動信号ｒｅｓ，ｔｘａ，ｔｘｂ，ｓｅｌは、行毎において共通となっている。各単位画素２００の出力ｖｏｕｔは、列毎に垂直出力線５０２を介して列共通読出し回路５０３に接続されている。
As shown in FIG. 5, the
ここで、列共通読出し回路５０３の構成を、図７を用いて説明する。
Here, the configuration of the column
垂直出力線５０２は、単位画素２００の列毎に設けられ、１列分の単位画素２００の出力ｖｏｕｔが接続されている。垂直出力線５０２には電流源５０４が接続されており、電流源５０４と、垂直出力線５０２に接続された単位画素２００のＦＤアンプ６０４とによってソースフォロワ回路が構成される。
The
図７において、クランプ容量７０１はＣ１の容量を有しており、フィードバック容量７０２はＣ２の容量を有しており、演算増幅器７０３は、基準電源Ｖｒｅｆに接続された非反転入力端子を有している。スイッチ７０４はフィードバック容量７０２の両端をショートさせるためのものであり、スイッチ７０４は信号ｃｆｓによって制御される。
In FIG. 7, a
転送スイッチ７０５〜７０８は、それぞれ単位画素２００から読み出される信号を各信号保持容量７０９〜７１２に転送するためのものである。後述する読出し動作によって、第１のＳ信号保持容量７０９には、副画素ａから出力される画素信号Ｓａが記憶される。また、第２のＳ信号保持容量７１１には、副画素ａから出力される信号と副画素ｂから出力される信号とを合成（加算）した信号であるａ／ｂ合成信号Ｓａｂが記憶される。また、第１のＮ信号保持容量７１０及び第２のＮ信号保持容量７１２には、単位画素２００のノイズ信号Ｎがそれぞれ記憶される。各信号保持容量７０９〜７１２は、それぞれ列共通読出し回路５０３の出力ｖｓａ，ｖｎａ，ｖｓｂ，ｖｎｂに接続されている。
The transfer switches 705 to 708 transfer signals read from the
図５に示すように、列共通読出し回路５０３の出力ｖｓａ，ｖｎａには、それぞれ水平転送スイッチ５０５，５０６が接続されている。水平転送スイッチ５０５，５０６は、水平走査回路５１１の出力信号ｈａ＊（＊は列番号）によって制御される。信号ｈａ＊がＨｉｇｈレベルになることにより、第１のＳ信号保持容量７０９、第１のＮ信号保持容量７１０の信号がそれぞれ水平出力線５０９，５１０へ転送される。
As shown in FIG. 5, horizontal transfer switches 505 and 506 are connected to outputs vsa and vna of the column
また、列共通読出し回路５０３の出力ｖｓｂ，ｖｎｂには、それぞれ水平転送スイッチ５０７，５０８が接続されている。水平転送スイッチ５０７，５０８は、水平走査回路５１１の出力信号ｈｂ＊（＊は列番号）によって制御される。信号ｈｂ＊がＨｉｇｈレベルになることにより、第２のＳ信号保持容量７１１、第２のＮ信号保持容量７１２の信号がそれぞれ水平出力線５０９，５１０へ転送される。水平出力線５０９，５１０は差動増幅器５１４の入力に接続されており、差動増幅器５１４ではＳ信号とＮ信号の差分をとると同時に所定のゲインをかけ、最終的な出力信号を出力端子５１５へ出力する。
The horizontal transfer switches 507 and 508 are connected to the outputs vsb and vnb of the column
水平出力線リセットスイッチ５１２，５１３のゲートに印加する信号ｃｈｒｅｓをＨｉｇｈにすると、水平出力線リセットスイッチ５１２，５１３がＯＮとなり、各水平出力線５０９，５１０がリセット電圧Ｖｃｈｒｅｓにリセットされる。
When the signal chres applied to the gates of the horizontal output line reset switches 512 and 513 is set to High, the horizontal output line reset switches 512 and 513 are turned ON, and the
以下、像信号Ａの読み出し動作と、像信号Ａと像信号Ｂの合成信号である像信号ＡＢの読出し動作とについて説明する。 Hereinafter, the reading operation of the image signal A and the reading operation of the image signal AB which is a composite signal of the image signal A and the image signal B will be described.
図８は、撮像素子１０６の画素領域ＰＡと焦点検出を行うために画素領域ＰＡに設定される測距枠８０１との関係を示す図である。測距枠８０１は、ＣＰＵ１１４によってＤＳＰ１０９に対して設定されるとともに、ＴＧ１１３による駆動信号の発生によって制御される。測距枠８０１の設定は、予めＲＯＭ１１９に記憶されている設定データに従って行われるが、図示しない操作部材をユーザーが操作して入力したデータに従って測距枠８０１が設定されるようにしてもよい。
FIG. 8 is a diagram showing the relationship between the pixel area PA of the
前述したようにｋ列×ｎ行の画素で構成される画素領域ＰＡにおいて、点線で示すのが測距枠８０１である。斜線部で示す領域Ｒｅｇｉｏｎ＿ｉに含まれる単位画素の行からは、即ち、Ｒｅｇｉｏｎ＿ｉの領域内の単位画素の行からは、本実施形態では、像信号Ａ及び像信号ＡＢが読み出され、画像生成及び焦点検出演算に使用される。領域Ｒｅｇｉｏｎ＿ｉ以外の領域である領域Ｒｅｇｉｏｎ＿ｃに含まれる単位画素の行からは、像信号ＡＢのみが読み出され、焦点検出演算には使用されず画像生成のみに使用される。
As described above, in the pixel area PA composed of pixels of k columns × n rows, the
なお、図８に示すように、画素領域の垂直方向に複数の領域Ｒｅｇｉｏｎ＿ｉを設定した場合、各領域Ｒｅｇｉｏｎ＿ｉにおける単位画素２００の行の数を互いに異ならせて設定してもよい。
As shown in FIG. 8, when a plurality of regions Region_i are set in the vertical direction of the pixel region, the number of rows of the
次に、撮像素子１０６の読出し動作について図９ａ〜図９ｃを用いて説明する。図９ａは、前述の領域Ｒｅｇｉｏｎ＿ｃの各行に対して行われる読出し動作のタイミングチャートである。
Next, the reading operation of the
まず、信号ｃｆｓをＨｉｇｈレベルにしてスイッチ７０４をＯＮすることにより、演算増幅器７０３をバッファ状態にする。次に、信号ｓｅｌをＨｉｇｈレベルにして単位画素の画素選択スイッチ６０６をＯＮにする。その後、信号ｒｅｓをＬｏｗレベルにしてＦＤリセットスイッチ６０５をＯＦＦにし、ＦＤ部６０３のリセットを開放する。
First, the signal cfs is set to a high level to turn on the
続いて信号ｃｆｓをＬｏｗレベルに戻してスイッチ７０４をＯＦＦにした後、信号ｔｎａ，ｔｎｂをＨｉｇｈレベルにして、転送スイッチ７０６，７０８を介して第１のＮ信号保持容量７１０及び第２のＮ信号保持容量７１２にノイズ信号Ｎを記憶する。
Subsequently, after the signal cfs is returned to the low level to turn off the
次いで、信号ｔｎａ，ｔｎｂをＬｏｗにし、転送スイッチ７０６，７０８をＯＦＦにする。その後、信号ｔｓｂをＨｉｇｈレベルにして転送スイッチ７０７をＯＮにすると共に、信号ｔｘａ及びｔｘｂをＨｉｇｈレベルにすることで転送ゲート６０２ａと６０２ｂをＯＮにする。この動作により、副画素ａのＰＤ６０１ａに蓄積されていた電荷信号及び副画素ｂのＰＤ６０１ｂに蓄積された電荷信号を合成した信号が、ＦＤアンプ６０４、画素選択スイッチ６０６を介して垂直出力線５０２へ出力される。垂直出力線５０２の信号は、クランプ容量７０１の容量Ｃ１とフィードバック容量７０２の容量Ｃ２との容量比に応じたゲインで演算増幅器７０３により増幅され、転送スイッチ７０７を介して第２のＳ信号保持容量７１１へ記憶される（ａ／ｂ合成信号Ｓａｂ）。転送ゲート６０２ａ及び６０２ｂと、転送スイッチ７０７とを順次ＯＦＦにした後、信号ｒｅｓをＨｉｇｈレベルにしてＦＤリセットスイッチ６０５をＯＮにし、ＦＤ部６０３をリセットする。
Next, the signals tna and tnb are set to Low, and the transfer switches 706 and 708 are turned off. After that, the signal tsb is set to High level to turn on the transfer switch 707, and the signals txa and txb are set to High level to turn on the
次に、水平走査回路５１１の出力ｈｂ１がＨｉｇｈレベルになることにより、水平転送スイッチ５０７，５０８がＯＮされる。これにより、第２のＳ信号保持容量７１１、第２のＮ信号保持容量７１２の信号が水平出力線５０９，５１０と差動増幅器５１４を介して出力端子５１５に出力される。水平走査回路５１１は、各列の選択信号ｈｂ１、ｈｂ２、・・・、ｈｂｋを順次Ｈｉｇｈにすることにより、１行分のａ／ｂ合成信号（像信号ＡＢ）を出力する。尚、信号ｈｂ１〜ｈｂｋによって各列の信号が読み出される間には、信号ｃｈｒｅｓをＨｉｇｈレベルにすることで水平出力線リセットスイッチ５１２，５１３をＯＮし、一旦、水平出力線５０９，５１０をリセット電圧Ｖｃｈｒｅｓのレベルにリセットする。
Next, when the output hb1 of the
以上が、領域Ｒｅｇｉｏｎ＿ｃにおける単位画素の各行の読出し動作である。これにより、像信号ＡＢが読み出されることになる。 The above is the reading operation of each row of unit pixels in the region Region_c. As a result, the image signal AB is read.
続いて、領域Ｒｅｇｉｏｎ＿ｉの各行の読出し動作について図９ｂ、図９ｃを用いて説明する。図９ｂは、像信号Ａが読み出されるまでの動作のタイミングチャートである。信号ｃｆｓをＨｉｇｈレベルにすることから始まり、信号ｔｎａ，ｔｎｂをＬｏｗにして第１のＮ信号保持容量７１０及び第２のＮ信号保持容量７１２にＮ信号を記憶するまでの動作は、図９ａで説明した動作と同様である。
Next, a read operation of each row in the region Region_i will be described with reference to FIGS. 9B and 9C. FIG. 9B is a timing chart of the operation until the image signal A is read. The operation from starting the signal cfs to the High level to the storing of the N signal in the first N
ノイズ信号Ｎの記憶が終了すると、信号ｔｓａをＨｉｇｈレベルにして転送スイッチ７０５をＯＮにすると共に、信号ｔｘａをＨｉｇｈレベルにすることで転送ゲート６０２ａをＯＮする。このような動作によって、副画素ａのＰＤ６０１ａに蓄積されていた信号が、ＦＤアンプ６０４及び画素選択スイッチ６０６を介して垂直出力線５０２へ出力される。垂直出力線５０２の信号は、演算増幅器７０３において、クランプ容量７０１の容量Ｃ１とフィードバック容量７０２の容量Ｃ２との容量比に応じたゲインで増幅され、転送スイッチ７０５を介して第１のＳ信号保持容量７０９に記憶される（画素信号Ｓａ）。
When the storage of the noise signal N is completed, the signal tsa is set to the high level to turn on the
次に、水平走査回路５１１の出力ｈａ１がＨｉｇｈレベルになることにより、水平転送スイッチ５０５，５０６がＯＮされる。これにより、第１のＳ信号保持容量７０９、第１のＮ信号保持容量７１０の信号が水平出力線５０９，５１０と差動増幅器５１４とを介して出力端子５１５に出力される。水平走査回路５１１は、各列の選択信号ｈａ１、ｈａ２、・・・、ｈａｋを順次Ｈｉｇｈにすることにより、１行分の副画素ａの信号（像信号Ａ）を出力する。
Next, when the output ha1 of the
信号ｒｅｓはＬｏｗレベルのままで、信号ｓｅｌはＨｉｇｈレベルのままで、像信号Ａの読出しを終了する。これにより、ＦＤ部６０３上の像信号Ａはリセットされず保持されることになる。
The signal res remains at the low level, the signal sel remains at the high level, and the reading of the image signal A ends. As a result, the image signal A on the
像信号Ａの読出しが終了すると、続けて図９ｃに示す像信号ＡＢの読出し動作へと移る。信号ｔｓｂをＨｉｇｈレベルにして転送スイッチ７０７をＯＮすると共に、信号ｔｘａ及びｔｘｂをＨｉｇｈレベルにすることで転送ゲート６０２ａと６０２ｂとをＯＮにする。このような動作により、副画素ｂのＰＤ６０２ｂに蓄積されていた信号がＦＤ部６０３に保持されていた副画素ａの信号と加算され、加算された信号がＦＤアンプ６０４、画素選択スイッチ６０６を介して垂直出力線５０２へ出力される。これ以降の部分は、図９ａを用いて説明した領域Ｒｅｇｉｏｎ＿ｃの動作と同じである。
When the reading of the image signal A is completed, the operation proceeds to the reading operation of the image signal AB shown in FIG. 9C. The signal tsb is set to High level to turn on the transfer switch 707, and the signals txa and txb are set to High level to turn on the
以上により、領域Ｒｅｇｉｏｎ＿ｉにおける各行の読出し動作が終了する。これにより、像信号Ａと像信号ＡＢが順次読み出されることになる。 Thus, the reading operation of each row in the region Region_i ends. As a result, the image signal A and the image signal AB are sequentially read.
ところで、上述したように、領域Ｒｅｇｉｏｎ＿ｉでは、像信号Ａの読み出しと像信号ＡＢの読み出しとが行なわれるので、領域Ｒｅｇｉｏｎ＿ｃでの像信号ＡＢの読み出しに比べて時間がかかり、露光量のズレが生じる恐れがある。そこで、本発明では、図９ｂ，図９ｃの読み出し動作のそれぞれに要する時間の長さ、即ち、読み出し周期（単位読み出し周期）の長さを、図９ａの読み出し動作に要する時間の長さ、即ち、読み出し周期（単位読み出し周期）の長さと同じにする。ここで、領域Ｒｅｇｉｏｎ＿ｃの１行分の読出し時間の長さを、基準となる１単位の読み出し時間（単位読み出し周期、単位周期）の長さとし、１Ｈで表すこととする。なお、ここで“Ｈ”は、ｈｏｕｒを意味しているわけではない。図９ａに示す読み出し動作における読み出し周期の長さと、図９ｂに示す読み出し動作における読み出し周期の長さと、図９ｃに示す読み出し動作における読み出し周期の長さとは、いずれも１Ｈ、即ち、１単位読み出し周期の長さに設定される。領域Ｒｅｇｉｏｎ＿ｉの各行を読み出す際には、像信号Ａの読み出しと像信号ＡＢの読み出しとが行なわれるため、領域Ｒｅｇｉｏｎ＿ｉの各行における読み出し周期は、２単位読み出し周期分の長さ、即ち、２Ｈとなる。領域Ｒｅｇｉｏｎ＿ｃの各行を読み出す際には、像信号ＡＢの読み出しのみが行われるため、領域Ｒｅｇｉｏｎ＿ｃの各行における読み出し周期は、１単位読み出し周期分の長さ、即ち、１Ｈとなる。即ち、領域Ｒｅｇｉｏｎ＿ｉの各行の読出し時間は、領域Ｒｅｇｉｏｎ＿ｃの各行の読み出し時間の２倍となる。これにより、スリットローリング動作においても露光量ずれのない画像を得ることができる。 By the way, as described above, in the region Region_i, the reading of the image signal A and the reading of the image signal AB are performed, so that it takes longer time than reading of the image signal AB in the region Region_c, and the exposure amount is shifted. There is fear. Therefore, in the present invention, the length of time required for each of the read operations in FIGS. 9B and 9C, that is, the length of the read cycle (unit read cycle) is determined by the length of the time required for the read operation in FIG. , The length of the read cycle (unit read cycle). Here, the length of the read time for one row of the region Region_c is defined as 1H, which is the length of one reference read time (unit read cycle, unit cycle). Here, “H” does not mean “hour”. The length of the read cycle in the read operation shown in FIG. 9A, the length of the read cycle in the read operation shown in FIG. 9B, and the length of the read cycle in the read operation shown in FIG. 9C are all 1H, that is, one unit read cycle. Is set to the length of When each row of the region Region_i is read, the image signal A and the image signal AB are read. Therefore, the read cycle in each row of the region Region_i is the length of two unit read cycles, that is, 2H. . When reading each row of the region Region_c, only the reading of the image signal AB is performed. Therefore, the read cycle in each row of the region Region_c is the length of one unit read cycle, that is, 1H. That is, the read time of each row in the region Region_i is twice as long as the read time of each row in the region Region_c. This makes it possible to obtain an image with no exposure amount deviation even in the slit rolling operation.
以下、図１０を用いて、領域Ｒｅｇｉｏｎ＿ｉでの読み出し周期の長さと領域Ｒｅｇｉｏｎ＿ｃでの読み出し周期の長さとを同じにした場合のスリットローリング動作について説明する。 Hereinafter, the slit rolling operation in the case where the length of the read cycle in the region Region_i and the length of the read cycle in the region Region_c are the same will be described with reference to FIG.
スリットローリング動作においては、先行してリセット走査が開始され、それに続いて読出し走査が行われることにより、各行で一定の蓄積時間で画像が取得される。図１０では、４Ｈ分の蓄積時間Ｔａｂで動作する例を示す。なお、１Ｈは、上述したように、領域Ｒｅｇｉｏｎ＿ｃの１行分の読出し時間（単位読み出し周期、単位周期）である。 In the slit rolling operation, the reset scan is started in advance, and the read scan is performed subsequently, so that an image is acquired in each row for a fixed accumulation time. FIG. 10 shows an example in which the operation is performed with the accumulation time Tab of 4H. Note that 1H is the read time (unit read cycle, unit cycle) for one row of the region Region_c as described above.
図１０に示すように、リセット走査の行番号が読出し走査の行番号に対して、４行分先を進むことにより、この動作が実現される。各行の動作において、ドットを付した枠がＰＤに溜まった電荷のリセットを示しており、白枠がＰＤに蓄積された電荷の転送（読出し）を示している。ここで、第ｍ行及び第ｍ＋１行は、領域Ｒｅｇｉｏｎ＿ｉ内に位置している。第ｍ−５行から第ｍ−１行、及び、第ｍ＋２行から第ｍ＋５行は、領域Ｒｅｇｉｏｎ＿ｃ内に位置している。第ｍ行及び第ｍ＋１行における像信号Ａの読み出し周期１００１の長さは、それぞれ１Ｈとなっている。また、第ｍ行及び第ｍ＋１行における像信号ＡＢの読み出し周期１００２の長さは、それぞれ１Ｈとなっている。第ｍ−５行から第ｍ−１行、及び、第ｍ＋２行から第ｍ＋５行における像信号ＡＢの読み出し周期１００３の長さは、それぞれ１Ｈとなっている。領域Ｒｅｇｉｏｎ＿ｉで像信号Ａ、像信号ＡＢの読出しにそれぞれ１Ｈ分の時間をかけることにより、領域Ｒｅｇｉｏｎ＿ｉ，領域Ｒｅｇｉｏｎ＿ｃいずれの領域でも一定の蓄積時間Ｔａｂが保たれていることがわかる。このためには、ｔｘａ，ｔｘｂのパルスが出力されるタイミング（特に転送ゲートがＯＦＦにされる立下がりタイミング）が各Ｈの中で同一であることがポイントとなる。
As shown in FIG. 10, this operation is realized when the row number of the reset scan advances four rows ahead of the row number of the read scan. In the operation of each row, a frame with a dot indicates reset of the electric charge accumulated in the PD, and a white frame indicates transfer (reading) of the electric charge accumulated in the PD. Here, the m-th row and the (m + 1) -th row are located in the region Region_i. The (m-5) th to (m-1) th rows and the (m + 2) th to (m + 5) th rows are located in the region Region_c. The length of the
第ｍ行及び第ｍ＋１行に位置する単位画素２００に対して読み出しを行う場合、像信号Ａの読み出しは、読み出し周期１００１内において行われ、像信号ＡＢの読み出しは、読み出し周期１００２内において行われる。従って、読み出し周期１００１内において、ＰＤ６０１ａに蓄積されている電荷がＦＤ部６０３に転送され、読み出し周期１００２内において、ＰＤ６０１ｂに蓄積されている電荷がＦＤ部６０３に転送される。
また、第ｍ−５行から第ｍ−１行、及び、第ｍ＋２行から第ｍ＋５行に位置する単位画素２００に対して読み出しを行う場合、各々の読み出し周期１００３内において像信号ＡＢの読み出しが行われる。従って、読み出し周期１００３内において、ＰＤ６０１ａに蓄積されている電荷とＰＤ６０１ｂに蓄積されている電荷とがＦＤ部６０３に転送される。
When reading is performed on the
When reading is performed on the
読み出し周期１００３においては、ＰＤ６０１ａとＰＤ６０１ｂとでそれぞれ発生した電荷に対する信号に対して合成処理を行い、合成処理が行われた信号に対して読み出しを行うモードである第１のモードが適用される。
また、読み出し周期１００１においては、ＰＤ６０１ａで発生した電荷に対応する信号に対して合成処理を行うことなく読み出しを行うモードである第２のモードが適用される。
また、読み出し周期１００２においては、読み出し周期１００１において適用される第２のモードとは異なるモードが適用される。本実施形態では、ＰＤ６０１ａとＰＤ６０１ｂとでそれぞれ発生した電荷に対する信号に対して合成処理を行い、合成処理が行われた信号に対して読み出しを行う第１のモードが、読み出し周期１００２において適用される。
In the
In the
In the
ここで、像信号Ａの蓄積時間Ｔａについては、リセットＡＢから転送Ａまでの時間Ｔａとなるため像信号ＡＢの蓄積時間Ｔａｂよりも１Ｈ分短くなる。被写体などによっては、この違いがＤＦＥ１０８やＤＳＰ１０９などで焦点検出演算の精度劣化に影響する可能性も考えられる。そのような場合には、焦点検出演算前にゲインを掛けて補正するようにしてもよい。例えば、ＤＦＥ１０８において、像信号Ａに対し、Ｔａｂ／Ｔａを乗じることによって像信号ＡＢと像信号Ａのレベルを合わせることができる。
Here, since the accumulation time Ta of the image signal A is the time Ta from the reset AB to the transfer A, it is shorter by 1H than the accumulation time Tab of the image signal AB. Depending on the subject or the like, it is conceivable that this difference may affect the accuracy of focus detection calculation in the
尚、従来のようにリセット走査の行番号と読出し走査の行番号とが同時に進んでいく回路の場合には、図１１に示すように、単位画素の行によってＴａｂ，Ｔａｂ′，Ｔａｂ″のように蓄積時間が異なることになり、露光量ずれが発生する。やはりＤＦＥ１０８やＤＳＰ１０９で、これらの蓄積時間差をゲイン補正することで各行の信号レベルを合わせることができるが、行によってＳ／Ｎが不均一になるなど、望ましくない。また、図１２に示すように、図１０と同様の動作であっても、領域Ｒｅｇｉｏｎ＿ｉで像信号Ａ、像信号ＡＢの読出しあるいはリセットにそれぞれ１Ｈ分の時間をかけないと、やはり行によって蓄積時間が異なってしまい露光量ずれが発生してしまう。
In the case of a circuit in which the row number of the reset scan and the row number of the read scan advance simultaneously as in the prior art, as shown in FIG. 11, depending on the row of the unit pixel, such as Tab, Tab ', Tab ". The
上述の動作により撮像素子１０６から信号が読み出され、ＤＳＰ１０９では各画素の像信号ＡＢから画像を生成するとともに、領域Ｒｅｇｉｏｎ＿ｉの各画素の像信号Ａ及び像信号ＡＢを用いてＡＦ演算を行う。本実施形態においては、ＡＦ演算は図８で示す５×５＝２５箇所の各測距枠８０１のそれぞれに対して行われる。
A signal is read from the
以上、本実施形態の構成によれば、焦点検出用の信号取得による読出し時間の増大を抑制しつつ、露光量ずれの少ない良好な画質の画像を得ることができる。 As described above, according to the configuration of the present embodiment, it is possible to obtain an image of good image quality with a small amount of exposure shift while suppressing an increase in the reading time due to the acquisition of the signal for focus detection.
［第２実施形態］
第２実施形態による撮像装置について、図１３を用いて説明する。図１乃至図１２に示す第１実施形態による撮像装置と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
第１実施形態では、図８に示すように、１フレームの情報から５×５の測距枠８０１のＡＦ演算を行うため、領域Ｒｅｇｉｏｎ＿ｉを５箇所に設定している（以下、このような測距モードを、多数枠測距モードと称する）。これに対し、本実施形態では、１フレームの情報に対して行うＡＦ演算を限定することで、撮像素子１０６の信号読出し時間を短縮する例について説明する。なお、本実施形態における撮像装置の構成は、第１実施形態において図１から図７および図９から図１０を用いて示した構成と同様であるので、第１実施形態と同様の構成についての説明は省略する。第１実施形態と本実施形態とが異なっているのは、各フレームにおける、焦点検出用の像信号の読み出し（ＡＦ演算）に使用する測距枠１３０１の設定である。従って、ここでは、測距枠１３０１の設定について主に説明することとする。
[Second embodiment]
An imaging device according to the second embodiment will be described with reference to FIG. The same components as those of the imaging apparatus according to the first embodiment shown in FIGS. 1 to 12 are denoted by the same reference numerals, and description thereof will be omitted or simplified.
In the first embodiment, as shown in FIG. 8, to perform the AF calculation of the 5 × 5
図１３は、各フレームについて、像信号Ａを取得し、ＡＦ演算を行うために設定される測距枠１３０１を示している。フレームｆでは、図８に示す５×５の測距枠８０１のうちの最上段の５つの測距枠８０１に対応する測距枠１３０１に対してのみＡＦ演算を行う。そのために、５段のうちの最上段に相当する領域を領域Ｒｅｇｉｏｎ＿ｉとし、それ以外の領域を領域Ｒｅｇｉｏｎ＿ｃとして、画素信号を読み出す。
FIG. 13 shows a
次に、フレームｆ＋１においては、上から２番目の段の５つの測距枠１３０１に対してのみＡＦ演算を行う。そのため、上から２番目の段に相当する領域を領域Ｒｅｇｉｏｎ＿ｉとし、それ以外の領域を領域Ｒｅｇｉｏｎ＿ｃとして、画素信号を読み出す。続くフレームｆ＋２においても同様で、上から３番目の段の５つの測距枠１３０１をＡＦ演算の対象とし、上から３番目の段に相当する領域を領域Ｒｅｇｉｏｎ＿ｉとし、それ以外の領域を領域Ｒｅｇｉｏｎ＿ｃとして、画素信号を読み出す。このようにフレーム毎に領域Ｒｅｇｉｏｎ＿ｉの位置を変更しつつ画素領域ＰＡから画素信号を読み出すことで、５フレームで５×５＝２５箇所についてＡＦ演算を行なう。なお、被写体に応じてＡＦ演算を行うべき領域が限定され、例えば中段の５枠だけでよい場合には、図１３のフレームｆ＋２の動作を毎フレームにおいて繰り返してもよい。このように、１フレームでＡＦ演算の対象とする測距枠１３０１の数を少数に限定した設定モードを、ここでは限定枠測距モードと称し、図８のように１つのフレームにおいて多数の測距枠をＡＦ演算の対象とする設定モードを多数枠測距モードと称する。
Next, in the frame f + 1, AF calculation is performed only on the five ranging
領域Ｒｅｇｉｏｎ＿ｉの位置の指定や変更については、ＣＰＵ１１４からＴＧ１１３に対して指示が行われ、ＴＧ１１３から発生する撮像素子１０６の駆動信号を変更することにより実現される。
The designation and change of the position of the region Region_i are realized by instructing the
本実施形態のような限定枠測距モードでは、領域Ｒｅｇｉｏｎ＿ｉ内に位置する単位画素２００の行数が少ないため、第１実施形態に示したような多数枠測距モードの場合よりも、撮像素子１０６の信号読出し時間を短くすることができる。このため、本実施形態によれば、平均消費電力の抑制、あるいはフレームレートの高速化が可能となる。
In the limited frame ranging mode as in the present embodiment, since the number of rows of the
なお、撮像装置（カメラ）の撮影モードや設定、フォーカスの状態等に応じて、多数枠測距モードと限定枠測距モードを切り替えるようにしてもよい。例えば、高フレームレート撮影モードでは限定枠測距モード、低フレームレート撮影モードでは多数枠測距モードといった手法が考えられる。 Note that the multi-frame ranging mode and the limited frame ranging mode may be switched according to the shooting mode and setting of the imaging device (camera), the state of focus, and the like. For example, a technique such as a limited frame ranging mode in the high frame rate shooting mode and a multiple frame ranging mode in the low frame rate shooting mode can be considered.
また、撮像装置の焦点調節モード（ＡＦモード）の設定による使い分けも考えられる。例えば、複数の測距枠の情報を加味してフォーカス位置を決定するようなモードでは、多数枠測距モード、任意の１つの測距枠内の被写体に対してのみフォーカスを合わせるモードでは、限定枠測距モードを使用するといった手法も考えられる。 It is also conceivable to selectively use the image pickup apparatus by setting a focus adjustment mode (AF mode). For example, in a mode in which the focus position is determined in consideration of information of a plurality of ranging frames, a limited mode is used in a multi-frame ranging mode, and in a mode in which focusing is performed only on a subject in any one ranging frame. A method of using the frame ranging mode is also conceivable.
あるいは、最初に多数枠測距モードで多くの枠に対してＡＦ演算を行い、その結果に基づいて１点あるいは少数の測距枠を選択し、それ以降は限定枠測距モードで動作するといった手法も考えられる。 Alternatively, first, AF calculation is performed on many frames in the multiple frame ranging mode, and one or a small number of ranging frames are selected based on the result, and thereafter, the operation is performed in the limited frame ranging mode. Techniques are also conceivable.
本実施形態では、多数枠測距モードと限定枠測距モードの各設定モードで領域Ｒｅｇｉｏｎ＿ｉの１領域あたりのライン数は同じであるように記載しているが、勿論それぞれのモードでライン数を変更しても構わない。例えば、多数枠測距モードでは、ライン数の少ない領域Ｒｅｇｉｏｎ＿ｉを複数エリアに設定し、限定枠測距モードでは、ライン数の多い領域Ｒｅｇｉｏｎ＿ｉを１つのエリアだけ設定するようにしてもよい。領域Ｒｅｇｉｏｎ＿ｉの位置や領域Ｒｅｇｉｏｎ＿ｉの１領域あたりのライン数を変更する場合には、変更前の設定での読出し走査に続く、次のリセット走査から設定を変更することで、次フレームですぐに設定変更後の画像及び測距情報を得ることができる。 In the present embodiment, the number of lines per one region of the region Region_i is described to be the same in each of the setting modes of the multiple frame ranging mode and the limited frame ranging mode. You can change it. For example, in the multiple frame ranging mode, an area Region_i having a small number of lines may be set in a plurality of areas, and in the limited frame ranging mode, an area Region_i having a large number of lines may be set only in one area. When changing the position of the region Region_i or the number of lines per region of the region Region_i, the setting is immediately changed in the next frame by changing the setting from the next reset scan following the read scan in the setting before the change. The changed image and the ranging information can be obtained.
［第３実施形態］
第３実施形態による撮像装置について、図１４乃至図１５を用いて説明する。図１乃至図１３に示す第１又は第２実施形態による撮像装置と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
第１および第２実施形態では、領域Ｒｅｇｉｏｎ＿ｉでの画素信号の読み出し走査において、像信号Ａや像信号ＡＢの読出しにそれぞれ１Ｈの時間をかけ、像信号Ａの読み出しと像信号ＡＢの読み出しとを行う場合には、計２Ｈの時間がかかる動作とした。しかしながら、スリットローリング動作でない場合には、必ずしも２Ｈの時間をかけるという制約の必要はない。例えば、メカニカルシャッター１２０により露光制御される静止画撮影モードにおいては、スリットローリング動作は行わないため、領域Ｒｅｇｉｏｎ＿ｉにおいて、２Ｈ分の時間よりも短い時間で像信号Ａの読み出し及び像信号ＡＢの読出しを行うことができる。以下、静止画像を撮影するモードである静止画撮影モードと動画像を撮影するモードである動画撮影モードで読み出し動作を変更する例について説明する。動画撮影モードにおける動作は、上述した第１および第２実施形態の動作と同様であるので、ここでの説明は省略する。
[Third embodiment]
The imaging device according to the third embodiment will be described with reference to FIGS. The same components as those of the imaging device according to the first or second embodiment shown in FIGS. 1 to 13 are denoted by the same reference numerals, and description thereof will be omitted or simplified.
In the first and second embodiments, in the scanning for reading out the pixel signals in the region Region_i, the reading of the image signal A and the reading of the image signal AB are performed by taking 1 H each for reading the image signal A and the image signal AB. In the case of performing the operation, the operation requires a total of 2H. However, in the case where the slit rolling operation is not performed, it is not always necessary to limit the time to 2H. For example, in the still image shooting mode in which the exposure is controlled by the
図１４は、静止画撮影モードにおける撮像装置の撮影モードのフローチャートである。ＣＰＵ１１４により静止画撮影指示がなされると、まずステップＳ１４０１で撮像素子１０６の全画素がリセットされる。この動作は、垂直走査回路５０１から全画素に対して信号ｒｅｓ，ｔｘａ，ｔｘｂを駆動することにより行われる。
FIG. 14 is a flowchart of a shooting mode of the imaging apparatus in the still image shooting mode. When a still image shooting instruction is issued by the CPU 114, first, all pixels of the
垂直走査回路５０１が信号ｔｘａ，ｔｘｂをＬｏｗにして転送ゲートをＯＦＦにすると、全画素の電荷蓄積が開始される（ステップＳ１４０２）。電荷蓄積開始後、ステップＳ１４０３において、シャッター駆動回路１２１を経由してメカニカルシャッター１２０を開状態にし、撮像素子１０６への露光を開始する。ＣＰＵ１１４は、続くステップＳ１４０４で所定の露光時間が経過するまで待った後、ステップＳ１４０５でメカニカルシャッター１２０を閉状態にして露光を終了する。
When the
露光終了後、ＴＧ１１３を用いて撮像素子１０６からの信号読出しを開始する（ステップＳ１４０６）。ステップＳ１４０７で最終ラインの読出しまで完了すると、静止画取得動作は終了となる。
After the exposure is completed, signal reading from the
以上のように、静止画撮影においては撮像素子１０６の光信号電荷はメカニカルシャッターの露光制御によりコントロールされるため、撮像素子１０６の蓄積時間が画素毎（ライン毎）に異なっても画像にほとんど影響せず、スリットローリング動作は必要ない。
As described above, in still image shooting, the optical signal charge of the
図１５に、静止画撮影時の読出し動作を示す。スリットローリング動作ではないので、リセット走査は必要ない（Ｓ１４０１でリセットは行われている）。領域Ｒｅｇｉｏｎ＿ｉに対する読出し動作において、像信号Ａの読み出し，像信号ＡＢの読出しにかける時間も各１Ｈずつに合わせる必要はなく、それぞれに必要な最小時間で読出しを行い走査する。 FIG. 15 shows a reading operation at the time of shooting a still image. Since it is not a slit rolling operation, reset scanning is not necessary (the reset has been performed in S1401). In the reading operation for the region Region_i, the time required to read the image signal A and the time required to read the image signal AB does not need to be adjusted to 1H, and the reading and scanning are performed with the minimum time required for each.
上述の構成により、動画撮影モード時のスリットローリング動作時には、焦点検出動作を行いつつ露光量ずれのない画像を取得でき、且つ静止画撮影モード時においても焦点検出動作を行いつつ最小限の読出し時間で画像取得を行うことが可能となる。なお、本実施形態の手法を、第２実施形態に適用するようにしてもよい。 With the above configuration, during the slit rolling operation in the moving image shooting mode, it is possible to obtain an image without a shift in the exposure amount while performing the focus detection operation, and to perform the focus detection operation even in the still image shooting mode while minimizing the readout time. It is possible to obtain an image by using. Note that the method of the present embodiment may be applied to the second embodiment.
［第４実施形態］
第４実施形態による撮像装置について、図１６乃至図１７ｂを用いて説明する。図１乃至図１５に示す第１乃至第３実施形態による撮像装置と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
第１実施形態から第３実施形態では、領域Ｒｅｇｉｏｎ＿ｉにおいては像信号Ａと像信号ＡＢを読み出すものとして説明した。しかし、像信号Ａと像信号Ｂを読み出すという構成も考えられる。本実施形態では、この場合の構成を提示する。なお、本実施形態における撮像装置の構成は、図１から図８に示した構成については第１実施形態と同様であるので、その説明については省略する。本実施形態と第１実施形態とが異なっているのは、領域Ｒｅｇｉｏｎ＿ｉにおいて像信号Ａと像信号Ｂを読み出す構成であるので、ここではその構成のみについて説明する。
[Fourth embodiment]
The imaging device according to the fourth embodiment will be described with reference to FIGS. The same components as those of the imaging apparatus according to the first to third embodiments shown in FIGS. 1 to 15 are denoted by the same reference numerals, and description thereof will be omitted or simplified.
In the first to third embodiments, it has been described that the image signal A and the image signal AB are read in the region Region_i. However, a configuration in which the image signal A and the image signal B are read out is also conceivable. In the present embodiment, a configuration in this case is presented. Note that the configuration of the imaging apparatus according to the present embodiment is the same as the configuration illustrated in FIGS. 1 to 8 as in the first embodiment, and a description thereof will not be repeated. The difference between the present embodiment and the first embodiment is a configuration in which the image signal A and the image signal B are read in the region Region_i. Therefore, only the configuration will be described here.
図１６に、本実施形態によるスリットローリング動作のタイミングチャートを示す。領域Ｒｅｇｉｏｎ＿ｉにあたるｍ行目とｍ＋１行目以外の動作は、図１０で説明したものと同様である。領域Ｒｅｇｉｏｎ＿ｉに対する読出し走査時には、まずＰＤ６０１ａ（像信号Ａ）の読出しが行われ、続いて、次にＰＤ６０１ｂ（像信号Ｂ）の読出しが行われる。リセット走査についても同様である。
FIG. 16 shows a timing chart of the slit rolling operation according to the present embodiment. Operations other than the m-th line and the (m + 1) -th line corresponding to the region Region_i are the same as those described with reference to FIG. At the time of read scanning for the region Region_i, first, the
第ｍ行及び第ｍ＋１行は、領域Ｒｅｇｉｏｎ＿ｉ内に位置している。第ｍ−５行から第ｍ−１行、及び、第ｍ＋２行から第ｍ＋５行は、領域Ｒｅｇｉｏｎ＿ｃ内に位置している。第ｍ行及び第ｍ＋１行における像信号Ａの読み出し周期１６０１の長さは、それぞれ１Ｈとなっている。また、第ｍ行及び第ｍ＋１行における像信号Ｂの読み出し周期１６０２の長さは、それぞれ１Ｈとなっている。第ｍ−５行から第ｍ−１行、及び、第ｍ＋２行から第ｍ＋５行における像信号ＡＢの読み出し周期１６０３の長さは、それぞれ１Ｈとなっている。
The m-th row and the (m + 1) -th row are located in the region Region_i. The (m-5) th to (m-1) th rows and the (m + 2) th to (m + 5) th rows are located in the region Region_c. The length of the
第ｍ行及び第ｍ＋１行に位置する単位画素２００に対して読み出しを行う場合、像信号Ａの読み出しは、読み出し周期１６０１内において行われ、像信号Ｂの読み出しは、読み出し周期１６０２内において行われる。従って、読み出し周期１６０１内において、ＰＤ６０１ａに蓄積されている電荷がＦＤ部６０３に転送され、読み出し周期１６０２内において、ＰＤ６０１ｂに蓄積されている電荷がＦＤ部６０３に転送される。
また、第ｍ−５行から第ｍ−１行、及び、第ｍ＋２行から第ｍ＋５行に位置する単位画素２００に対して読み出しを行う場合、各々の読み出し周期１６０３内において像信号ＡＢの読み出しが行われる。従って、読み出し周期１６０３内において、ＰＤ６０１ａに蓄積されている電荷とＰＤ６０１ｂに蓄積されている電荷とがＦＤ部６０３に転送される。
When reading is performed on the
When reading is performed on the
読み出し周期１６０３においては、ＰＤ６０１ａとＰＤ６０１ｂとでそれぞれ発生した電荷に対する信号に対して合成処理を行い、合成処理が行われた信号に対して読み出しを行うモードである第１のモードが適用される。
また、読み出し周期１６０１においては、ＰＤ６０１ａで発生した電荷に対応する信号に対して合成処理を行うことなく読み出しを行うモードである第２のモードが適用される。
また、読み出し周期１６０２においては、読み出し周期１６０１において適用される第２のモードとは異なるモードが適用される。本実施形態では、ＰＤ６０１ｂで発生した電荷に対応する信号に対して合成処理を行うことなく読み出しを行うモードである第３のモードが、読み出し周期１６０２において適用される。
In the
In the
In the
像信号Ａの読出し時の１Ｈのタイミングチャートを図１７ａに示す。図１７ａが図９ｂと異なるのは、ノイズ信号Ｎの読出し時に信号ｔｎｂをＨｉｇｈにせず、第２のＮ信号保持容量７１２にノイズ信号Ｎを記憶しないことのみである。
FIG. 17A is a timing chart of 1H when the image signal A is read. FIG. 17A is different from FIG. 9B only in that the signal tnb is not set to High when the noise signal N is read and the noise signal N is not stored in the second N
次に、像信号Ｂの読出し時の１Ｈのタイミングチャートを図１７ｂに示す。図１７ｂが図９ｃと異なるのは、以下の点である。即ち、まず信号ｒｅｓを一旦ＨｉｇｈレベルにしてＦＤ部６０３をリセットし、信号ｃｆｓをＨｉｇｈレベルにして演算増幅器７０３をバッファ状態にし、次に信号ｔｎｂをＨｉｇｈレベルにして第２のＮ信号保持容量７１２にノイズ信号Ｎを記憶する点である。
Next, a timing chart of 1H at the time of reading the image signal B is shown in FIG. 17B. FIG. 17B differs from FIG. 9C in the following points. That is, first, the signal res is once set to the high level to reset the
画像生成のためには領域Ｒｅｇｉｏｎ＿ｉの像信号ＡＢが必要となるが、これについてはＤＳＰ１０９で像信号Ａと像信号Ｂを加算することにより像信号ＡＢを生成すればよい。また、本実施形態の手法を、第２実施形態および第３実施形態に適用するようにしてもよい。
To generate an image, the image signal AB of the region Region_i is required. For this, the image signal AB may be generated by adding the image signal A and the image signal B by the
本実施形態では、図１０に示す第１実施形態の場合と異なり、像信号Ａの蓄積時間と像信号Ｂの蓄積時間とは同じになり、レベルを合わせるためのゲイン補正を行う必要はないというメリットがある。 In the present embodiment, unlike the case of the first embodiment shown in FIG. 10, the accumulation time of the image signal A and the accumulation time of the image signal B are the same, and it is not necessary to perform gain correction for matching levels. There are benefits.
以上述べた本発明の実施形態によれば、焦点検出用の信号の取得のための読出し時間の増大を抑制しつつ、露光量ずれの少ない良好な画質を得ることが可能な撮像装置及びその制御方法を提供することができる。 According to the above-described embodiment of the present invention, an imaging apparatus capable of obtaining a good image quality with a small exposure amount shift while controlling an increase in a reading time for acquiring a signal for focus detection, and a control thereof. A method can be provided.
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。 Each of the embodiments described above is merely an example of a specific embodiment for carrying out the present invention, and the technical scope of the present invention should not be interpreted in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features.
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other Examples)
The present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. This processing can be realized. Further, it can be realized by a circuit (for example, an ASIC) that realizes one or more functions.
［変形実施形態］
上記実施形態に限らず種々の変形が可能である。
例えば、上記実施形態では、１つの単位画素２００内に副画素ａ，ｂが２つ設けられている場合を例に説明したが、１つの単位画素２００内に設ける副画素の数は２つに限定されるものではなく、適宜設定し得る。
[Modified embodiment]
Not limited to the above embodiment, various modifications are possible.
For example, in the above embodiment, the case where two sub-pixels a and b are provided in one
Claims (15)
前記第１の光電変換部と前記第２の光電変換部とでそれぞれ発生した電荷に対応する信号に対して読み出しを行うモードである第１のモードと、前記第１の光電変換部で発生した電荷に対応する信号に対して読み出しを行うモードである第２のモードとを少なくともとり得る制御手段と、を備え、
前記制御手段によって、前記第１のモードで前記撮像素子から読み出される信号数は、前記第２のモードで前記撮像素子から読み出される信号数と略等しい、
ことを特徴とする撮像装置。 An image sensor having a plurality of micro lenses arranged in a matrix direction and a pixel region in which a plurality of unit pixels are arranged in a matrix direction corresponding to each of the plurality of micro lenses, wherein each of the unit pixels An image sensor including a first photoelectric conversion unit and a second photoelectric conversion unit;
A first mode in which signals corresponding to electric charges respectively generated in the first photoelectric conversion unit and the second photoelectric conversion unit are read out, and a first mode in which reading is performed in the first photoelectric conversion unit. Control means capable of at least taking a second mode which is a mode for reading a signal corresponding to the electric charge,
The number of signals read from the image sensor in the first mode by the control means is substantially equal to the number of signals read from the image sensor in the second mode.
An imaging device characterized by the above-mentioned.
前記制御手段は、前記画素領域のうちの第１の領域に位置する第１の行に対しては、前記第１のモードでの前記読み出しを行い、前記画素領域のうちの前記第１の領域とは異なる第２の領域に位置する第２の行に対しては、前記第２のモードでの前記読み出しを行う
ことを特徴とする撮像装置。 The imaging device according to claim 1,
The control unit performs the readout in the first mode for a first row located in a first area of the pixel area, and performs a read operation in the first area of the pixel area. An image pickup apparatus, wherein the reading in the second mode is performed on a second row located in a second area different from the second area.
前記制御手段は、前記第２の行に対しては、前記第２のモードでの前記読み出しと前記第２のモードとは異なるモードでの読み出しとを行い、
前記第２の領域に位置する前記第２の行に対して行われる前記第２のモードとは異なる前記モードで読み出される信号数は、画像を撮影する際における、前記第１のモード及び前記第２のモードで読み出される信号数と略等しい
ことを特徴とする撮像装置。 The imaging device according to claim 2,
The control means performs the reading in the second mode and the reading in a mode different from the second mode for the second row,
The number of signals read in the mode different from the second mode performed on the second row located in the second area is the number of signals in the first mode and the second mode in capturing an image. An imaging apparatus characterized in that the number of signals read out in the mode 2 is substantially equal to the number of signals read out.
前記第２のモードとは異なる前記モードは、前記第１のモードである
ことを特徴とする撮像装置。 The imaging device according to claim 3,
The imaging device, wherein the mode different from the second mode is the first mode.
前記制御手段は、前記複数の単位画素のうちの前記第２の領域内に位置する第１の単位画素から前記第１のモードで読み出される信号と、前記第１の単位画素から前記第２のモードで読み出される信号とに基づいて、焦点検出を行う
ことを特徴とする撮像装置。 The imaging device according to claim 4,
The control means includes: a signal read in the first mode from a first unit pixel located in the second region of the plurality of unit pixels; and a second signal from the first unit pixel. An imaging apparatus for performing focus detection based on a signal read in a mode.
前記制御手段は、前記複数の単位画素の各々から前記第１のモードでそれぞれ読み出される信号に基づいて、被写体の画像を生成する
ことを特徴とする撮像装置。 The imaging device according to claim 4 or 5,
The imaging apparatus according to claim 1, wherein the control unit generates an image of a subject based on signals read out from each of the plurality of unit pixels in the first mode.
前記制御手段は、前記第２の光電変換部で発生した前記電荷に対する前記信号に対して読み出しを行うモードである第３のモードを更にとり得、
前記第２のモードとは異なる前記モードは、前記第３のモードである
ことを特徴とする撮像装置。 The imaging device according to claim 3,
The control means may further take a third mode which is a mode for reading out the signal for the electric charge generated in the second photoelectric conversion unit,
The imaging apparatus, wherein the mode different from the second mode is the third mode.
前記制御手段は、前記複数の単位画素のうちの前記第２の領域内に位置する第１の単位画素から前記第２のモードで読み出される信号と、前記第１の単位画素から前記第３のモードで読み出される信号とに基づいて、焦点検出を行う
ことを特徴とする撮像装置。 The imaging device according to claim 7,
The control means includes: a signal read in the second mode from a first unit pixel located in the second region of the plurality of unit pixels; and a third signal from the first unit pixel. An imaging apparatus for performing focus detection based on a signal read in a mode.
前記制御手段は、前記第２の領域内に位置する前記複数の単位画素の各々から前記第２のモードでそれぞれ読み出される信号と、前記第２の領域内に位置する前記複数の単位画素の各々から前記第３のモードでそれぞれ読み出される信号とをそれぞれ合成処理することにより得られる信号と、前記第１の領域内に位置する前記複数の単位画素の各々から前記第１のモードでそれぞれ読み出される信号とに基づいて、被写体の画像を生成する
ことを特徴とする撮像装置。 The imaging device according to claim 7, wherein
The control unit includes a signal that is read in each of the plurality of unit pixels located in the second area in the second mode, and a signal that is read out in each of the plurality of unit pixels located in the second area. And signals obtained by synthesizing signals read out in the third mode from each other, and read out in the first mode from each of the plurality of unit pixels located in the first region. An image pickup apparatus that generates an image of a subject based on a signal.
前記制御手段は、前記第２の領域の設定に限定を加える第１の設定モードと、前記第２の領域の設定に限定を加えない第２の設定モードをとり得、
前記限定は、前記第２の領域の数、前記第２の領域の位置、および、１つの前記第２の領域に含まれる前記単位画素の行の数のうちの少なくともいずれかである
ことを特徴とする撮像装置。 The imaging device according to any one of claims 2 to 9,
The control means may have a first setting mode that limits the setting of the second area and a second setting mode that does not limit the setting of the second area,
The limitation is at least one of the number of the second areas, the position of the second area, and the number of rows of the unit pixels included in one second area. Imaging device.
前記第２の領域は、合焦状態を検出するための測距枠に対応しており、
前記制御手段は、前記撮像装置の撮影モードまたは焦点調節モードに従って前記第１の設定モードと前記第２の設定モードとを切り替え、前記撮影モードは高フレームレートの撮影モードと低フレームレートの撮影モードとを含み、前記焦点調節モードは、複数の前記測距枠を用いる焦点調節モードと、一つの前記測距枠を用いる焦点調節モードとを含む
ことを特徴とする撮像装置。 The imaging device according to claim 10,
The second area corresponds to a distance measurement frame for detecting a focus state,
The control unit switches between the first setting mode and the second setting mode according to a shooting mode or a focus adjustment mode of the imaging apparatus, and the shooting mode is a high frame rate shooting mode and a low frame rate shooting mode. Wherein the focus adjustment mode includes a focus adjustment mode using a plurality of the distance measurement frames, and a focus adjustment mode using a single distance measurement frame.
前記制御手段は、前記第２の設定モードにおいて、前記第２の設定モードで設定した前記測距枠で検出された合焦状態に従って測距枠が選択された場合には、前記選択された測距枠を設定する前記第１の設定モードに切り替える
ことを特徴とする撮像装置。 The imaging device according to claim 11,
In the second setting mode, when the focus detection frame is selected in the second setting mode in accordance with the focus state detected in the focus detection frame set in the second setting mode, the selected measurement mode is selected. An imaging apparatus characterized by switching to the first setting mode for setting a distance frame.
前記制御手段は、前記第１の設定モードにおいて前記第１の領域の設定を変更する場合には、前記画素領域の各行のリセット走査から前記設定を変更する
ことを特徴とする撮像装置。 The imaging device according to claim 10,
The imaging device according to claim 1, wherein, when changing the setting of the first area in the first setting mode, the control means changes the setting from a reset scan of each row of the pixel area.
前記第１の領域は、前記画素領域の垂直方向に設定された複数の第１の領域であり、
前記複数の前記第１の領域のうちの一の前記第１の領域に含まれる前記単位画素の行の数と、前記複数の前記第１の領域のうちの他の前記第１の領域に含まれる前記単位画素の行の数とが異なる
ことを特徴とする撮像装置。 The imaging device according to any one of claims 2 to 13,
The first region is a plurality of first regions set in a vertical direction of the pixel region,
The number of rows of the unit pixels included in one of the plurality of first regions, and the number of rows of the unit pixels included in another of the plurality of first regions; The number of rows of the unit pixels to be obtained is different.
前記第１の光電変換部と前記第２の光電変換部とでそれぞれ発生した電荷に対応する信号に対して読み出しを行うモードである第１のモードでの読み出しを行うステップと、前記第１の光電変換部で発生した電荷に対応する信号に対して読み出しを行うモードである第２のモードでの読み出しを行うステップと、を含み、
前記第１のモードで前記撮像素子から読み出される信号数は、前記第２のモードで前記撮像素子から読み出される信号数と略等しい、
ことを特徴とする撮像装置の制御方法。 An image sensor having a plurality of micro lenses arranged in a matrix direction and a pixel region in which a plurality of unit pixels are arranged in a matrix direction corresponding to each of the plurality of micro lenses, wherein each of the unit pixels Is a control method of an imaging device including a first photoelectric conversion unit and a second photoelectric conversion unit,
Performing reading in a first mode, which is a mode in which reading is performed on signals corresponding to electric charges generated by the first photoelectric conversion unit and the second photoelectric conversion unit, respectively; Performing reading in a second mode that is a mode for performing reading on a signal corresponding to the charge generated in the photoelectric conversion unit,
The number of signals read from the image sensor in the first mode is substantially equal to the number of signals read from the image sensor in the second mode.
A method for controlling an imaging device, comprising:
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014125494 | 2014-06-18 | ||
| JP2014125494 | 2014-06-18 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015103467A Division JP6609113B2 (en) | 2014-06-18 | 2015-05-21 | Imaging apparatus and control method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020031432A true JP2020031432A (en) | 2020-02-27 |
| JP6883082B2 JP6883082B2 (en) | 2021-06-09 |
Family
ID=69622900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019192853A Active JP6883082B2 (en) | 2014-06-18 | 2019-10-23 | Imaging device and its control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6883082B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012191401A (en) * | 2011-03-10 | 2012-10-04 | Nikon Corp | Imaging apparatus |
| JP2013218297A (en) * | 2012-03-16 | 2013-10-24 | Canon Inc | Focus adjustment device and focus adjustment method |
-
2019
- 2019-10-23 JP JP2019192853A patent/JP6883082B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012191401A (en) * | 2011-03-10 | 2012-10-04 | Nikon Corp | Imaging apparatus |
| JP2013218297A (en) * | 2012-03-16 | 2013-10-24 | Canon Inc | Focus adjustment device and focus adjustment method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6883082B2 (en) | 2021-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6609113B2 (en) | Imaging apparatus and control method thereof | |
| JP6253272B2 (en) | Imaging apparatus, imaging system, signal processing method, program, and storage medium | |
| JP6598496B2 (en) | Imaging apparatus and signal processing method | |
| JP6315776B2 (en) | Imaging device, imaging device | |
| JP5911445B2 (en) | Imaging apparatus and control method thereof | |
| JP5946421B2 (en) | Imaging apparatus and control method thereof | |
| US9621826B2 (en) | Image sensor and image capturing apparatus | |
| US10871629B2 (en) | Imaging apparatus and control method of imaging apparatus | |
| JP6566654B2 (en) | Control device, imaging device, control method, program, and storage medium | |
| JP6883082B2 (en) | Imaging device and its control method | |
| JP5094656B2 (en) | Imaging apparatus, control method thereof, and program | |
| JP6444254B2 (en) | FOCUS DETECTION DEVICE, IMAGING DEVICE, FOCUS DETECTION METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP2018019139A (en) | Imaging device and control method of imaging device | |
| US10203206B2 (en) | Image capture apparatus having signal readouts using distance measurement region | |
| JP2017073687A (en) | Imaging apparatus and imaging method | |
| JP6704725B2 (en) | Imaging device, control method, and program thereof | |
| US10880477B2 (en) | Image capturing apparatus and multi-readout mode control method for carrying out a live view display | |
| JP2020141347A (en) | Imaging apparatus | |
| JP2023056321A (en) | Imaging apparatus | |
| JP2019062386A (en) | Imaging apparatus, control method therefor, program, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191023 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200924 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210408 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210507 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6883082 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |