JP7237476B2 - 焦点検出方法 - Google Patents

焦点検出方法 Download PDF

Info

Publication number
JP7237476B2
JP7237476B2 JP2018118126A JP2018118126A JP7237476B2 JP 7237476 B2 JP7237476 B2 JP 7237476B2 JP 2018118126 A JP2018118126 A JP 2018118126A JP 2018118126 A JP2018118126 A JP 2018118126A JP 7237476 B2 JP7237476 B2 JP 7237476B2
Authority
JP
Japan
Prior art keywords
focus detection
optical system
pupil
imaging optical
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018118126A
Other languages
English (en)
Other versions
JP2019219576A5 (ja
JP2019219576A (ja
Inventor
優 稲垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018118126A priority Critical patent/JP7237476B2/ja
Priority to US16/442,166 priority patent/US11140311B2/en
Priority to CN201910540893.1A priority patent/CN110636277B/zh
Publication of JP2019219576A publication Critical patent/JP2019219576A/ja
Publication of JP2019219576A5 publication Critical patent/JP2019219576A5/ja
Application granted granted Critical
Publication of JP7237476B2 publication Critical patent/JP7237476B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置および撮像装置における焦点の検出に関する。
従来から、マイクロレンズ及びその光軸に対して光電変換部の相対位置を偏位させた画素を2次元的に多数配置した撮像素子が焦点検出素子の機能も兼ねている撮像装置が提案されている。これは、撮像装置の焦点検出方法の1つで、撮像素子に形成された焦点検出画素により位相差方式の焦点検出を行う撮像面位相差方式である。
特許文献1では、1つの画素に対して、1つのマイクロレンズと複数に分割された光電変換部が形成されている2次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、1つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行っている。これらの分割された光電変換部(焦点検出画素)で受光したそれぞれの焦点検出信号から像ずれ量を求め、像ずれ量と変換係数からデフォーカス量を算出することで、位相差方式の焦点検出を行うことができる。
また、特許文献2では、光学系の中央像高の基準絞り値から像高に応じた有効絞り値を算出し、算出した有効絞り値を用いて像ずれ量からデフォーカス量へ変換する変換係数を算出する撮像装置が開示されている。複数のレンズ枠、絞り枠によりレンズ枠ケラレが生じ、レンズ毎に有効絞り値が変化した場合でも、有効絞り値を用いることで、変換係数を算出することができる。
特開昭58-024105号公報 特開2015-11283号公報
レンズ枠ケラレ形状は、複数のレンズ枠、絞り枠が重なることで、複雑な形状となり、レンズ毎にその形状は異なる。しかしながら、上記従来技術の構成では、有効絞り値を用いていることから、レンズ枠ケラレの形状は円形であることを仮定しており、レンズ枠ケラレの形状は考慮していない。
本発明は上記の問題点に鑑み、レンズ毎のレンズ枠ケラレ形状の情報を用いて変換係数を算出することで、変換係数の算出精度を高め、正確なデフォーカス量を算出可能な焦点の検出方法を提供することを目的とする。
本発明の技術的特徴として、撮像光学系の第1瞳部分領域の通過光束を受光する第1焦点検出画素の受光信号から生成される第1焦点検出信号と、前記第1瞳部分領域と異なる前記撮像光学系の第2瞳部分領域の通過光束を受光する第2焦点検出画素の受光信号から生成される第2焦点検出信号から、像ずれ量を算出し、前記像ずれ量と変換係数からデフォーカス量を検出する焦点検出方法であって、前記変換係数は、前記撮像光学系の結像面から所定の瞳距離だけ離れた位置の瞳面に投影された開口形状と、焦点検出位置の像高座標に対応する回転角と、前記変換係数を前記開口形状と前記回転角との関数とした際の係数と、を用いて算出され、前記開口形状は、焦点検出位置の像高座標に対応する像高距離ごとに保持された情報であって、前記撮像光学系に含まれる複数のレンズ枠の前記撮像光学系の結像面から所定の瞳距離だけ離れた位置の瞳面に投影された前記撮像光学系の絞りを構成する枠の中心位置と大きさ、前記撮像光学系に含まれる複数のレンズ枠の前記撮像光学系の結像面から所定の瞳距離だけ離れた位置の瞳面に投影された前記撮像光学系の物側の枠の中心位置と大きさ、および前記撮像光学系に含まれる複数のレンズ枠の前記撮像光学系の結像面から所定の瞳距離だけ離れた位置の瞳面に投影された前記撮像光学系の像側の枠の中心位置と大きさに基づく形状であり、前記回転角は、前記像高座標の原点を中心とし所定の像高を基準とした回転角であることを特徴とする。
本発明によれば、レンズ毎のレンズ枠ケラレ形状の情報を用いて変換係数を算出することで、変換係数の算出精度を高め、正確なデフォーカス量を算出可能な焦点の検出方法を提供することができる。
実施例1の焦点検出装置を有する撮像装置の構成を示すブロック図である。 実施例1の画素配列を示す図である。 実施例1の画素構造を示す図である。 実施例1の撮像素子の画素と瞳強度分布との対応を説明するための図である。 実施例1の撮像素子と瞳強度分布との対応を説明するための図である。 実施例1の結像光学系と撮像素子における瞳分割を説明するための図である。 実施例1の各画素に形成されたマイクロレンズに光が入射した場合の光強度分布の説明図である。 実施例1の瞳部分領域を示す図である。 実施例1のデフォーカス量と像ずれ量との関係図である。 実施例1の瞳偏心や入射瞳距離の変化が生じている場合の撮像素子と瞳強度分布との対応を説明するための図である。 実施例1の撮像素子のセンサ入射瞳、瞳偏心量、入射瞳距離と、結像光学系のレンズ枠ケラレと、瞳部分領域との関係図である。 実施例1の撮像素子のセンサ入射瞳、瞳偏心量、入射瞳距離と、結像光学系のレンズ枠ケラレと、瞳部分領域との関係図である。 実施例1の焦点検出方法を示すフローチャートである。 実施例1におけるレンズ枠ケラレの概略説明図である。 実施例1における各像高でのレンズ枠ケラレの概略説明図である。 実施例1における変換係数算出のフローチャートである。 各実施例における撮像素子の瞳距離における各開口情報の中心位置と大きさの概略関係図である。 実施例2における変換係数算出のフローチャートである。 実施例3における変換係数算出のフローチャートである。
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
本実施例では、本発明をデジタルカメラ等の撮像装置に適用した場合について説明するが、本発明は焦点検出装置、距離検出装置、情報処理装置、および電子機器等の撮像装置とは異なる装置に幅広く適用することができる。
[全体構成]
図1は、本実施例の焦点検出装置を有する撮像装置100の構成を示すブロック図である。撮像装置100は、カメラ本体とカメラ本体に着脱可能な交換レンズ(結像光学系または撮像光学系)とを備えたデジタルカメラシステムである。ただし、本発明は、これに限定されるものではなく、カメラ本体とレンズとが一体的に構成された撮像装置にも適用可能である。
結像光学系(撮像光学系)は、被写体の被写体像(光学像)を所定の結像面上に生成する。第1群101は、結像光学系を構成する複数のレンズ群のうち最も前方(被写体側)に配置されており、光軸OAに沿って進退可能にレンズ鏡筒に保持されている。絞り兼用シャッタ(絞り)102は、その開口径を調節されることで撮像時の光量調節を行うとともに、静止画撮像時には露光時間調節用シャッタとして機能する。第2レンズ群103は、絞り兼用シャッタ102と一体的に光軸OAに沿って進退し、第1レンズ群101の進退動作と連動して変倍動作を行うズーム機能を有する。第3レンズ群105は、光軸OAに沿って進退することにより焦点調節(フォーカス動作)を行うフォーカスレンズ群である。光学的ローパスフィルタ106は、撮像画像の偽色やモアレを軽減するための光学素子である。本実施例の各レンズ群はレンズユニットに相当し、特に第3レンズ群105は焦点調節可能なレンズユニットに相当する。
撮像素子107は、例えば、CMOSセンサまたはCCDセンサ、および、その周辺回路により構成され、被写体像の光電変換を行う。撮像素子107としては、例えば、横方向にm個の画素、縦方向にn個の画素を有する受光ピクセル上にベイヤー配列の原色カラーモザイクフィルタをオンチップで形成した2次元単板カラーセンサが用いられる。なお、撮像光学系と撮像素子107は一つの撮像部を構成するが、本実施例に示すような単板方式に限定されず、例えば3板方式であってもよい。また、複数の撮像部を有する構成としてもよい。つまり、撮像素子に対して対応する撮像光学系を有する構成であれば本発明を適用可能である。
ズームアクチュエータ111は、変倍動作を行う際に、カム筒(不図示)を回動することで第1レンズ群101および第2レンズ群103を光軸OAに沿って移動させる。絞りシャッタアクチュエータ112は、光量(撮像光量)を調節する際に、絞り兼用シャッタ102の開口径を調節する。フォーカスアクチュエータ114は、焦点調節を行う際に、第3レンズ群105を光軸OAに沿って移動させる。なお、絞りとシャッタは必ずしも兼用させる必要はなく、それぞれ個別に設ける構成としてもよい。
電子フラッシュ115は、被写体を照明するために用いられる照明装置である。電子フラッシュ115としては、キセノン管を備えた閃光照明装置、または連続発光するLED(発光ダイオード)を備えた照明装置が用いられる。AF補助光源116は、所定の開口パターンを有するマスクの像を、投光レンズを介して、被写体に投影する。これにより、暗い被写体や低コントラストの被写体に対する焦点検出能力を向上させることができる。
CPU121は、撮像装置100の種々の制御を司る制御装置である。CPU121は、演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、および、通信インターフェイス回路などを有する。CPU121は、ROMまたはRAMに記憶された所定のプログラムを読み出して実行することにより、撮像装置100の各種回路を駆動し、焦点検出(AF)、撮像、画像処理、または、記録などの一連の動作を制御する。また、CPU121の一部の機能をハードウエア回路として実装してもよく、また一部の回路にFPGA等のリコンフィギュアラブル回路を用いてもよい。例えば、後述する焦点検出用の演算の一部を専用のハードウエア回路を用い、演算時間の短縮を行ってもよい。
また、CPU121は、画素信号取得手段121a、信号生成手段121b、焦点検出手段121c、およびレンズ情報取得手段121dを備える。また、CPU121が備える通信インターフェイス回路は外部装置とUSBケーブルやLANケーブル等の有線ケーブルで接続する方式だけでなく、無線LANや移動通信回線等の無線通信で接続する方式であってもよい。また、通信相手との接続については、直接的にパーソナルコンピュータやスマートフォンと接続する接続方式に限られず、アクセスポイントやネットワーク経由で近接または遠隔機器と接続する方式であってもよい。
電子フラッシュ制御回路122は、撮像動作に同期して電子フラッシュ115の点灯制御を行う。補助光源駆動回路123は、焦点検出処理に同期してAF補助光源116の点灯制御を行う。撮像素子駆動回路124は、撮像素子107の撮像動作を制御するとともに、取得した画像信号をA/D変換してCPU121に送信する。画像処理回路125は、撮像素子107から出力された画像データのガンマ変換、カラー補間、または、JPEG(Joint Photographic Experts Group)圧縮などの処理を行う。
フォーカス駆動回路126は、焦点検出手段121cの焦点検出結果等に基づいてフォーカスアクチュエータ114を駆動し、第3レンズ群105を光軸OAに沿って移動させることにより、焦点調節を行う。絞りシャッタ駆動回路128は、絞りシャッタアクチュエータ112を駆動して、絞り兼用シャッタ102の開口径を制御するとともに、静止画撮像時の露光時間を制御する。ズーム駆動回路129は、撮像者のズーム操作に応じて、ズームアクチュエータ111を駆動し、第1レンズ群101および第2レンズ群103を光軸OAに沿って移動させることにより、変倍動作を行う。
レンズ通信回路130は、カメラ本体に取り付けられた交換レンズと通信し、交換レンズのレンズ情報を取得し、各種パラメータの設定を行う。取得したレンズ情報は、CPU121のレンズ情報取得手段121dに出力される。また、カメラ本体で検出した撮像情報等を交換レンズへ送信する構成としてもよい。交換レンズとカメラ本体はマウント部を介してバヨネット結合し、結合した状態で複数の端子が互いに接触する構成となっている。また、交換レンズには不図示のレンズ用CPU、レンズ用メモリ、レンズ用ジャイロ等を備えた電子基板を備えている。レンズ用CPUはレンズ用メモリに記憶されたパラメータ等を使用し、各種プログラムを実行する。また、レンズ用メモリにはレンズの光学特性である収差情報、射出瞳距離LPO等を記憶しており、光学条件としてのフォーカス状態FSやズーム状態ZSと合わせてカメラ本体側へ送信することが可能である。
表示部131は、例えばLCD(液晶表示装置)を備えて構成される。表示部131は、撮像装置100の撮像モードに関する情報、撮像前のプレビュー画像、撮像後の確認用画像、または、焦点検出時の合焦状態表示画像などを表示する。操作部132は、電源スイッチ、レリーズスイッチ、ズーム操作スイッチ、および、撮像モード選択スイッチなどを備えて構成される。レリーズスイッチは、半押し状態(SW1がONの状態)、および、全押し状態(SW2がONの状態)の2段階のスイッチを有する。記録媒体133は、例えば撮像装置100に着脱可能なフラッシュメモリであり、撮像画像(画像データ)を記録する。記憶部134は、所定のフォーマットで撮像画像などを記憶する。
なお、操作部132の一部の機能をタッチパネル等の形式で表示部131に設ける構成としてもよい。プレビュー画像を表示部131に表示している間にタッチパネルを操作することで、画像中の任意の位置に対して焦点検出を行うことが可能となる。
なお、不図示のTVAF部を設け、生成されるTVAF用評価値(画像データのコントラスト情報)に基づいて、コントラスト検出方式の焦点検出処理を行うようにしてもよい。コントラスト検出方式の焦点検出処理の際には、フォーカスレンズ群105を移動して評価値(焦点評価値)がピークとなるレンズ位置が合焦位置として検出される。
このように、撮像面位相差AFとTVAFとを組み合わせて実行可能であり、状況に応じて、これらを選択的に使用し、または、組み合わせて使用することができる。各ブロックは、各々の焦点検出結果を用いてフォーカスレンズ群105の位置を制御する制御手段として機能する。
[撮像素子]
まず、図2および図3を参照して、本実施例における撮像素子107の画素配列および画素構造について説明する。図2は、撮像素子107の画素(撮像画素)配列を示す図である。図3は、撮像素子107の画素構造を示す図であり、図3(a)は撮像素子107の画素200Gの平面図(+z方向から見た図)、図3(b)は図3(a)中の線a-aの断面図(-y方向から見た図)をそれぞれ示している。
図2は、撮像素子107の画素配列を、4列×4行の範囲で示している。本実施例では、2列×2行の画素群200は、画素200R、200G、200Bがベイヤー配列で配置されている。すなわち、画素群200のうち、R(赤)の分光感度を有する画素200Rが左上に、G(緑)の分光感度を有する画素200Gが右上と左下に、B(青)の分光感度を有する画素200Bが右下にそれぞれ配置されている。画素200R、200G、200Bは、2列×1行に配列された焦点検出画素(第1焦点検出画素)201、焦点検出画素(第2焦点検出画素)202により構成されている。このため、図2には、焦点検出画素の配列が、8列×4行の範囲で示されている。なお、本実施例の画素はx方向に配置された2つの焦点検出画素から構成されているが、これに限られるものではなく、y方向に配置されたものでもよい。また、2つ以上の焦点検出画素で構成してもよいし、いくつかの構成を組み合わせた構成であってもよい。
図2に示されるように、撮像素子107は、4列×4行の画素(8列×4行の焦点検出画素)を面上に多数配置して構成されており、受光信号に相当する撮像信号(焦点検出信号)を出力する。本実施例の撮像素子107は、画素の周期Pが6μm、画素の数Nが横6000列×縦4000行=2400万画素である。また、撮像素子107は、焦点検出画素の列方向の周期PSUBが3μm、焦点検出画素の数NSUBが横12000列×縦4000行=4800万画素である。4Kフォーマットの動画等を撮像素子107を用いて取得する場合には、横4000列以上の画素を有することが望ましい。また、これ以上のサイズのフォーマットで画像を取得する場合には当該フォーマットに合わせた画素数であることが望ましい。
図3(b)に示されるように、本実施例の画素200Gには、画素のフォトダイオードが形成されたシリコン等の半導体の界面である受光面側に入射光を集光するためのマイクロレンズ305が設けられている。マイクロレンズ305は、2次元状に複数配列されており、受光面からz軸方向(光軸OAの方向)に所定の距離だけ離れた位置に配置されている。また、画素200Gには、x方向にNx分割(2分割)、y方向にNy分割(1分割)された分割数NLF=Nx×Ny(分割数2)の光電変換部301および光電変換部302が形成されている。光電変換部301および光電変換部302はそれぞれ、焦点検出画素201および焦点検出画素202に対応する。
光電変換部301および光電変換部302は、シリコン等の半導体基板上に形成され、それぞれp型層とn型層から成るpn接合のフォトダイオードとして構成される。必要に応じて、p型層とn型層との間にイントリンシック層を挟んだpin構造のフォトダイオードとして構成しても良い。画素200G(各画素)には、マイクロレンズ305と、光電変換部301および光電変換部302との間に、カラーフィルタ306が設けられている。必要に応じて、画素ごと、または光電変換部ごとにカラーフィルタ306の分光透過率を変えることができ、またはカラーフィルタを省略してもよい。
画素200Gに入射した光は、マイクロレンズ305により集光され、カラーフィルタ306で分光された後、光電変換部301および光電変換部302で受光される。光電変換部301および光電変換部302においては、受光量に応じて電子とホールとの対が生成され、それらが空乏層で分離された後、負電荷の電子はn型層に蓄積される。一方、ホールは定電圧源(不図示)に接続されたp型層を通じて、撮像素子107の外部へ排出される。光電変換部301および光電変換部302のn型層に蓄積された電子は、転送ゲートを介して、静電容量部(FD)に転送され、電圧信号に変換される。
なお、本実施例においてマイクロレンズ305は撮像素子107における光学系に相当する。当該光学系は複数のマイクロレンズを含む構成としてもよいし、導波路等の屈折率の異なる材料を用いた構成としてもよい。また、撮像素子107はマイクロレンズ305を有する面と反対の面に回路等を備える裏面照射型のイメージセンサでもよく、更に撮像素子駆動回路124および画像処理回路125等の一部の回路を備える積層型のイメージセンサであってもよい。また、半導体基板としてシリコン以外の材料を用いてもよいし、例えば有機材料を光電変換材料として用いてもよい。
[瞳分割]
続いて、図4から図8を参照して、本実施例の撮像素子107の瞳分割機能について説明する。
図4は、図3(a)に示される本実施例の撮像素子107に配列された画素200Gのa-a断面を+y側から見た断面図、および、撮像素子107の撮像面600からz軸方向(光軸OAの方向)に距離Zだけ離れた位置の瞳面を示している。なお、図4では、射出瞳面の座標軸と対応を取るために、断面図のx軸とy軸を図3に対して反転させている。撮像素子107の撮像面600は、結像光学系の結像面に配置される。
瞳強度分布(第1瞳強度分布)501は、重心位置が-x方向に偏心している光電変換部301の受光面と、マイクロレンズ305を介して略共役関係になっている。このため、第1瞳強度分布501は、焦点検出画素201で受光可能な瞳領域に相当する。第1瞳強度分布501の重心位置は、瞳面上で+xp側に偏心している。同様に、瞳強度分布(第2瞳強度分布)502は、重心位置が+x方向に偏心している光電変換部302の受光面と、マイクロレンズ305を介して略共役関係になっている。このため、第2瞳強度分布502は、焦点検出画素202で受光可能な瞳領域に相当する。第2瞳強度分布502の重心は、瞳面上で-xp側に偏心している。また、瞳強度分布500は、光電変換部301、302(焦点検出画素201、202)を全て合わせた際の画素200G全体で受光可能な瞳領域である。つまり、第1瞳強度分布501は瞳強度分布500の中心に対して瞳面上で+xp側に偏心し、第2瞳強度分布502は瞳強度分布500の中心に対して瞳面上で-xp側に偏心している。
次に、図5を参照して、撮像素子107のセンサ入射瞳について説明する。本実施例の撮像素子107では、2次元の平面上の各像高座標に位置する画素毎に、マイクロレンズ305は像高座標に応じて、撮像素子の中心方向へ連続的にシフトされて配置されている。つまり、各マイクロレンズは像高が高くになるにつれ、光電変換部301、302に対して中心側へ偏心するように配置されている。なお、撮像素子の中心と撮像光学系の光軸は、撮像光学系または撮像素子を駆動することで手振れ等によるブレの影響を低減する機構によって変化するが略一致する。これにより、撮像素子107から距離Zだけ離れた位置の瞳面において、撮像素子107の各像高座標に配置された各画素の第1焦点検出画素201の光電変換部に対応する第1瞳強度分布501が、概ね、一致するように構成される。同様に、第2焦点検出画素202の光電変換部に対応する第2瞳強度分布502が、概ね、一致するように構成されている。つまり、撮像素子107から距離Zだけ離れた位置の瞳面において、撮像素子107の全ての画素の第1瞳強度分布501と第2瞳強度分布502が、概ね、一致するように構成されている。以下、第1瞳強度分布501及び第2瞳強度分布502を、撮像素子107の「センサ入射瞳」と呼び、距離Zを、撮像素子107の「入射瞳距離」と呼ぶ。なお、全ての画素を単一の入射瞳距離を有する構成とする必要はなく、例えば像高8割までの画素の入射瞳距離を略一致させる構成としてもよいし、あえて行ごとまたは検出領域ごとに異なる入射瞳距離を有するように画素を構成してもよい。
図6は、本実施例の撮像素子107のセンサ入射瞳(第1瞳強度分布501、第2瞳強度分布502)による結像光学系の射出瞳400の光学的な分割(瞳分割)を示している。被写体からの光束のうち、結像光学系の射出瞳400と瞳強度分布501との重なり領域である瞳部分領域(第1瞳部分領域)601を通過した光束は、焦点検出画素201(光電変換部301)で受光される。同様に、被写体からの光束のうち、結像光学系の射出瞳400と瞳強度分布502との重なり領域である瞳部分領域(第2瞳部分領域)602を通過した光束は、焦点検出画素202(光電変換部302)で受光される。なお、本実施例において各瞳部分領域を追加した光束は通過光束に相当する。
図4では、撮像素子107の入射瞳距離Zだけ離れた位置の瞳面における第1瞳部分領域601と第2瞳部分領域602を示している。結像光学系の射出瞳400が、撮像素子107のセンサ入射瞳(第1瞳強度分布501、第2瞳強度分布502)により、第1瞳部分領域601と第2瞳部分領域602に分割される。言い換えると、第1瞳強度分布501、第2瞳強度分布502の夫々と結像光学系の射出瞳400との共通する領域(積)が、第1瞳部分領域601と第2瞳部分領域602になる。
図7は、各画素に形成されたマイクロレンズ305に光が入射した場合の光強度分布の説明図である。図7には、一例として波長λ=540nm、右円偏光の平面波が、マイクロレンズ305の上方からマイクロレンズの光軸に平行に入射した場合の撮像素子107内部での光強度分布の計算例が示されている。数値計算には、FDTD(Finite Difference Time Domain)法を用いた。
図7(a)は、マイクロレンズの光軸に平行な断面での光強度分布を示す。各画素でのマイクロレンズ光学系は、マイクロレンズ305、平坦化層、封止層、および絶縁層などから構成される。マイクロレンズ光学系は、複数のマイクロレンズを含んでいてもよい。画素周期を2a、マイクロレンズ光学系の焦点距離をf、マイクロレンズ光学系の開口角を2φとする。また、マイクロレンズ光学系の焦点位置での屈折率をnとする。また、光軸に沿った座標をzとする。座標zは、焦点位置を原点(z=0)として、マイクロレンズ側を負符号、マイクロレンズと反対側を正符号とする。また、Hは、主点である。
マイクロレンズ光学系の開口数NAは、以下の式(1)で定義される。
Figure 0007237476000001
また、マイクロレンズ光学系の絞り値Fは、以下の式(2)で定義される。
Figure 0007237476000002
入射光は、マイクロレンズ光学系により、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。集光スポットの強度分布がエアリーパターン(Airy pattern)に近いとして、回折限界Δは、入射光の波長をλとして、概ね、以下の式(3)で求まる。
Figure 0007237476000003
光電変換部の受光面サイズは約1~3μm程度であり、これに対してマイクロレンズの集光スポットが約1μm程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図4から図6のセンサ入射瞳(第1瞳強度分布501、第2瞳強度分布502)は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布(瞳強度分布)となる。
図7(b)は、マイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す。点位置(z=0)で、集光スポットの直径は回折限界Δとなり、最小となる。
マイクロレンズ光学系の後側焦点深度+zと前側焦点深度-zは、回折限界Δを許容錯乱円として、以下の式(4)で求まる。焦点深度の範囲は、-z<z<+zである。
Figure 0007237476000004
集光スポットの強度分布がガウス分布に近いとすると、集光スポットの直径wは、座標zの関数として、概ね、以下の式(5)の関係が成り立つ。
Figure 0007237476000005
ここで、zはレイリー長であり、係数α=0.61π≒1.92として、z=αで定義される。
図7に示す計算例では、波長λ=540nm、画素周期2a=4.3μm、マイクロレンズ光学系の焦点距離f=5.8μm、焦点位置での屈折率n=1.46である。また、マイクロレンズ光学系の絞り値はF=0.924、回折限界はΔ=1.22μm、焦点深度はz=1.65μmである。
図8に、本実施例の第1瞳部分領域601と第2瞳部分領域602の例を示す。横軸は(瞳座標に換算できる)光の入射角θを表し、縦軸は受光率を表す。図8に実線で示すグラフ線L1は、図4の第1瞳部分領域601のX軸に沿った受光率分布を表し、点線で示すグラフ線L2は、第2瞳部分領域602のX軸に沿った受光率分布を表す。図8に示すように、第1瞳部分領域L1、第2瞳部分領域L2の外側は、結像光学系のレンズ枠や絞り枠で規定される射出瞳によりケラレるため、急峻な曲線となる。また、第1瞳部分領域L1、第2瞳部分領域L2の内側は、マイクロレンズによる瞳分割のため、瞳部分領域の境界が回折の影響でボヤけ、緩やかな曲線となる。本実施例は、瞳領域が水平方向に2つに瞳分割されている例である。必要に応じて、垂直方向に瞳分割を行っても良い。
本実施例では、撮像素子107は、1つのマイクロレンズを共有し、結像光学系(撮像レンズ)の瞳のうち互いに異なる領域を通過する複数の光束を受光する複数の焦点検出画素を備えている。撮像素子107は、複数の焦点検出画素として、第1焦点検出画素(複数の焦点検出画素201)および第2焦点検出画素(複数の焦点検出画素202)を含む。また、結像光学系の瞳部分領域601、602を合わせた領域を通過する光束を受光する画素の配列を有してもよい。なお、撮像素子107では、各画素が第1および第2焦点検出画素から構成されている。しかしながら、必要に応じて、撮像画素と、第1および第2焦点検出画素とを個別の画素構造とし、撮像画素配列の一部に、第1および第2焦点画素を部分的に配置する構成としてもよい。
本実施例では、撮像素子107の各画素の焦点検出画素201の画素信号に基づいて第1の焦点検出信号を生成し、各画素の焦点検出画素202の画素信号に基づいて第2の焦点検出信号を生成して焦点検出を行う。また、撮像素子107の画素ごとに、焦点検出画素201、202の信号を加算して読み出すことで、有効画素数Nの解像度を有する撮像信号(撮像画像)を生成することができる。また、各信号の生成方法は、本実施例の形態に限らず、例えば、第2焦点検出信号は、撮像信号と第1焦点信号の差分から生成してもよい。
なお、撮像素子107の画素構造として、マイクロレンズ305に対して光電変換部301および光電変換部302を備える構成としたがこれに限られるものではない。例えば、マイクロレンズと光電変換部の間に一部に開口を有する遮光層を備える構成として瞳分割を行ってもよい。近接する画素において遮光層における開口位置を異ならせることによって、光電変換部301および光電変換部302に相当する信号を取得することができる。
[デフォーカス量と像ずれ量の関係]
図9を参照して、撮像素子107の焦点検出画素201から取得される第1の焦点検出信号および焦点検出画素202から取得される第2の焦点検出信号のデフォーカス量と像ずれ量との関係について説明する。図9は、デフォーカス量と像ずれ量との関係図である。図9において、撮像素子107は撮像面600に配置されており、図4および図6と同様に、結像光学系の射出瞳400が瞳部分領域601、602に2分割されている様子が示されている。
図9中に示すデフォーカス量dは、被写体像の結像位置から撮像面600までの距離を|d|とする。そして、結像位置が撮像面600よりも被写体側にある前ピン状態を負符号(d<0)、結像位置が撮像面600よりも被写体の反対側にある後ピン状態を正符号(d>0)として定義される。被写体の結像位置が撮像面600(合焦位置)にある合焦状態において、デフォーカス量d=0が成立する。図9において、合焦状態(d=0)である被写体701、および、前ピン状態(d<0)である被写体702がそれぞれ示されている。前ピン状態(d<0)および後ピン状態(d>0)を併せて、デフォーカス状態(|d|>0)という。
前ピン状態(d<0)では、被写体702からの光束のうち、第1瞳部分領域601(または第2瞳部分領域602)を通過した光束は、一度、集光する。その後、光束は、光束の重心位置G1(G2)を中心とする幅Γ1(Γ2)に広がり、撮像面600ではボケた像となる。ボケた像は、撮像素子107に配列された各画素を構成する焦点検出画素201(焦点検出画素202)により受光され、第1の焦点検出信号(第2の焦点検出信号)が生成される。このため、第1の焦点検出信号(第2の焦点検出信号)は、撮像面600上の重心位置G1(G2)に、被写体702が幅Γ1(Γ2)にボケた被写体像として記録される。被写体像のボケ幅Γ1(Γ2)は、デフォーカス量dの大きさ|d|が増加するのに伴い、概ね比例して増加する。同様に、第1の焦点検出信号と第2の焦点検出信号との間の被写体像の像ずれ量p(=光束の重心位置の差G1-G2)の大きさ|p|も、デフォーカス量dの大きさ|d|が増加するのに伴い、概ね、比例して増加する。後ピン状態(d>0)に関しても同様であるが、第1の焦点検出信号と第2の焦点検出信号との間の被写体像の像ずれ方向が前ピン状態と反対となる。
このように本実施例では、第1の焦点検出信号と第2の焦点検出信号、または、第1および第2の焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第1の焦点検出信号と第2の焦点検出信号との間の像ずれ量の大きさは増加する。
本実施例では、第1の焦点検出信号と第2の焦点検出信号のデフォーカス量と像ずれ量との関係性を用いて、位相差検出方式の焦点調節を行う。位相差検出方式の焦点調節は、第1の焦点検出信号と第2の焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量を計算し、相関(信号の一致度)が良くなるシフト量から像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第1の焦点検出信号と第2の焦点検出信号間との間の像ずれ量の大きさが増加する関係性から、像ずれ量をデフォーカス量に変換することで、位相差検出方式の焦点検出を行う。
ここまで、結像光学系の射出瞳400を、撮像素子107における第1瞳強度分布501、第2瞳強度分布502により、第1瞳部分領域601、第2瞳部分領域602に瞳分割し、位相差検出方式の焦点検出を行うことについて説明した。より詳細には、本実施例の瞳部分領域(第1瞳部分領域601、第2瞳部分領域602)は、撮像素子107のセンサ入射瞳の瞳偏心量、入射瞳距離、及び、結像光学系のレンズ枠ケラレにより決定され、後述するより複雑な形状となる。
続いて、図10から図12を参照して、本実施例における、撮像素子107のセンサ入射瞳の瞳偏心量、入射瞳距離、及び、結像光学系のレンズ枠ケラレと、瞳部分領域(第1瞳部分領域601、第2瞳部分領域602)との関係について説明する。
[センサ入射瞳の瞳偏心]
本実施例の撮像素子107のセンサ入射瞳(瞳強度分布501、502)は、製造中のバラつきなどの理由で、瞳偏心(瞳強度分布の光軸に対する偏心)や入射瞳距離の変化を生じる場合がある。図10は、撮像素子107の全ての画素で、マイクロレンズ305から光電変換部301、302の受光面までの距離が、設計値zsに対して、作製上などの誤差により、距離zs+dzs(誤差+dzs)で構成される例を示している。これに伴い、撮像素子107の入射瞳距離が、設計値Zに対して、入射瞳距離Z+dZ(誤差+dZ)と構成される例を示している。また、撮像素子107の全ての画素で、マイクロレンズ305が、光電変換部301、302に対して、設計値に対して、作製上などの誤差により、瞳分割方向(光電変換部の分割方向)に偏心(偏心量dxs)して構成される例を示している。これに伴い、撮像素子107の入射瞳(瞳強度分布501、502)が、瞳分割方向(光電変換部の分割方向)に偏心(瞳偏心量dX)して構成される例を示している。これらは、撮像素子107を、撮像装置100に配置する際の組み付け誤差などによっても生じる場合がある。なお、各軸方向の誤差量として一定量であるとして説明するが、これに限定されるものではなく、面内で異なる誤差量を有していてもよい。例えば、面内で回転方向に誤差が発生した場合には、回転軸に対する距離によって誤差量は異なり、傾きが発生した場合にも同様に距離によって誤差量が異なるこことなる。
[レンズ枠ケラレ]
次に、図11と図12を参照して、本実施例における、撮像素子107の周辺像高での被写体からの光束のレンズ枠ケラレについて説明する。図11は、撮像素子107の周辺像高における、撮像素子107のセンサ入射瞳の瞳偏心量、入射瞳距離、及び、結像光学系のレンズ枠ケラレと、瞳部分領域(第1瞳部分領域601、第2瞳部分領域602)との関係を、+y側からのxz平面で示している。撮像素子107の入射瞳(瞳強度分布501、502)は、図10と対応しており、入射瞳距離Z+dZの瞳面で、瞳分割方向(光電変換部の分割方向)に、偏心(瞳偏心量dX)して構成される例を示している。
被写体(物体)703からの光束は、結像光学系の物側の第1の枠(物側枠)F1、結像光学系の絞り枠である第3の枠(絞り枠)F3、結像光学系の像側の第2の枠(像側枠)F2により、順番にケラレて、結像面600に到達する。結像光学系の第1から第3の枠でケラレた光束のうち、瞳強度分布501との重なり領域である第1瞳部分領域601を通過した光束は、焦点検出画素201(光電変換部301)で受光される。同様に、結像光学系の第1から第3の枠でケラレた光束のうち、瞳強度分布502との重なり領域である第2瞳部分領域602を通過した光束は、焦点検出画素202(光電変換部302)で受光される。本実施例において第1の枠F1乃至第3の枠F3の形状は光軸を中心とする同心円であるとして説明するが、枠形状の一部が乃至全部が円形でない場合であってもよい。例えば、多角形の形状であってもよいし、いわゆるDカット型の形状であってもよい。
図12では、撮像素子107の入射瞳距離Z+dZだけ離れた位置の瞳面における第1瞳部分領域601と第2瞳部分領域602を示している。結像光学系の第1から第3の枠(F1~F3)の開口部の重なりである射出瞳が、撮像素子107のセンサ入射瞳(第1瞳強度分布501、第2瞳強度分布502)により、第1瞳部分領域601と第2瞳部分領域602に分割される。第1瞳部分領域601と第2瞳部分領域602の領域の形状は各枠形状、枠のz方向の位置、像高、誤差量などによって異なる。
以下、図13を参照して、CPU121により実行される本実施例の焦点検出方法について説明する。図13は、本実施例の焦点検出方法を示すフローチャートである。本実施例の焦点検出方法は、ソフトウエアおよびハードウエア上で動作するコンピュータプログラムとしての焦点検出プログラムにしたがって実行される。焦点検出プログラムは、例えば、撮像装置内の記憶部134に記録されていてもよいし、コンピュータが読み取り可能な記録媒体に記録されていてもよい。また、本実施例ではCPU121が焦点検出方法を実行するが、パーソナルコンピュータ(PC)や専用の装置が焦点検出装置として本実施例の焦点検出方法を実行してもよい。また、本実施例の焦点検出プログラムに対応する回路を設け、回路を動作させることで本実施例の焦点検出方法を実行してもよい。
図13のステップS101では、CPU121は、焦点検出位置設定手段として動作し、焦点検出を行う撮像素子107上の焦点検出位置の像高座標(xAF、yAF)を設定する。次に、像高座標(xAF、yAF)から、式(6)により、焦点検出位置の像高rAFを計算する。なお、像高座標の原点は撮像素子107の受光領域の重心位置であり、結像光学系の光軸と略一致する。しかし、撮像素子107と結像光学系は所定のバラつきを持って位置するため、バラつき分を考慮して原点位置を決定してもよいし、本実施例ではその説明は省略するが手振れ補正等による光軸位置のシフト分を考慮して像高座標を設定するようしてもよい。
Figure 0007237476000006
図13のステップS102では、CPU121のレンズ情報取得手段121dは、枠情報取得手段として、光学条件に応じた枠情報を取得する。特に、焦点検出位置の像高座標(xAF、yAF)と、結像光学系(交換レンズ)のフォーカス状態FS、ズーム状態ZS等の光学条件に応じた枠情報を取得する。枠情報は、結像光学系の結像面(撮像素子107の撮像面)から所定の瞳距離Zfだけ離れた位置の瞳面に投影された結像光学系の物側の第1の枠(物側枠)F1の中心C1(xAF、yAF、FS,ZS)と半径R1(xAF、yAF、FS,ZS)を含む。さらに、枠情報は結像光学系の像側の第2の枠(像側枠)F2の中心C2(xAF、yAF、FS,ZS)と半径R2(xAF、yAF、FS,ZS)により構成されている。また、枠情報は、結像光学系の絞り値F(xAF、yAF、FS,ZS)と、絞り枠の射出瞳距離LPO(xAF、yAF、FS,ZS)により構成されている。枠情報は、予め結像光学系の記録媒体等に記録されており、結像光学系と撮像装置100との間で撮像タイミングまたは定期的に所定の周期でデータ通信を行い、結像光学系から取得する。もしくは、予め撮像装置100の記録媒体に保存されている枠情報を用いても良い。なお、データ通信のタイミングはレンズ交換時または起動時等のタイミングであってもよい。また、枠情報を外部装置からネットワーク経由で取得し記憶するようにしてもよい。また、光学条件として、フォーカス状態FS、ズーム状態ZS以外の情報を含んでもよい。例えば、エクステンダーの装着の状態や、チルトまたはシフト量、各種光学フィルタ装着の状態等を含んでもよい。
ステップS102では、次に、像高rAFと、結像光学系の絞り枠の射出瞳距離LPOから、所定の瞳距離Zfの瞳座標に投影した結像光学系の第3の枠F3の中心C3(xAF、yAF、FS,ZS)を、式(7)より算出する。
Figure 0007237476000007
ステップS102では、次に、像高rAFと、絞り値Fから、所定の瞳距離Zfの瞳座標に投影した結像光学系の第3の枠F3の半径R3(xAF、yAF、FS,ZS)を、式(8)より算出する。
Figure 0007237476000008
ステップS102では、続いて、枠情報から、第1の開口パラメータa1、第2の開口パラメータa2を算出する。図14に、結像光学系の結像面(撮像素子107の撮像面)から所定の瞳距離Zfだけ離れた位置の瞳面における、結像光学系の第1から第3の枠(F1~F3)の開口部の重なりである射出瞳の例を示す。
第1の開口パラメータa1(0≦a1≦1)は、第3の枠の中心C3から第1の枠の頂点P1までの距離A1を、第3の枠の半径R3で規格化した値であり、式(9A)より算出する。同様に、第2の開口パラメータa2(0≦a2≦1)は、第3の枠の中心C3から第2の枠の頂点P2までの距離A2を、第3の枠の半径R3で規格化した値であり、式(9B)より算出する。
Figure 0007237476000009
図13のステップS103では、CPU121の画素信号取得手段121aは、撮像素子107の各画素の焦点検出画素201、焦点検出画素202で受光された画素信号を取得する。もしくは、予め本実施例の撮像素子107により撮像され、記録媒体に保存されている画素信号を用いても良い。
ステップS103では、次に、CPU121の信号生成手段121bは、画素信号に基づいて、結像光学系の異なる第1瞳部分領域601に応じた第1焦点検出信号と、第2瞳部分領域602に応じた第2焦点検出信号を生成する。すなわち、同一の瞳部分領域に相当する画素からの信号に基づいてそれぞれの焦点検出信号を生成する。より詳細には、撮像素子107により撮像された画素信号をLFとする。また、LFの各画素信号内での列方向i(1≦i≦Nx)番目、行方向j(1≦j≦Ny)番目の焦点検出画素信号を、k=Nx(j-1)+i(1≦k≦NLF)として、第k焦点検出信号とする。結像光学系の第kの瞳領域に対応した、列方向i番目、行方向j番目の第k焦点検出信号I(j、i)を、以下の式(10)により生成する。
Figure 0007237476000010
本実施例は、Nx=2、Ny=1、NLF=2のx方向2分割で、k=1、k=2の例である。図2に例示した画素配列に対応した画素信号から、画素毎に、x方向2分割された第1焦点検出画素201の信号を選択する。よって、結像光学系の第1瞳部分領域601に対応した、画素数N(=水平画素数N×垂直画素数N)の解像度を有するベイヤー配列のRGB信号である第1焦点検出信号I(j、i)を生成する。同様に、結像光学系の第2瞳部分領域602に対応した第2焦点検出信号I(j、i)を生成する。
ステップS103では、次に、ベイヤー配列のRGB信号である第k焦点検出信号I(k=1、2)から、位置(j,i)ごとに、各色RGBの色重心を一致させて、第k焦点検出輝度信号Y(k=1、2)を、以下の式(11)により生成する。必要に応じて、焦点検出精度を向上するために、第k焦点検出輝度信号Ykに、シェーディング(光量)補正処理等を行っても良い。
Figure 0007237476000011
ステップS103では、次に、第k焦点検出輝度信号Y(k=1、2)に対して、瞳分割方向(列方向)に、1次元バンドパスフィルタ処理を行い、略波数kAF成分に限定された第1焦点検出信号dYAを生成する。また、第2焦点検出輝度信号Yに対して、瞳分割方向(列方向)に、1次元バンドパスフィルタ処理を行い、略波数kAF成分に限定された第2焦点検出信号dYBを生成する。1次元バンドパスフィルタとしては、例えば、1次微分型フィルタ[1、5、8、8、8、8、5、1、-1、-5、-8、-8、-8、-8、-5、-1]などを用いることができる。必要に応じて、1次元バンドパスフィルタの通過帯域を調整することが好ましい。また、一般的に、位相差検出方式の焦点検出では、大デフォーカス状態での焦点検出を行うため、フィルタ処理の通過帯域は低周波帯域を含むように構成される。ただし、必要に応じて、大デフォーカス状態から小デフォーカス状態まで焦点調節を行う際に、デフォーカス状態に応じて、焦点検出の際のフィルタ処理の通過帯域を高周波帯域側に調整してもよい。
図13のステップS104では、CPU121の焦点検出手段121cは、像ズレ量検出手段として、焦点検出信号に基づいて、検出像ずれ量を算出する。焦点検出位置(jAF、iAF)を中心として、行方向j(-n≦j≦n)番目、瞳分割方向である列方向i(-m≦i≦m)番目の略波数kAF成分に限定された第1焦点検出信号をdYA(jAF+j、iAF+i)とする。さらに、第2焦点検出信号をdYB(jAF+j、iAF+i)とする。シフト量をs(-n≦s≦n)として、各位置(jAF,iAF)での相関量COREVEN(jAF,iAF、s)を、式(12A)により算出し、相関量CORODD(jAF,iAF、s)を、式(12B)により算出する。
Figure 0007237476000012
相関量CORODD(jAF,iAF、s)は、相関量COREVEN(jAF,iAF、s)に対して、略波数kAF成分に限定された第1焦点検出信号dYAと第2焦点検出信号dYBのシフト量を半位相-1シフトずらした相関量である。
図13のステップS104では、次に、相関量COREVEN(jAF,iAF、s)と相関量CORODD(jAF,iAF、s)から、それぞれ、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して平均値を算出する。そして、焦点検出位置(jAF、iAF)における検出像ずれ量qdetを算出する。
[基線長]
次に、図14および図15を参照して、レンズ枠ケラレと基線長の関係について説明する。図14は、レンズ枠ケラレの概略説明図であり、図12に対応する。図14(a)は、像高座標を含む焦点検出領域が中央像高((xAF、yAF)=(0、0))に設定されたときの枠ケラレの状態である。図14(a)の中央像高の場合、枠ケラレは絞り枠F3により生じ、基線長はBL1の長さとなる。
図14(b)は、焦点検出領域が周辺像高((xAF、yAF)=(-10、0))に設定されたときの枠ケラレの状態である。図14(b)の周辺像高の場合、枠ケラレは絞り枠F3、物側枠F1、像側枠F2により生じ、基線長はBL2の長さとなる。つまり、周辺像高では、複数のレンズ枠によりケラレているため、図14(b)の基線長BL2は、図14(a)の基線長BL1よりも短くなる。そして、複数の枠によりケラレるため、開口形状は円形ではない複雑な形状となる。そのため、周辺像高で正確な基線長を算出するには、各枠の情報を用いて、複雑な開口形状を考慮して算出する必要がある。
図15は、各像高でのレンズ枠ケラレの概略説明図である。図15(a)乃至図15(c)は、焦点検出領域が(xAF、yAF)=(-10、0)、(-3.2、-3.2)、(0、-10)にそれぞれ設定されたときの枠ケラレの状態である。どの像高も中心像高からの距離rが10となる位置であり、図15(d)に示す901乃至903に対応する。図15(d)の900は中心像高からの距離が10となる像高位置を示している。
像高901(Y=0、X<0の像高)を基準とすると、像高902は像高901に対してθ1回転した位置であり、像高903は像高901に対してθ2回転した位置である。撮像素子の瞳面(z=Ds)では、900上の像高に対する開口形状は同一形状で回転角θ回転した状態となり、図15(b)、図15(c)は、図15(a)に対して回転角θ1、θ2回転した状態となっている。図15(a)乃至(c)では、どれも絞り枠F3、物側枠F1、像側枠F2により生じ、開口形状は同じであるが、回転角が異なるため基線長はBL2乃至BL4の長さとなり、それぞれ異なる。
以上のように、基線長は、撮像素子の瞳面における、レンズ枠ケラレ形状(第1の開口情報、第2の開口情報、第3の開口情報)と回転角により決定される。
[変換係数算出]
次に、図16を参照して、本実施例における変換係数算出(図13のステップS105)について説明する。図16は、本実施例における変換係数算出のフローチャートである。図16の各ステップは、主にCPU121またはレンズ用CPUにより実行される。
まず、図16のステップS1001において、CPU121は、焦点検出時の像高距離、絞り値、瞳距離の情報をレンズ用CPUに送信する。送信した像高距離rAFは、式(6)にて算出される。
続いて、図16のステップS1002において、レンズ用CPUは、現在のズーム状態ZS、フォーカス状態FSを取得する。
続いて、図16のステップS1003において、レンズ用CPUは、レンズ用メモリより、撮像光学系の物側枠F1(第1の開口情報)、像側枠F2(第2の開口情報)、絞り枠F3(第3の開口情報)の情報を取得する。この際に、各情報はステップS1001で取得した像高距離、絞り値、ステップS1002で取得したズーム状態ZS、フォーカス状態FSに基づいて取得される。
続いて、図16のステップS1004において、レンズ用CPUは、撮像素子の瞳距離における各開口情報の中心位置と大きさを算出する。この際にレンズ用CPUは、ステップS1003で取得した撮像光学系の物側枠F1(第1の開口情報)、像側枠F2(第2の開口情報)、絞り枠F3(第3の開口情報)の情報を用いる。
ここで、各開口情報の中心位置と大きさに関して、図17を参照して説明する。図17は、撮像素子107の瞳距離における各開口情報の中心位置と大きさの概略関係図である。図17に示すように、撮像光学系の物側枠F1(第1の開口情報)、像側枠F2(第2の開口情報)、絞り枠F3(第3の開口情報)の中心位置と大きさは、それぞれc1、r1、c2、r2、c3、r3で表される。本実施例では、c1、r1、c2、r2、c3は像高距離毎にレンズ用メモリにあらかじめ算出して記憶しておき、r3はステップS1001で取得した絞り値から計算にて算出するがその限りではない。また、各パラメータをテーブルとして記憶しておき、算出によらずに各値を取得してもよい。
続いて、図16のステップS1005において、レンズ用CPUは、撮像素子107の瞳距離における各開口情報の中心位置と大きさを、CPU121に送信する。この際に、レンズ用CPUはステップS1004で取得した、撮像光学系の物側枠F1(第1の開口情報)、像側枠F2(第2の開口情報)、絞り枠F3(第3の開口情報)の情報を用いる。
続いて、図16のステップS1006において、CPU121は、焦点検出領域に応じて、回転角θを式(13)にて算出する。
Figure 0007237476000013
続いて、図16のステップS1007において、CPU121は、絞り枠102の物側枠F1によるケラレ割合b1、像側枠F2によるケラレ割合b2を式(14)、式(15)にて算出する。この際にCPU121は、ステップS1005で取得した、撮像素子の瞳距離における各開口情報の中心位置と大きさを用いる。なお、ケラレ割合b1、b2は、上線枠、下線枠(第1、第2の開口情報)を、絞り枠(第3の開口情報)の中心位置との距離に関する情報で表現したものに相当する。
Figure 0007237476000014
続いて、図16のステップS1008において、CPU121は、ステップS1005で取得した、撮像光学系の絞り枠F3(第3の開口情報)の中心位置と大きさに応じた、変換係数算出に用いるθ、b1、b2に関する関数の係数をメモリより取得する。係数は、θを複数範囲に分割して、分割範囲毎に保持している。本実施例では、関数をθ、b1、b2に対する2次の関数としたときの、係数を取得するが、2次の関数に限定されるものではなく、1次の関数や3以上の関数であってもよい。また、変化の小さい変数に対する次数を小さくし、大きい変数の次数を大きくして、変数ごとに次数を異ならせてもよい。
続いて、図16のステップS1009において、CPU121は、式(16)、(17)にて変換係数を算出する。この際にCPU121は、ステップS1006で取得した回転角θ、ステップS1007で取得したケラレ割合b1、b2、ステップS1008で取得したθ、b1、b2に対する2次の関数の係数を用いる。ここで、BLは基線長、m000乃至m202は、ステップS1008で取得した係数である。
Figure 0007237476000015
以上の構成により、焦点検出信号間の像ずれ量からデフォーカス量への換算に必要な変換係数を開口状態に応じて算出することができ、焦点検出性能を向上することが可能となる。本実施例では、基線長をθ、b1、b2の関数で表現し算出したが、他のパラメータの関数で表現してもよい。また、関数で保持するのではなく、パラメータごとの基線長を直接保持し、パラメータ間の値は線形補間等にて算出してもよい。
次に、本発明の実施例2について説明する。本実施例は、変換係数算出の方法に関して実施例1とは異なる。本実施例における他の構成および動作は、実施例1と同様であるため、それらの説明は省略する。
図18を参照して、本実施例における変換係数算出(図13のステップS105)について説明する。図18は、本実施例における変換係数算出のフローチャートである。図18の各ステップは、主にCPU121またはレンズ用CPUにより実行される。
まず、図18のステップS1201において、レンズ用CPUは、現在のズーム状態ZS、フォーカス状態FSをカメラに送信する。
続いて、図18のステップS1202において、CPU121は、焦点検出時の像高距離、絞り値、瞳距離の情報をレンズ用CPUに送信する。送信した像高距離rAFは、式(6)にて算出される。
続いて、図18ステップS1203において、レンズ用CPUは、レンズ用メモリより撮像光学系の物側枠F1(第1の開口情報)、像側枠F2(第2の開口情報)、絞り枠F3(第3の開口情報)の情報を取得する。この際にレンズ用CPUは、ステップS1202で取得した像高距離、絞り値、ステップS1201で取得したズーム状態ZS、フォーカス状態FSに基づいて取得を行う。
続いて、図18のステップS1204において、レンズ用CPUは、撮像素子107の瞳距離における各開口情報の中心位置と大きさを算出する。この際にレンズ用CPUは、ステップS1203で取得した撮像光学系の物側枠F1(第1の開口情報)、像側枠F2(第2の開口情報)、絞り枠F3(第3の開口情報)の情報を用いる。
続いて、図18のステップS1205において、CPU121は、焦点検出領域に応じて、回転角θを式(13)にて算出する。
続いて、図18のステップS1206において、CPU121は、絞り枠102の物側枠F1によるケラレ割合b1、像側枠F2によるケラレ割合b2を式(14)、式(15)にて算出する。この際CPU121は、ステップS1204で取得した、撮像素子107の瞳距離における各開口情報の中心位置と大きさを用いる。ケラレ割合b1、b2は、上線枠、下線枠(第1、第2の開口情報)を、絞り枠(第3の開口情報)の中心位置との距離に関する情報で表現したものに相当する。
続いて、図18のステップS1207において、CPU121は、ステップS1204で取得した、撮像光学系の絞り枠F3(第3の開口情報)の中心位置と大きさに応じた、変換係数算出に用いるθ、b1、b2に関する関数の係数をメモリより取得する。係数は、θを複数範囲に分割して、分割範囲毎に保持している。本実施例では、関数をθ、b1、b2に対する2次の関数としたときの、係数を取得するが、2次の関数に限定されるものではなく、1次の関数や3以上の関数であってもよい。また、変化の小さい変数に対する次数を小さくし、大きい変数の次数を大きくして、変数ごとに次数を異ならせてもよい。
続いて、図18のステップS1208において、CPU121は、式(16)、(17)にて変換係数を算出する。この際に、ステップS1205で取得した回転角θ、ステップS1206で取得したケラレ割合b1、b2、ステップS1207で取得したθ、b1、b2に対する2次の関数の係数を用いる。ここで、BLは基線長、m000乃至m202は、ステップS1008で取得した係数である。
以上の構成により、焦点検出信号間の像ずれ量からデフォーカス量への換算に必要な変換係数を開口状態に応じて算出することができ、焦点検出性能を向上することが可能となる。本実施例では、基線長をθ、b1、b2の関数で表現し算出したが、他のパラメータの関数で表現してもよい。また、関数で保持するのではなく、パラメータごとの基線長を直接保持し、パラメータ間の値は線形補間等にて算出してもよい。
なお、実施例1及び2で示すように、各パラメータから第1乃至第3の開口情報の取得、第1乃至第3の開口情報の取得のケラレの割合の算出、変換係数の算出について説明した。これらの取得及び算出の一部または全部について、その処理をカメラ本体側のCPU121とレンズ側のレンズ用CPUを組み合わせて行ってもよい。また、どちらの処理をいずれかの一方で行うかを適宜制御してもよい。
次に、本発明の実施例3について説明する。本実施例は、変換係数算出の方法に関して実施例1とは異なる。本実施例における他の構成および動作は、実施例1と同様であるため、それらの説明は省略する。
図19を参照して、本実施例における変換係数算出について説明する。図19は、本実施例における変換係数算出のフローチャートである。図13の各ステップは、主にCPU121またはレンズ用CPUにより実行される。
まず、図13のステップS1301において、CPU121は、焦点検出時の像高距離、絞り値、瞳距離の情報をレンズ用CPUに送信する。送信した像高距離rAFは、式(6)にて算出される。
続いて、図19のステップS1302において、レンズ用CPUは、現在のズーム状態ZS、フォーカス状態FSを取得する。
続いて、図19のステップS1303において、レンズ用CPUは、レンズ用メモリより、撮像光学系の物側枠F1(第1の開口情報)、像側枠F2(第2の開口情報)、絞り枠F3(第3の開口情報)の情報を取得する。この際レンズ用CPUは、ステップS1301で取得した像高距離、絞り値、ステップS1302で取得したズームステート、フォーカスステートに基づいて情報の取得を行う。
続いて、図13のステップS1304において、レンズ用CPUは、撮像素子の瞳距離における各開口情報の中心位置と大きさを算出する。この際レンズ用CPUは、ステップS1303で取得した撮像光学系の物側枠F1(第1の開口情報)、像側枠F2(第2の開口情報)、絞り枠F3(第3の開口情報)の情報を用いる。
続いて、図13のステップS1305において、レンズ用CPUは、撮像素子の瞳距離における各開口情報の中心位置と大きさを、CPU121に送信する。この際レンズ用CPUは、ステップS1304で取得した、撮像光学系の物側枠F1(第1の開口情報)、像側枠F2(第2の開口情報)、絞り枠F3(第3の開口情報)の情報を用いる。
続いて、図13のステップS1306において、CPU121は、焦点検出領域に応じて、回転角θを式(13)にて算出する。
続いて、図13のステップS1307において、CPU121は、撮像素子107の受光感度特性の対称性に応じて、ステップS1306で取得した回転角の範囲を制限する。撮像素子の受光感度特性が撮像素子の瞳距離で上下対称(X軸対称)な場合、回転角θが0≦θ≦πの範囲とπ≦θ≦2πの範囲で、受光感度特性が等しくなる。そのため、π≦θ≦2πの範囲ではθ’=2π-θ(π≦θ≦2π)として、式(16)に代入して基線長を算出することができる。このように回転角の範囲を限定することで、メモリに保持する係数を1/2にすることができ、複数の焦点検出領域で焦点検出を行う場合には、変換係数算出が一部省略可能となる。
また、撮像素子の受光感度特性が撮像素子の瞳距離で上下左右対称(X軸対称、Y軸対称)な場合、回転角θが0≦θ≦π/2の範囲とπ/2≦θ≦π、π≦θ≦3π/2、3π/2≦θ≦2πの範囲で、受光感度特性が等しくなる。そのため、π/2≦θ≦πの範囲ではθ’=π-θ(π/2≦θ≦π)、π≦θ≦3π/2の範囲ではθ’=3π/2-θ(π≦θ≦3π/2)、3π/2≦θ≦2πの範囲ではθ’=2π-θ(3π/2≦θ≦2π)とする。そして、式(16)に代入して基線長を算出することができる。このように上下左右対称の場合には、メモリに保持する係数を1/4にすることができる。
続いて、図19のステップS1308において、CPU121は、絞り枠F3の物側枠F1によるケラレ割合b1、像側枠F2によるケラレ割合b2を式(14)、式(15)にて算出する。この際CPU121は、ステップS1305で取得した、撮像素子の瞳距離における各開口情報の中心位置と大きさを用いる。なお、ケラレ割合b1、b2は、上線枠、下線枠(第1、第2の開口情報)を、絞り枠(第3の開口情報)の中心位置との距離に関する情報で表現したものに相当する。
続いて、図19のステップS1309において、CPU121は、ステップS1305で取得した、撮像光学系の絞り枠F3(第3の開口情報)の中心位置と大きさに応じた、変換係数算出に用いるθ、b1、b2に関する関数の係数をメモリより取得する。係数は、θを複数範囲に分割して、分割範囲毎に保持している。本実施例では、関数をθ、b1、b2に対する2次の関数としたときの、係数を取得するが、2次の関数に限定されるものではなく、1次の関数や3以上の関数であってもよい。また、変化の小さい変数に対する次数を小さくし、大きい変数の次数を大きくして、変数ごとに次数を異ならせてもよい。また、本実施例では、瞳距離における各開口情報の中心位置と大きさ基づいた係数を取得したが、撮像素子の受光感度特性の対称性が高い距離における各開口情報の中心位置と大きさに基づいた係数を取得してもよい。
続いて、図19のステップS1310において、CPU121は、式(16)、(17)にて変換係数を算出する。この際CPU121は、ステップS1306で取得し、ステップS1307で範囲を制限した回転角θ、ステップS1308で取得したケラレ割合b1、b2、ステップS1309で取得したθ、b1、b2に対する2次の関数の係数を用いる。ここで、BLは基線長、m000乃至m202は、ステップS1309で取得した係数である。
以上の構成により、焦点検出信号間の像ずれ量からデフォーカス量への換算に必要な変換係数を開口状態に応じて算出することができ、焦点検出性能を向上することが可能となる。本実施例では、基線長をθ、b1、b2の関数で表現し算出したが、他のパラメータの関数で表現してもよい。また、関数で保持するのではなく、パラメータごとの基線長を直接保持し、パラメータ間の値は線形補間等にて算出してもよい。
100 結像光学系
122 撮像素子
129 焦点検出手段
120 撮像装置

Claims (10)

  1. 撮像光学系の第1瞳部分領域の通過光束を受光する第1焦点検出画素の受光信号から生成される第1焦点検出信号と、前記第1瞳部分領域と異なる前記撮像光学系の第2瞳部分領域の通過光束を受光する第2焦点検出画素の受光信号から生成される第2焦点検出信号から、像ずれ量を算出する算出手段と、
    前記像ずれ量と変換係数からデフォーカス量を検出する焦点検出手段と、を有し、
    前記変換係数は、前記撮像光学系の結像面から所定の瞳距離だけ離れた位置の瞳面に投影された開口形状と、焦点検出位置の像高座標に対応する回転角と、前記変換係数を前記開口形状と前記回転角の関数とした際の係数と、を用いて算出され、
    前記開口形状は、焦点検出位置の像高座標に対応する像高距離ごとに保持された情報であって、前記撮像光学系に含まれる複数のレンズ枠の前記撮像光学系の結像面から所定の瞳距離だけ離れた位置の瞳面に投影された前記撮像光学系の絞りを構成する枠の中心位置と大きさ、前記撮像光学系に含まれる複数のレンズ枠の前記撮像光学系の結像面から所定の瞳距離だけ離れた位置の瞳面に投影された前記撮像光学系の物側の枠の中心位置と大きさ、および前記撮像光学系に含まれる複数のレンズ枠の前記撮像光学系の結像面から所定の瞳距離だけ離れた位置の瞳面に投影された前記撮像光学系の像側の枠の中心位置と大きさに基づく形状であり、
    前記回転角は、前記像高座標の原点を中心とし所定の像高を基準とした回転角であることを特徴とする焦点検出装置。
  2. 前記回転角は、撮像素子の受光感度特性の対称性に応じて、範囲が制限されることを特徴とする請求項1に記載の焦点検出装置。
  3. 前記変換係数は、前記複数のレンズ枠の中心間の距離に基づいて算出されることを特徴とする請求項1に記載の焦点検出装置。
  4. 算出された前記変換係数を記憶する記憶手段を備えることを特徴とする請求項1乃至3のいずれか1項に記載の焦点検出装置。
  5. 前記変換係数を前記開口形状と前記回転角の関数とした際の係数を記憶する記憶手段をさらに備え、
    前記変換係数は、前記係数を用いて算出されることを特徴とする請求項1乃至4のいずれか1項に記載の焦点検出装置。
  6. 前記変換係数を、前記撮像光学系の絞りを構成する枠の中心位置と前記撮像光学系の物側の枠との距離、前記撮像光学系の絞りを構成する枠の中心位置と前記撮像光学系の像側の枠との距離、および前記回転角の関数とした際の係数を記憶する記憶手段をさらに備え、
    前記変換係数は、前記係数を用いて算出されることを特徴とする請求項1乃至4のいずれか1項に記載の焦点検出装置。
  7. 請求項1乃至6のいずれか1項に記載の焦点検出装置と、
    前記撮像光学系を制御する制御手段と、を備える撮像装置であって、
    前記制御手段は、検出されたデフォーカス量に基づいて、前記撮像光学系の焦点位置を制御することを特徴とする撮像装置。
  8. 撮像光学系の第1瞳部分領域の通過光束を受光する第1焦点検出画素の受光信号から生成される第1焦点検出信号と、前記第1瞳部分領域と異なる前記撮像光学系の第2瞳部分領域の通過光束を受光する第2焦点検出画素の受光信号から生成される第2焦点検出信号から、像ずれ量を算出し、前記像ずれ量と変換係数からデフォーカス量を検出する焦点検出方法であって、
    前記変換係数は、前記撮像光学系の結像面から所定の瞳距離だけ離れた位置の瞳面に投影された開口形状と、焦点検出位置の像高座標に対応する回転角と、前記変換係数を前記開口形状と前記回転角との関数とした際の係数と、を用いて算出され、
    前記開口形状は、焦点検出位置の像高座標に対応する像高距離ごとに保持された情報であって、前記撮像光学系に含まれる複数のレンズ枠の前記撮像光学系の結像面から所定の瞳距離だけ離れた位置の瞳面に投影された前記撮像光学系の絞りを構成する枠の中心位置と大きさ、前記撮像光学系に含まれる複数のレンズ枠の前記撮像光学系の結像面から所定の瞳距離だけ離れた位置の瞳面に投影された前記撮像光学系の物側の枠の中心位置と大きさ、および前記撮像光学系に含まれる複数のレンズ枠の前記撮像光学系の結像面から所定の瞳距離だけ離れた位置の瞳面に投影された前記撮像光学系の像側の枠の中心位置と大きさに基づく形状であり、
    前記回転角は、前記像高座標の原点を中心とし所定の像高を基準とした回転角であることを特徴とする焦点検出方法。
  9. コンピュータを、請求項1乃至6のいずれか1項に記載された焦点検出装置の各手段として機能させるためのプログラム。
  10. コンピュータを、請求項1乃至6のいずれか1項に記載された焦点検出装置の各手段と
    して機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2018118126A 2018-06-21 2018-06-21 焦点検出方法 Active JP7237476B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018118126A JP7237476B2 (ja) 2018-06-21 2018-06-21 焦点検出方法
US16/442,166 US11140311B2 (en) 2018-06-21 2019-06-14 Detecting apparatus and detecting method
CN201910540893.1A CN110636277B (zh) 2018-06-21 2019-06-21 检测设备、检测方法和摄像设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018118126A JP7237476B2 (ja) 2018-06-21 2018-06-21 焦点検出方法

Publications (3)

Publication Number Publication Date
JP2019219576A JP2019219576A (ja) 2019-12-26
JP2019219576A5 JP2019219576A5 (ja) 2021-07-29
JP7237476B2 true JP7237476B2 (ja) 2023-03-13

Family

ID=69096521

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018118126A Active JP7237476B2 (ja) 2018-06-21 2018-06-21 焦点検出方法

Country Status (1)

Country Link
JP (1) JP7237476B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000156823A (ja) 1998-08-20 2000-06-06 Canon Inc 固体撮像装置及びその制御方法及び撮像装置及び光電変換セルの基本配列及び記憶媒体
JP2007121896A (ja) 2005-10-31 2007-05-17 Nikon Corp 焦点検出装置および光学システム
US20110164865A1 (en) 2010-01-05 2011-07-07 Samsung Electronics Co., Ltd. Auto focus adjusting apparatus and camera system
JP2014122993A (ja) 2012-12-20 2014-07-03 Olympus Imaging Corp 撮影機器、カメラシステム及びフォーカス制御のための情報を算出する方法
JP2014153510A (ja) 2013-02-07 2014-08-25 Canon Inc 撮像装置及び撮像方法
JP2015011283A (ja) 2013-07-01 2015-01-19 キヤノン株式会社 撮像装置及びその制御方法ならびにプログラム
JP2016118697A (ja) 2014-12-22 2016-06-30 オリンパス株式会社 撮影装置
JP2017219782A (ja) 2016-06-10 2017-12-14 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000156823A (ja) 1998-08-20 2000-06-06 Canon Inc 固体撮像装置及びその制御方法及び撮像装置及び光電変換セルの基本配列及び記憶媒体
JP2007121896A (ja) 2005-10-31 2007-05-17 Nikon Corp 焦点検出装置および光学システム
US20110164865A1 (en) 2010-01-05 2011-07-07 Samsung Electronics Co., Ltd. Auto focus adjusting apparatus and camera system
JP2014122993A (ja) 2012-12-20 2014-07-03 Olympus Imaging Corp 撮影機器、カメラシステム及びフォーカス制御のための情報を算出する方法
JP2014153510A (ja) 2013-02-07 2014-08-25 Canon Inc 撮像装置及び撮像方法
JP2015011283A (ja) 2013-07-01 2015-01-19 キヤノン株式会社 撮像装置及びその制御方法ならびにプログラム
JP2016118697A (ja) 2014-12-22 2016-06-30 オリンパス株式会社 撮影装置
JP2017219782A (ja) 2016-06-10 2017-12-14 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Also Published As

Publication number Publication date
JP2019219576A (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
CN110636277B (zh) 检测设备、检测方法和摄像设备
JP6120508B2 (ja) 撮像素子および撮像装置
US9231009B2 (en) Image sensor and imaging device
KR20170137633A (ko) 화상처리장치, 촬상 장치, 화상처리방법, 및 컴퓨터 판독 가능한 기억매체
JP7071055B2 (ja) 撮像素子および撮像装置
US11184521B2 (en) Focus detection apparatus, focus detection method, and storage medium
US10171732B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating an image based on plurality of parallax images
JP6746359B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US20140071322A1 (en) Image pickup apparatus with image pickup device and control method for image pickup apparatus
JP7100735B2 (ja) 撮像素子及び撮像装置
JP2024028237A (ja) 分光カメラ、撮像方法、プログラム及び記録媒体
JP6700986B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP7146477B2 (ja) 検出装置および検出方法
JP7237476B2 (ja) 焦点検出方法
US11889186B2 (en) Focus detection device, focus detection method, and image capture apparatus
JP6862102B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP6525829B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
US11500266B2 (en) Lens apparatus and calculation method
JP6222949B2 (ja) 撮像素子および撮像装置
US10200622B2 (en) Image processing method, image processing apparatus, and imaging apparatus
JP2019114912A (ja) 画像処理装置および画像処理方法、並びに撮像装置
JP2022132012A (ja) 焦点検出装置、焦点検出方法、および撮像装置
JP2019219499A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210618

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230301

R151 Written notification of patent or utility model registration

Ref document number: 7237476

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151