JP4341202B2 - 焦点検出装置 - Google Patents

焦点検出装置 Download PDF

Info

Publication number
JP4341202B2
JP4341202B2 JP2001376094A JP2001376094A JP4341202B2 JP 4341202 B2 JP4341202 B2 JP 4341202B2 JP 2001376094 A JP2001376094 A JP 2001376094A JP 2001376094 A JP2001376094 A JP 2001376094A JP 4341202 B2 JP4341202 B2 JP 4341202B2
Authority
JP
Japan
Prior art keywords
focus detection
calculation
photoelectric conversion
output
accumulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001376094A
Other languages
English (en)
Other versions
JP2003177304A (ja
Inventor
英彦 青柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2001376094A priority Critical patent/JP4341202B2/ja
Publication of JP2003177304A publication Critical patent/JP2003177304A/ja
Application granted granted Critical
Publication of JP4341202B2 publication Critical patent/JP4341202B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、対物レンズの焦点調節状態を検出する焦点検出装置に関する。
【0002】
【従来の技術】
被写体の視差を有する一対の像を一対のイメージセンサーアレイ上へ導き、この一対のイメージセンサーアレイの電気的な出力に基づいて一対の被写体像の相対的ずれ量を算出し、対物レンズの焦点調節状態を検出する位相差検出方式の焦点検出装置が知られている。
【0003】
図5により、位相差検出方式の焦点検出装置について説明する。図5において、バンドパスフィルター700、視野マスク200、フィールドレンズ300、絞り開口401,402および再結像レンズ501,502が焦点検出光学系を構成し、これらの焦点検出光学系により一対の被写体像が一対のイメージセンサーアレイA,B上に結像される。なお、バンドパスフィルター700を視野マスク200の後ろに配置したものもある。対物レンズ100上の領域101は、フィールドレンズ300による絞り開口401の逆投影像である。同様に、対物レンズ100上の領域102はフィールドレンズ300による絞り開口402の逆投影像である。また、焦点検出領域は、イメージセンサーアレイA,Bが再結像レンズ501、502によって投影されて予定焦点面600近傍で重なった部分である。
【0004】
対物レンズ100の領域101を通って入射した被写体からの光束は、フィルム面と等価な予定焦点面600またはその前後に結像した後、バンドパスフィルター700、視野マスク200の開口、フィールドレンズ300、絞り開口401および再結像レンズ501を通り、イメージセンサーアレイA上に結像する。同様に、対物レンズ100の領域102を通って入射した被写体からの光束は、予定焦点面600またはその前後に結像した後、バンドパスフィルター700、視野マスク200の開口、フィールドレンズ300、絞り開口部402および再結像レンズ502を通り、イメージセンサーアレイB上に結像する。
【0005】
一対のイメージセンサーアレイA、B上に結像した一対の被写体像は、対物レンズが予定焦点面600よりも前に被写体の鮮鋭像を結ぶ、いわゆる前ピン状態では互いに遠ざかり、逆に予定焦点面600よりも後に被写体の鮮鋭像を結ぶいわゆる後ピン状態では互いに近づき、ちょうど予定焦点面600に被写体の鮮鋭像を結ぶいわゆる合焦時には、一対のイメージセンサーアレイA、B上の一対の被写体像は相対的に一致する。したがって、この一対の被写体像をイメージセンサーアレイA,Bにより光電変換して電気信号に換え、これらの信号を演算処理して一対の被写体像の相対位置を求めることによって、対物レンズの焦点調節状態、ここでは合焦状態から離れている量とその方向、すなわちデフォーカス量を検出することができる。
【0006】
次に、デフォーカス量を求める演算処理方法について説明する。イメージセンサーアレイA,Bはそれぞれ複数の光電変換素子から構成されており、図6(a)、(b)に示すように、各光電変換素子ごとに信号a1・・an、b1・・bnを出力する。そして、一対のデータ列(a1〜an)、(b1〜bn)を相対的に所定のデータ分Lずつシフトしながら相関演算を行う。具体的には相関量C(L)を次式で算出する。
【数1】
C(L)=Σ|ai−bj|
ここで、Σはi=k〜rの総和演算を表し、j−i=L、L=−lmax,・・,−2,−1,0,1,2,・・,lmaxである。
【0007】
Lは上述したようにデータ列のシフト量に当たる整数であり、初項kと最終項rはシフト量Lに依存して変化させてもよい。こうして得られた相関量C(L)の中で、極小値となる相関量を与えるシフト量に図5に示す焦点検出光学系およびイメージセンサーアレイA,Bの光電変換素子のピッチ幅によって定まる定数を掛けたものがデフォーカス量となる。しかしながら、相関量C(L)は図6(c)に示すように離散的な値であり、検出可能なデフォーカス量の最小単位はイメージセンサーアレイA,Bの光電変換素子のピッチ幅によって制限されてしまう。
【0008】
そこで、離散的な相関量C(L)より補間演算を行うことによって新たに極小値Cexを算出し、綿密な焦点検出を行う方法が提案されている(例えば特開昭60−037513号公報参照)。この焦点検出方法は、図7に示すように極小値である相関量C(0)とその両側のシフト量での相関量C(1)、C(−1)によって算出する方法で、極小値Cexを与えるシフト量Fmとデフォーカス量DFは次式により求まる。
【数2】
DF=Kf*Fm,
Fm =L+DL/E,
DL={C(−1)−C(1)}/2,
Cex=C(0)−|DL|,
E=MAX[{C(1)−C(0)},{C(−1)−C(0)}]
ここで、MAX{Ca,Cb}はCaとCbの内の大きい方を選択することを意味し、Kfは図5に示す焦点検出光学系およびイメージセンサーアレイA,Bの光電変換素子のピッチ幅によって定まる定数である。
【0009】
こうして得られたデフォーカス量が真にデフォーカス量を示しているのか、それともノイズなどによる相関量の揺らぎによるものなのかを判定する必要があり、次の条件を満たした場合にデフォーカス量は信頼ありとする。
【数3】
E>E1 且つ Cex/E<G1
ここでE1、G1は所定値である。Eは被写体のコントラストに依存する値であり、値が大きいほどコントラストが高く信頼性が高いことになり、Cex/Eは像の一致度に主に依存し、0に近いほど信頼性が高いことになる。そして、信頼性ありと判定されるとデフォーカス量DFに基づいて対物レンズを駆動する。
【0010】
このように、焦点検出の可否と検出結果の信頼性は被写体の光輝度分布であるコントラストの高さに大きく依存している。したがって、被写体のコントラストを最適にイメージセンサー出力に反映させる必要がある。例えば図8(a)に示すようなコントラストの被写体に対して焦点検出を行う場合には、図8(c)に示すようなイメージセンサー出力になるのが望ましい。図8において、Vsatは光電変換素子の飽和電圧を示す。しかし、蓄積時間が短いと図8(b)に示すようにコントラストが低くなってしまう。逆に、蓄積時間が長いと図8(d)に示すように本来あるべきコントラストがなくなってしまう。それゆえ適切な大きさの画像出力を得る必要があり、そのためには適切な蓄積時間で電荷蓄積を行わなければならない。
【0011】
この適切な蓄積時間を求めるために、前回の蓄積動作における蓄積時間とイメージセンサー出力とに基づいて、次回の蓄積動作におけるイメージセンサー出力のピーク値が適切な大きさになるような蓄積時間を算出する方法がある。例えば図8(b)に示すようなイメージセンサー出力が得られ、そのときの蓄積時間がTb、ピーク値がVbであったとする。このような場合に次回の蓄積動作において図8(c)に示すような適切な大きさの出力を得るためには、蓄積時間を、
【数4】
Tc=(Vc/Vb)*Tb
とすればよい。ここで、Vcは次回の蓄積動作における目標ピーク値である。この目標ピーク値は、予め飽和状態を作り出したときのイメージセンサー出力をVsatとし、次式によりVcを算出してカメラに記憶しておく。
【数5】
Vc=A*Vsat
ここで、Aは1未満の正の実数であり、このAの大きさでイメージセンサー出力の「適切な大きさ」が決定する。Aが小さいと常にイメージセンサー出力のコントラストが低くなってしまい、逆に大きいと被写体の明るさが少し明るく変化しただけですぐにイメージセンサー出力が飽和してしまう。このようなイメージセンサー出力の調節方法をAGC(Auto Gain Control)という。なお、ピーク値の代わりに平均値に基づいてイメージセンサー出力を調節する方法もある。
【0012】
ところで、近年、撮影画面内の複数の領域において焦点検出を行う、いわゆる多点測距方式の焦点検出装置が用いられている。この種の焦点検出装置は、例えば図4に示すように、撮影画面内に複数の焦点検出領域を備えている。これらの複数の焦点検出領域の中から主要な被写体を捕捉している焦点検出領域、換言すれば焦点検出演算およびその演算結果に基づくレンズ駆動の対象とすべき焦点検出領域を選択する方法には、撮影者の手動による選択方法と、焦点検出装置が自動で行う選択方法とがある。撮影者による手動選択方法の場合は、撮影者が手動選択部材により選択した焦点検出領域に対応するイメージセンサー出力に基づいて焦点検出演算を行い、焦点検出結果に基づいてレンズ駆動を行う。ただし、撮影者が選択領域を切り換えたときに、新たに選択された領域のイメージセンサー出力に基づいて焦点検出演算とレンズ駆動を素早く実行するために、手動により焦点検出領域を選択する場合でもすべての焦点検出領域において上述したAGCを行うのが望ましい。
【0013】
一方、焦点検出装置により焦点検出領域を自動で選択する場合には、すべての焦点検出領域において焦点検出演算を行い、それらの演算結果の中で最も至近のデフォーカス量を示す焦点検出領域を選択する方法が知られている(例えば特開昭59−146028号公報参照)。しかし、自動選択の場合において、焦点検出領域の数が多いと、自動焦点検出動作開始から焦点検出領域の自動選択完了までの所用時間が長くなってしまうという欠点がある。つまり、焦点検出開始直後はイメージセンサー出力がAGCによる「適切な大きさ」への収束が間に合わないため、「適切な大きさ」の出力が得られにくい。したがって、ほとんどの焦点検出領域で焦点検出結果が得られたにもかかわらず、たった1つの焦点検出領域が焦点検出不可となったために、最至近のデフォーカス量を示す焦点検出領域を選択することができず、ふたたびすべての焦点検出領域でイメージセンサーの電荷蓄積と焦点検出演算をやり直さなければならなくなる。このような動作をすべての焦点検出領域で演算結果が得られるまで繰り返すと、焦点検出領域の自動選択を完了するまでの所要時間が長くなってしまう。
【0014】
【発明が解決しようとする課題】
そこで、焦点検出動作を開始してから焦点検出領域の自動選択を完了するまでの時間を短縮するために、AGCによりすべてのイメージセンサー出力が適切な大きさになるまで、焦点検出演算を禁止することが考えられる。そうすれば、すべてのイメージセンサー出力が適切な大きさになるまで無駄な焦点検出演算が行われず、その分だけ時間を短縮することができる。
【0015】
ところが、例えばCCDのような破壊読み出し型のイメージセンサーを用いる場合には、AGCによりすべてのイメージセンサー出力が適切な大きさになったと判定された時点では、すべてのイメージセンサーの蓄積電荷が読み出されて残っていないので、もう一度同じ蓄積電荷を読み出すことはできない。したがって、すべてのイメージセンサー出力を記憶しておく必要がある。
【0016】
しかし、すべてのイメージセンサー出力を記憶するには大容量のメモリが必要になり、コストがかかるという問題がある。かといって、1つの焦点検出領域分だけメモリーを用意し、演算のたびに出力データを上書きすることにすると、メモリーの容量は少なくてすむが、AGCによりすべてのイメージセンサー出力が適切な大きさになったと判定された後に、ふたたびすべての焦点検出領域でイメージセンサーの電荷蓄積と焦点検出演算をやり直さなければならなくなり、応答が悪くなるという問題がある。
【0017】
本発明の目的は、複数の焦点検出領域の中から焦点検出演算結果に基づいてレンズ駆動を行うべき領域を短時間で自動選択することにある。
【0018】
【課題を解決するための手段】
(1) 請求項1の発明は、被写界の複数の焦点検出領域のそれぞれに対応して設けられ、前記複数の焦点検出領域の輝度に応じた蓄積制御による電荷蓄積を繰り返し行う複数の破壊読み出し型光電変換手段と、前記複数の破壊読み出し型光電変換手段の出力に基づいて前記複数の焦点検出領域に対する対物レンズの焦点調節状態を演算する演算手段と、前記複数の光電変換手段の出力が前記演算手段による演算に適する所定の値であるか否かを判定する判定手段と、前記複数の光電変換手段の出力と該出力を得た際の蓄積時間とに基づいて目標の出力が得られる次回の蓄積時間を求めることによって、次回の前記電荷蓄積による前記複数の光電変換手段の出力が前記演算手段による演算に適する所定の値になるか否かを予想する予想手段と、前記判定手段により前記複数の光電変換手段の出力が前記演算手段による演算に適する所定の値でないと判定された場合であっても、前記予想手段により前記次回の電荷蓄積による前記複数の光電変換手段の出力が前記演算手段による演算に適する所定の値になると予想された場合には、前記演算手段により前記次回の電荷蓄積による前記複数の光電変換手段の出力に基づいて前記対物レンズの焦点調節状態の演算を実行させる制御手段とを備える。
(2) 請求項2の焦点検出装置は、前記複数の光電変換手段のそれぞれは複数の光電変換素子から構成され、前記判定手段によって、前記複数の電変換手段のそれぞれに含まれる複数の光電変換素子の出力のうちの最大出力が予め設定した目標値近傍になる場合に、前記複数の光電変換手段の出力は前記演算手段による演算に適する所定の値であると判定するようにしたものである。
(3) 請求項3の焦点検出装置は、前記複数の光電変換手段のそれぞれは複数の光電変換素子から構成され、前記判定手段によって、前記複数の光電変換手段のそれぞれに含まれる複数の光電変換素子の平均出力が予め設定した目標値近傍になる場合に、前記複数の光電変換手段の出力は前記演算手段による演算に適する所定の値であると判定するようにしたものである。
(4) 請求項4の焦点検出装置は、前記判定手段の判定結果と前記予想手段の予想結果により、前記焦点調節状態の演算へ移行せずに前記電荷蓄積を繰り返した回数を計数する計数手段を備え、前記制御手段によって、前記計数手段の計数回数が所定の回数に達したときは、前記複数の光電変換手段のうち前記演算手段による演算に適する所定の値であると判定された出力を出力する光電変換手段の次回の前記電荷蓄積による出力に基づいて、前記演算手段により前記対物レンズの焦点調節状態の演算を実行させるようにしたものである。
(5) 請求項5の焦点検出装置は、前記判定手段の判定結果と前記予想手段の予想結果により、前記焦点調節状態の演算へ移行せずに前記電荷蓄積を繰り返した回数を計数する計数手段を備え、前記制御手段によって、前記計数手段の計数回数が所定の回数に達したときは、前記複数の光電変換手段の最大出力、コントラストおよびオーバーフローが発生している光電変換素子の数の内の少なくとも1つに基づいて選択した前記光電変換手段の次回の前記電荷蓄積による出力に基づいて、前記演算手段により前記対物レンズの焦点調節状態の演算を実行させるようにしたものである。
(6) 請求項6の焦点検出装置は、焦点検出時に照明手段により被写界の照明が行われたときは、前記計数手段の計数回数を初期値にリセットするようにしたものである。
(7) 請求項7の焦点検出装置は、前記演算手段による演算結果に基づいて、前記複数の焦点検出領域の中から前記対物レンズの焦点調節を行うための焦点検出領域を選択する領域選択手段を備えるようにしたものである。
【0019】
【発明の実施の形態】
図1は、一実施の形態の焦点検出装置を備えたカメラの構成を示す。被写界の複数の焦点検出領域に対応した被写体からの光束は、対物レンズ1、焦点検出光学系2を通って各焦点検出領域に対応したイメージセンサー3の各イメージセンサー31〜3n(n=1,2,・・)上に結像される。各イメージセンサー31〜3nは複数の電荷蓄積型光電変換素子から構成される破壊読み出し型のイメージセンサーであり、この破壊読み出し型イメージセンサー31〜3nではイメージセンサーから蓄積電荷を読み出すとイメージセンサー内の蓄積電荷は失われる。各イメージセンサー31〜3nは、各焦点検出領域における被写界の輝度分布に応じて電荷を蓄積し、蓄積電荷に応じた電気信号を繰り返し出力する。イメージセンサー群3の各イメージセンサー出力はA/D変換部4でA/D変換された後、演算部5へ送られる。
【0020】
演算部5にはピーク検出部6、予備蓄積要否判定部7、焦点検出演算部8、焦点検出領域自動選択部9、補助光要否判定部10が含まれる。ピーク検出部6は、A/D変換部4でA/D変換された各イメージセンサー出力に基づいて、各イメージセンサー31〜3nごとにピーク値を算出する。予備蓄積要否判定部7は、焦点検出演算を禁止してAGCを行うことを目的とした蓄積動作(以下、予備蓄積と呼ぶ)の要否を判定する。なお、予備蓄積に対して、焦点検出演算を行うことを目的とした蓄積動作を本蓄積と呼ぶ。焦点検出演算部8は、A/D変換部4によりA/Dされたイメージセンサー出力に基づいて焦点検出演算を行い、各焦点検出領域のデフォーカス量を算出する。
【0021】
焦点検出領域自動選択部9は、焦点検出演算部8による演算結果に基づいてレンズ駆動の対象とすべき焦点検出領域を自動で選択する。補助光要否判定部10はイメージセンサーの出力と制御データとに基づいて補助光の要否を判定する。カウンター11は予備蓄積要否判定部7による判定回数、すなわちAGC動作の回数をカウントする。イメージセンサー駆動制御部12は、演算部5の出力に基づいてイメージセンサー群3を駆動制御する。レンズ駆動制御部13は、演算部5により算出したデフォーカス量に基づいてモーター14を駆動し、対物レンズ1を合焦駆動する。補助光駆動制御部15は、補助光要否判定部10の判定結果に基づいて補助光投光部16を駆動し、補助光を発光させる。
【0022】
図2〜図3は、一実施の形態の焦点検出動作を示すフローチャートである。これらのフローチャートにより、一実施の形態の動作を説明する。なお、この一実施の形態ではイメージセンサー出力のピーク値に基づいてAGCを行う例を示す。カメラのレリーズボタン(不図示)が半押しされると、この焦点検出動作が開始される。
【0023】
ステップ1において、演算部5はイメージセンサー駆動制御部12に対して各イメージセンサー31〜3nの蓄積時間の初期値T=T0を与える。T0は適当な所定値でもよいし、被写体が明るい場合にイメージセンサー出力が飽和しないように最短蓄積時間としてもよい。また、露出制御用の測光素子出力に基づいて各イメージセンサーごとに最適な蓄積時間を算出してもよい。次にステップ2で、演算部5は予備蓄積要否判定部7の予備蓄積要否フラグを0にセットし、カウンター11のAGCカウント値を1にセットする。
【0024】
ここで、予備蓄積要否フラグが0のときは次回の蓄積動作を予備蓄積とし、1のときは次回の蓄積動作を本蓄積とする。また、AGCカウント値は、イメージセンサー31〜3nの予備蓄積動作の回数をこの焦点検出動作開始からカウントしたものである。なお、AGCによりイメージセンサー出力が上述したような適切な大きさになることを、「AGCがかかる」という。
【0025】
上述したように、複数の焦点検出領域の内の1カ所だけがイメージセンサー出力が適切な大きさにならずAGCがかかりにくい場合、いつまでも焦点検出演算に移行できずに全体として焦点検出動作が遅くなってしまうのを避けるために、AGCカウント値が所定回数に達したら、たとえすべてのイメージセンサー31〜3nにおいてAGCにより出力が適切な大きさになっていなくても、焦点検出演算に強制的に移行する。
【0026】
ステップ3では、与えられた蓄積時間Tに基づいてイメージセンサー駆動制御部12はイメージセンサー31〜3nの電荷蓄積動作を行う。続くステップ4では、予備蓄積要否判定部7は前回の蓄積動作の結果の予備蓄積要否フラグが0か否かを判定し、0ならばステップ5へ進む。なお、初回はステップ2で予備蓄積要否フラグを0にセットしているので当然、ステップ5へ進む。ステップ5では、早く蓄積の終了したイメージセンサー31〜3nから順にA/D変換部4でA/D変換し、演算部5へ入力してピーク検出部6によりピーク値を検出する。
【0027】
次に、ステップ6で予備蓄積要否判定部7は次回の蓄積動作を予備蓄積とするか本蓄積とするかの判定を行う。例えば、すべてのイメージセンサー31〜3nについて、AGCによる次回の蓄積動作の出力が適切な大きさになると予想される場合、またはこれ以上蓄積動作を繰り返しても適切な大きさにならないと予想される場合、あるいはカウンター11のAGCカウント値が予め設定した所定回数に達した場合には、次回の蓄積動作を本蓄積とする。
【0028】
AGCによりイメージセンサー出力が適切な大きさになっているか否か、つまりAGCがかかっているか否かの判断は、次式により行う。
【数6】
|Vpeak−Vc|<B
ここで、Vpeakは各イメージセンサー31〜3nごとのピーク値、Vcは上述した各イメージセンサー31〜3nごとの目標ピーク値(AGC目標値)、すなわち上述した「適切な大きさ」である。また、Bは各イメージセンサー出力のピーク値VpeakがAGC目標値Vcの近傍にあるかどうかを判定するために予め設定した判定基準値である。なお、判定基準値Bも各イメージセンサー31〜3nごとに設定してもよい。
【0029】
今回の蓄積動作後のイメージセンサー出力が適切な大きさになってAGCがかかっている場合には、次回の蓄積動作においても今回と同じ蓄積時間で制御すればイメージセンサー出力が適切な大きさになってAGCがかかるはずである。また、イメージセンサーの通常の出力範囲においては、蓄積時間と出力とが比例関係にあるので、今回の蓄積動作後のイメージセンサー出力が適切な大きさより低くAGCがかかっていなくても、蓄積時間を延長することによって次回の蓄積動作後のイメージセンサー出力が適切な大きさになってAGCがかかると予想できる。
【0030】
図9は、ある一定の一様な照度下における蓄積時間とイメージセンサー出力のピーク値の関係を示す。出力aは回路のオフセットおよびノイズレベルであり、蓄積時間が短くて蓄積電荷がほとんどがなくても出力される。蓄積時間が長くなるにつれて出力も大きくなり、出力がb以上になると増加率が急激に減少し、最終的には出力cで飽和する。今回の蓄積動作後のイメージセンサー出力が図9に示すa〜bの範囲内にあれば、数式4により求めた蓄積時間で電荷蓄積を制御することによって、次回の蓄積動作後のイメージセンサー出力は適切な大きさになってAGCがかかると予想される。
【0031】
なお、被写体が暗くて今回の蓄積動作における蓄積時間が最長時間であったにも関わらず、イメージセンサー出力が適切な大きさより低い出力しか得られなかった場合でも、そのイメージセンサーは出力が適切な大きさになってAGCがかかっていると判定する。また、次回の蓄積動作後の蓄積時間を最長時間にしてもイメージセンサー出力が適切な大きさより低い出力しか得られないと予想される場合でも、そのイメージセンサーは次回の蓄積動作において出力が適切な大きさになってAGCがかかるとと判定する。被写体が明るすぎて最短蓄積時間で制御しても出力が所定値以上になってしまう場合も、同様に、イメージセンサー出力が適切な大きさでAGCがかかっていると判定する。
【0032】
ここで、最長蓄積時間は任意に設定する値である。この最長蓄積時間は焦点検出動作の応答性に影響する。一方、最短蓄積時間はイメージセンサー31〜3nの回路上の制約によって設定される値である。
【0033】
ところで、被写体の輝度状態は常に一定とは限らないので、いったん予備蓄積要否判定フラグが1、つまり次回の蓄積動作は焦点検出演算を目的とした本蓄積にすると判定した後に、あるイメージセンサーの出力が適切な大きさよりも低くなってAGCがかからなくなることもあり得る。しかし、この場合も予備蓄積要否判定フラグを0にリセットして予備蓄積に戻さなくてもよい。複数の焦点検出領域の内の一箇所だけが輝度状態の変化が激しく、その領域に対応するイメージセンサー出力が適切な大きさにならずAGCがかかりにくい場合に、その他の領域では焦点検出が可能であるにもかかわらず、いつまでも焦点検出演算に移行できずに全体として焦点検出動作が遅くなってしまう可能性があり、そのような不具合を避けるためにいったん本蓄積と判定したら予備蓄積に戻さない。
【0034】
ステップ6で次回の蓄積動作が予備蓄積と判定されたらステップ7へ進み、カウンター11のAGCカウント値をインクリメントした後、ステップ9へ進む。ステップ9において、演算部5は、今回の各イメージセンサー31〜3nの蓄積時間と出力とに基づいて次回の蓄積時間を計算する。一方、ステップ6で次回の蓄積動作が本蓄積と判定されたらステップ8へ進み、予備蓄積要否フラグを1にセットしてステップ9へ進む。続くステップ10〜12の処理については後述する。
【0035】
ステップ3における蓄積動作後のステップ4において、予備蓄積要否フラグが1にセットされている場合、つまり次回の蓄積動作が焦点検出演算を目的とした本蓄積と判定されている場合は、ステップ13へ進む。初期は、自動選択領域が未定であるから、すべてのイメージセンサー31〜3nから蓄積電荷の読み出しと焦点検出演算を行う必要がある。ステップ13で自動選択領域が未定の場合はステップ14へ進み、イメージセンサー駆動制御部12が早く蓄積の終了したイメージセンサー31〜3nから順に蓄積電荷、すなわち画素データを読み出す。
【0036】
ステップ15で焦点検出演算部8が焦点検出演算を行う。前回の電荷蓄積時に、各イメージセンサー31〜3nの出力が、適切な大きさになってAGCがかかっていると判定されたか、または、次回(ここでは今回)の電荷蓄積時には適切な大きさになってAGCがかかると予想された場合には、今回の電荷蓄積時にはすべてのイメージセンサー31〜3nの出力が適切な大きさになってAGCがかかっているはずである。したがって、この場合にはすべてのイメージセンサー31〜3nの出力に基づいて焦点検出演算を行い、すべての焦点検出領域において対物レンズ1の焦点調節状態を得ることができる。
【0037】
一方、カウンター11のAGCカウント値が予め設定した回数に達した、すなわちAGC動作の回数が設定回数に達し、予備蓄積動作から本蓄積動作に強制的に切り換えられた場合には、イメージセンサーアレイ31〜3nの中には出力が適切な大きさになってAGCがかかっているものと、そうでないものとが混在する。この場合、焦点検出演算を実行するイメージセンサー31〜3nの選択方法には、次のような方法がある。第1の選択方法は、前回の電荷蓄積時に出力が適切な大きさでAGCがかかっていると判定されたイメージセンサー、または次回(今回)の電荷蓄積時には出力が適切な大きさになってAGCがかかると予想されたイメージセンサーを、焦点検出演算対象として選択する方法である。この方法によれば、イメージセンサー出力が適切な大きさでAGCがかかっているイメージセンサーに対応する焦点検出領域においてのみ、焦点検出演算を実行することになり、得られた対物レンズ1の焦点調節状態はすべて信頼性の高いものである。そして、それらの信頼性の高い焦点検出演算結果に基づいて自動選択領域を決定することができる。
【0038】
第2の選択方法は、上記第1の選択方法と異なる方法で焦点検出演算対象のイメージセンサーを選択する。この第2の選択方法では、すべてのイメージセンサー31〜3nの出力に対し、次式を満足するかどうかを判定する。なお、この出力はカウンター11のAGCカウント値が設定回数に達した次の蓄積で得られた出力である。
【数7】
(α・Vpeak+β・C)≧K1
且つ、
(OV素子数)≦K2
ここで、Vpeakは各イメージセンサー31〜3nごとのピーク値、Cは各イメージセンサー31〜3nごとのコントラスト値である。コントラスト値Cは、例えば隣接する光電変換素子の出力差の中の最大値や、出力差の絶対値の和などにより求める。また、OV素子数は、各イメージセンサー31〜3nに含まれる複数の光電変換素子の内のオーバーフローをしている素子の数である。α、β、K1、K2はそれぞれ所定値である。つまり、第2の選択方法では、イメージセンサー31〜3nごとに、出力のピーク値Vpeakとコントラスト値Cに所定値α、βで重み付けを行って加算した値が、予め設定した所定値K1以上で、且つ、オーバーフロー素子数が所定値K2以下であるかどうかを判定し、この選択条件を満たすイメージセンサーの出力に対して焦点検出演算を行い、選択条件を満たすイメージセンサーに対応する焦点検出領域において対物レンズの焦点調節状態を得る。
【0039】
イメージセンサー出力が適切な大きさになってAGCがかかっているイメージセンサーだけを焦点検出演算対象とする第1の選択方法では、上述した数式6により各イメージセンサー出力の最大値(ピーク値)Vpeakのみに基づいて判定を行う。これに対し第2の選択方法では、各イメージセンサー出力の最大値Vpeakとコントラスト値Cとに基づいて判定を行う。つまり、各イメージセンサー出力の最大値Vpeakだけでなく、コントラスト値Cも考慮して判定を行うので、たとえ最大値が低くてもコントラストが高ければそのイメージセンサーは焦点検出演算対象となり、そのイメージセンサーに対応する焦点検出領域において対物レンズ1の焦点調節状態が得られ、その演算結果は充分に信頼性が高い。つまり、第2の選択方法によれば、第1の選択方法では焦点検出演算対象とされなかった焦点検出領域においても対物レンズ1の焦点調節状態が得られる確率が高くなる。その結果、多くの焦点検出領域の中から撮影者が意図する主要被写体を捕捉している領域を自動選択領域に決定できる確率が高くなる。また、第2の選択方法によれば、オーバーフローが発生している光電変換素子数を考慮して判定を行うので、例えば太陽などの輝度の高い被写体を捕捉しているような焦点検出領域が自動選択領域になるのを防止できる。なお、第2の選択方法において、イメージセンサーの最大出力Vpeak、コントラスト値Cおよびオーバーフローが発生している光電変換素子の数の内の少なくとも1つに基づいてイメージセンサーを選別するようにしてもよい。
【0040】
ステップ16において、すべてのイメージセンサー31〜3nの電荷読み出しと焦点検出演算が終了したかどうかを確認し、終了していなければステップ14へ戻り電荷読み出しと焦点検出演算を繰り返す。すべてのイメージセンサー31〜3nに対する電荷読み出しと焦点検出演算が終了したらステップ17へ進む。
【0041】
ステップ17では、焦点検出領域自動選択部9が、すべてのイメージセンサー31〜3nの焦点検出演算結果の中から1つを選択し、その演算結果に対応する焦点検出領域を自動選択領域に設定する。この焦点検出領域の自動選択に際しては、例えばカメラに対して最も至近の演算結果が得られた領域を選択してもよいし、最も現状の焦点調節状態に近い演算結果が得られた領域を選択してもよい。次に、ステップ18において、レンズ駆動制御部13は、演算部5から入力された自動選択領域の焦点検出演算結果に基づいてモーター14を駆動し、対物レンズ1のレンズ駆動を行う。
【0042】
こうして予備蓄積要否フラグが1にセットされ自動選択領域が決定したら、次回の蓄積動作後はステップ13からステップ19へ進む。ステップ19において、演算部5はまず自動選択領域のイメージセンサー出力の読み出しを要求する。イメージセンサー駆動制御部12は、読み出し要求があったイメージセンサーの画素データを読み出す。続くステップ20で、焦点検出演算部8は読み出した画素データに基づいて焦点検出演算を行う。
【0043】
ステップ21において、焦点検出領域自動選択部9は、自動選択領域が前回の焦点検出動作時と同一の被写体を捕捉しているかどうかを判定する。前回までの焦点検出動作の結果に基づいて、主要被写体がカメラに対して静止しているか、またはどれくらいの速度で動いているか、レンズ駆動はどれくらいの速度で行っているかなどを判断することができる。したがって、今回の焦点検出動作時に得られたデフォーカス量が、前回までの焦点検出動作の結果から予測されるデフォーカス量に近ければ、自動選択領域が前回の焦点検出動作時と同一の被写体を捕捉していると判定する。
【0044】
しかし、前回までの焦点検出結果から予測されるデフォーカス量と今回の演算結果とが大きく異なる場合には、前回まで捕捉していた被写体を自動選択領域から外してしまったと考えられる。この場合には、焦点検出領域自動選択部9はイメージセンサー駆動制御部12に対して他の焦点検出領域に対応するイメージセンサーの電荷読み出しを要求し、ステップ19へ戻る。
【0045】
イメージセンサー駆動制御部12は、要求された焦点検出領域に対応するイメージセンサー出力を読み出す。主要被写体を前回の自動選択領域から外した場合、残りのすべての焦点検出領域に対して、それぞれ対応するイメージセンサーの電荷読み出しと焦点検出演算を行った後、前回までの焦点検出結果から予測されるデフォーカス量に最も近いデフォーカス量を示す焦点検出領域を新しい自動選択領域に設定し直してもよい。あるいは、残りの焦点検出領域に対して所定の順に電荷読み出しと焦点検出演算を行い、前回までの焦点検出結果から予測されるデフォーカス量に近いデフォーカス量が得られた時点で以降の読み出しと焦点検出演算を中止し、その焦点検出領域を自動選択領域に設定し直してもよい。
【0046】
ステップ21で自動選択領域が継続、または再選択されて他のイメージセンサーの読み出し要求がなくなったらステップ22へ進む。ステップ22では、自動選択領域の焦点検出演算結果に基づいてレンズ駆動を行う。続くステップ23で次回のAGCに備えて非読み出しイメージセンサーのピーク値を検出し、ステップ9へ戻る。ステップ9では演算部5が各イメージセンサー31〜3nごとに前回の蓄積動作時のピーク値と蓄積時間に基づいて次回の蓄積時間を算出する。
【0047】
ところで、自動選択領域が決定される前で、且つAGCカウント値が所定値に達する直前に、被写体が低輝度であると判定されて焦点検出用補助光を点灯させる場合、点灯前にはイメージセンサー出力が適切な大きさであってAGCがかかっていたイメージセンサーも、焦点検出用補助光の点灯後は当然に出力が適切な大きさより低くなってAGCがかからなくなる。この状態でAGCカウント値が所定回数に達すると、ほとんどのイメージセンサー31〜3nにおいて出力が適切な大きさより低くAGCがかからないまま焦点検出演算を行うことになる。また、信頼性のある焦点検出結果を得る可能性も低くなる。
【0048】
このような不具合を避けるために、ステップ10において、補助光要否判定部10はイメージセンサー31〜3nの蓄積時間と出力とに基づいて被写体の輝度を予測し、予め設定した判定基準の輝度より暗い場合は補助光点灯の必要有りと判定する。この判定を受けて補助光を消灯状態から点灯状態へ切り換える場合にはステップ11からステップ12へ進み、カウンター11は補助光要否判定部10からのリセット信号を受けてAGCカウント値を1にリセットする。そして、次回の蓄積動作時に補助光駆動制御部15が補助光投光部16を駆動して補助光を投光させる。
【0049】
上述した一実施の形態では各イメージセンサー31〜3nのピーク値によってAGCをかける場合を説明したが、平均値でAGCをかける場合にはピーク検出部6を平均値検出部6に置き換える。
【0050】
上述した一実施の形態によれば、各イメージセンサー31〜3nの出力ピーク値が適切な大きさになってAGCがかかっているかと判定されるか、または、各イメージセンサー31〜3nの出力ピーク値に基づいて次回の各イメージセンサー31〜3nの出力が適切な大きさになってAGCがかかるかと予想される場合に、次回の電荷蓄積後の各イメージセンサー31〜3nの出力に基づいて対物レンズ1の焦点調節状態の演算を実行し、焦点検出演算結果に基づいて複数の焦点検出領域の中から対物レンズ1の焦点調節を行うための焦点検出領域、すなわち焦点検出演算結果を選択するようにした。つまり、今回のイメージセンサー出力に基づいて次回の電荷蓄積時に出力が適切な大きさになってAGCがかかるか否かを予想し、次回の電荷蓄積時にAGCがかかると予想されたイメージセンサーに対しては、そのイメージセンサーの今回の電荷蓄積時の出力がたとえ適切な大きさより低くAGCがかかっていなくても、そのイメージセンサーの次回の電荷蓄積後の出力に基づいて焦点検出演算を実行する。
【0051】
したがって、上述した第1の実施の形態によれば、すべてのイメージセンサー出力が適切な大きさになってAGCがかかってから、次回の電荷蓄積後の出力に基づいて焦点検出演算を実行する従来の焦点検出方法よりも、1回の電荷蓄積動作だけ早く焦点検出演算に移行できる。つまり、複数のイメージセンサー31〜3nの電荷蓄積動作からイメージセンサー出力に基づく焦点検出演算動作への移行が素早く円滑に行われ、その結果、複数の焦点検出領域の中から焦点検出演算結果に基づいてレンズ駆動を行うべき領域を短時間で自動選択することができる。したがって、従来のように、いずれかの焦点検出領域のイメージセンサー出力が適切な大きさにならずAGCがかからない場合に、イメージセンサー出力に基づく焦点検出演算動作へ移行できず、焦点検出領域の自動選択に時間がかかるという不具合を解消できる。
【0052】
もちろん、すべてのイメージセンサー出力をいったんメモリへ記憶し、それらの出力がすべて適切な大きさでAGCがかかっていると判定された場合に焦点検出演算を実行する方法でも、焦点検出演算に早く移行できるが、すべてのイメージセンサー出力を記憶するための大容量もメモリが必要となる。上述した一実施の形態によればそのような大容量のメモリは不要である。
【0053】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、電荷蓄積型光電変換手段は例えばイメージセンサー31〜3nによって構成される。また、判定手段、予想手段、演算手段および領域選択手段は例えば演算部5によって構成される。さらに、計数手段はカウンター11によって構成される。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【0054】
【発明の効果】
以上説明したように本発明によれば、複数の破壊読み出し型光電変換手段の電荷蓄積動作から光電変換手段の出力に基づく焦点検出演算動作への移行が素早く円滑に行われ、その結果、複数の焦点検出領域の中から焦点検出演算結果に基づいてレンズ駆動を行うべき領域を短時間で自動選択することができる。したがって、従来のように、いずれかの焦点検出領域の光電変換手段の出力が適切な大きさにならずAGCがかからない場合に、光電変換手段の出力に基づく焦点検出演算へ移行できず、焦点検出領域の自動選択に時間がかかるという不具合を解消できる。
【図面の簡単な説明】
【図1】 一実施の形態の焦点検出装置を備えたカメラの構成を示す図である。
【図2】 一実施の形態の焦点検出動作を示すフローチャートである。
【図3】 図2に続く、一実施の形態の焦点検出動作を示すフローチャートである。
【図4】 撮影画面における複数の焦点検出領域の配置を示す図である。
【図5】 位相差検出方式の焦点検出光学系とイメージセンサーアレイを示す図である。
【図6】 位相差検出方式焦点検出装置の相関演算を説明するための図である。
【図7】 位相差検出方式焦点検出装置の相関演算を説明するための図である。
【図8】 AGCを説明するための図である。
【図9】 イメージセンサーの蓄積時間と出力の関係を示す図である。
【符号の説明】
1 対物レンズ
2 焦点検出光学系
3 イメージセンサー群
4 A/D変換部
5 演算部
6 ピーク検出部
7 予備蓄積要否判定部
8 焦点検出演算部
9 焦点検出領域自動選択部
10 補助光要否判定部
11 カウンター
12 イメージセンサー駆動制御部
13 レンズ駆動制御部
14 モーター
15 補助光駆動制御部
16 補助光投光部
31〜3n イメージセンサー

Claims (7)

  1. 被写界の複数の焦点検出領域のそれぞれに対応して設けられ、前記複数の焦点検出領域の輝度に応じた蓄積制御による電荷蓄積を繰り返し行う複数の破壊読み出し型光電変換手段と、
    前記複数の破壊読み出し型光電変換手段の出力に基づいて前記複数の焦点検出領域に対する対物レンズの焦点調節状態を演算する演算手段と、
    前記複数の光電変換手段の出力が前記演算手段による演算に適する所定の値であるか否かを判定する判定手段と、
    前記複数の光電変換手段の出力と該出力を得た際の蓄積時間とに基づいて目標の出力が得られる次回の蓄積時間を求めることによって、次回の前記電荷蓄積による前記複数の光電変換手段の出力が前記演算手段による演算に適する所定の値になるか否かを予想する予想手段と、
    前記判定手段により前記複数の光電変換手段の出力が前記演算手段による演算に適する所定の値でないと判定された場合であっても、前記予想手段により前記次回の電荷蓄積による前記複数の光電変換手段の出力が前記演算手段による演算に適する所定の値になると予想された場合には、前記演算手段により前記次回の電荷蓄積による前記複数の光電変換手段の出力に基づいて前記対物レンズの焦点調節状態の演算を実行させる制御手段とを備えることを特徴とする焦点検出装置。
  2. 請求項1に記載の焦点検出装置において、
    前記複数の光電変換手段のそれぞれは複数の光電変換素子から構成され、
    前記判定手段は、前記複数の電変換手段のそれぞれに含まれる複数の光電変換素子の出力のうちの最大出力が予め設定した目標値近傍になる場合に、前記複数の光電変換手段の出力は前記演算手段による演算に適する所定の値であると判定することを特徴とする焦点検出装置。
  3. 請求項1の記載の焦点検出装置において、
    前記複数の光電変換手段のそれぞれは複数の光電変換素子から構成され、
    前記判定手段は、前記複数の光電変換手段のそれぞれに含まれる複数の光電変換素子の平均出力が予め設定した目標値近傍になる場合に、前記複数の光電変換手段の出力は前記演算手段による演算に適する所定の値であると判定することを特徴とする焦点検出装置。
  4. 請求項1〜3のいずれか一項に記載の焦点検出装置において、
    前記判定手段の判定結果と前記予想手段の予想結果により、前記焦点調節状態の演算へ移行せずに前記電荷蓄積を繰り返した回数を計数する計数手段を備え、
    前記制御手段は、前記計数手段の計数回数が所定の回数に達したときは、前記複数の光電変換手段のうち前記演算手段による演算に適する所定の値であると判定された出力を出力する光電変換手段の次回の前記電荷蓄積による出力に基づいて、前記演算手段により前記対物レンズの焦点調節状態の演算を実行させることを特徴とする焦点検出装置。
  5. 請求項1〜4のいずれか一項に記載の焦点検出装置において、
    前記判定手段の判定結果と前記予想手段の予想結果により、前記焦点調節状態の演算へ移行せずに前記電荷蓄積を繰り返した回数を計数する計数手段を備え、
    前記制御手段は、前記計数手段の計数回数が所定の回数に達したときは、前記複数の光電変換手段の最大出力、コントラストおよびオーバーフローが発生している光電変換素子の数の内の少なくとも1つに基づいて選択した前記光電変換手段の次回の前記電荷蓄積による出力に基づいて、前記演算手段により前記対物レンズの焦点調節状態の演算を実行させることを特徴とする焦点検出装置。
  6. 請求項4または請求項5に記載の焦点検出装置において、
    焦点検出時に照明手段により被写界の照明が行われたときは、前記計数手段の計数回数を初期値にリセットすることを特徴とする焦点検出装置。
  7. 請求項1〜6のいずれか一項に記載の焦点検出装置において、
    前記演算手段による演算結果に基づいて、前記複数の焦点検出領域の中から前記対物レンズの焦点調節を行うための焦点検出領域を選択する領域選択手段を備えることを特徴とする焦点検出装置。
JP2001376094A 2001-12-10 2001-12-10 焦点検出装置 Expired - Fee Related JP4341202B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001376094A JP4341202B2 (ja) 2001-12-10 2001-12-10 焦点検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001376094A JP4341202B2 (ja) 2001-12-10 2001-12-10 焦点検出装置

Publications (2)

Publication Number Publication Date
JP2003177304A JP2003177304A (ja) 2003-06-27
JP4341202B2 true JP4341202B2 (ja) 2009-10-07

Family

ID=19184360

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001376094A Expired - Fee Related JP4341202B2 (ja) 2001-12-10 2001-12-10 焦点検出装置

Country Status (1)

Country Link
JP (1) JP4341202B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4548038B2 (ja) * 2004-08-12 2010-09-22 株式会社ニコン 焦点検出装置および焦点検出装置を備えたカメラ
JP4701837B2 (ja) * 2005-05-30 2011-06-15 株式会社ニコン 自動焦点調節装置
JP4612869B2 (ja) * 2005-06-08 2011-01-12 キヤノン株式会社 焦点検出装置、撮像装置、および合焦方法
JP4769667B2 (ja) * 2006-08-30 2011-09-07 キヤノン株式会社 撮像装置
JP5447549B2 (ja) * 2012-02-06 2014-03-19 株式会社ニコン 焦点調節装置および撮像装置
JP6935286B2 (ja) * 2017-09-28 2021-09-15 キヤノン株式会社 撮像装置及びその制御方法

Also Published As

Publication number Publication date
JP2003177304A (ja) 2003-06-27

Similar Documents

Publication Publication Date Title
US8773574B2 (en) Image pickup apparatus having improved contrast autofocus accuracy
US7469098B2 (en) Optical apparatus
US7426341B2 (en) Imaging device
JP4024404B2 (ja) カメラ
JP6116277B2 (ja) 撮像装置及びその制御方法
JP2007140278A (ja) デジタルカメラ、露出条件決定方法
US8009975B2 (en) Imaging apparatus and focusing control method
JP4341202B2 (ja) 焦点検出装置
JP2006254413A (ja) 撮像装置およびカメラボディ
JPH1138313A (ja) 光学装置及びカメラ
JP5947489B2 (ja) 焦点調節装置および焦点調節方法
JP2008203428A (ja) 撮像装置
JP3564050B2 (ja) カメラ、焦点調節装置、焦点調節方法、焦点調節プログラムを供給する媒体
JP4859194B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP6014974B2 (ja) 焦点調節装置およびカメラ
JP3590806B2 (ja) イメージセンサーシステムおよび自動焦点検出装置
JP2004341095A (ja) オートフォーカスカメラ
JP2011125055A (ja) 撮像装置およびカメラボディ
JP5776155B2 (ja) 焦点検出装置及び撮影装置
JP3272186B2 (ja) オートフォーカスビデオカメラ
JP5364983B2 (ja) 測光装置
JP4657543B2 (ja) 焦点検出装置
JP6660036B2 (ja) 焦点検出装置及び撮像装置
JPH10150598A (ja) スチルビデオカメラの露光量制御装置
JP4773769B2 (ja) 焦点検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090521

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090616

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090629

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4341202

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150717

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150717

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150717

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees