JP3823328B2 - 焦点検出装置 - Google Patents

焦点検出装置 Download PDF

Info

Publication number
JP3823328B2
JP3823328B2 JP21139394A JP21139394A JP3823328B2 JP 3823328 B2 JP3823328 B2 JP 3823328B2 JP 21139394 A JP21139394 A JP 21139394A JP 21139394 A JP21139394 A JP 21139394A JP 3823328 B2 JP3823328 B2 JP 3823328B2
Authority
JP
Japan
Prior art keywords
focus detection
filter processing
focus
defocus amount
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP21139394A
Other languages
English (en)
Other versions
JPH0875983A (ja
Inventor
重之 内山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP21139394A priority Critical patent/JP3823328B2/ja
Priority to US08/497,464 priority patent/US5689740A/en
Publication of JPH0875983A publication Critical patent/JPH0875983A/ja
Application granted granted Critical
Publication of JP3823328B2 publication Critical patent/JP3823328B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/365Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Description

【0001】
【産業上の利用分野】
本発明はカメラやビデオなどに用いられる焦点検出装置に関する。
【0002】
【従来の技術】
位相差検出方式のカメラの焦点検出装置が知られている。図11は位相差検出方式による焦点検出装置の概要を示す。撮影レンズ100の領域101から入射した光束は視野マスク200、フィールドレンズ300、絞り開口部401および再結像レンズ501を通り、入射強度に応じた出力を発生する複数の光電変換素子を一次元状に並べたイメージセンサーアレイA上に結像する。同様に、撮影レンズ100の領域102から入射した光束は視野マスク200、フィールドレンズ300、絞り開口部402および再結像レンズ502を通り、イメージセンサーアレイB上に結像する。これらイメージセンサーアレイA列、B列上に結像した一対の被写体像は、撮影レンズ100が予定焦点面よりも前に被写体の鮮鋭像を結ぶいわゆる前ピン状態では互いに遠ざかり、逆に予定焦点面よりも後ろに被写体の鮮鋭像を結ぶいわゆる後ピン状態では互いに近づき、ちょうど予定焦点面に被写体の鮮鋭像を結ぶいわゆる合焦時にはイメージセンサーアレイA列、B列上の被写体像は相対的に一致する。したがって、この一対の被写体像をイメージセンサーアレイA列、B列により光電変換して電気信号に変え、これらの信号を演算処理して一対の被写体像の相対的な位置ずれ量を求めることにより、撮影レンズ100の焦点調節状態、ここでは合焦状態から離れている量とその方向(以後、デフォーカス量と略す)が分かる。
そしてイメージセンサーアレイA列、B列の再結像レンズ501、502による投影像は予定焦点面近傍で重なることになり、図15に示すように撮影画面における中央部の領域とするのが一般的であり、この領域が焦点検出領域となる。
【0003】
ここで、デフォーカス量を求める演算処理方法について述べる。
イメージセンサーアレイA列、B列はそれぞれ複数の光電変換素子からなっており、複数の出力信号列a[1],...,a[n]、b[1],...b[n]を出力する(図13(a)、(b)参照)。そして、この一対の出力信号列の内の所定範囲のデータを相対的に所定のデータ分Lずつシフトしながら相関演算を行う。最大シフト数をlmaxとするとLの範囲は−lmaxからlmaxとなる。具体的には相関量C[L]を数式1で算出する。
【数1】
C[L]=Σ|a[i+L]−b[i]|
L=-lmax,...,-2,-1,0,1,2,...,lmax
ここで、Σはi=k〜rの総和演算を表わす。
数式1においてLは上述のごとくデータ列のシフト量に当たる整数である。初項kと最終項rは例えば数式2に示すように、シフト量Lに依存して変化させる。
【数2】
L≧0の時
k=k0+INT{−L/2}
r=r0+INT{−L/2}
L<0の時
k=k0+INT{(−L+1)/2}
r=r0+INT{(−L+1)/2}
ここで、k0、r0はシフト量Lが0の時の初項と最終項である。
この数式2によって初項kと最終項rを変化させた時の、数式1におけるA列信号とB列信号との差分の絶対値を算出する信号の組み合わせと、それらの差分の絶対値を加算する演算範囲とを図14に示す。このように、シフト量Lの変化にともなってA列、B列の相関演算に使用する範囲が互いに逆方向にずれていく。初項kと最終項rをシフト量Lにかかわらず一定とする方法もあり、この場合は、一方の列の相関演算に使用する範囲は常に一定となり、他方の列のみがずれる。そして、相対的な位置ずれ量は一対のデータが一致したときのシフト量Lとなるので、こうして得られた相関量C[L]の中で極小値となる相関量を与えるシフト量を検出し、これに図11に示す光学系及び、イメージセンサーアレイの光電変換素子のピッチ幅によって定まる定数を掛けたものがデフォーカス量となる。よって、最大シフト数lmaxが大きいほど大きなデフォーカス量でも検出できることになる。
【0004】
ところで、相関量C[L]は図13(c)に示すように離散的な値であり、検出可能なデフォーカス量の最小単位はイメージセンサーアレイA列、B列の光電変換素子のピッチ幅によって制限されてしまう。そこで、離散的な相関量C[L]に基づいて補間演算を行うことにより、新たに真の極小値Cexを算出し、綿密な焦点検出を行う方法が本出願人により特開昭60−37513号公報に開示されている。これは、図12に示すように、極小値である相関量C[l]と、その両側のシフト量における相関量C[l+1]、C[l−1]を用いて、真の極小値Cexとこれを与えるずれ量Lsを数式3、数式4により算出するものである。
【数3】
DL=(C[l−1]−C[l+1])/2
Cex=C[l]−|DL|
E=MAX{C[l+1]−C[l],C[l−1]−C[l]}
【数4】
Ls=l+DL/E
数式3においてMAX{Ca,Cb}はCaとCbの内の大なる方を選択することを意味する。そしてデフォーカス量DFは前記ずれ量Lsから数式5によって算出される。
【数5】
DF=Kf×Ls
数式5においてKfは図11に示す光学系及びイメージセンサーアレイの光電変換素子のピッチ幅によって定まる定数である。
【0005】
こうして得られたデフォーカス量が真にデフォーカス量を示しているのか、ノイズなどによる相関量の揺らぎによるものなのかを判定する必要があり、数式6に示す条件を満たしたとき、デフォーカス量は信頼ありとする。
【数6】
E>E1 & Cex/E<G1
数式6におけるE1、G1は所定のしきい値である。数値Eは相関量の変化の様子を示し被写体のコントラストに依存する値であり、値が大きいほどコントラストが高く信頼性が高いことになる。Cexは一対のデータが最も一致したときの差分であり本来は0となる。しかしながらノイズの影響や、さらに領域101と領域102とで視差が生じているために、一対の被写体像に微妙な差が生じることにより、0とはならない。ノイズや被写体像の差の影響は被写体のコントラストが高いほど小さいので、一対のデータの一致度を表す数値としてはCex/Eを用いている。当然ながらCex/Eが0に近いほど一対のデータの一致度が高く信頼性が高いことになる。なお、数値Eの代わりに一対のデータの一方に関するコントラストを算出し、それを用いて信頼性判定を行う場合もある。そして、信頼性ありと判定されるとデフォーカス量DFに基づく撮影レンズ100の駆動、あるいは表示を行う。以上、数式1から数式6までの相関演算、補間演算、条件判定をまとめて焦点検出演算と呼ぶことにする。
【0006】
以上の説明では、イメージセンサーアレイA列、B列の出力信号列a[1],...,a[n]、b[1],...,b[n]そのものを焦点検出演算に用いている。しかしながら、被写体のナイキスト周波数より高い周波数成分や、A列とB列の出力のアンバランスの影響で正しい焦点検出が出来ないことがある。そこで、出力信号列に対してフィルター演算処理を施し、得られたフィルター処理データを用いて焦点検出演算を行う方法が本出願人より特開昭61−245123号公報に開示されている。例えばナイキスト周波数以上の高周波成分を除去するフィルター処理演算は数式7により実現され、A列、B列の出力信号列a[1],...,a[n]、b[1],...,b[n]からフィルター処理データPa[1],...,Pa[n−2]、Pb[1],...,Pb[n−2]を得る。
【数7】
Pa[i]=(a[i]+2×a[i+1]+a[i+2])/4
Pb[i]=(b[i]+2×b[i+1]+b[i+2])/4
ここで、i=1〜n−2
【0007】
こうして得られたフィルター処理データPa[1],...,Pa[n−2]、Pb[1],...,Pb[n−2]に対し、例えば数式8によってA列とB列の出力のアンバランスの影響を除去するフィルター処理演算を施し、フィルター処理データFa[1],...,Fa[n−2−2s]、Fb[1],...,Fb[n−2−2s]を得る。
【数8】
Fa[i]=−Pa[i]+2×Pa[i+s]−Pa[i+2s]
Fb[i]=−Pb[i]+2×Pb[i+s]−Pb[i+2s]
ここで、i=1〜n−2−2s
数式8において、sは1〜10程度の整数であり、数値が大きいほど被写体パターンのより低周波数成分を抽出し、数値が小さいほど被写体パターンのより高周波数成分を抽出することになる。また、フィルター処理データの数はsが大きいほど減少する。
合焦状態に近いほど被写体像は高周波数成分を多く含むのでsとしては比較的小さい値が好ましく、非合焦状態では被写体像がぼけて低周波数成分のみとなるのでsは大きな値が好ましい。sが小さい場合は低周波数成分はほとんど除去されてしまうので、デフォーカス量が大きくて高周波数成分がない場合には検出不能となる。したがって、この場合には数式1における最大シフト数lmaxをあまり大きくしても意味がなく、比較的小さな値でよい。反対にsが大きい場合には低周波数成分を抽出するためにデフォーカス量が大きくても検出可能であるので、lmaxには比較的大きな値を設定する。
【0008】
今後、被写体パターンの周波数成分について論じる場合はイメージセンサーアレイ上に結像した像ではなく予定焦点面における空間周波数のこととする。よって、数式8のフィルター処理演算によって得られるフィルター処理データの周波数成分はsの値の他に、予定焦点面の像が再結像レンズ501、502によってイメージセンサーアレイA列、B列上に結像する時の倍率と、イメージセンサーアレイA列、B列を形成する光電変換素子のピッチ幅にも関係する。通常、再結像レンズは予定焦点面の像がイメージセンサーアレイ上に縮小されるように構成されているので、前記倍率を縮小倍率と呼び、縮小倍率が大きいほど予定焦点面の像がイメージセンサーアレイ上により縮小されて結像するものとする。そして、数式8のフィルター処理演算によって得られるフィルター処理データの周波数成分はsの値が大きく、縮小倍率が大きく、光電変換素子のピッチ幅が広いほど低周波数成分を含み、sの値が小さく、縮小倍率が小さく、光電変換素子のピッチ幅が狭いほど高周波数成分を含むことになる。
【0009】
また、sの値が比較的大きい時には数式8で得られたフィルター処理データFa[i]、Fb[i]をそれぞれ1データおきに抜き出してデータ数を半分に間引くことがある。このようにすると、1つのデータで2画素分の幅を持つことになるので同じ焦点検出領域とするのに間引かない場合と比べて半分の演算範囲ですむ。また、間引いた場合のシフト量1は間引かない場合のシフト量2に相当するので、最大シフト数を半分としても同じ大きさのデフォーカス量を検出できる。
【0010】
図6は低周波数成分のみの被写体の例であり、(a)は出力信号列、(b)はs=2のフィルター処理データ、(c)はs=8のフィルター処理データである。合焦状態なのでA列の出力信号列とB列の出力信号列が重なっていることとする。この様にs=2によるフィルター処理データはほとんどコントラストが無く平らであり、s=8とすることによりコントラストが十分となり信頼性のあるデフォーカス量を得ることができる。
【0011】
図7は高周波成分のみからなる被写体の場合であり、(a)〜(c)のデータの種類は図6と同じであり、合焦状態とする。この場合はs=2でコントラストが十分となり信頼性のあるデフォーカス量を得ることが出来る。
【0012】
図8は高低周波数成分を両方とも十分に含む被写体の場合であり、(a)〜(c)のデータの種類は図6と同じであり、合焦状態とする。これは図13に示す焦点検出領域内に被写体の白い部分と黒い部分の境界が位置している場合に得られるパターンである。このパターンではsの値にかかわらず十分なコントラストが得られる。
【0013】
被写体像に含まれる周波数成分は被写体ごとに異なるので、最初はsを2として高周波数成分を抽出するフィルター処理を行ない、得られたフィルター処理データを用いて数式1から数式6の焦点検出演算を行なう。そして、信頼性のあるデフォーカス量が得られれば終了し、得られない場合にはsを4として低周波数成分を抽出するフィルター処理を行ない、得られたフィルター処理データを用いて数式1から数式6の焦点検出演算を行なう。このような手順で信頼性のあるデフォーカス量が得られるまでsの値を増大させていくという方法がある。この方法によれば最初は高周波成分を抽出するので、通常の被写体の合焦状態付近であればこの時点で信頼性のあるデフォーカス量を得ることができる。被写体が人物の顔などで低周波数成分のみを持つ場合には、低周波成分を抽出するフィルター処理を行ない、得られたフィルター処理データに基づく焦点検出演算でデフォーカス量を得ることができる。算出されたデフォーカス量が大きい場合には、低周波成分を抽出するフィルター処理を行ない、得られたフィルター処理データに基づいて最大シフト数lmaxを大きくして焦点検出演算を行うことにより、デフォーカス量を求めることができる。よって、合焦状態付近では演算時間が短くて済むので被写体が移動体である場合にも容易に追従し、低周波成分のみの被写体であっても合焦可能であり、大きなデフォーカス量も検出することができる。
【0014】
以上で説明した焦点検出装置においては、イメージセンサーアレイA列、B列は一方向のみに設置されているので、例えばイメージセンサーアレイが撮影画面に対して水平方向に設置されているとすると、撮影画面に垂直な方向のみにコントラストを有する被写体に対して焦点検出を行なうことができない。そこで、垂直、水平の両方向にイメージセンサーアレイを配置し、このような問題を解決する焦点検出装置があり、図9によりその種の焦点検出装置を説明する。
撮影レンズ100の光軸上に視野マスク20、フィールドレンズ30、絞り40、再結像レンズ50、イメージセンサーアレイA、B、C、Dが配置されている。イメージセンサーアレイA、Bは撮影画面の水平方向に配置され、イメージセンサーアレイC、Dは撮影画面の垂直方向に配置されている。視野マスク20は十字形の開口部を有しており、撮影レンズ100の予定焦点面近傍に配置されて撮影レンズ100によって結像した被写体の空中像を規制するものである。絞り40は41、42、43、44の4つの開口部を有し、これらの開口部はフィールドレンズ30によって撮影レンズ上に11、12、13、14として投影される。再結像レンズ50は図9(b)に示すように絞り4の開口部41、42、43、44に対応する51、52、53、54の4つのレンズからなり、視野マスク20の像をイメージセンサー2に結像する。したがって、撮影レンズ100の11の領域から入射した光束は視野マスク20、フィールドレンズ30、絞り40の開口部41、再結像レンズのレンズ51を通りイメージセンサーアレイA上に結像する。同様に、撮影レンズ100の12、13、14の各領域より入射した光束はそれぞれイメージセンサーアレイB、C、D上に結像する。そして、イメージセンサーアレイA、Bに結像した被写体像は撮影レンズ100が前ピンの時は互いに遠ざかり、後ピンの時は互いに近づき、合焦時にはある所定の間隔に並ぶ。よって、イメージセンサーアレイA、Bの出力信号列a[i]、b[i]を前述のように演算処理することにより、撮影レンズ100の水平方向に関するデフォーカス量を算出することができる。同様に、イメージセンサーアレイC、Dに結像した被写体像は撮影レンズ100が前ピンの時は互いに遠ざかり、後ピンの時は互いに近づき、合焦時にはある所定の間隔に並ぶ。よって、イメージセンサーアレイC、Dの出力信号列c[i]、d[i]を前述のように演算処理することにより、撮影レンズ100の垂直方向に関するのデフォーカス量を算出することができる。このような光学系、イメージセンサーを用いることにより水平方向と垂直方向の焦点検出領域は図10(a)に示すように撮影画面で交差する。
【0015】
また、図11または図9に示す光学系を複数組有することにより撮影画面の複数の位置でデフォーカス量を得ることができる焦点検出装置もあり、この場合の焦点検出領域は例えば図10(b)に示すようなる。
このような複数のデフォーカス量を得る焦点検出装置では、複数のデフォーカス量の中から最終的なデフォーカス量を決定し、この最終デフォーカス量に基づく撮影レンズの駆動、あるいは表示を行う。複数のデフォーカス量の中から一つの最終デフォーカス量を決定する方法は、特開昭60−262004号公報、特開平2−178641号公報、特開平4−235512号公報などに開示されている。特開昭60−262004号公報には、複数のデフォーカス量を平均したり、最も至近を示すものを選択したり、上述した数値Eが最大のものを選択するなどの方法が開示されている。また、特開平2−178641号方向、特開平4−235512号公報には、複数のデフォーカス量の中でほとんど近い値を示すもの同士を平均して複数の平均デフォーカス量を求め、複数の平均デフォーカス量から例えば最も至近を示すものを選択している。
【0016】
【発明が解決しようとする課題】
ところで、被写体パターンに応じて最適な値を数式8のsに設定しても、一般的に低周波数成分のみからなる被写体に対する焦点検出演算結果は、高周波数成分を含む被写体に対する演算結果よりも精度は低くなる。さらに、sの値が比較的大きい場合の、低周波数成分を抽出するフィルター処理において、フィルター処理データFa[i]、Fb[i]をそれぞれ1データおきに抜き出してデータ数を半分に間引くようにすると、1つのデータで2画素分の幅を持つことになり、数式3と数式4の補間演算の精度はその分粗くなるので、焦点検出精度の低下がより顕著になる。
【0017】
撮影画面の複数の位置で焦点検出を行なう焦点検出装置では、各焦点検出領域のイメージセンサーから出力される出力信号に対して数式7および数式8によるフィルター処理を行ない、複数のフィルター処理データを算出する。
ところが、算出された複数のフィルター処理データの中には、大きなsによる数式8のフィルター処理で得られた、低周波数成分のみからなるフィルター処理データが含まれていることがある。そのようなフィルター処理データに基づいて数式1〜数式6による焦点検出演算が行なわれ、例えば最至近のデフォーカス量が得られたとすると、最至近のデフォーカス量を最終デフォーカス量に決定する方式の焦点検出装置ではこの最至近のデフォーカス量を最終デフォーカス量として決定する。この最終デフォーカス量に決定された最至近のデフォーカス量はもともと低周波数成分のみからなるフィルター処理データに基づいて算出されたものであるから、上述したようにその焦点検出結果の精度は低い。
つまり、撮影画面の複数の位置で焦点検出を行なう焦点検出装置では、高精度な焦点検出結果が得られる高周波数成分を含むフィルター処理データがあるにも拘らず、低周波数成分のみからなるフィルター処理データに基づいて得られたデフォーカス量を最終デフォーカス量として決定することがあり、そのような場合には焦点検出精度が低下するので、焦点検出結果の信頼性が低下するという問題がある。
【0018】
本発明の目的は、複数のデフォーカス量の中から焦点検出精度の高いデフォーカス量を最終デフォーカス量に決定し、焦点検出結果の信頼性を向上した焦点検出装置を提供することにある。
【0019】
【課題を解決するための手段】
上記目的を達成するために、請求項1の発明は、撮影レンズの予定焦点面に設定された撮影画面内に複数の焦点検出領域を有する焦点検出装置であって、前記各焦点検出領域に対応して設けられ、被写体像の光強度分布に応じた信号を出力する複数の光電変換手段と、前記撮影レンズを通過した被写体からの光を前記各光電変換手段へ導き、前記各光電変換手段上に被写体像を結像する焦点検出光学系と、前記各光電変換手段の出力信号から任意の周波数成分の信号を抽出するフィルター処理手段と、このフィルター処理手段により抽出された任意の周波数成分の信号に基づいて、前記撮影レンズの焦点調節状態を算出する演算手段と、前記演算手段により算出された焦点調節状態の信頼性の有無を判定する信頼性判定手段と、前記各焦点検出領域ごとの前記フィルター処理手段により抽出された信号成分の周波数と、前記各焦点検出領域ごとの前記演算手段により算出され、かつ、前記信頼性判定手段により信頼性有りと判定された焦点調節状態とに基づいて、前記撮影レンズの最終的な焦点調節状態を決定する最終状態決定手段とを備え、前記各焦点検出領域ごとに、前記フィルター処理手段によりまず高い周波数の成分を抽出して前記演算手段により焦点調節状態を算出し、算出結果の焦点調節状態に対して前記信頼性判定手段により信頼性有りの判定が得られるまで前記フィルター処理手段による抽出信号成分の周波数を低減して前記演算手段による焦点調節状態の演算と前記信頼性判定手段による信頼性判定とを繰り返す焦点検出動作を行いすべての前記焦点検出領域で前記焦点検出動作を行った後に、前記最終状態決定手段は、前記各焦点検出領域の信頼性有りと判定された焦点調節状態の内、周波数の高い信号成分に基づいて算出された焦点調節状態を優先して最終的な焦点調節状態を決定する。
【0020】
【作用】
各焦点検出領域ごとに、被写体像の光強度分布に応じた光電変換手段の出力信号からまず高い周波数の成分を抽出して撮影レンズの焦点調節状態を算出し、算出結果の焦点調節状態に対して信頼性有りの判定が得られるまでフィルター処理における抽出信号成分の周波数を低減して撮影レンズの焦点調節状態の演算と信頼性判定とを繰り返す焦点検出動作を行いすべての焦点検出領域で焦点検出動作を行った後に、各焦点検出領域の信頼性有りと判定された焦点調節状態の内、周波数の高い信号成分に基づいて算出された焦点調節状態を優先して最終的な焦点調節状態を決定する。
【0021】
【実施例】
図1は本発明の実施例の構成図である。
焦点検出光学系1は、撮影レンズ100を通過した被写体からの光を被写体像検出回路2へ導く光学系であり、例えば図9に示すような視野マスク20と、フィールドレンズ30と、絞り開口部41、42、43、44と、再結像レンズ51、52、53、54とから成る。絞り開口部41、42と再結像レンズ51、52は撮影画面に対して水平方向の焦点検出のために用いられ、絞り開口部43、44と再結像レンズ53、54は撮影画面に対して垂直方向の焦点検出のために用いられる。ここで、再結像レンズ51、52による水平方向の縮小倍率と再結像レンズ53、54による垂直方向の縮小倍率は等しいものとする。
【0022】
被写体像検出回路2は、図9に示すようにイメージセンサーアレイA、B、C、Dの計4列を有する回路であり、それぞれのイメージセンサーアレイはn個の光電変換素子からなる。したがって、それぞれがn個のデータからなる出力信号列a[i]、b[i]、c[i]、d[i]を出力する。なお、イメージセンサーアレイAとBが一対のイメージセンサーを構成し、イメージセンサーアレイCとDが一対のイメージセンサーを構成する。イメージセンサーアレイA、Bは撮影画面に対して水平方向に配置され、イメージセンサーアレイC、Dは撮影画面に対して垂直方向に配置されている。この実施例では、イメージセンサーアレイA、B、C、Dを形成する光電変換素子のピッチ幅を全て等しくしたので、水平方向の光電変換素子のピッチ幅と垂直方向の光電変換素子のピッチ幅は等しいことになる。
【0023】
フィルター処理回路3は、被写体像検出回路2から出力される出力信号列a[i]、b[i]、c[i]、d[i]に対して数式7、数式8に示すフィルター処理を施し、フィルター処理データFa[i]、Fb[i]、Fc[i]、Fd[i]を出力する回路である。水平方向と垂直方向とで縮小倍率と光電変換素子のピッチ幅が等しいので、水平方向と垂直方向とのフィルター処理演算によって抽出する周波数成分の相対的な高低は数式8におけるsの値に依存し、sの値を変化させることにより複数の種類のフィルター処理演算を実現している。
【0024】
焦点検出信号決定回路4は、フィルター処理回路3から出力されるフィルター処理データFa[i]、Fb[i]を用いて数式1から数式6までの焦点検出演算を行い、撮影レンズ100の撮影画面に対して水平方向に関するデフォーカス量DfHを算出する。同様に、フィルター処理データFc[i]、Fd[i]を用いて数式1から数式6までの焦点検出演算を行い、撮影レンズ100の撮影画面に対して垂直方向に関するデフォーカス量DfVを算出する。
焦点検出信号決定回路5は、焦点検出演算回路4により算出された水平方向デフォーカス量DfHおよび垂直方向デフォーカス量DfVと、これらを得る際に用いたフィルター処理演算の種類とに基づいて最終的なデフォーカス量DfLを決定する。
なお、フィルター処理回路3、焦点検出演算回路4、焦点検出信号決定回路5はマイクロコンピューターによって実現してもよい。
【0025】
以上のように構成された本発明の焦点検出装置の全体の動作を図2により説明する。
ステップS1において、被写体像検出回路2から出力された出力信号列a[i]、b[i]をフィルター処理回路3と焦点検出演算回路4とにより演算処理し、水平方向デフォーカス量DfHを得る。この詳細は後述する。続くステップS2で、被写体像検出回路2から出力された出力信号列c[i]、d[i]をフィルター処理回路3と焦点検出演算回路4とにより演算処理し、垂直方向デフォーカス量DfVを得る。この詳細も後述する。ステップS3で、水平方向デフォーカス量DfHおよび垂直方向デフォーカス量DfVと、これらを得る際に用いたフィルター処理演算の種類とに基づいて、焦点検出信号決定回路5により最終的デフォーカス量DfLを決定する。この詳細は後述する。
なお、図2の動作で水平方向デフォーカス量DfHを垂直方向デフォーカス量DfVよりも先に算出しているが、特に意味はないので順番を逆にしてもかまわない。
【0026】
図3により、図2のステップS1における水平方向デフォーカス量DfHの算出動作を説明する。
ステップS301において出力信号列a[i]、b[i]を入力し、続くステップS302で数式7によりフィルター処理データPa[i]、Pb[i]を算出する。ステップS303で数式8のsの値に2を設定してステップS304へ進み、数式8のフィルター処理演算を実行して高周波数成分を含むフィルター処理データFa[i]、Fb[i]を抽出する。ステップS305では、算出したフィルター処理データFa[i]、Fb[i]を用いて数式1から数式6までの焦点検出演算を実行する。次に、ステップS306で信頼性のあるデフォーカス量が得られたか否かを判別し、得られた場合にはステップS316へ進み、得られなかった場合にはステップS307へ進む。ステップS307で数式8のsの値に4を設定してステップS308へ進み、数式8のフィルター処理演算を実行して中周波数成分を含むフィルター処理データFa[i]、Fb[i]を抽出する。ステップS309では、算出したフィルター処理データFa[i]、Fb[i]を用いて数式1から数式6までの焦点検出演算を実行する。
【0027】
ステップS310において、信頼性のあるデフォーカス量が得られたか否かを判別し、得られた場合にはステップS317へ進み、得られなかった場合にはステップS311へ進む。ステップS311で数式8のsの値に8を設定してステップS312へ進み、数式8のフィルター処理演算を実行して低周波数成分を含むフィルター処理データFa[i]、Fb[i]を抽出する。ステップS313では、算出したフィルター処理データFa[i]、Fb[i]を用いて数式1から数式6までの焦点検出演算を実行する。そして、ステップS314で信頼性のあるデフォーカス量が得られたか否かを判別し、得られた場合にはステップS318へ進み、得られなかった場合にはステップS315へ進む。ステップS315で数値Hsに99を設定して処理を終了する。Hsは設定された数値によって信頼性のあるデフォーカス量が得られたときのフィルター処理演算の種類を示すものであって、99が設定されているときは水平方向デフォーカス量DfHが得られなかったということを表す。
【0028】
一方、ステップS316ではHsを1として処理を終了する。Hsが1であるということは、高周波数成分を抽出したフィルター処理データに基づいて水平方向デフォーカス量DfHが得られたことを表す。また、ステップS317では、Hsを2として処理を終了する。Hsが2であるということは、中周波数成分を抽出したフィルター処理データに基づいて水平方向デフォーカス量DfHが得られたことを表す。さらに、ステップS318では、Hsを3として処理を終了する。Hsが3であるということは、低周波数成分を抽出したフィルター処理データに基づいて水平方向デフォーカス量DfHが得られたことを表す。
【0029】
以上の水平方向デフォーカス量DfH算出動作において、ステップS301〜S304、S307、S308、S311、S312はフィルター処理回路3の動作であり、他のステップは焦点検出演算回路4の動作である。
【0030】
図4により、図2のステップS2における垂直方向デフォーカス量DfV算出の詳細な動作を説明する。
ステップS401において出力信号列c[i]、d[i]を入力し、続くステップS402で、数式7におけるa[i]、b[i]の代わりにc[i]、d[i]を用いることによって、フィルター処理データPc[i]、Pd[i]を算出する。ステップS403で数式8のsの値に2を設定してステップS404へ進み、数式8のPa[i]、Pb[i]の代わりにPc[i]、Pd[i]を用いてフィルター処理演算を実行し、高周波数成分を含むフィルター処理データFc[i]、Fd[i]を抽出する。ステップS405では、算出したフィルター処理データFc[i]、Fd[i]を用いて数式1から数式6までの焦点検出演算を実行する。
【0031】
ステップS406において、信頼性のあるデフォーカス量が得られたか否かを判別し、得られた場合にはステップS416へ進み、得られなかった場合にはステップS407へ進む。ステップS407で数式8のsの値に4を設定してステップS408へ進み、数式8におけるPa[i]、Pb[i]の代わりにPc[i]、Pd[i]を用いてフィルター処理演算を実行し、中周波数成分を含むフィルター処理データFc[i]、Fd[i]を抽出する。ステップS409では、算出したフィルター処理データFc[i]、Fd[i]を用いて数式1から数式6までの焦点検出演算を実行する。そして、ステップS410で信頼性のあるデフォーカス量が得られたか否かを判別し、得られた場合にはステップS417へ進み、得られなかった場合にはステップS411へ進む。ステップS411で数式8のsの値に8を設定してステップS412へ進み、数式8のPa[i]、Pb[i]の代わりにPc[i]、Pd[i]を用いてフィルター処理演算を実行し、低周波数成分を含むフィルター処理データFc[i]、Fd[i]を抽出する。ステップS413では、算出したフィルター処理データFc[i]、Fd[i]を用いて数式1から数式6までの焦点検出演算を実行する。
【0032】
ステップS414において、信頼性のあるデフォーカス量が得られたか否かを判別し、得られた場合にはステップS418へ進み、得られなかった場合にはステップS415へ進む。ステップS415で数値Vsに99を設定して処理を終了する。Vsは設定された数値によって信頼性のあるデフォーカス量が得られたときのフィルター処理演算の種類を示すものであって、99が設定されている時は垂直方向デフォーカス量DfVが得られ無かったということを表す。
一方、ステップS416ではVsを1として処理を終了する。Vsが1であるということは、高周波数成分を抽出したフィルター処理データに基づいて垂直方向デフォーカス量DfVが得られたことを表す。また、ステップS417ではVsを2として処理を終了する。Vsが2であるということは、中周波数成分を抽出したフィルター処理データに基づいて垂直方向デフォーカス量DfVが得られたことを表す。さらに、ステップS418ではVsを3として処理を終了する。Vsが3であるということは、低周波数成分を抽出したフィルター処理データに基づいて垂直方向デフォーカス量DfVが得られたことを表す。
【0033】
以上の垂直方向デフォーカス量DfV算出動作において、ステップS401〜S404、S407、S408、S411、S412はフィルター処理回路3の動作であり、他のステップは焦点検出演算回路4の動作である。
【0034】
次に、図5により、図2のステップS3における最終デフォーカス量DfL決定動作を説明する。
ステップS501において、水平方向デフォーカス量DfHの算出処理において設定されたHsと、垂直方向デフォーカス量DfV算出処理において設定されたVsとを比較し、両者が等しい場合にはステップS502へ進み、両者が異なる場合にはステップS505へ進む。ステップS502でHsが99であるか否か、つまり水平方向デフォーカス量DfHが得られなかったか否かを判別する。ステップS501においてHsとVsは等しいと判別されているので、Hsが99である場合にはVsも99であり、DfH、DfV共に得られなかったことになり、この場合はステップS503へ進む。Hsが99ではない場合にはDfH、DfV共に得られたことになり、この場合はステップS504へ進む。ステップS503では、DfH、DfV共に得られなかったので焦点検出不能として処理を終了する。
【0035】
ステップS501でHsとVsは等しいと判定され、且つステップS502でDfH、DfV共に得られたと判定された時はステップS504へ進む。HsとVsが等しいということは、DfH、DfVは共に同じ周波数成分を抽出したフィルター処理データによって得られたことになる。そこで、従来の方法で最終デフォーカス量DfLを決定すればよく、ここではDfHとDfVの内のより至近を示す方を最終デフォーカス量DfLとして処理を終了する。
一方、ステップS501においてHsとVsは等しくないと判別された時はステップS505へ進み、少なくともDfH、DfVの一方は得られており、両方とも得られている場合にはフィルター処理データの抽出した周波数成分が異なっていることになる。そこでHsとVsを比較し、Vsの方が小さい場合にはDfVを得たフィルター処理データはDfHを得たフィルター処理データに対してより高周波数成分を抽出したものであり、DfVの方がより高周波数成分を含んだ被写体によって得られたものということになる。そこで、この場合にはDfVを最終デフォーカス量DfLとすべくステップS507へ進む。逆にHsの方が小さい場合にはDfHの方がより高周波数成分を含んだ被写体によって得られたものということになり、この場合にはDfHを最終デフォーカス量DfLとすべくステップS506へ進む。ステップS506では、水平方向デフォーカス量DfHを最終デフォーカス量DfLとして処理を終了する。一方、ステップS507では垂直方向デフォーカス量DfVを最終デフォーカス量DfLとして処理を終了する。
【0036】
以上の動作は全て焦点検出信号決定回路5の動作である。ステップS504においてフィルター処理演算の種類が同じ場合にはより至近を示す方を選択しているが、この選択方法に限定されず、数値Eの大なる方を選択したり、ほとんど同じ距離を示す場合には両者を平均して最終デフォーカス量DfLとしたり、一方を優先して選択するようにしてもよい。
【0037】
以上で説明した実施例では高周波数成分抽出、中周波数成分抽出、低周波数成分抽出のフィルター処理演算として数式8のsの値をそれぞれ2、4、8としたが、sの値は上記実施例に限定されない。また、上記実施例ではフィルターの種類は3種類としたが、2種類または4種類以上でもよい。さらに、水平方向のデフォーカス量算出と垂直方向のデフォーカス量算出とでフィルター処理演算の種類の数を同一としたが、異なる種類の数としてもよい。
【0038】
上記実施例では水平方向、垂直方向とで縮小倍率、光電変換素子のピッチ幅を同一としたが、少なくとも一方が異なる場合には数式8のsの値が同じであっても抽出する周波数成分が異なる場合がある。このような場合は高周波数成分抽出、中周波数成分抽出、低周波数成分抽出フィルター処理演算などで、それぞれが抽出する周波数成分が水平方向と垂直方向とでほぼ等しくなるように、数式8のsの値を水平方向と垂直方向とで異なるようにすればよい。
【0039】
また、上記実施例では図10(a)に示すように撮影画面内で交差する水平方向と、垂直方向の2つの焦点検出領域を有する焦点検出装置を例に上げて説明したが、図10(b)に示すように撮影画面内に複数の焦点検出領域を備えた焦点検出装置にも本発明を適用することができる。
【0040】
以上の実施例の構成において、被写体像検出回路2が光電変換手段を、フィルター処理回路3がフィルター処理手段を、焦点検出演算回路4が演算手段を、焦点検出信号決定回路5が最終状態決定手段をそれぞれ構成する。
【0041】
【発明の効果】
以上説明したように本発明によれば、複数の焦点検出領域で検出される複数の焦点調節状態から焦点検出精度の高い最終的な焦点調節状態が得られ、焦点検出の信頼性が向上する。さらに、高い周波数成分に基づく焦点調節状態の演算結果に所定の信頼性が得られたらそれよりも低い周波数に基づく焦点調節状態の演算を省略でき、演算手段の負担が低減して焦点検出時間が短縮される。
【図面の簡単な説明】
【図1】一実施例の構成を表す機能ブロック図。
【図2】一実施例の動作を示すフローチャート。
【図3】一実施例の水平方向デフォーカス量DfHの算出動作を示すフローチャート。
【図4】一実施例の垂直方向デフォーカス量DfVの算出動作を示すフローチャート。
【図5】一実施例の最終デフォーカス量DfLの決定動作を示すフローチャート。
【図6】低周波数成分のみからなる被写体パターンの例を示す図。
【図7】高周波数成分のみからなる被写体パターンの例を示す図。
【図8】高周波数成分、低周波数成分を共に含む被写体パターンの例を示す図。
【図9】水平方向、垂直方向それぞれについて焦点検出を行う焦点検出装置の焦点検出光学系を示す図。
【図10】撮影画面と焦点検出領域との位置関係を表す図。
【図11】従来の焦点検出光学系の概要を示す図。
【図12】従来の焦点検出演算を説明する図。
【図13】従来の焦点検出演算を説明する図。
【図14】従来の相関演算を説明する図。
【図15】従来の撮影画面と焦点検出領域との位置関係を示す図。
【符号の説明】
1 焦点検出光学系
2 被写体像検出回路
3 フィルター処理回路
4 焦点検出演算回路
5 焦点検出信号決定回路
100 撮影レンズ

Claims (1)

  1. 撮影レンズの予定焦点面に設定された撮影画面内に複数の焦点検出領域を有する焦点検出装置であって、
    前記各焦点検出領域に対応して設けられ、被写体像の光強度分布に応じた信号を出力する複数の光電変換手段と、
    前記撮影レンズを通過した被写体からの光を前記各光電変換手段へ導き、前記各光電変換手段上に被写体像を結像する焦点検出光学系と、
    前記各光電変換手段の出力信号から任意の周波数成分の信号を抽出するフィルター処理手段と、
    このフィルター処理手段により抽出された任意の周波数成分の信号に基づいて、前記撮影レンズの焦点調節状態を算出する演算手段と、
    前記演算手段により算出された焦点調節状態の信頼性の有無を判定する信頼性判定手段と、
    前記各焦点検出領域ごとの前記フィルター処理手段により抽出された信号成分の周波数と、前記各焦点検出領域ごとの前記演算手段により算出され、かつ、前記信頼性判定手段により信頼性有りと判定された焦点調節状態とに基づいて、前記撮影レンズの最終的な焦点調節状態を決定する最終状態決定手段とを備え、
    前記各焦点検出領域ごとに、前記フィルター処理手段によりまず高い周波数の成分を抽出して前記演算手段により焦点調節状態を算出し、算出結果の焦点調節状態に対して前記信頼性判定手段により信頼性有りの判定が得られるまで前記フィルター処理手段による抽出信号成分の周波数を低減して前記演算手段による焦点調節状態の演算と前記信頼性判定手段による信頼性判定とを繰り返す焦点検出動作を行い
    すべての前記焦点検出領域で前記焦点検出動作を行った後に、前記最終状態決定手段は、前記各焦点検出領域の信頼性有りと判定された焦点調節状態の内、周波数の高い信号成分に基づいて算出された焦点調節状態を優先して最終的な焦点調節状態を決定することを特徴とする焦点検出装置。
JP21139394A 1994-09-05 1994-09-05 焦点検出装置 Expired - Lifetime JP3823328B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP21139394A JP3823328B2 (ja) 1994-09-05 1994-09-05 焦点検出装置
US08/497,464 US5689740A (en) 1994-09-05 1995-06-30 Focus detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21139394A JP3823328B2 (ja) 1994-09-05 1994-09-05 焦点検出装置

Publications (2)

Publication Number Publication Date
JPH0875983A JPH0875983A (ja) 1996-03-22
JP3823328B2 true JP3823328B2 (ja) 2006-09-20

Family

ID=16605230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21139394A Expired - Lifetime JP3823328B2 (ja) 1994-09-05 1994-09-05 焦点検出装置

Country Status (2)

Country Link
US (1) US5689740A (ja)
JP (1) JP3823328B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6786420B1 (en) 1997-07-15 2004-09-07 Silverbrook Research Pty. Ltd. Data distribution mechanism in the form of ink dots on cards
US6618117B2 (en) 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
AUPO802797A0 (en) 1997-07-15 1997-08-07 Silverbrook Research Pty Ltd Image processing method and apparatus (ART54)
US20040119829A1 (en) 1997-07-15 2004-06-24 Silverbrook Research Pty Ltd Printhead assembly for a print on demand digital camera system
US6879341B1 (en) 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
US6624848B1 (en) 1997-07-15 2003-09-23 Silverbrook Research Pty Ltd Cascading image modification using multiple digital cameras incorporating image processing
US6985207B2 (en) 1997-07-15 2006-01-10 Silverbrook Research Pty Ltd Photographic prints having magnetically recordable media
US6727948B1 (en) * 1997-07-15 2004-04-27 Silverbrook Research Pty Ltd Utilizing autofocus information for image processing in a digital camera
US7110024B1 (en) 1997-07-15 2006-09-19 Silverbrook Research Pty Ltd Digital camera system having motion deblurring means
AUPO850597A0 (en) 1997-08-11 1997-09-04 Silverbrook Research Pty Ltd Image processing method and apparatus (art01a)
US6690419B1 (en) 1997-07-15 2004-02-10 Silverbrook Research Pty Ltd Utilising eye detection methods for image processing in a digital image camera
AUPP702098A0 (en) 1998-11-09 1998-12-03 Silverbrook Research Pty Ltd Image creation method and apparatus (ART73)
US6907390B1 (en) * 1998-12-14 2005-06-14 Smiths Detection Inc. Miniaturized opto-electronic magnifying system
AUPQ056099A0 (en) 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
JP4858008B2 (ja) * 2006-08-24 2012-01-18 株式会社ニコン 焦点検出装置、焦点検出方法および撮像装置
US8049811B2 (en) * 2009-01-28 2011-11-01 Board Of Regents, The University Of Texas System Automatic focusing apparatus and method for digital images using automatic filter switching
WO2015198879A1 (ja) * 2014-06-25 2015-12-30 ソニー株式会社 撮像装置および合焦制御方法、並びにプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4561749A (en) * 1983-02-02 1985-12-31 Nippon Kogaku K.K. Focus detection apparatus
JPH0690357B2 (ja) * 1983-08-11 1994-11-14 株式会社ニコン ずれ量検出装置
JPH0684890B2 (ja) * 1984-06-11 1994-10-26 株式会社ニコン 焦点検出装置
JPH0762733B2 (ja) * 1985-04-23 1995-07-05 株式会社ニコン 焦点検出装置
JP2554255B2 (ja) * 1987-03-23 1996-11-13 旭光学工業株式会社 フイルタリング装置
US5258801A (en) * 1988-12-29 1993-11-02 Nikon Corporation Focus detecting device
JP2881790B2 (ja) * 1988-12-29 1999-04-12 株式会社ニコン 焦点検出装置
JPH03214133A (ja) * 1990-01-18 1991-09-19 Nikon Corp 焦点検出装置
US5235375A (en) * 1990-04-12 1993-08-10 Olympus Optical Co., Ltd. Focusing position detecting and automatic focusing apparatus with optimal focusing position calculation method
JP2614137B2 (ja) * 1990-05-30 1997-05-28 富士写真フイルム株式会社 位相差検出装置
JPH04235512A (ja) * 1991-01-10 1992-08-24 Nikon Corp グル−プ化機能を有する焦点検出装置
JPH0588077A (ja) * 1991-06-20 1993-04-09 Fuji Photo Film Co Ltd 距離検出装置および方法
JP2725933B2 (ja) * 1992-01-31 1998-03-11 三洋電機株式会社 オートフォーカス装置
JPH0694987A (ja) * 1992-09-03 1994-04-08 Nikon Corp 焦点検出装置
JP3298171B2 (ja) * 1992-09-04 2002-07-02 株式会社ニコン オートフォーカスカメラ
JP3500539B2 (ja) * 1993-02-25 2004-02-23 富士通株式会社 赤外線カメラの自動焦点調節方式

Also Published As

Publication number Publication date
US5689740A (en) 1997-11-18
JPH0875983A (ja) 1996-03-22

Similar Documents

Publication Publication Date Title
JP3823328B2 (ja) 焦点検出装置
JP4807131B2 (ja) 撮像素子および撮像装置
JP4802993B2 (ja) 相関演算方法、相関演算装置、焦点検出装置および撮像装置
JP5066893B2 (ja) 相関演算方法、相関演算装置、焦点検出装置および撮像装置
US8736742B2 (en) Image pickup apparatus that performs automatic focus control and control method for the image pickup apparatus
JP5157084B2 (ja) 相関演算装置、焦点検出装置および撮像装置
JP3491343B2 (ja) 焦点検出装置および焦点検出方法
JP2001174696A (ja) カラー撮像装置
US20020006281A1 (en) Focus detection device and distance measurement device
JPH0875986A (ja) 焦点検出装置
JPH0875997A (ja) 焦点検出装置
JP5338112B2 (ja) 相関演算装置、焦点検出装置および撮像装置
US5612763A (en) Focus detection device and method
JP4608733B2 (ja) 焦点検出装置
JP4817552B2 (ja) 位相差検出方法、位相差検出装置、測距装置および撮像装置
JP3728604B2 (ja) 焦点検出装置
JP3864454B2 (ja) 焦点検出装置
JP3852132B2 (ja) 焦点検出装置
JPH0442207A (ja) オートフォーカス装置
JP2005128292A (ja) 焦点検出装置およびカメラ
JPH1010420A (ja) 焦点検出装置およびその調整方法
JPH03174127A (ja) カメラの露出制御装置
JP2000147363A (ja) 焦点検出装置
JPH0875985A (ja) 焦点検出装置
JP5338118B2 (ja) 相関演算装置、焦点検出装置および撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20031225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060619

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120707

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150707

Year of fee payment: 9

EXPY Cancellation because of completion of term