JP3977406B2 - オートフォーカス装置、オートフォーカス方法、撮像装置、プログラム、記憶媒体 - Google Patents

オートフォーカス装置、オートフォーカス方法、撮像装置、プログラム、記憶媒体 Download PDF

Info

Publication number
JP3977406B2
JP3977406B2 JP2006107518A JP2006107518A JP3977406B2 JP 3977406 B2 JP3977406 B2 JP 3977406B2 JP 2006107518 A JP2006107518 A JP 2006107518A JP 2006107518 A JP2006107518 A JP 2006107518A JP 3977406 B2 JP3977406 B2 JP 3977406B2
Authority
JP
Japan
Prior art keywords
evaluation value
focus
drive range
focus lens
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006107518A
Other languages
English (en)
Other versions
JP2006243744A (ja
Inventor
信也 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006107518A priority Critical patent/JP3977406B2/ja
Publication of JP2006243744A publication Critical patent/JP2006243744A/ja
Application granted granted Critical
Publication of JP3977406B2 publication Critical patent/JP3977406B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

本発明は、オートフォーカス装置、オートフォーカス方法撮像装置、プログラム、記憶媒体に関し、特にオートフォーカスに要する時間の短縮に関するものである。
デジタルカメラなどではTV−AF方式と呼ばれるオートフォーカス(以下、AFと表記する)(下記特許文献1参照)方式を採用することが多い。この方式では、フォーカス位置をある範囲内で動かして各点でのAF評価信号の値から被写体距離を算出する。AF評価信号はBPF(バンドパスフィルタ)などを用いて、合焦しているほど信号が大きくなるように演算される。
例えば無限遠から50cmまでを測距範囲とした場合、図6のように、無限遠に合焦するフォーカス位置におけるAF評価信号を取得し、順次50cmまでフォーカス位置を近づけながら各距離におけるAF評価信号を取得する。各距離のAF評価信号を比較して最も合焦すると判定された距離Aにフォーカス位置を持っていくという手法で制御が行われる。なお、図6の横軸は、フォーカスレンズが合焦する被写体距離を示している。
また、通常、フォーカス位置を振りながらAF評価信号を連続的に取得することは困難なため、例えば被写界深度相当の距離間隔毎に間引いてAF評価信号を取得する場合が多い。
特開2000−152064号公報
しかしながら、被写界深度の浅い光学系を持つカメラや距離方向の測距範囲が広く設定されたカメラの場合には、前述のように間引いてAF評価信号を取得したとしても取得するデータ総数が多くなってしまい測距時間が延びるという問題が発生する。
本発明は、このような状況のもとでなされたもので、AF精度を落とすことなくAF時間を短縮することが可能なオートフォーカス装置、オートフォーカス方法撮像装置、プログラム、記憶媒体を提供することを目的とするものである。
前記目的を達成するため、本発明では、オートフォーカス装置、オートフォーカス方法、撮像装置、プログラム、記憶媒体を次のとおりに構成する。
(1)第1の駆動範囲に対してフォーカスレンズを駆動させて合焦状態を示すAF評価値を検出する第1の検出手段と、
第2の駆動範囲に対して前記フォーカスレンズを駆動させて合焦状態を示すAF評価値を検出する第2の検出手段とを備え、
前記第1の検出手段は、前記第1の駆動範囲を複数に分割し、前記分割された駆動範囲のうちの一つの駆動範囲において合焦であると判断された場合は前記AF評価値を検出する動作を終了し、前記分割された駆動範囲のうちの一つの駆動範囲において非合焦であると判断された場合は他の分割された駆動範囲において前記AF評価値を検出し、
前記第2の検出手段は、前回の撮像の際に検出した前記フォーカスレンズの合焦位置を含む前記第1の駆動範囲よりも狭い前記第2の駆動範囲において前記AF評価値を検出し、
更に今回の撮影パラメータが前回の撮影パラメータからみて変化があった場合には前記第1の検出手段によりAF評価値を検出し、変化がなかった場合には前記第2の検出手段によりAF評価値を検出することを特徴とするオートフォーカス装置。
(2)前記(1)に記載のオートフォーカス装置であって、
前記撮影パラメータは、ズームレンズの位置、撮像時刻、撮影モード、AF枠の設定、被写体の明るさ、AF評価値、ホワイトバランスの制御値、前記オートフォーカス装置の縦横位置のうち少なくとも1つを含むことを特徴とするオートフォーカス装置。
(3)前記(1)又は(2)に記載のオートフォーカス装置及びフォーカスレンズを有する光学系を備えたことを特徴とする撮像装置。
(4)第1の駆動範囲に対してフォーカスレンズを駆動させて合焦状態を示すAF評価値を検出する第1の検出ステップと、
第2の駆動範囲に対して前記フォーカスレンズを駆動させて合焦状態を示すAF評価値を検出する第2の検出ステップとを有し、
前記第1の検出ステップでは、前記第1の駆動範囲を複数に分割し、前記分割された駆動範囲のうち一の駆動範囲において合焦であると判断された場合は前記AF評価値を検出する動作を終了し、前記分割された駆動範囲のうち一の駆動範囲において非合焦であると判断された場合は他の分割された駆動範囲に対して前記AF評価値を検出し、
前記第2の検出ステップでは、前回の撮像の際に検出した前記フォーカスレンズの合焦位置を含む前記第1の駆動範囲よりも狭い前記第2の駆動範囲に対して前記AF評価値を検出し、
更に、今回の撮影パラメータが前回の撮影パラメータからみて変化があった場合には前記第1の検出ステップを実行し、変化がなかった場合には前記第2の検出ステップを実行することを特徴とするオートフォーカス方法。
(5)前記(4)に記載のオートフォーカス方法をコンピュータに実行させることを特徴とするプログラム。
(6)前記(5)に記載のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする記憶媒体。
以上説明したように、本発明によれば、AF評価信号を取得する総数が多い場合でもAF精度を落とすことなくAF時間を短縮することが可能である。
以下、本発明の実施形態をデジタルカメラの実施例により詳しく説明する。なお、本発明は、装置の形に限らず、実施例の説明に裏付けられて、方法の形で実施することができる。
(実施例1)
図1は、実施例1であるオートフォーカス装置を有する撮像装置としての“デジタルカメラ”の概略構成を示す図である。
本デジタルカメラは、ズームレンズを有する光学系01およびフォーカスレンズ02により結像した光を撮像素子03により光電変換し、出力ノイズを除去するCDS回路やA/D変換前に行う非線形増幅回路を備えた前置処理回路04とA/D変換器05を通してデジタル化した信号を、メモリコントローラ06を介してメモリ07に格納し、図示していない信号処理回路によって画像に変換してから記録媒体08に画像を記録する。
AFの動作について説明する。AF動作は制御部11により制御される。まず、SW1・09が押されると、撮影条件解析部12および範囲設定部13により選択した範囲をスキャン(走査)するようにフォーカスレンズ駆動回路17はフォーカスレンズ02を駆動するとともに、撮像素子03から出力される画像信号を取得する。フォーカスレンズ02の各駆動位置において、取得した画像信号は、AF評価値演算回路14によりBPFを用いて中高域信号成分が抽出されることにより合焦の度合いを示すAF評価値に変換される。そして、AF評価値が最も高い値合焦位置決定部15は、AF評価値が最も高い値が得られる位置を合焦位置(図5ではAである)とし、制御部11は、フォーカスレンズ駆動回路17に対してその合焦位置にフォーカスレンズ02を駆動させる。フォーカスレンズ02の駆動が完了し、SW2・10が使用者によって押されることで撮影が実行される。また、合焦位置と撮影時の撮影条件が撮影条件記憶部16に記憶される。
AF動作について図2のフローを用いてさらに詳細に説明する。
ステップ1(図ではS1と表記する、以下同様)において撮影条件の解析を行う。もし、初めてのフォーカスレンズ02の走査であれば、次のステップ2に進み、フォーカスレンズ02は、広い範囲においてAF評価値が得られるように比較的走査範囲が広い所定の範囲(例えばフォーカスレンズ02が走査可能な全範囲)をスキャンするよう設定される。デジタルカメラの電源投入後、2度目以降のフォーカスレンズ02の走査の場合には、前回の撮影と今回の撮影の条件がほぼ同じかどうかを判定し、ほぼ同じと判定された場合には、ステップ2において、前記所定の範囲より狭く、かつ、前回撮影時の合焦位置を含むようにフォーカスレンズ02の走査範囲を設定し、そうでない場合には、ステップ2において前記所定の範囲をフォーカスレンズ02がスキャンするよう設定される。
前回の撮影パラメータと今回の撮影パラメータとの比較は、例えば、次の複数の条件を全て満たす場合(請求項の「所定の要件を満たす場合」に対応する)には、ほぼ同じ条件での撮影と判定する。
撮影時のズームレンズのポジションが前回撮影時と今回撮影時で全く同一またはほぼ同じ。
前回撮影した時刻と今回撮影する時刻の時間差があまりない。
近接した被写体を撮像するマクロモード/通常の被写体を撮像する非マクロモードの設定が変更されていない。
AF評価値を得るために検出する画像信号の領域としてのAF枠の数が変更されていない。
撮影時の明るさがほぼ同じ。
AF評価値がほぼ同じ。
また、「前回撮影時に合焦可能であった」という条件を加えても良い。なお、AF評価値は例えば公知の手法を用いて次のように計算する。撮影した信号に対してBPFを適用し、中高域成分を抽出された中で、AF枠内にある振幅の最大値を評価値としても良いし、AF枠内でBPFが抽出する所定の方向にそって最大値を抽出し、BPFの方向と垂直の方向にその最大値を積分したものをAF評価値としたものでも良いが、AFの評価値の算出方法は本願発明のポイントではないので説明を省略する。
比較の手法としては、例えば記憶部16に図3のように各撮影情報を前回分および今回の情報を格納し、例えば次のように判定すればよい。
[前回撮影ズーム位置]=[今回撮影ズーム位置]
かつ[今回撮影時刻]−[前回撮影時刻]<(10秒)
かつ[前回マクロ設定]=[今回マクロ設定]
かつ[前回AF枠設定]=[今回AF枠設定]
かつ|[今回明るさ]−[前回明るさ]|<1(Ev)
かつ|[今回AF評価値]−[前回AF評価値]|<300
を満たした場合、類似した撮像条件での撮影と見なす。
なお、“ほぼ同じ条件”としてその他ホワイトバランス結果の違いを用いても良いし、縦位置横位置の判定のできるカメラの場合には撮影位置が変更されているかどうかを判定に用いても良いし、AF枠の移動が可能なカメラの場合には枠位置を移動したかどうかを判定に用いても良い。その他、撮影条件がほぼ同じかどうかを特定可能なものを用いても良い。
以上ステップ2で決定した走査範囲をステップ3においてフォーカスレンズ02を駆動させ、AF評価信号を得る。
次にステップ4において合焦位置を決定する。合焦位置の決定はスキャン求められたAF評価値を元に補間演算を行うことにより、ステップ3において得られたAF評価値間の値を求め、AF評価値が極大となる点を合焦位置とする。
ステップ5において、今回の撮影条件およびステップ4において求められた合焦位置を記憶する。
ステップ6において、記録媒体08に記録するために撮像素子03から画像信号得られるとともに、フォーカスレンズを合焦位置に駆動する。
以上で、AF動作が完了する。
前記のように処理することで、シーンがほぼ同一の場合にはフォーカスレンズ02の走査範囲を全範囲スキャンすることがなくなり、被写体の存在する近傍の狭い範囲をフォーカスレンズ02を走査させてAF評価信号を得ているため、精度を落とさず素早く合焦動作を完了することが可能である。
なお、実施例では、前述の条件を全て満たす場合としているが、1つ以上の条件をみたす場合とすることもできる。
以上説明したように、本実施例によれば、AF評価信号を取得する総数が多い場合でもAF精度を落とすことなくAF時間を短縮することができる。
(実施例2)
本実施例の“デジタルカメラ”は、実施例1におけるフォーカスレンズ02の走査範囲をあらかじめ分割し、それら分割した範囲を順次走査(以下、分割走査という)してAF評価値を得るように変更した例である。その他の部分は共通であるため説明を省略する。
分割走査について説明する。本実施例においては、フォーカスレンズの走査範囲の分割を、例えば図4のように行う。なお、図4において、横軸はフォーカスレンズが駆動する位置を示しており、便宜的にフォーカスレンズが合焦する位置に対応する被写体距離を示している。
このように分割された領域を走査する手法を図5のフローにしたがって説明する。
ステップ11において、初めに走査する分割範囲を示すゾーンnを決定する。本実施例においてはn=1とし、遠いところの被写体に合焦する範囲(ゾーン1)から近いところの被写体に合焦するゾーンへと順番に走査するよう構成する。
ステップ12において分割した範囲のうちの前回走査したゾーンより1つ近いところに合焦するゾーンの第n領域を走査する。
ステップ13において各ゾーンにおいて合焦判定を行い、合焦可能であれば終了する。合焦不可能であれば、ステップ14において領域を更新しステップ12に戻る。
すなわち、本実施例では、実施例1における図2のステップ1において、前回撮影時と今回の撮影の条件がほぼ同一であると判定されなかった場合に前記分割走査を用いるよう構成される。なお、各ゾーンは撮影時と今回の撮影の条件がほぼ同一であると判定された場合に設定される範囲よりも広い範囲である。
以上説明したように、実施例1では、前回の撮影条件と今回の撮影の条件がほぼ同じか判定し、ほぼ同じと判定できない場合には、ステップ2において走査領域の全範囲をスキャンしているが、本実施例では、所定の測距領域を3分割し、その分割領域を順次走査し、合焦可能なゾーンで走査を終了するようにしているので、確率的にみて実施例1よりAF時間を短縮することができる。
また、分割走査の場合、初めに走査される範囲に被写体が有る場合には素早く合焦可能なのに対し、後のほうで走査される範囲に被写体が有る場合には合焦に時間がかかってしまう。したがって、前回撮影時の合焦位置が後の方で走査されるゾーンに入っている場合にのみ、前回合焦位置付近を測距するよう構成しても良い。また、前回合焦位置が含まれるゾーンそのものを走査するよう構成しても良い。
なお、実施例2では、初めての走査の際に、全走査範囲をスキャンするよう設定しているが、この代わりに、分割走査を行っても良い。
なお、上述した実施例の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ(CPUあるいはMPU)に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、前記ソフトウェアのプログラムコード自体が上述した実施例の機能を実現することになり、そのプログラムコードは本発明を構成する。また、そのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施例の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているOS(オペレーティングシステム)あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
実施例1の構成を示すブロック図 AF動作時の処理を示すフローチャート 記憶部16の記憶例を示す図 実施例2におけるフォーカスレンズの走査範囲の分割例を示す図 実施例2におけるAF動作時の処理を示すフローチャート 合焦位置に対応する被写体距離とAF評価値の関係の例を示す図
符号の説明
11 制御部
12 撮影条件解析部
13 範囲設定部
14 AF評価値演算回路
15 合焦位置決定部
16 撮影条件記憶部
17 フォーカスレンズ駆動回路

Claims (6)

  1. 第1の駆動範囲に対してフォーカスレンズを駆動させて合焦状態を示すAF評価値を検出する第1の検出手段と、
    第2の駆動範囲に対して前記フォーカスレンズを駆動させて合焦状態を示すAF評価値を検出する第2の検出手段とを備え、
    前記第1の検出手段は、前記第1の駆動範囲を複数に分割し、前記分割された駆動範囲のうちの一つの駆動範囲において合焦であると判断された場合は前記AF評価値を検出する動作を終了し、前記分割された駆動範囲のうちの一つの駆動範囲において非合焦であると判断された場合は他の分割された駆動範囲において前記AF評価値を検出し、
    前記第2の検出手段は、前回の撮像の際に検出した前記フォーカスレンズの合焦位置を含む前記第1の駆動範囲よりも狭い前記第2の駆動範囲において前記AF評価値を検出し、
    更に今回の撮影パラメータが前回の撮影パラメータからみて変化があった場合には前記第1の検出手段によりAF評価値を検出し、変化がなかった場合には前記第2の検出手段によりAF評価値を検出することを特徴とするオートフォーカス装置。
  2. 請求項1に記載のオートフォーカス装置であって、
    前記撮影パラメータは、ズームレンズの位置、撮像時刻、撮影モード、AF枠の設定、被写体の明るさ、AF評価値、ホワイトバランスの制御値、前記オートフォーカス装置の縦横位置のうち少なくとも1つを含むことを特徴とするオートフォーカス装置。
  3. 請求項1又は請求項2に記載のオートフォーカス装置及びフォーカスレンズを有する光学系を備えたことを特徴とする撮像装置。
  4. 第1の駆動範囲に対してフォーカスレンズを駆動させて合焦状態を示すAF評価値を検出する第1の検出ステップと、
    第2の駆動範囲に対して前記フォーカスレンズを駆動させて合焦状態を示すAF評価値を検出する第2の検出ステップとを有し、
    前記第1の検出ステップでは、前記第1の駆動範囲を複数に分割し、前記分割された駆動範囲のうち一の駆動範囲において合焦であると判断された場合は前記AF評価値を検出する動作を終了し、前記分割された駆動範囲のうち一の駆動範囲において非合焦であると判断された場合は他の分割された駆動範囲に対して前記AF評価値を検出し、
    前記第2の検出ステップでは、前回の撮像の際に検出した前記フォーカスレンズの合焦位置を含む前記第1の駆動範囲よりも狭い前記第2の駆動範囲に対して前記AF評価値を検出し、
    更に、今回の撮影パラメータが前回の撮影パラメータからみて変化があった場合には前記第1の検出ステップを実行し、変化がなかった場合には前記第2の検出ステップを実行することを特徴とするオートフォーカス方法。
  5. 請求項4に記載のオートフォーカス方法をコンピュータに実行させることを特徴とするプログラム。
  6. 請求項5に記載のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする記憶媒体。
JP2006107518A 2006-04-10 2006-04-10 オートフォーカス装置、オートフォーカス方法、撮像装置、プログラム、記憶媒体 Expired - Fee Related JP3977406B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006107518A JP3977406B2 (ja) 2006-04-10 2006-04-10 オートフォーカス装置、オートフォーカス方法、撮像装置、プログラム、記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006107518A JP3977406B2 (ja) 2006-04-10 2006-04-10 オートフォーカス装置、オートフォーカス方法、撮像装置、プログラム、記憶媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002266873A Division JP3848230B2 (ja) 2002-09-12 2002-09-12 オートフォーカス装置、撮像装置、オートフォーカス方法、プログラムおよび記憶媒体

Publications (2)

Publication Number Publication Date
JP2006243744A JP2006243744A (ja) 2006-09-14
JP3977406B2 true JP3977406B2 (ja) 2007-09-19

Family

ID=37050141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006107518A Expired - Fee Related JP3977406B2 (ja) 2006-04-10 2006-04-10 オートフォーカス装置、オートフォーカス方法、撮像装置、プログラム、記憶媒体

Country Status (1)

Country Link
JP (1) JP3977406B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5164626B2 (ja) 2008-03-22 2013-03-21 三洋電機株式会社 電子カメラ

Also Published As

Publication number Publication date
JP2006243744A (ja) 2006-09-14

Similar Documents

Publication Publication Date Title
JP3848230B2 (ja) オートフォーカス装置、撮像装置、オートフォーカス方法、プログラムおよび記憶媒体
JP3944039B2 (ja) 焦点調節装置及びプログラム
JP4674471B2 (ja) デジタルカメラ
JP4571617B2 (ja) 撮像装置及び撮像方法
US8259214B2 (en) Image pickup apparatus and auto-focus detection method
JP5213813B2 (ja) 撮像装置及び撮像装置の制御方法
US7557855B2 (en) Focus position detection apparatus and method
US8237845B2 (en) Method and apparatus for controlling a focus lens
JP2008096796A (ja) オートフォーカス装置およびカメラ
US20130293768A1 (en) Imaging apparatus, imaging method, imaging program and computer readable information recording medium
JP4500789B2 (ja) 焦点調節装置及びプログラム
JP5164493B2 (ja) 撮像装置
JP2008008959A (ja) 撮像装置及びこれを用いた撮影方法
JP3977406B2 (ja) オートフォーカス装置、オートフォーカス方法、撮像装置、プログラム、記憶媒体
JP2005141068A (ja) 自動焦点調節装置、自動焦点調節方法、及びコンピュータで読み取り可能な制御プログラム
JP2007011054A (ja) 撮像装置、撮像装置の制御方法、及びコンピュータプログラム
JP4574559B2 (ja) 撮像装置、合焦位置検出装置、及び合焦位置検出方法
JP5159295B2 (ja) 自動焦点調節装置および撮像装置
JP4681899B2 (ja) 撮像装置及び撮像方法
JP4143395B2 (ja) 撮像装置及びオートフォーカス方法及びプログラム及び記憶媒体
JP2019086580A (ja) 焦点調節装置、焦点調節方法、及び撮像装置
JP2006047645A (ja) 焦点調節装置及び方法
JP4779383B2 (ja) デジタルカメラ
JP2009194469A (ja) 撮像装置
JP2001305421A (ja) オートフォーカス装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070329

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070620

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130629

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees