JP4159557B2 - 電子スチルカメラ - Google Patents

電子スチルカメラ Download PDF

Info

Publication number
JP4159557B2
JP4159557B2 JP2005060230A JP2005060230A JP4159557B2 JP 4159557 B2 JP4159557 B2 JP 4159557B2 JP 2005060230 A JP2005060230 A JP 2005060230A JP 2005060230 A JP2005060230 A JP 2005060230A JP 4159557 B2 JP4159557 B2 JP 4159557B2
Authority
JP
Japan
Prior art keywords
imaging lens
charge accumulation
imaging
movement
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005060230A
Other languages
English (en)
Other versions
JP2006243449A (ja
Inventor
泰雄 前田
重男 安藤
厚司 道盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2005060230A priority Critical patent/JP4159557B2/ja
Publication of JP2006243449A publication Critical patent/JP2006243449A/ja
Application granted granted Critical
Publication of JP4159557B2 publication Critical patent/JP4159557B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

本発明はCCD、CMOS等の固体撮像素子を用いた電子スチルカメラに関し、特にその自動合焦(オートフォーカス)に関する。
固体撮像素子を用いた電子スチルカメラでは、撮像レンズと撮像素子間の焦点距離を調整し、撮像素子で結像される被写体像のボケを無くすよう自動的に調整を行う合焦機構が装備されている。合焦の方式としては、赤外線方式、位相差検出方式などがコンパクトカメラ、一眼レフカメラなどで主に用いられているが、機構的な制約条件がある。そのため電子スチルカメラではコントラスト方式と呼ばれる方法が主に用いられている。これは撮像素子を測距センサとして用い、撮像レンズの移動可能範囲を無限遠撮影側から至近距離撮影側、もしくはその逆に、撮像レンズをある間隔で移動させ、撮像レンズを停止させた位置において撮像素子により取得された映像信号を処理し、高周波成分が最大となる位置を焦点としてその位置に撮像レンズの移動を行う方式であり、撮像素子、撮像レンズ以外に別個の測距機構が不要であるため広く用いられている。そのような技術の一例が下記の特許文献1に記載されている。
特開平9−43507号公報
しかしながら従来の方法では、撮像レンズの移動と撮像素子による映像信号の生成のための電荷蓄積に要する時間を交互に繰り返す必要があるが、撮像レンズの移動と電荷蓄積に2内部垂直期間が必要となり、合焦までに長時間を要するという問題がある。
本発明は、
撮像レンズを通して入射する被写体光を光電変換し、電荷蓄積を行なって映像信号を生成する撮像素子と、
前記撮像レンズを光軸に平行に移動させる駆動手段と、
前記映像信号の解析及び前記撮像レンズの移動を繰り返して前記撮像レンズの合焦位置を検出する合焦制御手段と、
前記光電変換による映像信号の生成のための電荷蓄積に要する時間及び前記撮像レンズの移動に要する時間の和が、内部垂直期間のn倍(nは整数)以下であれば、前記撮像レンズの移動を前記内部垂直期間のn倍ごとに行わせ、
前記光電変換による映像信号の生成のための電荷蓄積に要する時間及び前記撮像レンズの移動に要する時間の和が、内部垂直期間のn倍(nは整数)よりも大きければ、前記撮像レンズの移動を前記内部垂直期間の2n倍ごとに行わせる制御手段と
を備えた電子スチルカメラを提供する。
本発明によれば、合焦までに要する時間を短縮することができる。
以下本発明の実施の形態を、図を参照して説明する。以下に説明する実施の形態においては、電子カメラは、スチルカメラである。
実施の形態1.
図1は本発明の実施の形態1の電子スチルカメラの構成を示すブロック図である。図1に示される電子スチルカメラは、撮像レンズ12と、レンズ駆動部13と、シャッタ14と、撮像部16と、画像信号処理部18と、一次記憶部20と、インターフェース部22と、表示部26と、操作部28と、制御部30と、レンズ駆動部13とを有する。
撮像レンズ12は、被写体光を撮像部16に決像させるためのものであり、撮像レンズ12と撮像部16の間には、被写体光の撮像部16への入射をオン/オフするためのシャッタ14が設けられている。
レンズ駆動部13は、撮像レンズ12を光軸上で光軸に平行に移動させるためのものであり、ボイスコイルなどを用いたリニアアクチュエータで構成される。
シャッター14は、撮像のための電荷蓄積の間、開かれ、それ以外のときは閉じられている。
撮像部16は、被写体光を光電変換し、電荷蓄積を行って映像信号を生成して出力するものであり、CCDやCMOSセンサなどの2次元固体撮像素子と、撮像素子を駆動するための回路などから構成される。
画像信号処理部18は、本撮像により撮像部16から出力された映像信号に対して、様々なデジタル信号処理を行って、映像データを生成するとともに、合焦処理時には、合焦のための撮像(試験撮像)により得られる映像信号の解析、高周波成分の大きさの検出などを行う。
一時記憶部20は、DRAMなどで構成されたものであり、画像信号処理部18で処理された映像信号を記憶する。
インターフェース部22は、スロットを含み、該スロットに挿抜可能な外部フラッシュメモリ等で構成される記録媒体24への映像データの書き込み、該記録媒体24からの映像データの読出しを行う回路を備える。
表示部26は、LCDなどの表示素子を含むもので、ビューファインダーとして用いられたり、記録した映像の再生に用いられたりする。
操作部28は、ユーザが操作入力を行うためのプッシュボタンや、タッチパネル等で構成される。操作部28には、カメラ起動ボタン28a、自動合焦(AF)ボタン28b、シャッターボタン28cが含まれる。なお、シャッターボタン28cが半押しされると自動合焦が行われる場合には、この半押し状態に応動するスイッチが自動合焦ボタンに相当する。
制御部30は、操作部28からの操作信号や、画像処理部18におけるデジタル信号処理結果に基き、撮像レンズ12を移動させるためのレンズ駆動部13の制御、撮像部16における電荷蓄積や映像信号の出力(読出し)の制御、一時記憶部20への映像データの書き込み、読出し、記録媒体24への映像データの書き込み、読出しの制御、表示部26における表示(表示開始、表示切替え、表示停止)の制御を行う。
制御部30は、合焦制御部34と、露出量制御32と、全体制御部36とを含む。なお、これはともに、ソフトウエアにより、即ちプログラムされたコンピュータにより構成され得る。
以下、合焦制御の際の制御部30の動作を、図3を参照して説明する。
まず、操作部28のカメラ起動ボタン28aが押下されると(102)、全体制御部36、撮像部16及び画像信号処理部18を起動させ、表示部26に表示切替えを行わせ、さらに露出量制御部32に露出量制御を行わせる(104)。
表示切替えの結果、撮像レンズ12を通して入射され、撮像部16で生成された映像信号が画像信号処理部18で処理され、逐次更新されて、表示部26で表示が行われる。このとき、表示部26は、電子ビューファインダーとして用いられる。
一方、露出量制御部32は、画像信号処理部18で検知された、撮像部16から出力される映像信号のレベルに基いて電荷蓄積時間を制御する。例えば、撮像部16から出力される映像信号のレベルが低いときは電荷蓄積時間を長くし、撮像部16から出力される映像信号のレベルが高いときは電荷蓄積時間を短くする。
その後操作部28においてAFボタン28bが押下されると(106)、全体制御部36は合焦制御部34に対し合焦点制御の開始要求を行う(108)。
即ち、全体制御部36は、AFボタン28bの押下を検出すると、画像信号処理部18及び撮像部16に対して露出量の変更を禁じる制御(AEロックの制御)を行い、電荷蓄積時間tを固定させる。
次いで、合焦制御部34に対して電荷蓄積時間tを通知する。
合焦制御部34は、レンズ駆動部13に対して、撮像レンズ12を撮像レンズ移動可能範囲の一端(無限遠撮影側もしくは至近距離撮影側)へ移動するように制御を行い、AFボタン28bが押下された時の電荷蓄積時間から試験撮像回数Lを算出する(110)。
試験撮像回数Lとは、合焦のために許容される時間(合焦要求時間)(T)内で繰り返し得る電荷蓄積及び撮像レンズの移動の回数を意味する。試験撮像回数Lを求める手順については、後に図4を参照して詳述する。
試験撮像回数Lを求めた後、AF試験撮像を行う(112)。即ち、シャッター14を開いて撮像部16でステップ104で定めた露出量によって決まる電荷蓄積時間だけ電荷蓄積を行って、映像信号を出力する。
次に、試験撮像で得た画像(AF用画像)を信号処理してAF評価値を求める(114)。即ち、撮像部16から出力された映像信号を画像信号処理部18で処理してAF評価値を求める。AF評価値としては、高周波成分の最大値が用いられる。この場合、撮像画面内の特定の領域、例えば画面の中央部における高周波成分の最大値をAF評価値としても良い。
図2に、試験撮像位置P1乃至P11を横軸にとったときの、AF評価値の変化の一例を示す。
次に、求められたAF評価値をそのときの撮像レンズの位置(試験撮像位置)に関連付けて記憶する(116)。
次に、レンズ可動範囲内のすべての試験撮像位置において上記ステップ112乃至116の処理が行われたどうか、即ち、すべての試験撮像位置についてAF評価値が求められたかの判定を行い(118)、まだであれば(ステップ118でNO)、次に試験撮像位置にレンズを上記の所定距離dだけ、上記一端から他端に向けて移動させ(120)、ステップ112に戻る。
ステップ118ですべての試験撮像位置についてAF評価値が求められたとの判定がなされたら(ステップ118でYES)、求められたすべてのAF評価値に基いて合焦位置を特定する(122)。例えば、最も大きいAF評価値を与えた試験撮像位置(図2に示す例では、位置P6)を合焦位置と判定する。
次に合焦位置に撮像レンズを移動させる(124)。
そして、これにより合焦完了として処理を終了する(126)。
この後、本撮像が行われる。
図3のステップ110における、試験撮像回数Lの算出する処理の詳細が図4に示されている。
合焦制御部34はまず、露出量制御部32から電荷蓄積時間t(電荷蓄積時間tを表わすデータ)を取得し(202)、
次に、N×内部垂直期間(Vertical Driving:VD期間)vが電荷蓄積時間tを下回らないような最小の整数Nを求める(204)。
即ち、
N×vがt以上であって、
(N−1)×vがt未満であるような整数Nを求める。
これは、言い換えると、
t÷vが割り切れるときは、 N=t÷v
t÷vが割り切れないときは、 N=[t÷v]+1
(但し、[t÷v]はt÷vの整数部分)
と言う演算を行うことを意味する。
なお、ここで言う内部垂直期間(VD期間)は、カメラ内部の期間であり、カメラ内部から外部への1フレームの映像信号の出力周期(一般的な垂直期間)とは異なる。すなわち、内部垂直期間とは、撮像部16から画像信号処理部18へ入る画像データのための同期信号で、図示しないタイミングジェネレータにより生成される一定周期の信号で、画像信号処理部18から一時記憶部20、表示部26、制御部30へ出力される画像の垂直同期信号とは異なり、垂直同期信号の周期は、内部垂直期間の整数倍となる。
次に、合焦のための許容される時間(合焦要求時間)T内で、繰り返し得る試験撮像の回数Lを求める(206)。
L=T÷(N×v)
なお、合焦要求時間Tはシステム設計時に設定された固定値であっても良く、撮影時の状況(被写体の輝度、フレームレートなど)よって、可変(例えば、複数の値から選択されるもの)であっても良い。
次に、撮像レンズの可動範囲の端点から端点(例えば、無限遠撮影側から至近距離撮影側)の全域を撮像レンズ12が移動するために要する時間(レンズ移動時間)mについて、下記の判定式(1)
m≦N×v−t …(1)
が成立するかどうかの判定を行う(208)。
なお、撮像レンズの可動範囲をL回に分けて移動するので、1回当たりの移動距離は、可動範囲の1/(L−1)であるが、(1)式の計算を行う時点では後述のように、L回に分けて行うことになるか、(L/2)回に分けて行われることになるかが不明であるので、1回当たりのレンズ移動時間の代わりに、撮像レンズの可動範囲の端点から端点までの移動時間mを用いて、(1)式の計算を行う。
判定式(1)が成立する場合には、
撮像レンズの移動をN×vの期間ごとに行うこととし、電荷蓄積及び撮像レンズの移動を繰り返す回数Cを
C=Lとする(210)。
一方判定式(1)が成立しない場合には、
撮像レンズの移動を2×N×vの期間ごとに行うこととし、電荷蓄積及び撮像レンズの移動を繰り返す回数Cを
C=L/2とする(212)。
図5は電荷蓄積及び撮像レンズの移動の回数CがLに等しいときの、電荷蓄積及び撮像レンズの移動のタイミングを示す図である。
図において301は内部垂直同期信号を示しており、VDが1内部垂直期間を示している。30fps(frames per second)で撮像系システム全体が動作している場合、1VD=33.3msとなる。302は電荷蓄積期間を示し、303は撮像レンズが移動を行っている期間を示している。
本図において電荷蓄積期間302は、2個の内部垂直期間VDにまたがっており(即ち上記Nが2であり)、前述の30fpsでシステムが動作している場合、表示部26の画面は15fpsの速度で更新することが可能である。
図5のタイミングチャートにおいて、レンズ移動期間303が、2倍の内部垂直期間と電荷蓄積期間302の差分内に収まっており、電荷蓄積を行っているときは撮像レンズが移動しないように制御を行うことが可能で、レンズ移動が電荷蓄積に影響を与えないようにすることが示されている。即ち、上記の判定式(1)において、N=2を代入した式、
m≦2×v−t
が満たされ、試験撮像は(2×v)の期間ごとに行われる。
図6は上記判定式(1)が成立しない場合の電荷蓄積及び撮像レンズの移動のタイミングを示す図である。
図示のように、撮像レンズの移動は2×2×v(N=2)の期間ごとに行われる。そして、電荷蓄積は、符号302a、302bで示すように、2×vごとに行われるものの、撮像レンズの移動303と重なる電荷蓄積302aの結果得られる信号は、AF試験撮像画像としては用いず、撮像レンズの移動303と重ならない電荷蓄積302bの結果得られる信号を、AF試験撮像画像として用いる。
電荷蓄積と撮像レンズの移動が同時に行われると、電荷蓄積中にレンズが移動(つまりシャッターを開けた状態でレンズが移動)するため、電荷蓄積(302a)の結果得られる映像信号にノイズが乗り、正確な合焦判定の妨げとなるが、図6に示すように、電荷蓄積と撮像レンズの移動が重ならない電荷蓄積302bの結果得られる映像信号を用いることで、正確な合焦判定を行うことができる。
一方、撮像レンズの移動を、個々の撮影条件における電荷蓄積時間に拘わらず、十分長い間隔をおいて(例えば図6のように内部垂直期間の4倍の周期で)行うこととすれば、映像信号にノイズが乗るのを防ぐことができる一方、合焦までに要する時間が撮影条件によらず長いものとなるという不都合がある。
本実施の形態によれば、撮影条件に応じて変わる電荷蓄積時間に基いて、撮像レンズの移動の間隔を、図5に示すように、或いは図6に示すように切替えることとしているので、合焦要求時間T内で繰り返し得る電荷蓄積及び映像信号の取得の回数を最大とすることができ、撮影条件に応じて合焦をより正確に行うことができる。
実施の形態2.
上記の実施の形態1では、上記の判定式(1)が成立しない場合には、図6に示すように、撮像レンズの移動を2×N×v、例えば2×2×vの期間ごとに行っているが、代わりに図7に示すように撮像レンズの移動をN×v、例えば2×vの期間ごとに行うこととし、撮像レンズの移動303と重なる電荷蓄積時間302aにおける電荷蓄積の結果得られた映像信号を、合焦点が含まれる範囲を特定する処理(粗調整)のために用い、該範囲の特定の後、上記のようにして特定された範囲内で、撮像レンズの移動に重ならない電荷蓄積(302b)の結果得られる映像信号を用いるようにし、これにより合焦点を特定する処理(微調整)を行うこととしても良い。
このように粗調整段階で、N×vの期間ごとに撮像レンズの移動を行うので、全体として合焦点の特定までの時間を短くすることができる。
この場合、例えば、合焦のために許容される時間(合焦要求時間)Tの一部αT(0<α<1)を粗調整に用い、残りの時間(1−α)Tを微調整のために用いる。
例えば、電荷蓄積時間が、1内部垂直期間以下であるものの、レンズ移動時間と電荷蓄積時間の和が1vを超え、2v以下の場合、レンズ移動と重なるようにして電荷蓄積の処理を行う粗調整を行い得る回数は、合焦要求時間T内のVD期間の数Aと同じである。一方、レンズ駆動と電荷蓄積を同時には行わない微調整段階では、少なくとも3回レンズ移動を行う必要があり、1回当たり2個のVD期間が必要であるので、
(A−3×2)=(A−6)
個のVD期間を粗調整のための期間とし、この間に(A−6)回のレンズ移動及び電荷蓄積による粗調整を行う。図8には、Aが14であり、(A−6)が8である場合を示す。
同図で、P1及びP8は、レンズ可動範囲の第1及び第2の端部であり、dpは、1回当たりのレンズ移動量であり、P2乃至P7は、粗調整段階における、一つのレンズ移動と次のレンズ移動の間のレンズ停止位置である。P2乃至P7と、P1及びP8とが、粗調整段階における試験撮像位置である。
また、P9、P10、P11は微調整段階における試験撮像位置である。
各微調整段階におけるレンズの移動距離dqは、粗調整段階におけるレンズの移動距離dpの1/2である。
図示の例では、粗調整段階においては、位置P6が、最も合焦点に近いとの判断がされ、位置P6と同じ位置P10(同じ位置であるが、粗調整段階と微調整段階とで異なる符号で表す)と、その前後の位置P9及びP11とで、微調整のための撮像が行われる。
位置P10と位置P6は同じであるが、粗調整段階では、位置P6においても、レンズ移動と一部重なる電荷蓄積により得られた映像信号を用いているので、微調整段階では再度位置P10で電荷蓄積を行う必要がある。
本発明の実施の形態1における電子スチルカメラの信号処理および制御系を示すブロック図である。 試験撮像位置とAF評価値の関係の一例を示す図である。 本発明の実施の形態1における合焦制御を示すフローチャートである。 実施の形態1における撮像レンズの移動の間隔を決定するための処理を示すフローチャートである。 実施の形態1における電荷蓄積と撮像レンズの移動のタイミングを示すタイミングチャートである。 実施の形態1における電荷蓄積と撮像レンズの移動のタイミングを示すタイミングチャートである。 本発明の実施の形態2の粗調整段階における電荷蓄積と撮像レンズの移動のタイミングを示すタイミングチャートである。 実施の形態2の粗調整段階と微調整段階との、試験撮像位置を示す図である。
符号の説明
12 撮像レンズ、 13 レンズ駆動部、 14 シャッタ、 16 撮像部、 画像信号処理部、 18 画像信号処理部、 20 一時記憶部、 22 インターフェース部
26 表示部、 28 操作部、 30 制御部、 32 露出量制御部、 34 合焦制御部、 36 全体制御部。

Claims (4)

  1. 撮像レンズを通して入射する被写体光を光電変換し、電荷蓄積を行なって映像信号を生成する撮像素子と、
    前記撮像レンズを光軸に平行に移動させる駆動手段と、
    前記映像信号の解析及び前記撮像レンズの移動を繰り返して前記撮像レンズの合焦位置を検出する合焦制御手段と、
    前記光電変換による映像信号の生成のための電荷蓄積に要する時間及び前記撮像レンズの移動に要する時間の和が、内部垂直期間のn倍(nは整数)以下であれば、前記撮像レンズの移動を前記内部垂直期間のn倍ごとに行わせ、
    前記光電変換による映像信号の生成のための電荷蓄積に要する時間及び前記撮像レンズの移動に要する時間の和が、内部垂直期間のn倍(nは整数)よりも大きければ、前記撮像レンズの移動を前記内部垂直期間の2n倍ごとに行わせる制御手段と
    を備えた電子スチルカメラ。
  2. 前記光電変換による映像信号の生成のための電荷蓄積に要する時間及び前記撮像レンズの移動に要する時間の和が、内部垂直期間のn倍(nは整数)よりも大きければ、前記撮像レンズの移動を前記内部垂直期間の2n倍ごとに行わせ、前記撮像レンズが移動していない状態で前記電荷蓄積を行わせることを特徴とする請求項1に記載の電子スチルカメラ。
  3. 前記光電変換による映像信号の生成のための電荷蓄積に要する時間及び前記撮像レンズの移動に要する時間の和が、内部垂直期間のn倍(nは整数)よりも大きい場合には、
    前記撮像レンズの移動を前記内部垂直期間のn倍ごとに行わせ合焦位置を含む範囲を特定するための粗調整を行わせ、
    前記粗調整の後、前記撮像レンズの移動を前記電荷蓄積と重ならないように、かつ前記祖調整により特定された範囲内で行わせることにより合焦位置の特定を行わせる
    ことを特徴とする請求項1に記載の電子スチルカメラ。
  4. 前記制御手段は、前記撮像素子から出力される映像信号に基いて前記電荷蓄積のための時間を決定することを特徴とする請求項1乃至3のいずれかに記載の電子スチルカメラ。
JP2005060230A 2005-03-04 2005-03-04 電子スチルカメラ Expired - Fee Related JP4159557B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005060230A JP4159557B2 (ja) 2005-03-04 2005-03-04 電子スチルカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005060230A JP4159557B2 (ja) 2005-03-04 2005-03-04 電子スチルカメラ

Publications (2)

Publication Number Publication Date
JP2006243449A JP2006243449A (ja) 2006-09-14
JP4159557B2 true JP4159557B2 (ja) 2008-10-01

Family

ID=37049914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005060230A Expired - Fee Related JP4159557B2 (ja) 2005-03-04 2005-03-04 電子スチルカメラ

Country Status (1)

Country Link
JP (1) JP4159557B2 (ja)

Also Published As

Publication number Publication date
JP2006243449A (ja) 2006-09-14

Similar Documents

Publication Publication Date Title
JP4444927B2 (ja) 測距装置及び方法
JP5054583B2 (ja) 撮像装置
CN101360190B (zh) 摄影装置和摄影装置的控制方法
EP2698658A1 (en) Image pickup apparatus, semiconductor integrated circuit and image pickup method
KR20070086061A (ko) 카메라 및 카메라의 화상처리방법
JP2006162991A (ja) 立体画像撮影装置
JP4516035B2 (ja) 合焦位置決定方法および装置
JP2011135185A (ja) 撮像装置
JP2006243372A (ja) カメラ
JP5011235B2 (ja) 撮影装置及び撮影方法
JP5290557B2 (ja) 撮像装置及び撮像方法
JP4715200B2 (ja) 電子カメラ
JP4315341B2 (ja) 流し撮り方法および撮影装置
JP2020012879A (ja) 撮像素子、焦点検出装置、撮像方法、および焦点検出方法
JP2007225897A (ja) 合焦位置決定装置及び方法
JP2007212723A (ja) 合焦位置決定方法および装置
JP5618765B2 (ja) 撮像装置及びその制御方法
JP4925168B2 (ja) 撮像方法および装置
CN106993110B (zh) 摄像设备及其控制方法
JP4046276B2 (ja) デジタルカメラ
JP6672006B2 (ja) 撮像装置
JP2008158028A (ja) 電子スチルカメラ
JP4159557B2 (ja) 電子スチルカメラ
JP2007334242A (ja) デジタルカメラ
WO2019146164A1 (ja) 撮像装置、撮像方法、及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080715

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080715

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees