JP4731845B2 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP4731845B2
JP4731845B2 JP2004199350A JP2004199350A JP4731845B2 JP 4731845 B2 JP4731845 B2 JP 4731845B2 JP 2004199350 A JP2004199350 A JP 2004199350A JP 2004199350 A JP2004199350 A JP 2004199350A JP 4731845 B2 JP4731845 B2 JP 4731845B2
Authority
JP
Japan
Prior art keywords
exposure
value
image
image signal
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004199350A
Other languages
English (en)
Other versions
JP2006025012A5 (ja
JP2006025012A (ja
Inventor
勝 川村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004199350A priority Critical patent/JP4731845B2/ja
Publication of JP2006025012A publication Critical patent/JP2006025012A/ja
Publication of JP2006025012A5 publication Critical patent/JP2006025012A5/ja
Application granted granted Critical
Publication of JP4731845B2 publication Critical patent/JP4731845B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置及び撮像方法に関し、特に露出制御に関するものである。
カメラ内部に搭載されたCPU(中央演算装置)によって予め設定された撮影モード(例えば、操作者が設定した絞りを優先して露出制御を行う絞り優先撮影モードや、操作者が設定したシャッター速度を優先して露出制御を行うシャッター速度優先撮影モードや、人物を撮影するのに適した露出制御を行うポートレードモード等があげられる)に応じて露出量が自動的に決定されるカメラが提供されている。
また、得られた輝度信号より自動演算した適正露出値に対して、露出補正設定用のダイヤルやスイッチを操作することで、操作者が任意の露出補正を設定できる露出補正機能を有するカメラが提供されている。
撮像素子としてCCDや、CMOSなどの光を電気信号に変える光電変換素子を使用した電子カメラにおいては、被写体の輝度を測定する為の測光センサーとして、この撮像素子を兼用しているものもある。
撮像素子の出力から被写体の輝度信号や色信号や先鋭度といったデータ等を抽出しており、これらのデータを基に、自動露出制御(以下AEという)やホワイトバランス制御(以下AWBという)やオートフォーカス制御(以下AFという)を行っている。
撮像素子の出力は画像信号として処理され、LCD等の電子ビューファインダー(以下EVFという)によって操作者が視覚的に認識できる画像として表示される(例えば、特許文献1参照)。
EVFに、本撮影時の撮像素子の出力に露出制御を行った画像を表示することにより、本撮影時に得られる画像の露出状態の良し悪しを推測することが可能となる。
自動露出制御では、まず既に設定されている絞り値(以下Avという)、シャッター速度値(以下Tvという)に従って露出制御を行った状態で、撮像素子に露光が行われる。撮像素子の出力は既に設定されているGainを制御することで決定する撮像感度値(以下Svという)で増幅され、画像処理装置に入力される。CPUは画像処理装置で抽出された画像の輝度信号を取り込み、基準値である適正信号レベルと比較し、その差分を現在設定されている露出値に反映させて露出値を再度設定する。
以下に、従来のカメラでの自動露出制御および露出補正方式の例について、図6のフローチャートをもとに説明する。
まず、ステップS200において露出補正制御モードに入ったら、撮像素子からの画像をEVFに更新しないよう、EVF表示更新を停止する。
次に、ステップS201に移行して、測光を開始するために、現在、+2段の露出補正が設定されているので、露出補正値を0にし、適正露出設定を行う。このとき、撮像素子の露光条件が変わるが、ステップS200でEVF表示の更新を停止しているため、操作者には輝度変化は認識されない。
ステップS202において露出補正が0になった露出条件で、撮像素子の露光を行い、ステップS205で、露光が完了したら、撮像素子から画像信号を読み出し、ステップS206にて画像信号処理回路で被写体の輝度信号を抽出し、その輝度値を求める。そして、求まった輝度値と被写体の輝度信号が適正となる輝度値との差を算出する。
そして、ステップS207で、その輝度差を露出差に換算し、その露出差が適正範囲内かを判断する。もし適正範囲内でないなら、ステップS208に移行し、その露出差に基づき露出変更を行い、ステップS202において再度、測光のための露光を行う。
また、もし適正範囲内であるなら、ステップS203に移行し、このときの露出値に露出補正値を加味して露出値の変更を行い、ステップS204で撮像素子から得られる画像をEVFに更新するよう、EVF表示更新再開し、レリーズ等の割り込み動作が入るまで測光及び、露出制御を繰り返す。
前記従来例を、露出補正設定が+2段とし、露出の初期値をEv8、露出補正後の適正露出値をEv10、被写体の適正露出値がEv15とすると、露出補正を反映した目標となる露出値はEv13となる。
前記フローチャートにもとづく動作を行ったとき、撮像素子の露光と、撮像素子からの画像信号の読み出しと、測光演算と、露出制御と、EVF表示の関係を図7に示し、このときの自動露出制御の収束していく様子を図8に示す。図中の英字は、撮像素子が露光した画像信号の順序を示したものである。
図7に図示したが、EVF表示更新停止期間は、露光bからoの14回の露光分については、EVFに表示されず、aの露光分のみが表示されたままになる。例えば1秒間に30フレームといったフレームレートの場合には、1回の露光および読み出し期間は1/30秒になり、図7の例では、14×(1/30)≒0.47(秒)となる。
また、図8に示したとおり、制御開始のEv8をEVF表示していたが、前記のとおりEVFが更新されず、次に表示がされるのは最終露出値Ev13と、急激に輝度変化してしまう。
このように、適正露出で測光を行った場合、測光期間においては、制御開始から制御終了の露出補正値が反映された画像が表示されるまで、EVF表示画面が更新されず、その前後でEVF表示画面の明るさが変わるので、操作者に違和感を与えるといった欠点があった。
仮に図8において表示更新を毎回行っていたとしても、補正露出値Ev8で制御を開始して、目標値がEv13である。最終的にpで値は収束するのだが、aから毎回表示を更新していったと仮定すると、露出補正設定が+2段であるため、最後にEv15であるnから目標値であるEv13であるpまで露出を補正する必要があり、表示が一旦、暗くなりまた明るくなるので一気に表示するよりも見苦しいといった欠点があった。
本発明は、前述の問題点に鑑みてなされたものであり、EVF表示の急激な輝度変化を避け、操作者に違和感を与えないような、EVF表示をすることを目的とする。
上述の課題を解決し目的を達成するために、本発明の撮像装置は、被写体を撮像して画像信号を取得する撮像手段と、前記撮像手段により取得された画像信号に基づいて前記被写体の輝度値を測定する測光手段と、前記測光手段により測定された輝度値に基づく露出値が目標露出値となるように露出制御を行う露出制御手段と、前記目標露出値を変更するための露出補正値を設定する露出補正手段と、前記撮像手段により取得された画像信号に基づく画像を予め定められた間隔で表示更新する表示手段とを有し、前記露出制御手段は、前記測光手段による前記被写体の輝度値の測定に用られる画像信号を前記撮像手段が取得する際には、前記露出補正値を加味せずに露出制御を行うとともに、前記測光手段による前記被写体の輝度値の測定に用いない画像信号を前記撮像手段が取得する際には、露出値を前記露出補正値が加味された前記目標露出値に段階的に収束させていく露出制御を行い、前記表示手段は、前記測光手段による前記被写体の輝度値の測定に用られる画像信号に基づく画像は表示しないことを特徴とする。
上述の課題を解決し目的を達成するために、本発明の撮像装置の制御方法は、被写体を撮像し画像信号取得する撮像工程と、前記撮像工程で取得された画像信号に基づいて前記被写体の輝度値を測定する測光工程と、前記測光工程で測定された輝度値に基づく露出値が目標露出値となるように露出制御を行う露出制御工程と、前記目標露出値を変更するための露出補正値を設定する露出補正工程と、前記撮像工程で取得された画像信号に基づく画像を予め定められた間隔で表示更新する表示工程とを有し、前記露出制御工程では、前記測光工程で前記被写体の輝度値の測定に用られる画像信号を前記撮像工程で取得する際には、前記露出補正値を加味せずに露出制御を行うとともに、前記測光工程で前記被写体の輝度値の測定に用いない画像信号を前記撮像工程で取得する際には、露出値を前記露出補正値が加味された前記目標露出値に段階的に収束させていく露出制御を行い、前記表示工程では、前記測光工程で前記被写体の輝度値の測定に用られる画像信号に基づく画像は表示しないことを特徴とする。
本発明によれば、測光時のみEVFの表示更新を停止して、適正露出に露出補正を加味した結果をEVFに段階的に更新して表示することで、表示画像の明るさの急激な変化を防ぐことができる。
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
(第1の実施形態)
図5は、本発明を実施したカメラのブロック図である。
同図において、100はレンズ、101はレンズを駆動する制御用のモータ、102は、そのモータドライバ、103は絞り、104は絞りを駆動する制御用のモータ、105は、そのモータドライバ、106は撮像素子の光電変換される電荷の蓄積時間を制御する電子シャッター駆動回路、107は入射光を光電変換する撮像素子、108は撮像素子から出力される信号の利得を変化させるAGCなどの信号増幅回路、109は画像信号処理回路、110は信号処理回路において処理された画像を表示するEVFやビデオ出力といった画像出力装置、111は演算処理を行うCPUである。
上記構成において、レンズ群を通過した光信号は、撮像素子で電気信号に変換され、信号増幅回路を経由し画像信号処理回路に入力される。画像信号処理回路では、このとき画像信号を画像出力装置に出力するとともに、このときの画像信号の輝度信号や色信号や先鋭度といったデータ等を抽出しており、これらをもとに、AEやAWBやAFを行っている。
次に、露出制御については、CPUから行われる。
まず絞りの制御だが、CPUから、Avにより、モータドライバ105を駆動することにより、モータ104が駆動され、絞り103の開閉制御を行っている。
電子シャッター速度の制御は、CPUから、Tvにより電子シャッター駆動回路を制御することにより、撮像素子107に蓄積される電荷の量が制御されることにより行っている。
信号増幅のGainは、CPUから、Svにより、信号増幅回路108を制御することにより、撮像素子からの信号を増幅されることにより行っている。
AEを行うには、信号処理回路に入力される信号から、そのときの輝度信号レベルを示す輝度レベル信号を抽出し、CPUに入力し、この信号を基に測光演算を行い被写体輝度(以下Bvという)を算出し、このBvと、SvとAv、Tv、Gainの関係を示した例えば図4のようなプログラム線図から、AvおよびTvおよびGainを求め、それぞれの制御値により、絞り・シャッター速度・ゲインを制御することにより行われる。
このように露出制御がなされた撮像素子からの信号は、信号処理回路で映像信号に処理され、電子ビューファインダーやビデオ出力といった画像出力装置に出力される。
このとき、本実施例においては、前記従来例と同様に、露出補正設定が+2段で、露出の初期値がEv8、被写体の適正露出値がEv15である場合を想定して説明する。
図1は本発明の実施例に係るフローチャートを示す。
このフローチャートを用い、本発明の実施例を説明する。なお、本フローチャートに入る前は、露出補正値が反映された露出値で露出制御がなされているとし、図2におけるCCD露光のaの状態である。
まず、ステップS100で、撮像素子からの画像をEVFに更新しないよう、EVF表示更新を停止する。
次に、ステップS101において測光を開始するために、現在、+2段の露出補正が設定されているので、露出補正値を0にし、適正露出設定を行う。この状態は、図2ではCCD露光のbの状態に対応している。このとき、フローチャートには記述していないが、CCD露光bの状態に入る直前に、CCDからの信号の読み出しが開始され、読み出された信号に画像処理を施しEVFに表示する。これはCCD読出しaおよびEVF表示aの状態であり、このとき読み出されるCCD信号は露出補正が反映された露出状態の画像が出力され、EVFに表示される。すなわち、CCD露光のbの状態ではEVF表示はaの状態となる。また、ステップS100とステップS101は並行で行われるため、CCD露光のcの状態でEVF表示される画像は表示更新を停止されており、EVF表示はaの状態のとなる。
このとき、CCD露光のbの状態ではCCD露光のaの状態から撮像素子の露光条件が変わるが、ステップS100でEVF表示の更新を停止しているため、操作者には輝度変化は認識されない。
ステップS102で、露出補正が0になった露出条件、すなわち、CCD露光のbの状態で撮像素子の露光を行い、露光が完了したら、ステップS103において、現在の露出値に露出補正値を加味して露出変更を行い(CCD露光のcの状態)、ステップ104で撮像素子からの画像をEVFに更新するよう、EVF表示更新再開する。EVF表示更新が再開されるため、CCD露光のdの状態でEVF表示される画像はこのときEVFに表示されている画像の輝度は、ステップS100時点と露出値が等しいため、輝度変化は起こらない。
ステップS103を行うとともに、ステップS102で、撮像素子から測光用に露光した画像信号を、ステップS105で読み出し、ステップS106において、画像信号処理回路で被写体の輝度信号を抽出し、その輝度値を求める。なお、前述したのと同様に、CCD露光cの状態に入る直前に、CCDから信号が読み出しを開始する。そして、求まった輝度値と被写体の輝度信号が適正となる輝度値との輝度差を算出する。
ステップS107で、その輝度差を露出差に換算し、その露出差が適正範囲内かを判断する。もし適正範囲内でないなら、ステップS108に移行し、その露出差に基づき露出変更を行い、ステップS109で、EVFの表示をその露出値に基づき更新する。
そして、露出値が目標となる適正露出値に到達すれば、最初のステップにもどり、引き続き測光及び、露出制御を繰り返し、到達しなければ目標となる適正露出値に到達するまで露出変更を行いEVF表示更新の動作を繰り返す。
なお、本実施例において、段階的に露出を変更しているのは、高画素の撮像素子を持つデジタルカメラはネガフィルムを使った銀塩カメラと違い、ダイナミックレンジが狭い為、適正露出範囲も狭く、一度の露出変更では被写体の適正露出にまで達することが難しい為である。この場合、現在の露出値から適正露出値までの間に目標露出値を設定し、露出変更で目標露出値に達すると測光演算を行い、一度の露出変更では被写体の適正露出にまで達することが難しければ再び目標露出値を設定する。また、EVFの表示サイクルは1回の露出制御の処理時間に比べ充分に早い為複数回に分けて表示が更新される。
本実施例である上記フローチャートにもとづく動作を行ったとき、撮像素子の露光と、撮像素子からの画像信号の読み出しと、測光演算と、露出制御と、EVF表示の関係を図2に示し、このときの自動露出制御の収束していく様子を図3に示す。図中の数字は、撮像素子が露光した画像信号の順序を示したものである。
図2に図示したが、EVF表示更新停止期間は、bとgとlの露光分についてのみとなり、それぞれの前に露光した分のみがEVFに表示されたままになる。従来例と同様に、例えば1秒間に30フレームといったフレームレートの場合には、1回の露光および読み出し期間は1/30秒になり、図2の例では、3×(1/30)=0.1(秒)がEVF表示更新停止期間となり、従来例にくらべ、21%程度に抑えられる。しかも、EVF表示更新停止期間が間欠的になり、1回のEVF表示更新停止期間は0.03(=1/30)秒と、最も短い期間になり、操作者が気づかない程度に改善されている。
また、図3に示したとおり、制御開始のEv8をEVF表示していたが、従来例では、EVFが更新されず、次に表示がされるのは最終露出値Ev13と、急激に輝度変化してしまっていたが、本実施例では、aからc、fからh、kからmの測光前後に着目すると、その間での露出値の変化は無いため、輝度変化が起こらない。なおかつ、収束に近づく画像の状態もEVF表示に反映されるため、操作者には非常に自然に見えるようになる。
従来例ならびに実施例において、説明を簡単にするために、測光時の輝度と適正時の輝度の差を、そのまま露出変更値にするという、フィードバックのゲインを1倍に設定している。しかし、実際には、絞りやシャッターやゲインなどの露出系のデバイスに、リニアリティがない場合が多々あるため、また被写体の輝度変化も起こるため、フィードバックのゲインが1倍であると、自動露出制御時にハンチングを起こし、制御が収束しない場合が容易に想定される。したがって、実際には、フィードバックのゲインを、例えば0.5倍に落とすなどしている。この場合、従来技術および本発明においても、最終露出に収束していく時間が延びることを意味するが、このことは従来技術においては、EVF表示更新停止期間が、より長引くことになるが、本発明では、EVF表示更新停止期間は、最も短い期間であるため、操作者にストレスを与えることは無い。
本発明の実施例における露出制御方法を示したフローチャートである。 本発明の実施例における露出制御方法のタイミングチャートである。 本発明の実施例における露出制御方法の露出の遷移状態を示した図である。 本発明の実施例における自動露出制御の測光時のプログラム線図である。 本発明の実施例におけるプログラム線図である。 従来例における露出制御方法を示したフローチャートである。 従来例における露出制御方法のタイミングチャートである。 従来例における露出制御方法の露出の遷移状態を示した図である。
符号の説明
100 レンズ
101 レンズを駆動する制御用のモータ
102 モータドライバ
103 絞り
104 絞りを駆動する制御用のモータ
105 モータドライバ
106 電子シャッター駆動回路
107 撮像素子
108 信号増幅回路
109 画像信号処理回路
110 画像出力装置
111 CPU

Claims (4)

  1. 被写体を撮像して画像信号を取得する撮像手段と、
    前記撮像手段により取得された画像信号に基づいて前記被写体の輝度値を測定する測光手段と、
    前記測光手段により測定された輝度値に基づく露出値が目標露出値となるように露出制御を行う露出制御手段と、
    前記目標露出値を変更するための露出補正値を設定する露出補正手段と、
    前記撮像手段により取得された画像信号に基づく画像を予め定められた間隔で表示更新する表示手段とを有し、
    前記露出制御手段は、前記測光手段による前記被写体の輝度値の測定に用られる画像信号を前記撮像手段が取得する際には、前記露出補正値を加味せずに露出制御を行うとともに、前記測光手段による前記被写体の輝度値の測定に用いない画像信号を前記撮像手段が取得する際には、露出値を前記露出補正値が加味された前記目標露出値に段階的に収束させていく露出制御を行い、
    前記表示手段は、前記測光手段による前記被写体の輝度値の測定に用られる画像信号に基づく画像は表示しないことを特徴とする撮像装置。
  2. 前記表示手段は、前記測光手段による前記被写体の輝度値の測定に用られる画像信号に基づく画像の代わりに、前記測光手段による前記被写体の輝度値の測定に用られる画像信号の直前に取得された画像信号に基づく画像を表示することを特徴とする請求項1に記載の撮像装置。
  3. 被写体を撮像して画像信号を取得する撮像工程と、
    前記撮像工程で取得された画像信号に基づいて前記被写体の輝度値を測定する測光工程と、
    前記測光工程で測定された輝度値に基づく露出値が目標露出値となるように露出制御を行う露出制御工程と、
    前記目標露出値を変更するための露出補正値を設定する露出補正工程と、
    前記撮像工程で取得された画像信号に基づく画像を予め定められた間隔で表示更新する表示工程とを有し、
    前記露出制御工程では、前記測光工程で前記被写体の輝度値の測定に用られる画像信号を前記撮像工程で取得する際には、前記露出補正値を加味せずに露出制御を行うとともに、前記測光工程で前記被写体の輝度値の測定に用いない画像信号を前記撮像工程で取得する際には、露出値を前記露出補正値が加味された前記目標露出値に段階的に収束させていく露出制御を行い、
    前記表示工程では、前記測光工程で前記被写体の輝度値の測定に用られる画像信号に基づく画像は表示しないことを特徴とする撮像装置の制御方法。
  4. 前記表示工程では、前記測光工程で前記被写体の輝度値の測定に用られる画像信号に基づく画像の代わりに、前記測光工程で前記被写体の輝度値の測定に用られる画像信号の直前に取得された画像信号に基づく画像を表示することを特徴とする請求項3に記載の撮像装置の制御方法。
JP2004199350A 2004-07-06 2004-07-06 撮像装置及びその制御方法 Expired - Fee Related JP4731845B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004199350A JP4731845B2 (ja) 2004-07-06 2004-07-06 撮像装置及びその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004199350A JP4731845B2 (ja) 2004-07-06 2004-07-06 撮像装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2006025012A JP2006025012A (ja) 2006-01-26
JP2006025012A5 JP2006025012A5 (ja) 2007-07-19
JP4731845B2 true JP4731845B2 (ja) 2011-07-27

Family

ID=35797996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004199350A Expired - Fee Related JP4731845B2 (ja) 2004-07-06 2004-07-06 撮像装置及びその制御方法

Country Status (1)

Country Link
JP (1) JP4731845B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5221931B2 (ja) 2007-10-31 2013-06-26 キヤノン株式会社 撮像装置及びその制御方法
JP2009206801A (ja) * 2008-02-27 2009-09-10 Fujifilm Corp 撮像システムおよびその調整方法
KR100992367B1 (ko) 2008-12-01 2010-11-04 삼성전기주식회사 자동 노출 제어 방법
CN105493492B (zh) 2013-09-09 2018-10-12 奥林巴斯株式会社 显示控制装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331688A (ja) * 1998-05-19 1999-11-30 Minolta Co Ltd デジタルカメラ

Also Published As

Publication number Publication date
JP2006025012A (ja) 2006-01-26

Similar Documents

Publication Publication Date Title
US8471935B2 (en) Imaging apparatus having an image correction function and method for controlling the same
JP2008187615A (ja) 撮像素子、撮像装置、制御方法、及びプログラム
JP2010147816A5 (ja)
JP2004236300A (ja) デジタルカメラ
JP2012217100A (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP5791765B2 (ja) 撮像装置及びその制御方法
JP2010068046A (ja) 撮像装置
JP4731845B2 (ja) 撮像装置及びその制御方法
JP6486093B2 (ja) 撮像装置、その制御方法、及びプログラム
JP4818130B2 (ja) 撮像装置及びその制御方法
US8149291B2 (en) Image capture apparatus, control method thereof, program, and storage medium
JP2013088446A (ja) 撮像装置
JP2015050733A (ja) 露出制御装置、その制御方法、および制御プログラム、並びに撮像装置
JP2008294972A (ja) 撮像装置及びその制御方法
JP4793141B2 (ja) 画像補正装置、カメラ及び画像補正用プログラム
JP2010164826A (ja) 測光装置、撮像装置および測光方法
JP2008205922A (ja) 撮影装置
JP2014022943A (ja) 撮像装置及びその制御方法、画像処理装置及びその制御方法
JP6852453B2 (ja) 画像信号処理装置および撮像装置
JP5228893B2 (ja) 撮像装置
JP2009135669A (ja) 撮像装置及びその制御方法
JP2023119719A (ja) 撮像装置およびその制御方法
JP2016092798A (ja) 撮像装置及び撮像装置の制御方法
JP5321310B2 (ja) 撮像装置
JP4645078B2 (ja) 撮像装置の輝度信号増幅量調整装置及び輝度信号増幅量調整方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070605

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090729

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100830

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110412

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110420

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees