JP3849333B2 - デジタルスチルカメラ - Google Patents

デジタルスチルカメラ Download PDF

Info

Publication number
JP3849333B2
JP3849333B2 JP37559598A JP37559598A JP3849333B2 JP 3849333 B2 JP3849333 B2 JP 3849333B2 JP 37559598 A JP37559598 A JP 37559598A JP 37559598 A JP37559598 A JP 37559598A JP 3849333 B2 JP3849333 B2 JP 3849333B2
Authority
JP
Japan
Prior art keywords
value
maximum
image
gain
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP37559598A
Other languages
English (en)
Other versions
JP2000184272A (ja
Inventor
修二 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP37559598A priority Critical patent/JP3849333B2/ja
Publication of JP2000184272A publication Critical patent/JP2000184272A/ja
Application granted granted Critical
Publication of JP3849333B2 publication Critical patent/JP3849333B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、デジタルスチルカメラに関し、特に的確な露出制御を行って、画質を極力向上させることのできるデジタルスチルカメラに関する。
【0002】
【従来の技術】
電子技術の向上に伴い、撮像した画像をデジタルデータに変換して記憶するデジタルスチルカメラが開発され、既に市販されている。ユーザーは、デジタルスチルカメラにより撮像した画像を、たとえば自分のパソコンのディスプレイに表示でき、またプリンタを介してプリントできるため、その応用範囲は広いものとなっている。
【0003】
【発明が解決しようとする課題】
ところで、銀塩フィルムを使用するいわゆる銀塩カメラに対するデジタルスチルカメラの問題点の一つは、CCDのダイナミックレンジが狭いということである。わかりやすい例で示せば、同一被写体を同条件で、デジタルスチルカメラと銀塩カメラとで撮像した場合、一般的に、デジタルスチルカメラにより撮像された画像は、銀塩カメラにより撮像されたものに対してコントラストが弱いため、明るい領域は白っぽくなり(飛んでしまい)、暗い領域は黒っぽくなる(つぶれてしまう)傾向がある。従って、デジタルスチルカメラにおいて、高画質な画像を得るためには、露出量をいかに適切に調整するかが、きわめて重要な問題となる。
【0004】
本発明は、かかる従来技術の問題点に鑑み、撮像手段のダイナミックレンジを極力活用すると共に、適切に露出量の調整を行うことができるデジタルスチルカメラを提供することを目的とする。
【0005】
【課題を解決するための手段】
上述の目的を達成すべく、本発明のデジタルスチルカメラは、
被写体像を、画素値からなる画像データに変換する撮像手段と、
前記撮像手段から得られた画像データの内、最大の画素値を検出する検出手段と、
前記画素値に対するゲインを変更するゲイン変更手段と、を有し、
前記最大の画素値が、画素の出力可能な最大値を下回るとき、前記ゲイン変更手段は、該出力可能な最大値に対する出力中央値以下のゲインは変更せず、前記最大の画素値を画素の出力可能な最大値に変更し、前記出力中央値から変更後の最大の画素値の間のゲインをなだらかに変化するように変更することを特徴とする。
【0008】
【作用】
本発明のデジタルスチルカメラによれば、被写体像を、画素値からなる画像データに変換する撮像手段と、前記撮像手段から得られた画像データの内、最大の画素値を検出する検出手段と、前記画素値に対するゲインを変更するゲイン変更手段と、を有し、前記最大の画素値が、画素の出力可能な最大値を下回るとき、前記ゲイン変更手段は、該出力可能な最大値に対する出力中央値以下のゲインは変更せず、前記最大の画素値を、画素の出力可能な最大値に変更し、前記出力中央値から変更後の最大の画素値の間のゲインをなだらかに変化するように変更するので、それにより画質を向上させることが可能となる。
【0011】
【発明の実施の形態】
以下、本発明による実施の形態を、図面を参照して説明する。
図1は、本実施の形態にかかるデジタルスチルカメラの構成を示すブロック図である。図1において、撮影レンズ1により受光面に光学像を結像された撮像素子であるCCD2は、光学像に対応したアナログ信号を出力する、いわゆる光電変換を行うものであり、A/D変換装置3は、CCD2から入力されたアナログ信号をデジタル信号に変換して出力するものである。尚、本実施の形態にかかるA/D変換回路3においては、光電変換手段2に入射した光の強度が高いほど、大きな値のデジタル信号に変換されるものとする。かかるA/D変換回路3を介して得られた画像データは、一旦、画像用メモリ4に記憶される。
【0012】
画像用メモリ4に記憶された画像データは、制御手段であるMPU5によって各種の画像処理が施され、最終的には、MPU5に接続されたメモリカード等の不揮発性メモリ6に記憶される。尚、MPU5は、内蔵電池等の電源7から電力供給を受け、インタフェース装置8を介してIrDA(赤外線通信)やシリアル通信等を利用して、外部と通信できるようになっている。又、MPU5は、パワースイッチ16のオン操作により動作を開始し、レリーズボタン10からのレリーズ信号を受信して、図示しないシャッタ装置を駆動して撮影を行うようになっている。更に、MPU5は、液晶モニタ等の画像表示装置(表示手段)9を駆動制御して、画像の表示を行わせるようになっている。また、MPU5は、ストロボ装置13から、ストロボ照射光を照射でき、AE(自動露出装置)11を駆動して絞り11aの開放量を制御することができる。
【0013】
更に、図1に示すデジタルスチルカメラは、赤外線測距装置20を有している。赤外線測距装置20は、赤外線を照射し、更に被写体から反射した赤外線を検出し、その時間差に基づいて被写体までの距離を測定する機能を有する。しかしながら、たとえば超音波を用いて測距を行う測距装置を使用することもできる。
【0014】
赤外線測距装置20は、測定した測距値を、内部に記憶されているテーブルに照らし合わせて、撮影レンズ1の合焦位置を求め、モータ12に駆動信号を出力する。モータ12は、その駆動信号に応じて、赤外線測距装置20により求められた合焦位置へと撮影レンズ1を移動させるようになっている。
【0015】
ところでCRTは、明度が明るい領域はより明るく、暗い領域はより暗く表示する特性を有している。従って、人間の目で見て、画像が自然に(リニアに)見えるように、実際得られた画像データを変換してやる必要がある。そこで、MPU5は、画像用メモリ4に記憶された画像データを、所定の関数に基づいて変換を行って、不揮発性メモリ6に記録することができる。かかる処理を階調補正処理といい、所定の関数をガンマカーブと呼ぶ。理想的なガンマカーブを図2に示す。図2における横軸は、画素に入射する光の量(入力値)であり、縦軸は、MPU5において階調補正処理後の画像データであって、最大値を1とした場合の割合である。
【0016】
本実施の形態の特徴は、画像データに含まれる画素値の最大値(いわゆるピーク値)を検出することにより、適正露光に必要な露光補正量を変化させることにある。この制御により、ピーク値が低い被写体(低コントラスト被写体)に対してはオーバー露光で、ピーク値が多い被写体(高コントラスト被写体)に対してはアンダー露光で撮像される。このため、CCDのダイナミックレンジを有効に利用できるようになるのである。尚、以下の処理は、MPU5内で行われるようになっている。
【0017】
まず、画像の10%以上のエリアが飽和している場合は、式(1)で求める露光補正量M_Shiftに−PEAK_MAX[EV]を加えて真の露光補正量(Shift)を求める(式2)。なお、PEAK_MAXは固定値とする。
Figure 0003849333
【0018】
画像の10%以上のエリアが飽和していない場合は、累積ヒストグラムの発生率95%の輝度データを用いる。この値と、予め決められたピーク目標値との差(P_Shift)を求める(式(3))。
Figure 0003849333
【0019】
このP_Shiftと、式(1)で求めた露光補正量M_Shiftを利用し、真の露光補正量(Shift)を求める(式(4)〜式(7))。
Figure 0003849333
なお、暗いときこの処理は行なわない。
【0020】
取り込んだ画像の階調特性を最適にするために、階調補正処理が行なわれる。具体的な階調補正処理は、信号処理で使用する階調補正LUTのデータを変更することにより行われる。このLUTは入カ10bit、出力8bitのテーブルとなる。実際には、カメラが記憶している基本のガンマカーブを操作することで実現する。階調補正処理には、傾き変更処理、ダーククリップ処理、ニー処理がある。
【0021】
露出がオーバーめに撮像された画像(低コントラストの被写体)に対しては、ガンマカーブを抑え、露出がアンダーめに撮像された画像(高コントラストの被写体)に対しては、ガンマカーブを膨らます。ここでは、階調カーブ補正量(C_Shift[EV])を算出し、基本のガンマカーブの傾きを増減する。式(1)からM_Shift、式(3)からP_Shiftを求め、以下の計算式を用いることで算出する。ただし、C_Shiftを大きくすると、ノイズも増幅されるので、リミッタを設ける(C_Shift[EV]<2[EV])。
【0022】
Figure 0003849333
【0023】
このことにより、低コントラストの被写体に対しては、階調性が高く、S/N特性が向上した画像になる。均一被写体などに対しては、明るめの画像になる。また、高コントラストの被写体に対してはダイナミックレンジが広がる。
【0024】
尚、累積ヒストグラムを使用して、発生率5%の輝度データの2/3の輝度データが0になるように、ガンマカーブをシフトすることができる。また、ガンマカーブを単に膨らますのみでは、広いダイナミックレンジを確保することができなくなってしまう。このために、高輝度部の圧縮率を向上させる、いわゆるニー処理を行なってもよい。このことで、ハイライト部のコントラストが低下し、ダイナミックレンジを拡大することとなる。
【0025】
以下、より具体的に本実施の形態を説明する。図3は、本実施の形態による階調補正処理の具体例を示した図である。たとえば主要被写体に対して適切な露光量を調整して、撮像を行った場合において、入力値と出力値との関係は、図3(a)に示すガンマカーブ上の関係を有しているとする。図3(a)によれば、その画素値の最大値Xは、かかる画素が出力可能な最大値(1)となっていない。従って、かかる状態で画像データを出力すると、ダイナミックレンジを有効に利用できず、結果としてコントラストの弱い画像が形成される恐れがある。
【0026】
そこで、本実施の形態においては、露光量を増大させて、再度CCD2から画像データを採取する。ここで露光量の増大量は、図3(b)に示すように、階調補正処理後のデータにおいて、最大の画素値Xが、かかる画素が出力可能な最大値(1)に等しくなるように設定される。それによりダイナミックレンジを有効に利用することができ、全体の画質を向上させることができる。
【0027】
一方、図3(a)において、主要被写体が存在すると推定されるのは、出力可能な最大値(1)のほぼ1/2(中央値とする)に対応する、ガンマカーブ上の点Aである。かかる主要被写体の明度として適切と考えられるのは、かかる画素が出力可能な最大値(1)のほぼ1/2(中央値とする)であるため、点Aは固定させるべきである。
【0028】
ところが、上述したようにダイナミックレンジをフルに活用するために露光量を増大させたため、主要被写体の露光量も増大して、適切とされる中央値より点Aが高くなってしまう。そこで、本実施の形態においては、図3(c)に示すごとく、点Xの位置は不変としつつ、点Aが中央値に一致するように、ガンマカーブを変更する(へこませる)。このようにすることにより、ダイナミックレンジをフルに活用しながらも、主要被写体の露光量を適切に調整することが可能となる。
【0029】
図4は、第2の実施の形態による階調補正処理の具体例を示した図である。たとえば主要被写体に対して適切な露光量を調整して、撮像を行った場合において、入力値と出力値との関係は、図4(a)に示すガンマカーブ上の関係を有しているとする。図4(a)によれば、画素値X1からX2までが、かかる画素が出力可能な最大値(1)となっており、すなわちかかる範囲で画素は飽和状態となっている。従って、かかる状態で画像データを出力すると、画素値X1からX2までの範囲では、明度が同一であるため画像が実質的に形成されないこととなる。
【0030】
そこで、本実施の形態においては、露光量を減少させて、再度CCD2から画像データを採取する。ここで露光量の減少量は、図4(b)に示すように、階調補正処理後のデータにおいて、最大の画素値X2が、かかる画素が出力可能な最大値(1)に等しくなるように設定される。具体的には、露光量を減少させつつ繰り返し画像データを取得し、画素値X2が飽和値をわずかに下回るまで行う。それにより画素値X1は、最大値より下方に移動するため、画素値X1からX2までの範囲で、コントラストは弱いものの明確な画像を形成することができる。
【0031】
一方、図4(a)において、主要被写体が存在すると推定されるのは、出力可能な最大値(1)のほぼ1/2(中央値とする)に対応する、ガンマカーブ上の点Aである。かかる主要被写体の明度として適切と考えられるのは、かかる画素が出力可能な最大値(1)のほぼ1/2(中央値とする)であるため、点Aは固定させるべきである。
【0032】
ところが、上述したように露光量を減少させたため、主要被写体の露光量も減少して、点Aが中央値より低くなってしまう。そこで、本実施の形態においては、図4(c)に示すごとく、画素値X2の位置は不変としつつ、点Aが中央値に一致するように、ガンマカーブを変更する(膨らませる)。このようにすることにより、ダイナミックレンジをフルに活用しながらも、主要被写体の露光量を適切に調整することが可能となる。
【0033】
上述の実施の形態によれば、露出量を変更することにより、ダイナミックレンジを有効に活用しつつ、主要被写体の画質を向上させることができる。これに対し、以下に述べる第3の実施の形態においては、画素値に対するゲインを変更して、画像データを調整するようにする。
【0034】
図5は、本実施の形態による階調補正処理の具体例を示した図である。たとえば主要被写体に対して適切な露光量を調整して、撮像を行った場合において、MPU5における入力値と出力値との関係は、図5の実線に示す関係を有しているとする。図5によれば、その画素値の最大値Xは、かかる画素が出力可能な最大値(1)となっていない。従って、かかる状態で画像データを出力すると、ダイナミックレンジを有効に利用できず、結果としてコントラストの弱い画像が形成される恐れがある。
【0035】
ところで、全体の画素値に対するゲインを増大させて、たとえば最大の画素値Xが、かかる画素が出力可能な最大値(1)に等しくなるように設定することは可能である。ところが、かかるゲインの増大により、低輝度側の画素値も増大するため、ダイナミックレンジは広くならず、また低輝度側の画素値にノイズがのって画質が低下する恐れがある。
【0036】
そこで、本実施の形態によれば、低輝度側の画素値に対するゲインは変えずに、高輝度側の画素値のみに対するゲインを増大させるようにする。しかしながら、たとえば出力中央値である点Aのところで高輝度側と低輝度側とを分けて、デジタル的にゲインを増大させるようにすると、画像が不自然なものとなる恐れがある。
【0037】
そこで、本実施の形態においては、高輝度側のゲインを輝度値に応じた可変量とし、図5の点A(及びそれ以下)ではゲイン増大値は0として、点Xではゲイン増大値をGとすることにより、一点鎖線で示すごとく、点Aから点Xにかけてガンマカーブがなだらかに変化するようにして、画素値に重み付けを施している。
【0038】
かかる本実施の形態によれば、コントラストの高い被写体に対しては、ダイナミックレンジをフルに活用でき、それにより画質を向上させることができる。一方、低輝度側においては、ゲインを増大させないことから、いわゆるS/N比が高くなって、画質を向上させることができる。更に、ゲインを変更しても点Aの位置は不変であるから、主要被写体の画質をも向上させることができる。
【0039】
図6は、第4の実施の形態による階調補正処理の具体例を示した図である。たとえば、ストロボを用いた撮影時においては、人物等の主要被写体からは、ストロボ照射光に基づく比較的大量の反射光が戻ってくるが、遠方の背景等にかかる部分については、反射光が戻ってこないことが多い。従って、ストロボ照射時に得られた最大の画素値Xに対応する画像は、主要被写体であることが多い。
【0040】
そこで、本実施の形態においては、最大の画素値Xを、かかる画素が出力可能な最大値(1)の1/2又はその近傍となるように、ゲインをgだけ減少させる。このようにゲインを減少することにより、画質が最も良好とされる領域に、主要被写体にかかる画素値を調整することが可能となり、それにより主要被写体に関して、画質を向上させることができる。一方、かかる処理により、背景等の画像に関しては、露光量が低下して黒くつぶれる恐れはあるが、主要被写体に比して高画質の要求は高くないため、特に問題は生じないと考えられる。
【0041】
以上、本発明を実施の形態を参照して説明してきたが、本発明は上記実施の形態に限定して解釈されるべきではなく、適宜変更・改良が可能であることはもちろんである。
【0042】
【発明の効果】
本発明のデジタルスチルカメラによれば、被写体像を、画素値からなる画像データに変換する撮像手段と、前記撮像手段から得られた画像データの内、最大の画素値を検出する検出手段と、前記画素値に対するゲインを変更するゲイン変更手段と、を有し、前記最大の画素値が、画素の出力可能な最大値を下回るとき、前記ゲイン変更手段は、該出力可能な最大値に対する出力中央値以下のゲインは変更せず、前記最大の画素値を、画素の出力可能な最大値に変更し、前記出力中央値から変更後の最大の画素値の間のゲインをなだらかに変化するように変更するので、それにより画質を向上させることが可能となる。
【図面の簡単な説明】
【図1】本実施の形態にかかるデジタルスチルカメラの構成を示すブロック図である。
【図2】理想的なガンマカーブを示す図である。
【図3】第1の実施の形態による階調補正処理の具体例を示した図である。
【図4】第2の実施の形態による階調補正処理の具体例を示した図である。
【図5】第3の実施の形態による階調補正処理の具体例を示した図である。
【図6】第4の実施の形態による階調補正処理の具体例を示した図である。
【符号の説明】
1 撮影レンズ
2 CCD
3 A/D変換装置
4 画像用メモリ
5 MPU
6 不揮発性メモリ
7 電源(電池)
8 インタフェース装置
9 画像表示装置(LCD)
10 レリーズボタン
11 測光装置
11a 絞り
12 モータ
13 ストロボ
16 パワースイッチ
20 赤外線測距装置

Claims (1)

  1. 被写体像を、画素値からなる画像データに変換する撮像手段と、
    前記撮像手段から得られた画像データの内、最大の画素値を検出する検出手段と、
    前記画素値に対するゲインを変更するゲイン変更手段と、を有し、
    前記最大の画素値が、画素の出力可能な最大値を下回るとき、前記ゲイン変更手段は、該出力可能な最大値に対する出力中央値以下のゲインは変更せず、前記最大の画素値を画素の出力可能な最大値に変更し、前記出力中央値から変更後の最大の画素値の間のゲインをなだらかに変化するように変更することを特徴とするデジタルスチルカメラ。
JP37559598A 1998-12-17 1998-12-17 デジタルスチルカメラ Expired - Fee Related JP3849333B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP37559598A JP3849333B2 (ja) 1998-12-17 1998-12-17 デジタルスチルカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP37559598A JP3849333B2 (ja) 1998-12-17 1998-12-17 デジタルスチルカメラ

Publications (2)

Publication Number Publication Date
JP2000184272A JP2000184272A (ja) 2000-06-30
JP3849333B2 true JP3849333B2 (ja) 2006-11-22

Family

ID=18505768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP37559598A Expired - Fee Related JP3849333B2 (ja) 1998-12-17 1998-12-17 デジタルスチルカメラ

Country Status (1)

Country Link
JP (1) JP3849333B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3805259B2 (ja) 2002-01-29 2006-08-02 富士写真フイルム株式会社 画像処理方法、画像処理装置及び電子カメラ
JP2006191324A (ja) * 2005-01-05 2006-07-20 Nikon Corp ディジタルカメラ
JP2007027967A (ja) * 2005-07-13 2007-02-01 Fujifilm Holdings Corp 撮影装置
US8154628B2 (en) 2006-09-14 2012-04-10 Mitsubishi Electric Corporation Image processing apparatus and imaging apparatus and method
JP4402710B2 (ja) 2007-09-18 2010-01-20 オリンパス株式会社 撮像装置
JP2009094675A (ja) * 2007-10-05 2009-04-30 Sony Corp 撮像装置、画像信号処理回路、および画像信号処理方法、並びにコンピュータ・プログラム
CN101868967B (zh) * 2007-11-19 2013-06-26 富士通株式会社 摄像装置以及摄像方法
JP5120414B2 (ja) * 2010-04-26 2013-01-16 株式会社ニコン 電子カメラおよび画像処理プログラム

Also Published As

Publication number Publication date
JP2000184272A (ja) 2000-06-30

Similar Documents

Publication Publication Date Title
JP4240023B2 (ja) 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム
JP4289259B2 (ja) 撮像装置及び露出制御方法
JP5249077B2 (ja) 撮像装置及び画像処理方法
US7486884B2 (en) Imaging device and imaging method
US8059187B2 (en) Image capturing apparatus
JP4736939B2 (ja) 撮像装置及び画像処理方法
JP2007027967A (ja) 撮影装置
JP2007082181A (ja) 撮像装置及び画像処理方法
JP2010232711A (ja) 撮像装置および画像処理プログラム
JP3849333B2 (ja) デジタルスチルカメラ
JP6873679B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP5371719B2 (ja) 撮像装置およびその制御方法
KR20090095920A (ko) 디지털 이미지 촬영 장치, 상기 장치의 노출 제어 방법,디지털 이미지 촬영 방법 및 상기 디지털 이미지 촬영방법을 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는매체
JP4285668B2 (ja) 撮像装置及びその露出制御方法並びに記録媒体
JP4458194B2 (ja) 撮像装置及びその露出制御方法並びに記録媒体
JP2018181070A (ja) 画像処理装置および画像処理方法
JP5473582B2 (ja) 画像処理装置、方法及びプログラム
JPH05122599A (ja) ビデオカメラ用露出制御装置
JP5587045B2 (ja) 撮像装置及びその制御方法
JP4274207B2 (ja) 撮像装置及びその露出制御方法並びに記録媒体
JP4789776B2 (ja) 撮像装置及び撮像方法
JP7309508B2 (ja) 撮像装置、その制御方法とプログラム
US8121473B2 (en) Imaging apparatus
JP2011035740A (ja) 撮像装置及び撮像方法
JP5929019B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060821

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100908

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110908

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130908

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees