JP4207555B2 - 電子カメラ - Google Patents

電子カメラ Download PDF

Info

Publication number
JP4207555B2
JP4207555B2 JP2002364487A JP2002364487A JP4207555B2 JP 4207555 B2 JP4207555 B2 JP 4207555B2 JP 2002364487 A JP2002364487 A JP 2002364487A JP 2002364487 A JP2002364487 A JP 2002364487A JP 4207555 B2 JP4207555 B2 JP 4207555B2
Authority
JP
Japan
Prior art keywords
image
file
correction
electronic camera
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002364487A
Other languages
English (en)
Other versions
JP2004200818A (ja
Inventor
剛一郎 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2002364487A priority Critical patent/JP4207555B2/ja
Publication of JP2004200818A publication Critical patent/JP2004200818A/ja
Application granted granted Critical
Publication of JP4207555B2 publication Critical patent/JP4207555B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、電子カメラにおいて、撮像素子に結像する像の光路中に付着した異物などによる、撮影後の画像データに対する影響を軽減するための補正データの保持方法に関する。
【0002】
【従来の技術】
撮像素子を利用する電子カメラでは、撮像素子の像面近傍の光路中に異物が存在すると、その近傍での正確な画像認識あるいは画像の再現をできなくなる。このため、清掃などにより撮像素子の像面光路上に異物が付着しないようにすることが望まれるが、完全に異物の付着を排除することは困難である。また、異物が付着している画像データを取得した場合、カメラに装着されている液晶モニターでは、モニターの大きさが小さく、画像を全表示して確認することは困難である(例えば、特許文献1参照)。ズーム機能をつけて異物の存在が確認できる大きさに画像を拡大しても、その状態で画像全体をくまなく調査することは、面倒かつ不便である。
【特許文献1】
特開2001−157087号公報
【0003】
【発明が解決しようとする課題】
像面近傍の光路中に異物が存在した場合、この異物によって、正しい画像データが得られないという問題が生じる。そこで、本出願人は、撮像素子の像面近傍に異物が存在する場合でも、画像処理を施すことで異物が存在しない状態と同等の画像データを得る方法を出願した。しかしながら、画像処理では過剰補正する可能性もある。このため、ユーザによっては、画像処理を施さない原画像データを保存することを好むことが考えられる。従って、ユーザの意図にあわせた画像処理、画像保存を行うことが望ましい。しかしながら、従来は、その手段を選択できるものはなかった。
【0004】
そこで、本発明は、異物消去の画像補正を可能とし、且つ、その画像補正にかかわるファイルを適切に保存できる電子カメラを提供することを目的とする。
【0005】
【課題を解決するための手段】
本発明の電子カメラは、筐体内に設けられ、被写体の撮像画像を生成する撮像部と、筐体に設けられ、筐体の内部を暗箱状態に設定する遮光部と、筐体内に設けられた照明用光源と、暗箱状態にされた筐体の内部で照明用光源から発せられた光により、撮像部の撮像面に投影された異物包含画像を撮像し、異物包含画像に基づいて、異物消去の画像補正のための補正データを生成する異物検出部と、補正データに基づいて、撮像画像に画像補正を施す異物補正部と、撮像画像を撮像画像のファイルとして記録媒体に記録し、個々のファイルのヘッダに補正データ、または画像補正の状況を記録する記録部とを備えていることを特徴とする。
【0006】
なお、好ましくは、記録部が、撮像画像のファイルのヘッダに、撮像画像に画像補正を施したか否かを記録しても良い。
また、好ましくは、記録部が、撮像画像のファイルのヘッダに補正データを記録し、ファイルの画像データ領域に画像補正後の画像データを記録しても良い。
【0007】
また、好ましくは、記録部が、撮像画像のファイルのヘッダに補正データを記録し、ファイルの画像データ領域には原画像を記録しても良い。
【0008】
また、好ましくは、記録部が、原画像ファイルのヘッダに、参照する補正用データファイルを識別するための参照記号を記録することにより、両ファイルを関連付けても良い。
また、好ましくは、画像データを補正する時に利用する補正データを、作成あるいは修正することを選択する手段を備えていても良い。
【0009】
また、好ましくは、画像を記録するファイルの構成として、撮像画像のファイルのヘッダに、撮像画像に画像補正を施したか否かを記録するモードと、撮像画像のファイルのヘッダに補正データを記録し、ファイルの画像データ領域に画像補正後の画像データを記録するモードと、撮像画像のファイルのヘッダに補正データを記録し、ファイルの画像データ領域には原画像を記録するモードと、画像データ領域に原画像の画像データを有する原画像ファイルと、原画像ファイルのヘッダに、参照する補正用データファイルを識別するための参照記号を記録することにより、両ファイルを関連付けるモードとを記録部が有し、複数のモードのいずれかを選択する手段を電子カメラが備えていても良い。
【0010】
撮像素子の撮像面を暗箱状態の中に置き、暗箱の中に設置した光源から撮像面に向けて光を照射すると、異物が存在する領域では異物が存在しない領域と異なる色で撮像面に認識される。従って、この暗箱状態で撮影した場合には異物だけが映った画像データを、補正データとして得ることができる。そして、撮影された原画像データに対して、補正データを用いた画像処理を施すことで、擬似的に撮像光路近傍に異物がない画像データを得ることができる。また、画像処理を行う際に、画像のヘッダ部分に、位置、補正色の情報や参照記号を挿入することで、画像保存の方法に幅を持たせる。このようにすれば、ユーザの選択肢は増え、ユーザの利便性は向上する。
【0011】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。
図1は、本実施形態における電子カメラ1の構成図である。図において、電子カメラ1は、カメラ本体2に、撮影レンズユニット4を装着し、記録媒体6を接続することで構成されている。カメラ本体2は、遮光板8、シャッターボタン11、画像補正モードボタン12、撮像素子13、CPU14、補正データを記録可能な記録メモリ36(後述する図2参照)、及び画像データを保存するためのデータ記録部15、照明用光源16を有している。
【0012】
CPU14は、電子カメラ1のシステムコントロールを行う。
照明用光源16は、筐体状であるカメラ本体2内の下部に配設されている。照明用光源16は、白色光を発光するLEDからなり、撮像光軸の真下に位置し、撮像素子13に向けられている。照明用光源16は、常時OFF状態で、後述のように異物を検出しようとする時、オン状態にされ、撮像素子13の撮像面を全面に亘って照らすことができる。
【0013】
図2は撮像素子13により得られた画像データの処理を示す流れ図である。以下、撮像から画像データの記録までの処理の流れを簡単に説明する。
まず、ユーザは、補正データを利用して画像処理を施すか否かを、予め画像補正モードボタン12によって選択しておく。
次に、公知の動作で、撮像素子13は露光される。
【0014】
次に、撮像素子13より得られた原画像データは、A/D変換器32でデジタルデータに変換された後、画像データとして画像処理部35にデータ転送される。
次に、画像処理部35は、画像データに、画像補正モードボタン12によって選択された画像処理を施す。このとき、画像処理部35は、演算装置34、及び記録メモリ36に保存されている補正用のデータを用いる。
【0015】
最後に、データ記録部15は、画像処理部35で画像処理を施された画像データを、記録媒体6に記録する。
図3は、画像補正モードボタン12によって、選択することができる画像補正処理の説明図である。本実施形態では、一例として、第1〜第5の5つの画像補正処理モードを有する場合について説明する。
【0016】
図3(a)は、1つのファイルのヘッダに、画像処理を施したか否かを記述し、その記述にしたがった画像データを有する第1モードを示している。画像補正が行われる場合、画像処理部35は、記録メモリ36に格納されている補正データファイル内の補正用画像データに基づいて、撮像素子13より得られた原画像データに画像補正処理を施す。そして、ヘッダに『画像補正処理を施した』という情報を有し、画像補正処理を施された画像データを有する1つのファイルが作成される。原画像は、例えば、撮像素子13より得られた原画像データに対応する。
【0017】
また、画像補正が行われない場合、ヘッダに『画像補正処理を施されていない』という情報を有し、上述の画像補正処理を施されていない画像データを有する1つのファイルが作成される。従って、この場合、通常の画像処理(公知のホワイトバランス調整、輪郭強調、ガンマ補正等。本実施形態では説明を省略)に加えて、ヘッダに画像補正処理をしていないことのみを記述すればよい。
【0018】
図3(b)は、1つの画像データで構成される第2モードを示している。第2モードでは、画像データは、上述の画像補正処理を施したものである。さらに、第2モードでは、補正する画素位置、補正色の情報を、ファイルのヘッダ部に付加する。
図3(c)は、1つの画像データで構成される第3モードを示している。第3モードでは、画像データは、上述の画像補正処理を施す前の原画像データである。さらに、第3モードでは、補正する画素位置、補正色の情報を、ファイルのヘッダ部に付加する。第2及び第3モードでは、補正データは、例えば、ファイルのヘッダ部に付加される画素位置、補正色の情報に対応する。
【0019】
図3(d)は、各原画像データ毎に2つのファイルを利用する第4モードを示している。第4モードでは、1つのファイルを原画像ファイルとし、もう一つのファイルを補正データファイルとするものである。原画像ファイルは、撮像素子13により得られた原画像データを保存したものである。補正データファイルは、ヘッダ部に補正する画素位置、補正色の情報を付加され、補正に利用する補正用画像データを有するファイルである。補正用画像データは、例えば、記録メモリ36に予め格納されている。そして、原画像ファイルと補正データファイルは、それぞれ並列に作成され、データ記録部37により、例えば、記録媒体6内の1つのフォルダ内に記録される。第4モードでは、補正データは、例えば、補正データファイルのヘッダ部に付加される画素位置、補正色の情報と、補正用画像データとに対応する。
【0020】
図3(e)は、第5モードを示している。第5モードでは、画像処理部35は、原画像データを有する1つの原画像ファイルのヘッダに、どの補正画像データファイルを参照して補正するかの情報を付加する。また、別ファイルとして、参照される補正用画像データを有する補正データファイルを作成しておく。ただし、参照する補正データファイルを示す記号は、数字、日付、ファイル名、フォルダ名などいずれでも可能である。第5モードでは、補正データファイルは、原画像ファイルに1対1で対応する必要はない。即ち、複数の原画像ファイルが、同じ1つの補正データファイルを参照する場合もある。原画像ファイルが記録媒体6に記録するに際して、この原画像ファイルのヘッダに示されている補正データファイルがすでに記録媒体6に存在する場合、この補正データファイルを再度記録する必要はない。この補正データファイルが記録媒体6中に存在しない揚合だけ、この補正データファイルは記録される。
【0021】
なお、第5モードでは、補正データファイルのヘッダに、この補正データファイルがどの原画像ファイル(複数の場合もある)の画像補正に使用されるかの情報を付加してもよい。この場合、1つの補正データファイルを用いて、複数の原画像ファイルの画像補正を一括して行うことが可能となり、処理時間を短縮できる。
【0022】
また、第5モードでは、補正データは、例えば、原画像ファイルのヘッダ部に付加される、どの補正画像データファイルを参照して補正するかの情報、及び補正データファイルに対応する。
さらに、画像補正モードボタン12は、記録メモリ36に既に入っている補正データファイルを消去したり、新規に補正データファイルを作成したりするための第6モードを選択可能である。第6モードでは、新規に補正データファイルを作成するばかりではなく、記録メモリ36に既に入っている補正データファイル、または新規に作成した補正データファイル内の画像データを、データ記録部15によって記録媒体6に記録することができる。
【0023】
さらに、画像補正モードボタン12は、補正データファイルを作成したり撮像面に対して、どの位置に異物が存在するのか確認するための第7モードを選択可能である。第7モードでは、記録メモリ36に記録されている補正データを画像データとして扱う。そして、例えば、画像データにおけるどの位置に異物が存在するのかをカメラ本体2のモニタ(図示せず)に映し出す。電子カメラ1に装着されているモニタでは、異物そのものを映し出しても、確認するのが困難である。異物そのものの形状は問題ではなく、撮像面上での位置を知ることができればよい。
【0024】
ここで、上述した「記録メモリ36に保存されている補正用画像データの作成方法について説明する。まず、画像補正モードボタン12により、電子カメラ1を第8モードに設定する。次に、遮光板8により、撮像素子13の撮像面は、暗箱の中に置かれた状態と等しくされる。この後、CPU14は、第1の画像認識手段と、第2の画像認識手段と、異物検出手段とにより、以下のように補正用画像データを作成する。
【0025】
第1の画像認識手段は、暗箱状態にされたカメラ本体2の内部で照明用光源16から発せられた拡散光により撮像素子13上に生成された第1の画像に対応する第1の画像信号(基準画像信号)を認識するものである。
第2の画像認識手段は、暗箱状態にされたカメラ本体2の内部で照明用光源16から発せられた拡散光により撮像素子13上に生成された第2の画像に対応する第2の画像信号(検査画像信号)を認識するものである。ここで、第2の画像は、検査すべき画像で、第1の画像に異物の影を加えたものである。
【0026】
異物検出手段は、第1の画像認識手段からの第1の画像信号の波形と第2の画像認識手段からの第2の画像信号の波形とを比較し、第2の画像信号が第1の画像信号にその濃度値より高い濃度値のノイズ成分(異物の影に相当する)を重畳したものである場合、異物を検出する。
【0027】
このように、撮像素子13の撮像面を暗箱状態の中に置き、暗箱の中に設置した照明用光源16から撮像面に向けて光を照射すると、異物が存在する領域では異物が存在しない領域と異なる色で撮像面に認識される。従って、この暗箱状態で撮影した場合には異物だけが映った画像データを、上述した補正用画像データとして得ることができる。
【0028】
なお、補正用画像データの作成は、出荷前に既に行われているものであるが、ユーザ自身が後から行うことも可能である。また、電子カメラ1を購入後したユーザに依頼されたサービスセンタが行う場合もある。
以上、本実施形態の電子カメラ1では、画像記録時にすでに画像補正を行って保存したり、ユーザが後でアプリケーションなどを利用して画像補正できるように保存したりといった、ユーザの意図に合わせた画像補正方法を選択することができる。また、撮影した画像データを保存する際に、補正データを撮影した画像データと関連付けて保存することができるので、ユーザの利便性は向上する。
【0029】
なお、本実施形態では、電子カメラがレンズ交換型の一眼レフレックス電子カメラである例を述べた。本発明は、かかる実施形態に限定されるものではない。例えば、レンズシャッタ式電子カメラ、レンズ一体型一眼レフレックス電子カメラでもよい。
また、機械的スイッチである画像補正モードボタン12により、画像補正方法を選択したり、補正データファイルを作成するモードを選択する例を述べた。本発明は、かかる実施形態に限定されるものではない。例えば、機械的スイッチの代わりに、アプリケーションなどでパラメータの設定項目を設け、設定する手段によって画像補正方法を選択してもよい。
【0030】
本実施形態においては、照明用光源の数は1個であり、異物に対して拡散光の照らす方向は一方向になっている例を述べた。本発明は、かかる実施形態に限定されるものではない。例えば、複数の光源を用い、異物への拡散光の照射方向を複数方向にすることにより、異物の、撮像光軸から見た撮像素子13上に投影した複数の位置を正確に割り出し、より正確に補正してもよい。
【0031】
【発明の効果】
本発明によれば、画像記録時にすでに画像補正を行って保存したり、ユーザが後でアプリケーションなどを利用して画像補正できるように保存したりといった、ユーザの意図に合わせた画像補正方法を選択できる。
【図面の簡単な説明】
【図1】本発明の電子カメラの構成図である。
【図2】撮像素子により得られた画像データの処理を示す流れ図である。
【図3】画像補正モードボタンにより選択可能な画像ファイルの構成模式図である。
【符号の説明】
1 電子カメラ
2 カメラ本体
4 撮影レンズユニット
6 記録媒体
8 遮光板
11 シャッターボタン
12 画像補正モードボタン
13 撮像素子
14 CPU
15 データ記録部
16 照明用光源
32 A/D変換器
34 演算装置
35 画像処理部
36 記録メモリ

Claims (7)

  1. 筐体内に設けられ、被写体の撮像画像を生成する撮像部と、
    前記筐体に設けられ、前記筐体の内部を暗箱状態に設定する遮光部と、
    前記筐体内に設けられた照明用光源と、
    暗箱状態にされた前記筐体の内部で前記照明用光源から発せられた光により、前記撮像部の撮像面に投影された異物包含画像を撮像し、前記異物包含画像に基づいて、異物消去の画像補正のための補正データを生成する異物検出部と、
    前記補正データに基づいて、前記撮像画像に前記画像補正を施す異物補正部と、
    前記撮像画像を撮像画像のファイルとして記録媒体に記録し、個々の該ファイルのヘッダに前記補正データ、または前記画像補正の状況を記録する記録部と
    を備えていることを特徴とする電子カメラ。
  2. 請求項1記載の電子カメラにおいて、
    前記記録部は、前記撮像画像のファイルのヘッダに、前記撮像画像に前記画像補正を施したか否かを記録する
    ことを特徴とする電子カメラ。
  3. 請求項1記載の電子カメラにおいて、
    前記記録部は、前記撮像画像のファイルのヘッダに前記補正データを記録し、前記ファイルの画像データ領域に前記画像補正後の画像データを記録する
    ことを特徴とする電子カメラ。
  4. 請求項1記載の電子カメラにおいて、
    前記記録部は、前記撮像画像のファイルのヘッダに前記補正データを記録し、前記ファイルの画像データ領域には原画像を記録する
    ことを特徴とする電子カメラ。
  5. 請求項1記載の電子カメラにおいて、
    前記記録部は、原画像ファイルのヘッダに、参照する補正用データファイルを識別するための参照記号を記録することにより、両ファイルを関連付ける
    ことを特徴とする電子カメラ。
  6. 請求項1記載の電子カメラにおいて、
    画像データを補正する時に利用する補正データを、作成あるいは修正することを選択する手段を備えている
    ことを特徴とする電子カメラ。
  7. 請求項1記載の電子カメラにおいて、
    前記記録部は、画像を記録するファイルの構成として、
    前記撮像画像のファイルのヘッダに、前記撮像画像に前記画像補正を施したか否かを記録するモードと、
    前記撮像画像のファイルのヘッダに前記補正データを記録し、前記ファイルの画像データ領域に前記画像補正後の画像データを記録するモードと、
    前記撮像画像のファイルのヘッダに前記補正データを記録し、前記ファイルの画像データ領域には原画像を記録するモードと
    原画像ファイルのヘッダに、参照する補正用データファイルを識別するための参照記号を記録することにより、両ファイルを関連付けるモードと
    を有し、
    複数の記モードのいずれかを選択する手段を備えている
    ことを特徴とする電子カメラ。
JP2002364487A 2002-12-16 2002-12-16 電子カメラ Expired - Fee Related JP4207555B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002364487A JP4207555B2 (ja) 2002-12-16 2002-12-16 電子カメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002364487A JP4207555B2 (ja) 2002-12-16 2002-12-16 電子カメラ

Publications (2)

Publication Number Publication Date
JP2004200818A JP2004200818A (ja) 2004-07-15
JP4207555B2 true JP4207555B2 (ja) 2009-01-14

Family

ID=32762302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002364487A Expired - Fee Related JP4207555B2 (ja) 2002-12-16 2002-12-16 電子カメラ

Country Status (1)

Country Link
JP (1) JP4207555B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7990412B2 (en) 2004-11-01 2011-08-02 Hewlett-Packard Development Company, L.P. Systems and methods for correcting image perspective
JP4794888B2 (ja) * 2005-04-01 2011-10-19 キヤノン株式会社 眼科撮影装置及び撮影方法
JP4590355B2 (ja) * 2006-01-12 2010-12-01 キヤノン株式会社 画像処理装置及び画像処理方法及びプログラム
JP4678860B2 (ja) * 2006-01-24 2011-04-27 キヤノン株式会社 撮像装置及びその制御方法とプログラム
JP4899954B2 (ja) * 2007-03-14 2012-03-21 株式会社ニコン カメラ
JP2008244868A (ja) * 2007-03-27 2008-10-09 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体

Also Published As

Publication number Publication date
JP2004200818A (ja) 2004-07-15

Similar Documents

Publication Publication Date Title
US6791608B1 (en) Digital camera and dirt position detecting method for digital camera
CN101001318B (zh) 图像拍摄设备及其控制方法
JP4590355B2 (ja) 画像処理装置及び画像処理方法及びプログラム
US7619666B2 (en) Image processing apparatus, control method therefor, and program correcting image data based on foreign substance information and inhibiting such correction
US8238690B2 (en) Image processing apparatus, control method therefor, and program
US7990419B2 (en) Image processing apparatus, method, and program storing a correction or modification log
JP4207555B2 (ja) 電子カメラ
US8576306B2 (en) Image sensing apparatus, image processing apparatus, control method, and computer-readable medium
JPS5928145A (ja) 放射線画像再生装置
JP3595406B2 (ja) 電子現像型カメラ
JP4960852B2 (ja) 画像処理装置及びその制御方法及びレンズ交換式一眼レフデジタルカメラ及びプログラム
JP2000196954A (ja) 写真フィルム画像識別装置及びカメラ
JP2007336433A (ja) デジタルカメラにおける画像欠陥の解消又は軽減方法
JP3093882B2 (ja) カメラ及び写真プリント装置
JP3375484B2 (ja) 電子現像型カメラ
JP2008042348A (ja) 画像処理装置及び画像処理方法及び撮像装置及びプログラム
RU22249U1 (ru) Устройство для печатания мультиформатных изображений на светочувствительной пленке
JP2009093103A (ja) カメラ、およびコンバーターレンズ
KR20100073766A (ko) 디지털 촬영장치 및 그 제어방법
JP2008244868A (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JPH08307767A (ja) 写真画像情報記録装置
KR101427652B1 (ko) 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
JP5094571B2 (ja) 撮像装置及びその制御方法及びプログラム
JP2004239665A (ja) プリンタ画質測定システム
JP2005348377A (ja) 撮像装置、撮像装置の制御方法、制御プログラム及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080930

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081013

R150 Certificate of patent or registration of utility model

Ref document number: 4207555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141031

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141031

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141031

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees