JP2000236480A - 撮像装置およびシェーディング補正方法 - Google Patents

撮像装置およびシェーディング補正方法

Info

Publication number
JP2000236480A
JP2000236480A JP11037610A JP3761099A JP2000236480A JP 2000236480 A JP2000236480 A JP 2000236480A JP 11037610 A JP11037610 A JP 11037610A JP 3761099 A JP3761099 A JP 3761099A JP 2000236480 A JP2000236480 A JP 2000236480A
Authority
JP
Japan
Prior art keywords
correction
light receiving
incident
optical system
receiving element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11037610A
Other languages
English (en)
Other versions
JP3733771B2 (ja
Inventor
Fumiko Uchino
文子 内野
Mutsuhiro Yamanaka
睦裕 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP03761099A priority Critical patent/JP3733771B2/ja
Publication of JP2000236480A publication Critical patent/JP2000236480A/ja
Application granted granted Critical
Publication of JP3733771B2 publication Critical patent/JP3733771B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Picture Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Facsimile Heads (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Abstract

(57)【要約】 【課題】 CCDに形成されたマイクロレンズの影響に
より光学系の状態の変化に対して複雑に変化するシェー
ディングを補正することができない。 【解決手段】 CCDの受光素子への光束の入射方向と
補正係数との関係を補正情報として準備し(ステップS
11)、光学系の状態から補正の対象となる受光素子へ
の光束の入射方向を求める(ステップS12)。そし
て、求めた入射方向から補正情報を参照して補正係数を
求め(ステップS13)、補正の対象となる受光素子か
らの出力を補正する(ステップS14)。これにより、
受光素子への光束の入射方向の影響を受けて複雑に変化
する出力の低下、すなわち、画像中に生じるシェーディ
ングを適切に補正することができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、例えば、デジタ
ルカメラ、ビデオカメラ等のようにマイクロレンズが形
成されて配列配置される複数の受光素子を有する撮像装
置およびこのような撮像装置におけるシェーディング補
正方法に関する。
【0002】
【従来の技術】従来より、電気的信号にて画像を取得す
るために複数の受光素子を配列配置したデバイスである
CCD(Charge Coupled Device)が利用されている。さ
らに近年、CCDの高解像度化を実現するために個々の
受光素子の大きさを縮小し、1つのCCDに多数の受光
素子を配列する技術が研究されている。
【0003】ここで、受光素子の縮小化はCCDの感度
の低下および出力電圧の低下をもたらす。そこで、各受
光素子に微小なレンズ(以下、「マイクロレンズ」とい
う。)を積層し、受光部位に光を集光させることにより
CCDの感度の低下および出力電圧の低下を防止する技
術が開発されている。
【0004】
【発明が解決しようとする課題】マイクロレンズが形成
されたCCDを用いて撮影を行う場合、マイクロレンズ
の影響を受けて光の入射方向により受光素子からの出力
が大きく変化する。一般的には、CCDの周縁部の受光
素子では光が傾斜して入射し、CCDの中央部の受光素
子に比べて周縁部の受光素子からの出力が低下する。そ
の結果、得られる画像の周縁部の輝度が低下するという
いわゆるシェーディングが発生する。そこで、このよう
なシェーディングをなくす技術の開発が求められてい
る。
【0005】図31ないし図33はこのようなマイクロ
レンズの影響によるシェーディングの発生の様子を説明
するための図である。ただし、光学系のレンズによる周
辺光量落ちおよび受光素子の光電変換特性のばらつきは
ないものとする。図31はCCD900上の光軸中心Z
に対する左右方向の端点Ca,Cbおよび上下方向の端
点Cc,Cdの位置を示す図である。
【0006】図32中の符号901にて示すグラフは、
CCD900を用いて均一照明された均一濃度の被写体
を撮影した場合の端点Ca,中心Z,端点Cbに沿う直
線上に並ぶ受光素子からの出力に応じた画像中の輝度分
布を示しており、中心Zに対して両端点Ca,Cbにお
ける輝度が低下する様子を示す。図33中の符号902
にて示すグラフは同様の条件で撮影を行った場合の端点
Cc,中心Z,端点Cdに沿う直線上に並ぶ受光素子か
らの出力に応じた画像中の輝度分布を示し、中心Zに対
して両端点Cc,Cdにおける輝度が低下する様子を示
す。
【0007】このように、マイクロレンズを有するCC
D900にて撮影を行う場合、画像の周縁部での輝度の
低下、すなわちシェーディングが顕著に発生する。
【0008】マイクロレンズによるシェーディングの影
響を取り除くには各受光素子からの出力の低下量を補正
することにより取り除くことができる。例えば、図32
における中心Zでの輝度を1とした場合に、端点Caで
の輝度がLaであったとすると、端点Caに位置する受
光素子の出力を1/La倍することにより端点Caにお
ける輝度を適正に補正することができる。また、図33
においても端点Ccにおける輝度がLcであるとする
と、端点Ccに位置する受光素子の出力を1/Lc倍す
ることにより端点Ccにおける輝度を適正に補正するこ
とができる。同様の補正を図32および図33に示すグ
ラフ901,902に基づいて各受光素子に行うことに
より両端点Ca,Cb間および両端点Cc,Cd間に並
ぶ受光素子からの出力が適正に補正され、図32および
図33中に符号903,904にて示すグラフのように
均一な輝度特性を得ることができる。
【0009】したがって、均一照明された均一濃度の被
写体を撮影した際に各受光素子からの出力が均一となる
ような補正を他の被写体の撮影時に行うことにより、他
の被写体の画像のシェーディングを補正することができ
る。
【0010】ところで、マイクロレンズによるシェーデ
ィングの発生はマイクロレンズの形状誤差および位置ず
れ、並びに撮影光学系の状態の影響を受ける。すなわ
ち、受光素子に入射する光束の光束中心の方向(3次元
ベクトルにて表現可能な方向)に応じて受光素子からの
出力は複雑に変化するとともに光学系の絞りの状態によ
っても複雑に変化する。その結果、ある光学系の状態で
均一照明された均一濃度の被写体を撮影して得られるシ
ェーディング補正のための情報は、光学系が同様の状態
であるときの撮影画像の補正にしか用いることができな
い。
【0011】この発明は上記課題に鑑みなされたもので
あり、光学系の状態の影響を受けて複雑に変化するシェ
ーディングに対して適切に補正を行うことができる撮像
装置およびシェーディング補正方法を提供することを目
的としている。
【0012】なお、マイクロレンズの影響によるシェー
ディングの度合いは撮影レンズの瞳位置や絞りの状態に
よって変化する。瞳位置は撮影レンズの焦点距離および
繰り出し量により変化し、さらに、撮影レンズの種類に
よっても異なる。したがって、ズームレンズを使用する
場合や一眼レフ方式のように複数のレンズユニットが使
用できるカメラにおいては瞳位置と絞りの組合せは膨大
な量となり、光学系の全ての状態に対応した補正のため
の膨大な情報を予め記憶しておくことは現実には不可能
である。
【0013】そこで、この発明は光学系の状態の影響を
受けて複雑に変化するシェーディングを限定された基本
情報に基づいて適切に補正することができる撮像装置を
提供することも目的としている。
【0014】
【課題を解決するための手段】請求項1の発明は、被写
体からの光を所定の受光面へと導く光学系と、それぞれ
にマイクロレンズが形成された複数の受光素子を前記受
光面に配列配置し、当該複数の受光素子からの出力に基
づいて前記被写体の画像を取得する撮像手段と、受光素
子に入射する光束の入射方向と当該受光素子からの出力
に対する補正係数との関係である補正情報を予め記憶す
る補正情報記憶手段と、前記受光面に複数の基準位置が
設定されており、前記光学系の状態を示す情報に基づい
て基準位置に入射する光束の入射方向を取得する入射方
向取得手段と、基準位置への光束の入射方向および前記
補正情報に基づいて当該基準位置に関連する受光素子か
らの出力を補正する補正手段とを備える。
【0015】請求項2の発明は、請求項1に記載の撮像
装置であって、前記補正情報が、前記光学系の所定のレ
ンズ配置において、前記受光面上の位置と当該位置へと
入射する光束の入射方向との関係を示す補正用入射角情
報と、前記所定のレンズ配置において前記受光面上の位
置に関連づけられた補正係数の集合である補正テーブル
とを有する。
【0016】請求項3の発明は、請求項2に記載の撮像
装置であって、前記補正手段が、基準位置に対応する前
記補正テーブル上の位置に近接する複数の補正係数を内
挿することにより、当該基準位置における補正係数を求
める手段を有する。
【0017】請求項4の発明は、請求項1ないし3のい
ずれかに記載の撮像装置であって、光束が前記光学系の
光軸に漸次近づく場合と漸次離れる場合の2つの補正情
報が準備されており、前記入射方向取得手段により取得
される入射方向に基づいて前記2つの補正情報のうちの
1つが選択される。
【0018】請求項5の発明は、請求項1ないし4のい
ずれかに記載の撮像装置であって、前記光学系のレンズ
配置および絞りに関する複数の状態における前記受光面
上の光軸中心からの距離と入射光束の前記光軸に対する
傾きとの関係を示す複数の基本テーブルを記憶する手段
をさらに備え、前記入射方向取得手段が、前記複数の基
本テーブルを内挿することにより、前記光学系の撮影時
の状態における基準位置に入射する光束の入射方向を取
得する。
【0019】請求項6の発明は、請求項1ないし5のい
ずれかに記載の撮像装置であって、前記光学系の全部ま
たは一部が交換可能な交換ユニットとされ、前記補正手
段による補正に利用される値であって交換ユニットの種
類に固有のものを当該種類に対応付けて記憶するユニッ
ト変数記憶手段をさらに備える。
【0020】請求項7の発明は、請求項1ないし5のい
ずれかに記載の撮像装置であって、前記光学系の全部ま
たは一部が交換可能な交換ユニットとされ、前記交換ユ
ニットが、前記補正手段による補正に利用される値であ
って前記交換ユニットの種類に固有のものを記憶する手
段を有する。
【0021】請求項8の発明は、請求項1ないし7のい
ずれかに記載の撮像装置であって、前記補正手段が、前
記複数の基準位置の補正係数をノイズ成分を与えつつ補
間することにより前記複数の受光素子に対応する補正係
数を求める手段を有する。
【0022】請求項9の発明は、所定の受光面に配列配
置されるとともにそれぞれにマイクロレンズが形成され
た複数の受光素子を有し、被写体からの光を光学系を介
して当該複数の受光素子へと導くことにより当該被写体
の画像を取得する撮像装置において、取得される画像の
シェーディングを補正するシェーディング補正方法であ
って、受光素子に入射する光束の入射方向と当該受光素
子からの出力に対する補正係数との関係である補正情報
を準備する工程と、前記受光面に複数の基準位置が設定
されており、前記光学系の状態を示す情報に基づいて基
準位置に入射する光束の入射方向を取得する工程と、基
準位置への光束の入射方向および前記補正情報に基づい
て当該基準位置に関連する受光素子からの出力を補正す
る工程とを有する。
【0023】
【発明の実施の形態】<1. 発明の原理>マイクロレ
ンズを有するCCDにて撮影を行う場合、CCDの各受
光素子からの出力はマイクロレンズの影響を受けて複雑
に変化する。また、マイクロレンズの形状はCCDの個
体ごとに誤差を有しており、マイクロレンズの影響によ
るシェーディングの発生を一層複雑なものとしている。
なお、一般的には1つのCCD内の各マイクロレンズの
形状はある程度均一となるように形成される。
【0024】ここで、マイクロレンズの影響によるシェ
ーディングとは、光をCCDへと導く光学系の状態の影
響を受けるシェーディングをいい、光学系の状態の影響
を受けないシェーディング(例えば、光電変換特性のば
らつきに起因する感度ムラ)を除いたものをいう。以下
の説明では、「マイクロレンズの影響によるシェーディ
ング」のことを適宜、単に、「シェーディング」とい
う。
【0025】図1(a)ないし(d)は1つの受光素子
10の構造を示す図であり、図1(a)は平面図であ
り、図1(b)ないし(d)は縦断面図である。図1
(a)および(b)に示すように、1つの受光素子10
は基台11上に受光部12を有しており、この受光部1
2での受光感度を増すために受光部12を覆うマイクロ
レンズ13が形成される。
【0026】1つの受光素子10において、撮影光学系
(以下、単に「光学系」という。)のレンズ配置の変化
により図1(b)ないし(d)にて示すように入射する
光束の光束中心Lの方向(以下、「光束の入射方向」と
いう。)が様々に変化する。これにより、入射する光束
が受光部12に対して様々な位置に集光される。このと
き、基台11上の集光範囲は光束の入射方向によっては
受光部12の上面に全て含まれるとは限らないことか
ら、光束の入射方向により受光素子10からの出力は複
雑に変化する。
【0027】図2(a)ないし(c)はCCDの個体ご
とに様々な形状に形成されたマイクロレンズ13の例を
示す図である。ここで、図2(a)または(b)に示す
ように、図1(b)に示す受光素子10に比べてマイク
ロレンズ13の高さが低かったり高かったりする場合に
は、入射する光束の集光範囲の大きさが変化する。その
結果、光束の入射方向と受光素子10からの出力との関
係は図1(b)に示すものと異なったものとなる。すな
わち、受光素子10からの出力の補正をCCDの個体ご
とに行う必要がある。
【0028】さらに、CCDの製造の際の誤差により、
マイクロレンズ13が図2(c)に示すように受光部1
2とずれて形成された場合には、入射光束の集光範囲と
受光部12の上面との重なりの度合いは光束の入射方向
(3次元ベクトルとして表現可能な入射方向)に大きく
依存する。したがって、単に、受光素子10が配列され
る面(以下、「受光面」という。)の法線と光束の入射
方向とがなす角(すなわち、入射光束の傾き)と受光素
子10からの出力に対する補正係数との関係を準備した
のでは、受光素子10からの出力を適切に補正すること
ができない。なお、補正係数とは、出力を適正な値に補
正する際に利用する値をいい、例えば、出力と掛け合わ
せることにより適正な出力となる係数をいう。
【0029】この発明では、マイクロレンズを有する受
光素子配列を用いた撮影の際に生じるシェーディングに
対して、光束の入射方向と受光素子の出力に対する補正
係数との関係を準備しておくことで適切な補正を実現し
ている。
【0030】図3はこの発明に係るシェーディング補正
方法の基本的流れを示す流れ図である。図3に示すよう
に、この発明では、光束の入射方向と受光素子の出力に
対する補正係数との関係が予め準備される(ステップS
11)。なお、マイクロレンズ13を有する受光素子1
0の場合、光学系の絞りを変化させると受光部12の上
面と集光範囲との重なりの程度が複雑に変化するが、画
像の撮影の際の絞りの状態に対応した補正情報がステッ
プS11にて準備されるものとする。
【0031】補正情報が準備されると、出力の補正対象
となる受光素子10への光束の入射方向が求められる
(ステップS12)。3次元ベクトルとして表現可能な
入射方向は、例えば、光学系のレンズの配置状態および
受光素子10のCCD上の位置から計算により求めるこ
とが可能である。なお、ステップS12における入射方
向を求める処理は、入射方向と同等な情報を求める処理
であってもよい。
【0032】補正情報は光束の入射方向と補正係数との
関係を示すものであることから、ステップS12にて求
められた入射方向から受光素子10の出力を補正するた
めの補正係数が求められる(ステップS13)。その
後、この補正係数に基づいて受光素子10からの出力を
補正することにより、適正な出力が得られる(ステップ
S14)。
【0033】以上に説明した補正をCCD上の全ての受
光素子10に対して実質的に行うことにより、CCDか
ら得られる画像に現れるマイクロレンズの影響によるシ
ェーディングに対して適切な補正が行われる。
【0034】<2. 第1の実施の形態> <2.1 デジタルカメラの全体構成>図4はこの発明の
第1の実施の形態に係る撮像装置であるデジタルカメラ
100の外観を示す斜視図である。デジタルカメラ10
0はカメラ本体を構成する本体部101に交換可能なレ
ンズユニット102を取り付けた構成となっている。
【0035】本体部101内部にはレンズユニット10
2により被写体の像が形成されるCCD111が設けら
れており、デジタルカメラ100の操作者がファインダ
用窓112から所望の被写体を覗きながらシャッタボタ
ン113を押すと被写体のデジタル画像がメモリスロッ
ト114内のメモリカードに記憶される。画像を記憶し
たメモリカードは操作者が取出ボタン115を押すこと
により本体部101から取り出すことができる。
【0036】図5はデジタルカメラ100の機械的構成
を示すブロック図である。レンズユニット102内には
被写体からの光LaをCCD111へと導き、CCD1
11上に被写体の像を形成するための撮影用の光学系1
21が格納されており、光学系121内の複数のレンズ
配置や絞りの状態がドライバ122により制御される。
【0037】CCD111、シャッタボタン113、メ
モリスロット114およびドライバ122は適宜インタ
ーフェイスを介する等してバスライン130に接続され
る。バスライン130にはさらに各種演算処理を行うC
PU131、基本的プログラムを記憶するROM13
2、補正に必要な情報を記憶するRAM133、CCD
111からの画像信号をデジタル画像信号に変換するA
/D変換回路134、および、画像のシェーディングを
補正するための補正回路135が適宜インターフェイス
を介する等して接続される。なお、補正回路135の機
能の全部または一部がCPU131、ROM132およ
びRAM133の動作により実現されてもよく、CPU
131、ROM132およびRAM133により実現さ
れる機能の全部または一部がハードウェア的に構築され
ていてもよい。
【0038】操作者がシャッタボタン113を押すとC
CD111からの信号がA/D変換回路134を介して
デジタル画像として取り込まれる。そして、この画像は
ドライバ122からの情報やRAM133内の情報に基
づいてCPU131や補正回路135によりシェーディ
ング補正され、メモリスロット114を介してメモリカ
ード114aに記憶される。
【0039】図6は図5に示すCPU131、ROM1
32、RAM133および補正回路135により行われ
るシェーディング補正動を機能ごとに分けて示すブロッ
ク図である。また、図6には図5に示したレンズユニッ
ト102、CCD111およびA/D変換回路134も
同様に示す。
【0040】図6に示すように、デジタルカメラ100
におけるシェーディング補正に係る機能構成は大きく補
正部140と入射角算出部150とに分けられる。
【0041】補正部140は画像のシェーディング補正
等を行うものであり、補正に必要な補正情報の生成も行
う。すなわち、図3に示す流れ図のステップS11,S
13およびS14の処理に相当する処理を行う。入射角
算出部150は補正の対象となる受光素子に入射する光
束の入射方向を求めるものであり、図3に示す流れ図の
ステップS12に相当する処理を行う。
【0042】さらに、補正部140は補正テーブル算出
部141、基準補正係数算出部142および補正係数補
間部143を有する。補正テーブル算出部141は実質
的に補正情報としての役割を果たす補正用入射角テーブ
ル144および補正テーブル145を生成し、ステップ
S11に相当する処理を行う。なお、これらのテーブル
の内容については後述する。基準補正係数算出部142
は基準となる所定の受光素子に入射する光束の入射方向
を入射角算出部150から受け取り、補正用入射角テー
ブル144および補正テーブル145を参照して基準補
正係数を求め、ステップS13に相当する処理を行う。
また、補正係数補間部143は求められた基準補正係数
を補間することにより全ての受光素子に対応する補正係
数を算出する。
【0043】入射角算出部150はドライバ122から
の情報を受けて後述する入射角テーブル152を生成す
る入射角テーブル算出部151を有する。そして、入射
角算出部150はこの入射角テーブル152を参照して
補正の対象となる受光素子への光束の入射方向に相当す
る情報を求め、ステップS12に相当する処理を行う。
【0044】以上、デジタルカメラ100の機械的構成
および機能的構成について説明してきたが、次に、デジ
タルカメラ100におけるシェーディング補正の具体的
動作について詳説する。
【0045】<2.2 シェーディング補正の動作>図7
はデジタルカメラ100におけるシェーディング補正動
作の概略を示す流れ図である。デジタルカメラ100で
は、CCD111の受光面を所定の矩形のブロックに予
め区分けしておき、各ブロックの中心(以下、「基準位
置」という。)に位置する受光素子に対応する補正係数
を基準補正係数として求める。その後、基準補正係数を
補間することにより、全ての受光素子に対応する補正係
数を求める。以下、図7を参照しながらシェーディング
補正動作について説明する。
【0046】<2.2.1 補正情報の生成>シェーディン
グ補正の準備として、まず、図6に示す補正テーブル算
出部141が補正用入射角テーブル144および補正テ
ーブル145を生成し、図5に示す記憶手段であるRA
M133に記憶する(ステップS21)。
【0047】補正用入射角テーブル144とは、光学系
121のレンズ配置や絞りの状態が所定の状態であると
きに、図8に示すようにCCD111の受光面と光学系
121の光軸121aとの交点(以下、「光軸中心」と
いう。)121bから補正の対象となる受光素子111
aまでの距離Rcと、入射光束の光束中心Lcと光軸1
21aとのなす角θ(光軸121aに対する光束の傾き
を表すいわゆる「軸外光の主光線角度」であり、θ>0
のときに光束中心Lcが光軸121aから漸次離れるも
のとする。)との関係を示すテーブルである。また、補
正テーブル145とは、光学系121が同様の所定の状
態であるときの受光素子111aの2次元座標にて表さ
れる位置と補正係数との関係を示すテーブルである。
【0048】なお、以下の説明における距離RcはCC
D111上の実際の距離を表しており、また、補正テー
ブル145中に2次元配列される補正係数の各格納位置
にはCCD111上の受光素子配列に基づく座標が対応
付けられる。したがって、補正用入射角テーブル144
と補正テーブル145とを対応付ける際には実際の距離
と座標との間の変換処理が行われる。
【0049】ここで、光束中心Lcは光学系121の光
軸121aを含む1つの面に沿う方向を向くことから、
距離Rcと角θとの関係を示す情報は受光素子111a
が配列される受光面上の位置とこの位置へ入射する光束
の入射方向(3次元ベクトルとして表現可能な入射方
向)との関係を実質的に表す情報である。また、補正テ
ーブル145により受光面上の位置と補正係数とが関係
付けられていることから、補正用入射角テーブル144
および補正テーブル145は受光素子111aに入射す
る光束の入射方向と補正係数との関係を表す情報であ
り、これらの情報は図3中のステップS11における補
正情報に相当する。
【0050】図9は図7中のステップS21の動作の詳
細を示す流れ図である。また、図10は補正用入射角テ
ーブル144を生成する様子を示す図であり、図11は
補正テーブル145を生成する様子を示す図である。
【0051】図10(a)および(b)に示すように補
正用入射角テーブル144は予めRAM133に記憶さ
れている4つの基本入射角テーブル161(図10中、
符号「161a」、「161b」、「161c」、「1
61d」を付す。)から2種類(符号「144a」、
「144b」を付す。)生成される。また、図11
(a)および(b)に示すように補正テーブル145も
4つの基本補正テーブル162(図11中、符号「16
2a」、「162b」、「162c」、「162d」を
付す。)から2種類(符号「145a」、「145b」
を付す。)生成される。
【0052】2種類の補正用入射角テーブル144およ
び2種類の補正テーブル145は1つのブロック内の基
準補正係数を求める際にいずれか1種類のみが利用され
る。このように2種類準備される理由については後述す
る。
【0053】4つの基本入射角テーブル161は、光軸
中心121bから受光素子111aまでの距離Rcと、
光軸121aと光束中心Lcとがなす角θとの関係を光
学系121の4つの状態に関して示すテーブルであり、
4つの状態としては、カメラレンズである光学系121
の瞳の位置が最も近くなるズーム位置(以下、「瞳近」
という。)であって絞りが最も絞られた状態(以下、F
ナンバーを用いて「F22」という。)、瞳近であって
絞りが最も開放された状態(以下、Fナンバーを用いて
「F6.7」という。)、瞳の位置が最も遠くなるズー
ム位置(以下、「瞳遠」という。)であってF22の状
態、および、瞳遠であってF6.7の状態が採用され
る。なお、これらの基本入射角テーブル161は、光学
系121の仕様に基づく理論的計算により予め算出され
てRAM133に記憶される。
【0054】補正用入射角テーブル144を求めるに際
し、まず、レンズユニット102のドライバ122から
撮影時の絞りの状態を示す値(以下、具体例として「F
11」とする。)が取得される(図9:ステップS3
1)。そして、図10(a)に示すように、補正テーブ
ル算出部141は瞳近であってF22の状態に対応する
基本入射角テーブル161aおよび瞳近であってF6.
7の状態に対応する基本入射角テーブル161bを内挿
することにより、瞳近であってF11の状態に対応する
補正用入射角テーブル144aを生成する(ステップS
32)。すなわち、各距離RcにおけるF22とF6.
7とに対応するθの値をF11を基準として内挿する。
【0055】続いて同様の処理により、図10(b)に
示すように、瞳遠であってF22の状態に対応する基本
入射角テーブル161cおよび瞳遠であってF6.7の
状態に対応する基本入射角テーブル161dを内挿する
ことにより、瞳遠であってF11の状態に対応する補正
用入射角テーブル144bを生成する(ステップS3
3)。
【0056】以上の処理により、瞳近と瞳遠とのそれぞ
れについて撮影時の絞りの状態に対応する2つの補正用
入射角テーブル144a,144bが生成される。な
お、後述する基準補正係数を求める際に角θから距離R
cを求める処理を行うことから、距離Rcの増加に対し
て角θの変化が単調ではない場合には角θの算出を中断
し、距離Rcと角θとを強制的に1対1に対応させる。
【0057】補正用入射角テーブル144の生成が完了
すると、次に、4つの基本補正テーブル162から2つ
の補正テーブル145が生成される。4つの基本補正テ
ーブル162は4つの基本入射角テーブル161に対応
しており、それぞれ光学系121が瞳近であってF22
の状態、瞳近であってF6.7の状態、瞳遠であってF
22の状態、および、瞳遠であってF6.7の状態に対
応している。なお、これらの基本補正テーブル162は
これらの状態にて均一照明された均一濃度の被写体を撮
影し、この画像がCCDの感度ムラを考慮した上で均一
の輝度となる補正係数の2次元配列として予め求められ
てRAM133に記憶されている。このような作業はデ
ジタルカメラ100の組立時等に行われる。
【0058】そして、図11(a)に示すように、撮影
時の絞りの状態であるF11を基準に、瞳近であってF
22の状態に対応する基本補正テーブル162aおよび
瞳近であってF6.7の状態に対応する基本補正テーブ
ル162bの各補正係数を内挿することにより、瞳近で
あってF11の状態に対応する補正テーブル145aを
生成する(ステップS34)。また、図11(b)に示
すように、瞳遠であってF22の状態に対応する基本補
正テーブル162cおよび瞳遠であってF6.7の状態
に対応する基本補正テーブル162dの各補正係数を内
挿することにより、瞳遠であってF11の状態に対応す
る補正テーブル145bを生成する(ステップS3
5)。なお、上記ステップS32ないしS35の処理は
任意の順序で行われてよい。
【0059】以上の処理により、瞳近と瞳遠とのそれぞ
れについて撮影時の絞りの状態における2つの補正テー
ブル145a,145bが2つの補正用入射角テーブル
144a,144bに対応して生成される。
【0060】このデジタルカメラ100では補正情報と
して補正用入射角テーブル144と補正テーブル145
との組合せを2種類準備する。そして、CCD111上
の各ブロックにおける基準補正係数を求める際にはこれ
らの組合せの一方のみを利用する。これは、特殊な光学
系にも対応することを目的としている。
【0061】図12は瞳近の状態と瞳遠の状態とにおい
て光学系121の光軸121aと入射光束の光束中心L
cとがなす角θが、CCD111の受光面の光軸中12
1b心から隅の方へと遠ざかるにつれて変化する様子を
示す図である。グラフ201は瞳近の状態において図1
3(a)に示すように光束中心Lcが光軸121aから
漸次遠ざかる場合を示し、グラフ202は瞳遠の状態に
おいて図13(b)に示すように光束中心Lcが光軸1
21aに漸次近づく場合を示す。また、グラフ203は
瞳近と瞳遠との間の状態における角θの変化の様子を示
す。
【0062】図12に示すように、このデジタルカメラ
100では瞳近の状態と瞳遠の状態とでは光軸中心から
離れるに従って角θの変化の様子が大きく異なる。した
がって、ブロックの基準補正係数を求める際にブロック
の中心である基準位置に入射する光束の光束中心Lcが
光軸121aから漸次離れる場合には瞳近の状態に関す
る補正用入射角テーブル144aおよび補正テーブル1
45aを利用し、光束中心Lcが光軸121aに漸次近
づく場合には瞳遠の状態に関する補正用入射角テーブル
144bおよび補正テーブル145bを利用する。以上
の理由により、デジタルカメラ100では2種類の補正
情報を準備してこれらを使い分けてより適切なシェーデ
ィング補正を実現している。
【0063】なお、一般のカメラレンズでは、図13
(a)にて示すように受光素子に入射する光束の光束中
心Lcは漸次光軸121aから離れるため、準備する補
正情報は瞳近の状態の補正用入射角テーブル144aお
よび補正テーブル145aのみでよい。
【0064】<2.2.2 入射方向の算出>図7に示すス
テップS21が完了すると、次に、図6に示す入射角テ
ーブル算出部151が入射角テーブル152を生成する
(ステップS22)。入射角テーブル152とは、撮影
時のズーム位置および絞りの状態においてCCD111
の光軸中心121bから受光素子111aまでの距離R
cと、この受光素子111aに入射する光束の光束中心
Lcと光軸121aとがなす角θとの関係を示すテーブ
ルである。
【0065】図14は入射角テーブル152を生成する
処理の流れを示す流れ図である。入射角テーブル152
は既述の4つの基本入射角テーブル161を内挿するこ
とにより生成されるが、内挿の条件を取得するために、
まず、入射角テーブル算出部151がレンズユニット1
02からレンズユニットの種類を取得し(ステップS4
1)、さらに、レンズユニット102から撮影時のズー
ム位置および撮影時の絞りの状態を示す値(この例の場
合、F11)を取得する(ステップS42)。
【0066】次に、入射角テーブル算出部151は取得
したレンズユニットの種類からレンズユニットテーブル
163を参照してユニット標準角θuを取得する(ステ
ップS43)。ユニット標準角θuとは絞りが最も絞ら
れた状態(具体的には、F22)にてCCD111上の
光軸中心121bから所定距離だけ離れた位置に入射す
る光束の光束中心Lcが光軸121aとなす角を示す値
であり、光学系121の種類およびズーム位置に応じて
光束全体がどれだけの程度で漸次広がりつつ(あるい
は、漸次収束しつつ)CCD111へと導かれるのかを
示す指標値である。なお、絞りが最も絞られた状態にて
ユニット標準角θuが規定されるのは、光学系121の
レンズの外周や光学部品の縁による影響を受けることな
く指標となる角を規定することができるからである。
【0067】図15はレンズユニットテーブル163の
具体例を示す図である。レンズユニットテーブル163
のユニット番号は交換可能なレンズユニット102の種
類を示す番号である。ズーム位置は2桁の16進数にて
表されており、情報量を低減するために1桁目が0の場
合だけがレンズユニットテーブル163に記録されてい
る。そして、各行にはユニット番号に対応するレンズユ
ニット102ついて、各ズーム位置のユニット標準角θ
uが格納される。
【0068】例えば、撮影時にレンズユニット102か
らユニット番号が「02」であり、ズーム位置が「3
0」に設定されているとの情報が取得されると、入射角
テーブル算出部151が現在のユニット標準角θuを
「−1.0」であると特定する。なお、図15では他の
欄のユニット標準角θuの値の記載を省略している。
【0069】ユニット標準角θuを取得すると、次に、
図16に示すように既述の4つの基本入射角テーブル1
61のうち、絞りの状態がF22である2つの基本入射
角テーブル161a,161cをユニット標準角θuに
基づいて内挿し、撮影時のズーム位置であってF22の
状態に対応する入射角テーブル161eを一時的に生成
する(ステップS44)。具体的には、ユニット標準角
θuは光軸中心121bから所定の距離Rc(この例の
場合、Rc=3.0)に位置する受光素子111aに入
射する光束の光軸121aに対する傾きを表すことか
ら、この距離Rc(=3.0)における角θの値が取得
したユニット標準角θu(=−1.0)となるように両
基本入射角テーブル161a,161cのそれぞれの角
θを内挿する。
【0070】同様の内挿比により、絞りの状態がF6.
7である2つの基本入射角テーブル161b,161d
を内挿し、撮影時のズーム位置であってF6.7の状態
に対応する入射角テーブル161fを一時的に生成する
(ステップS45)。
【0071】さらに、生成した2つの一時的な入射角テ
ーブル161e,161fを絞りの状態に関して内挿
し、撮影時のズーム位置であってF11の状態に対応す
る最終的な入射角テーブル152を生成する(ステップ
S46)。これにより、撮影時の光学系121の状態に
おける光軸中心121bからの距離Rcと距離Rcの位
置に入射する光束の光束中心Lcと光軸121aとがな
す角θとの関係が求められる。
【0072】なお、入射角テーブル152を生成するに
あたり、ズーム位置の2つの状態(すなわち、瞳近、瞳
遠)に関する基本入射角テーブル161のみならずそれ
ぞれのズーム位置について絞りの2つの状態に関する計
4つの基本入射角テーブル161を予め準備している
が、これは、光学系121が複数枚のレンズを有する場
合に、あるいは、光学系121の機構上の制約を受ける
ことにより、絞りの状態に応じて光束中心Lcの傾きが
変化することを考慮するためである。
【0073】<2.2.3 補正係数の算出およびシェーデ
ィング補正>図7に示すステップS22の処理が完了す
ると、次に、入射角算出部150がCCD111上の予
め区分けされている複数のブロックのうちの1つに注目
し、このブロックの中心を基準位置として特定するとと
もに、基準位置へ入射する光束(すなわち、光束中心L
c)の傾きを求める(ステップS23)。
【0074】図17はステップS23の処理の流れを示
す流れ図である。また、図18はCCD111上の1つ
のブロック300を例示する図である。
【0075】ステップS23では、まず、CCD111
上の光軸中心121bの座標を(0,0)とし、注目す
るブロック300の中心の座標(Xs,Ys)を基準位
置310として求める(ステップS51)。そして、光
軸中心121bから基準位置310までの実際の距離
(すなわち、光軸121aから基準位置310までの距
離)を基準距離Rsとして求める(ステップS52)。
例えば、基準位置310の座標が(−200,400)
であり、CCD111の各受光素子の縦横の幅(すなわ
ち、画素ピッチ)が6.25[μm]である場合には、
基準距離Rsは2.8[mm]となる。
【0076】基準距離Rsが求められると、次に、入射
角算出部150が入射角テーブル152を参照して基準
距離Rsに位置する受光素子に入射する光束の光束中心
Lcが光軸121aとなす角を基準入射角θsとして求
める(ステップS53)。具体的には、図16に示す入
射角テーブル152における距離Rcに関して2.5と
3.0との間で内挿を行い、距離Rcが基準距離Rs
(=2.8[mm])であるときの角θ(=−1.1
[゜])を基準入射角θsとして求める。
【0077】なお、図8を用いて説明したように、光束
中心Lcは光軸121aを含む1つの面に沿う方向を向
くことから、基準入射角θsを求めることにより基準位
置310に入射する光束の入射方向(3次元ベクトルに
て表現可能な入射方向)を特定することができる。すな
わち、基準入射角θsを求める処理は実質的には基準位
置310に位置する受光素子への光束の入射方向を求め
ることに相当し、図3中のステップS12に相当する処
理といえる。
【0078】図7中のステップS23により基準入射角
θsが求められると、この基準入射角θsが図6に示す
入射角算出部150から補正部140の基準補正係数算
出部142へと送られ、補正用入射角テーブル144お
よび補正テーブル145を参照して基準位置310にお
ける補正係数が基準補正係数として求められる(ステッ
プS24)。図19はステップS24の内容を示す流れ
図である。
【0079】まず、基準入射角θsを受け取った基準補
正係数算出部142は、基準入射角θsの符号を確認し
(ステップS61)、基準入射角θsが正(または、
0)である場合には瞳近の状態に関する補正用入射角テ
ーブル144aおよび補正テーブル145aを選択する
(ステップS62)。一方、基準入射角θsが負の場合
には瞳遠の状態に関する補正用入射角テーブル144b
および補正テーブル145bを選択する(ステップS6
3)。
【0080】次に、選択された補正用入射角テーブル
(以下、単に「補正用入射角テーブル144」とい
う。)および選択された補正テーブル(以下、単に「補
正テーブル145」という。)を参照して基準補正係数
が求められる(ステップS64〜S66)。
【0081】図20は基準補正係数を求める方法(ステ
ップS64〜S66)の原理を説明するための図であ
り、図20(a)は撮影時の光学系121の状態におけ
る光束中心LcのCCD111への広がりの様子を示
し、図20(b)は瞳遠であって撮影時の絞りの状態
(すなわち、補正用入射角テーブル144aおよび補正
テーブル145aに対応する状態)における光束中心L
cのCCD111への広がりの様子を示し、図20
(c)はCCD111を光軸121aに沿う方向から見
たときの様子を示す図である。
【0082】図20(a)および(b)に示すように、
撮影時の光束中心Lcの広がりの度合いは瞳が最も近づ
くズーム位置の場合の光束中心Lcの広がりの度合いよ
りも小さい。ここで、図20(c)にて示すように、光
軸中心121bから基準位置310へと向かう半直線上
のある位置320において、図20(b)に示すように
入射する光束の光束中心Lcが光軸121aに対して基
準入射角θsだけ傾く場合には、この位置320に対応
する補正係数を補正テーブル145から求め、これを基
準位置310に対応する基準補正係数とすることができ
る。位置320では基準位置310と同方向から光束が
入射するからである。なお、撮影時に光束中心Lcが光
軸121aに漸次近接する場合には、図20(b)は瞳
遠であって撮影時の絞りの状態(すなわち、補正用入射
角テーブル144bおよび補正テーブル145bに対応
する状態)における図となる。
【0083】以上のことから、基準補正係数を求める際
には、まず、図20(b)に示す位置320と光軸中心
121bとの距離を補正用距離Rmとして求める(ステ
ップS64)。例えば、基準入射角θsが−1.1
[゜]である場合には、補正用入射角テーブル144b
が参照され、θが−1.1[゜]となるときの距離Rc
(=1.0[mm])が補正用距離Rmとして求められ
る。
【0084】次に、位置(以下、「補正用位置」とい
う。)320の座標を基準位置310の座標に、
【0085】
【数1】
【0086】を乗じて求める(ステップS65)。例え
ば、基準距離Rsが2.8[mm]、補正用距離Rmが
1.0[mm]、基準位置310の座標(Xs,Ys)
が(−200,400)である場合には補正用位置32
0の座標(Xm,Ym)は(−71,142)と求めら
れる。
【0087】補正テーブル145の各補正係数は、この
補正係数が用いられるべき受光素子の座標に関連づけら
れている。図21は補正テーブル145に記憶されてい
る補正係数と座標との関係の例の一部を図示したもので
ある。図21に示すように、補正テーブル145では全
ての座標位置(縦方向、横方向に1ずつ離れた全ての座
標位置)と補正係数が対応付けられている訳ではなく、
適宜間隔をおいた位置と補正係数とが関連づけられてい
る。これは近接する画素間ではシェーディングの度合い
が大きく変化しないことを利用して補正テーブル145
の情報量を削減することによるコスト削減を目的として
いる。例えば、均一照明された均一濃度の被写体を撮影
して基本補正テーブル162を生成する際に適宜間引き
処理、あるいは、代表する座標位置の補正係数を周囲の
補正係数の平均値とする処理等を行うことで基本補正テ
ーブル162の生成時点で情報量の削減が図られてい
る。
【0088】したがって、求められた補正用位置320
の座標は必ずしも補正係数に関連づけられた座標と一致
するとは限らない。そこで、補正用位置320が求めら
れると、この補正用位置320に近接する4つの座標に
関連づけられた補正係数を補正テーブル145から読み
出し、これらの4つの補正係数を座標に関して内挿し、
補正用位置320における補正係数を基準位置310に
対応する基準補正係数として求める(ステップS6
6)。図21に示す4つの補正係数の例の場合、座標
(−71,142)の補正用位置320の補正係数が
1.06として求められる。
【0089】以上に説明した基準入射角θsの算出(図
7:ステップS23)および基準補正係数の算出(ステ
ップS24)を全てのブロックについて繰り返し行うこ
とにより、全ブロックの基準補正係数が求められる(ス
テップS25)。
【0090】全てのブロックの基準補正係数が求められ
ると、基準位置に位置する受光素子以外の受光素子に対
する補正係数が補正係数補間部143による補間処理に
より求められる。なお、1つのブロック内の受光素子か
らの出力は基準補正係数により一律に補正されてもよい
が、ブロック間の境界を目立たなくさせてより適切な補
正を行うためにこのデジタルカメラ100では各受光素
子に対応する補正係数を周囲の基準位置の基準補正係数
を線形補間して求めるようにしている。
【0091】図22は補正係数を求める対象となる受光
素子の位置330について、周囲の基準位置310a,
310b,310c,310dの基準補正係数に基づい
て補正係数を求める処理を説明するための図である。補
正係数を求めるに際し、まず、対象となる受光素子の位
置330と各基準位置310aないし310dとを対角
線上の頂点として有する矩形の面積が求められる。これ
により、図22中に示す矩形310a,311a,33
0,311d、矩形310b,311b,330,31
1a、矩形310c,311c,330,311b、矩
形310d,311d,330,311cのそれぞれの
面積がAa,Ab,Ac,Adとして求められるものと
する。
【0092】次に、基準位置310a,310b,31
0c,310dの基準補正係数がそれぞれKa,Kb,
Kc,Kdであるものとして、
【0093】
【数2】
【0094】にて示される演算を行って位置330に位
置する受光素子に対する補正係数を求める。この処理に
より、各補正係数の値が位置330に対して反対側に位
置する矩形の面積の割合に応じて加算されて位置330
における補正係数が求められることとなる。
【0095】以上の補間処理を全ての受光素子に関して
行うことにより、マイクロレンズの影響によるシェーデ
ィングを補正するための補正係数が全受光素子について
求められる(ステップS26)。
【0096】さらに、予め求められている各受光素子の
光電変換特性のばらつき(光学系121の状態変化に依
存しないばらつきであり、いわゆる、感度ムラをい
う。)を補正するための補正係数がステップS26にて
求められた補正係数に乗算され、マイクロレンズによる
シェーディングおよび光電変換特性のばらつきの双方を
考慮した最終的な補正係数が求められる(ステップS2
7)。例えば、マイクロレンズによるシェーディングに
対する補正係数が1.3であり、光電変換特性のばらつ
きに対する補正係数が1.2の場合には最終的な補正係
数は1.56となる。なお、光電変換特性のばらつきを
補正するための補正係数は、予めCCD111に均一な
平行光線を照射し、このとき各受光素子からの出力が同
一となる係数として求められRAM133に記憶され
る。
【0097】最終的な補正係数が求められると、各受光
素子からの出力である画像中の各画素の画素値に補正係
数が乗算され、マイクロレンズによるシェーディングお
よび光電変換特性のばらつきについて補正された画像が
得られる(ステップS28)。その後、さらに必要な処
理が画像に適宜施され、図5に示すメモリスロット11
4を介してメモリカード114aに記憶される。
【0098】また、撮影ごとに図7に示した処理が行わ
れ、撮影ごとに異なる光学系121の種類および状態に
応じて適切な補正が行われる。
【0099】以上、この発明の第1の実施の形態である
デジタルカメラ100の構成およびシェーディング補正
等の動作について説明してきたが、デジタルカメラ10
0では受光素子への光束の入射方向と補正係数との関係
を表す情報として補正用入射角テーブル144および補
正テーブル145を予め記憶しているので、受光素子へ
の光束の入射方向により複雑に変化するマイクロレンズ
の影響によるシェーディングを適切に補正することがで
きる。
【0100】また、所定のレンズ配置(例えば、瞳近や
瞳遠)における受光素子の位置と補正係数との関係を補
正テーブル145として記憶し、また、このレンズ配置
にて各受光素子へと入射する光束の光束中心が光軸12
1aとなす角、すなわち、受光素子の位置と入射光束の
入射方向との関係を示す情報を補正用入射角テーブル1
44として記憶することから、ズーム位置(すなわち、
レンズ配置)の変化により複雑に変化するシェーディン
グをこれらのテーブルを用いて補正することができる。
その結果、少ない記憶容量にて任意のズーム位置におけ
る適切な補正を行うことができる。
【0101】また、補正テーブル145は均一照明され
る均一濃度の被写体を実際に撮影することにより求めら
れるので、CCD111の個体差の影響を受けないシェ
ーディング補正が実現される。なお、光電変換特性のば
らつきの補正も実際の撮影を通じて補正係数が求められ
るので、光電変換特性のばらつきについてもCCD11
1の個体差の影響を受けない補正が実現され、過補正お
よび補正不足が防止される。
【0102】また、デジタルカメラ100ではCCD1
11の受光面を複数のブロックに区分けし、これらのブ
ロックにおける基準位置の補正係数を基準補正係数とし
て求め、基準補正係数を補間して全ての受光素子に対す
る補正係数を求めている。これにより、補正情報に基づ
く補正係数の算出処理の負担を軽減し、補正係数の迅速
な算出を実現している。
【0103】また、受光素子に入射する光束の光束中心
が光学系121の光軸に漸次近接する場合と漸次離れる
場合とのそれぞれについて2種類の補正情報を適宜使い
分けるので、より適切な補正を実現している。
【0104】また、光学系121においてレンズ配置お
よび絞りの状態が互いに異なる場合の4つの基本入射角
テーブル161を内挿することにより入射角テーブル1
52を求めるので、撮影時の光学系121のレンズ配置
および絞りの状態での基準位置に入射する光束の入射方
向を容易に求めることができる。
【0105】さらに、デジタルカメラ100では補正係
数の算出に際してレンズユニット102の種類に固有の
情報をレンズユニットテーブル163として記憶するこ
とにより、レンズユニット102の交換に対しても適切
に対応することができる。
【0106】<3. 第2の実施の形態>図23はこの
発明の第2の実施の形態であるデジタルカメラ100a
の外観を示す斜視図である。デジタルカメラ100aは
第1の実施の形態に係るデジタルカメラ100とほぼ同
様の構成であり、図15に示したレンズユニットテーブ
ル163に関する部分についてのみ異なる。図23では
図4に示したデジタルカメラ100と同様の構成につい
ては同様の符号を付している。
【0107】第1の実施の形態では、交換可能なレンズ
ユニット102の種類に応じた固有の値であって補正係
数を求める際に利用されるものをレンズユニットテーブ
ル163として本体部101内に記憶しておくようにな
っているが、第2の実施の形態に係るデジタルカメラ1
00aでは、レンズユニット102内部にレンズユニッ
ト102固有の情報を記憶する。
【0108】具体的には、図15に示すレンズユニット
テーブル163のうち、レンズユニットの種類に対応す
る部分(図15のレンズユニットテーブル163の1行
分)をレンズユニット102内の回路基板123上に配
置されたメモリ124に記憶する。
【0109】このように、レンズユニット102固有の
情報をレンズユニット102に持たせることにより、本
体部101ではレンズユニットテーブル163を記憶す
る必要がなくなり、本体部101に設けられるメモリの
記憶容量を低減することができる。
【0110】また、本体部101とは別にレンズユニッ
ト102が後発的に開発された場合であっても、本体部
101の設計変更やメモリの書き換えを行うことなく適
切にシェーディング補正を行うことができる。
【0111】<4. 第3の実施の形態>次に、第3の
実施の形態として、第1の実施の形態において説明した
補正係数補間部143による基準補正係数の補間処理
(図7:ステップS26)の他の例を説明する。
【0112】図24に示す縦横に配列された各矩形領域
はCCD111上の受光素子の配列を模式的に表したも
のであり、各矩形領域は1つの受光素子に対応してい
る。また、符号310a,310b,310c,310
dを付す4つの矩形領域は基準位置310を表してお
り、これら4つの矩形領域内に記入された数値は基準補
正係数を示す。なお、便宜上、実際の補正係数を100
倍して記入している。
【0113】図24に示すように、基準補正係数が縦方
向に同一である場合には、これら4つの基準補正係数を
線形補間(例えば、図22および数2を用いて説明した
補間)を行い、4つの基準位置310aないし310d
により規定される領域312(図24中、太線にて囲む
4×4個の矩形領域)の各補正係数を求めると補正係数
の値が縦方向に同一となる。図25は図24と同様に基
準補正係数が縦方向に同一であり、左右方向で1だけ異
なる場合の補間例を示す図である。なお、これらの図に
おいて補正係数の値に応じて領域312内の各矩形領域
に平行斜線を付している。
【0114】図24および図25に示すように、単に基
準補正係数を線形的に補間するのみであると、基準補正
係数が縦方向あるいは横方向等に揃ってしまう可能性が
ある。これにより、シェーディング補正により画像に縞
模様が現れる。このような縞模様は画像の品質を低下さ
せる原因となる。そこで、第3の実施の形態では補間処
理の際に人為的にノイズ成分を付与することにより、補
正後の画像を観察者の目に違和感のないものとしてい
る。
【0115】図26(a)ないし(d)はノイズ成分を
与えた補間に用いられるテーブルを示し、図26
(a),(b),(c),(d)のテーブルはそれぞれ
基準位置310a,310b,310c,310dに対
応付けられる。また、各テーブル中の数値の位置は4つ
の基準位置310aないし310dの位置に対応してい
る。
【0116】図27は図26(a)ないし(d)に示す
テーブルを用いて基準補正係数を補間して補正係数を求
めた結果を示す図である。例えば、図27の領域312
における左から3番目、上から2番目の矩形領域の補正
係数を求める際には、左上の基準位置310aの基準補
正係数「137」に図26(a)に示すテーブル中の左
から3番目、上から2番目の数値「0.09」を乗じ、
同様に、右上の基準位置310bの基準補正係数「13
3」に図26(b)に示すテーブル中の同位置の数値
「0.21」を乗じ、右下の基準位置310cの基準補
正係数「133」に図26(c)に示すテーブル中の同
位置の数値「0.49」を乗じ、左下の基準位置310
dの基準補正係数「137」に図26(d)に示すテー
ブル中の同位置の数値「0.21」を乗じ、これらの値
の和をこの位置における補正係数「134」として求め
る。
【0117】同様の手法により補正係数を求めた他の例
を図28に示す。また、図29に例示すように基準位置
310および基準補正係数が存在し、これらの基準位置
310により規定される8×8個の矩形領域(図29
中、符号313にて示す平行斜線にて縁取りされた領
域)の補正係数を求めた場合において、求められた補正
係数の値を高さとして立体的に表現したものを図30に
示す。
【0118】図26(a)ないし(d)のテーブルは、
通常の線形補間に用いる係数から若干異なった値を格納
している。したがって、これらのテーブルを用いて補間
を行った結果である図27および図28では、基準補正
係数が縦方向に同一であるにもかかわらず領域312内
の補正係数は縦方向に揃わない。図30に示す補間結果
においても同様である。すなわち、補間の際に人為的に
ノイズ成分を付与することにより、補間による縞模様の
発生を防止することができ、観察者に違和感のない画像
を得ることができる。
【0119】<5. 変形例>以上この発明に係る実施
の形態について説明してきたが、この発明は上記実施の
形態に限定されるものではなく様々な変形が可能であ
る。
【0120】例えば、上記実施の形態では、基準位置3
10をブロックの中心としているが、基準位置310は
ブロックの中心に限定されるものではない。また、画素
数が多くないとき、高精度に補正したいとき、あるい
は、補正時間に余裕があるときは1つの受光素子に1つ
の基準位置310が対応付けられるものとして、全受光
素子に対して図7に示すステップS23およびS24を
繰り返し行ってもよい。この場合、補間処理(ステップ
S26)は不要となる。すなわち、基準位置310は任
意に設定されてよく、基準位置310に関連する受光素
子に対する補正係数が求められればよい。
【0121】また、画像に対する補正は、A/D変換回
路134から1画素の情報が取得されるごとに行われて
もよく、画像全体の情報が取得されてから一括して行わ
れてもよい。
【0122】また、上記実施の形態では補正用入射角テ
ーブル144および補正テーブル145を補正情報とし
て利用しているが、補正情報は受光素子に入射する光束
の入射方向と出力に対する補正係数との関係を実質的に
表すものであればどのようなものであってもよい。
【0123】また、上記実施の形態では、光学系121
のズーム位置および絞りの状態から受光素子への光束の
入射方向を求めているが、光学系121からの他の情報
を利用して受光素子への光束の入射方向を求めてもよ
い。
【0124】また、上記実施の形態では、絞りに対して
補正係数が線形に変化するという前提に基づいて2つの
基本補正テーブル162から1つの補正テーブル145
を求めているが、より厳密な補正テーブル145を求め
るために3以上の基本補正テーブル162から、あるい
は、非線形な内挿を行って1つの補正テーブル145を
求めるようにしてもよい。
【0125】同様に、上記実施の形態では、ズーム位置
および絞りに対して角θが線形に変化するという前提に
基づいて4つの基本入射角テーブル161から1つの入
射角テーブル152および2つの補正用入射角テーブル
144を求めているが、さらに多くの基本入射角テーブ
ル161から、あるいは、非線形な内挿を行って入射角
テーブル152や補正用入射角テーブル144を求める
ようにしてもよい。
【0126】また、上記実施の形態では、瞳近の場合と
瞳遠の場合とに分けて2種類の補正用入射角テーブル1
44および補正テーブル145を生成しているが、既述
のように、通常のカメラレンズでは、基準入射角θsが
正となることから1種類の補正用入射角テーブル144
および補正テーブル145が生成されてもよい。逆に、
基準入射角θsの範囲に応じて3種類以上の補正用入射
角テーブル144および補正テーブル145が使い分け
られてもよい。
【0127】また、上記実施の形態では、レンズユニッ
ト102に光学系121が設けられるものとして説明し
たが、光学系121の一部のみがレンズユニット102
に設けられ、他の部分が本体部101に設けられてもよ
い。
【0128】また、上記実施の形態では、図26(a)
ないし(d)に示すテーブルを用いてノイズ成分を与え
た基準補正係数の補間を行っているが、これらのテーブ
ルの数値およびテーブルの大きさは一例にすぎず、適宜
決定されてよい。
【0129】また、上記実施の形態では、ステップS2
1において補正情報が生成されてからステップS22に
おいて入射角テーブル152が生成されると説明した
が、これらのステップは並行に行われてもよく、逆順に
行われてもよい。
【0130】また、上記実施の形態ではデジタルカメラ
が1つのCCD111を有するが、複数のCCDにより
画像を取得し、これらの画像を継ぎ合わせて1つの画像
を生成するデジタルカメラにもこの発明は利用可能であ
る。この場合、ユニット標準角θuに対応する位置(C
CDの中心からの距離)をCCDの隅とすることによ
り、画像の継ぎ合わせ位置を目立たなくすることができ
る。なお、複数のCCDを用いる場合には、基本補正テ
ーブル162の個数はCCDの個数の4倍となる。
【0131】さらに、この発明はデジタルカメラにおけ
るシェーディング補正に限定されるものではなく、ビデ
オカメラ等の各種撮像装置に利用可能である。また、2
次元的な画像のシェーディング補正に限定されるもので
はなく、1次元画像のシェーディング補正にも利用可能
である。
【0132】
【発明の効果】請求項1ないし9に記載の発明では、マ
イクロレンズが形成された複数の受光素子を用いて画像
を取得する際に、光学系の状態の変化により複雑に変化
するシェーディングを適切に補正することができる。
【0133】また、請求項2に記載の発明では、補正用
入射角情報および補正テーブルにより、補正情報の量を
低減することができる。
【0134】また、請求項3に記載の発明では、補正テ
ーブルに格納される補正係数の数を削減できるので、補
正情報の量を低減することができる。
【0135】また、請求項4に記載の発明では、2つの
補正情報のうちの1つを選択して用いるので、補正をよ
り適切に行うことができる。
【0136】また、請求項5に記載の発明では、複数の
基本テーブルの内挿を行うことにより、基準位置に入射
する光束の入射方向を容易に取得することができる。
【0137】また、請求項6に記載の発明では、交換ユ
ニットの種類に応じて適切に補正を行うことができる。
【0138】また、請求項7に記載の発明では、撮像装
置本体とは別に開発される交換ユニットに容易に対応す
ることができる。
【0139】また、請求項8に記載の発明では、基準位
置の補正係数の補間による画像中の縞模様の発生を防止
することができ、観察者に違和感のない画像を得ること
ができる。
【図面の簡単な説明】
【図1】(a)はマイクロレンズを有する受光素子の平
面図であり、(b)ないし(d)は縦断面図である。
【図2】(a)ないし(c)は様々な形状のマイクロレ
ンズを有する受光素子の縦断面図である。
【図3】この発明におけるシェーディング補正の処理の
流れの概要を示す流れ図である。
【図4】この発明の第1の実施の形態に係るデジタルカ
メラの外観を示す斜視図である。
【図5】図4に示すデジタルカメラの機械的構成を示す
ブロック図である。
【図6】図4に示すデジタルカメラの機能面からの構成
を示すブロック図である。
【図7】図4に示すデジタルカメラにおけるシェーディ
ング補正の処理の流れを示す流れ図である。
【図8】CCD上の光軸中心からの距離と入射光束の光
束中心の傾きとの関係を示す斜視図である。
【図9】補正用入射角テーブルおよび補正テーブルを生
成する処理の流れを示す流れ図である。
【図10】補正用入射角テーブルを生成する様子を示す
図である。
【図11】補正テーブルを生成する様子を示す図であ
る。
【図12】瞳近の状態と瞳遠の状態における光軸中心か
らの距離と入射光束の傾きとの関係を示す図である。
【図13】(a)は瞳近の状態におけるCCD上の各位
置への光束の入射の様子を示す図であり、(b)は瞳遠
の状態におけるCCD上の各位置への光束の入射の様子
を示す図である。
【図14】入射角テーブルを生成する処理の流れを示す
流れ図である。
【図15】レンズユニットテーブルの例を示す図であ
る。
【図16】入射角テーブルを生成する様子を示す図であ
る。
【図17】基準位置に入射する光束の傾きを求める処理
の流れを示す流れ図である。
【図18】CCD上のブロックと基準位置とを示す図で
ある。
【図19】基準補正係数を求める処理の流れを示す流れ
図である。
【図20】(a)は撮影時に基準位置に入射する光束の
様子を示す図であり、(b)は瞳近の状態において補正
用位置に入射する光束の様子を示す図であり、(c)は
基準位置と補正用位置との関係を示す図である。
【図21】補正テーブル内の補正係数に関連づけられた
位置と補正用位置とを示す図である。
【図22】4つの基準位置の基準補正係数を補間して補
正係数を求める際の処理を説明するための図である。
【図23】この発明の第2の実施の形態に係るデジタル
カメラの外観を示す斜視図である。
【図24】基準補正係数を線形補間した例を示す図であ
る。
【図25】基準補正係数を線形補間した他の例を示す図
である。
【図26】(a)ないし(d)は4つの基準補正係数を
ノイズ成分を与えながら補間する際に用いられるテーブ
ルを示す図である。
【図27】基準補正係数をノイズ成分を与えながら補間
した例を示す図である。
【図28】基準補正係数をノイズ成分を与えながら補間
した他の例を示す図である。
【図29】基準位置と補間される領域とを示す図であ
る。
【図30】基準補正係数をノイズ成分を与えながら補間
したさらに他の例を示す立体図である。
【図31】CCDの受光面を示す図である。
【図32】図31中のCa−Z−Cb間の受光素子から
の出力に基づく輝度分布を示す図である。
【図33】図31中のCc−Z−Cd間の受光素子から
の出力に基づく輝度分布を示す図である。
【符号の説明】
10 受光素子 13 マイクロレンズ 100,100a デジタルカメラ 102 レンズユニット 111 CCD 121 光学系 124 メモリ 131 CPU 132 ROM 133 RAM 134 A/D変換回路 135 補正回路 140 補正部 142 基準補正係数算出部 143 補正係数補間部 144a,144b 補正用入射角テーブル 145a,145b 補正テーブル 152 入射角算出部 161a〜161d 基本入射角テーブル 163 レンズユニットテーブル 310 基準位置 S11〜S14,S21〜S27 ステップ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/16 H04N 1/04 103E 5C072 5/335 1/40 101A 5C077 Fターム(参考) 5B047 AA01 AB02 BB04 BC05 CB08 CB30 DA04 5C021 PA66 PA67 PA80 XA67 5C022 AA13 AB51 AC42 AC54 AC69 5C024 AA01 BA01 CA10 DA05 EA04 FA01 GA11 HA17 HA19 HA25 5C051 AA01 BA03 DA06 DB01 DB04 DB22 DC04 DE18 FA00 5C072 AA01 BA08 DA03 DA21 EA05 EA08 FB12 UA02 UA11 XA10 5C077 LL04 MM03 MP01 PP08 PP09 PP74 PQ23 SS03 TT09

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 被写体からの光を所定の受光面へと導く
    光学系と、 それぞれにマイクロレンズが形成された複数の受光素子
    を前記受光面に配列配置し、当該複数の受光素子からの
    出力に基づいて前記被写体の画像を取得する撮像手段
    と、 受光素子に入射する光束の入射方向と当該受光素子から
    の出力に対する補正係数との関係である補正情報を予め
    記憶する補正情報記憶手段と、 前記受光面に複数の基準位置が設定されており、前記光
    学系の状態を示す情報に基づいて基準位置に入射する光
    束の入射方向を取得する入射方向取得手段と、 基準位置への光束の入射方向および前記補正情報に基づ
    いて当該基準位置に関連する受光素子からの出力を補正
    する補正手段と、を備えることを特徴とする撮像装置。
  2. 【請求項2】 請求項1に記載の撮像装置であって、 前記補正情報が、 前記光学系の所定のレンズ配置において、前記受光面上
    の位置と当該位置へと入射する光束の入射方向との関係
    を示す補正用入射角情報と、 前記所定のレンズ配置において前記受光面上の位置に関
    連づけられた補正係数の集合である補正テーブルと、を
    有することを特徴とする撮像装置。
  3. 【請求項3】 請求項2に記載の撮像装置であって、 前記補正手段が、 基準位置に対応する前記補正テーブル上の位置に近接す
    る複数の補正係数を内挿することにより、当該基準位置
    における補正係数を求める手段、を有することを特徴と
    する撮像装置。
  4. 【請求項4】 請求項1ないし3のいずれかに記載の撮
    像装置であって、 光束が前記光学系の光軸に漸次近づく場合と漸次離れる
    場合の2つの補正情報が準備されており、 前記入射方向取得手段により取得される入射方向に基づ
    いて前記2つの補正情報のうちの1つが選択されること
    を特徴とする撮像装置。
  5. 【請求項5】 請求項1ないし4のいずれかに記載の撮
    像装置であって、 前記光学系のレンズ配置および絞りに関する複数の状態
    における前記受光面上の光軸中心からの距離と入射光束
    の前記光軸に対する傾きとの関係を示す複数の基本テー
    ブルを記憶する手段、をさらに備え、 前記入射方向取得手段が、前記複数の基本テーブルを内
    挿することにより、前記光学系の撮影時の状態における
    基準位置に入射する光束の入射方向を取得することを特
    徴とする撮像装置。
  6. 【請求項6】 請求項1ないし5のいずれかに記載の撮
    像装置であって、前記光学系の全部または一部が交換可
    能な交換ユニットとされ、 前記補正手段による補正に利用される値であって交換ユ
    ニットの種類に固有のものを当該種類に対応付けて記憶
    するユニット変数記憶手段、をさらに備えることを特徴
    とする撮像装置。
  7. 【請求項7】 請求項1ないし5のいずれかに記載の撮
    像装置であって、前記光学系の全部または一部が交換可
    能な交換ユニットとされ、 前記交換ユニットが、 前記補正手段による補正に利用される値であって前記交
    換ユニットの種類に固有のものを記憶する手段、を有す
    ることを特徴とする撮像装置。
  8. 【請求項8】 請求項1ないし7のいずれかに記載の撮
    像装置であって、 前記補正手段が、 前記複数の基準位置の補正係数をノイズ成分を与えつつ
    補間することにより前記複数の受光素子に対応する補正
    係数を求める手段、を有することを特徴とする撮像装
    置。
  9. 【請求項9】 所定の受光面に配列配置されるとともに
    それぞれにマイクロレンズが形成された複数の受光素子
    を有し、被写体からの光を光学系を介して当該複数の受
    光素子へと導くことにより当該被写体の画像を取得する
    撮像装置において、取得される画像のシェーディングを
    補正するシェーディング補正方法であって、 受光素子に入射する光束の入射方向と当該受光素子から
    の出力に対する補正係数との関係である補正情報を準備
    する工程と、 前記受光面に複数の基準位置が設定されており、前記光
    学系の状態を示す情報に基づいて基準位置に入射する光
    束の入射方向を取得する工程と、 基準位置への光束の入射方向および前記補正情報に基づ
    いて当該基準位置に関連する受光素子からの出力を補正
    する工程と、を有することを特徴とするシェーディング
    補正方法。
JP03761099A 1999-02-16 1999-02-16 撮像装置およびシェーディング補正方法 Expired - Fee Related JP3733771B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03761099A JP3733771B2 (ja) 1999-02-16 1999-02-16 撮像装置およびシェーディング補正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03761099A JP3733771B2 (ja) 1999-02-16 1999-02-16 撮像装置およびシェーディング補正方法

Publications (2)

Publication Number Publication Date
JP2000236480A true JP2000236480A (ja) 2000-08-29
JP3733771B2 JP3733771B2 (ja) 2006-01-11

Family

ID=12502378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03761099A Expired - Fee Related JP3733771B2 (ja) 1999-02-16 1999-02-16 撮像装置およびシェーディング補正方法

Country Status (1)

Country Link
JP (1) JP3733771B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1227669A2 (en) * 2001-01-17 2002-07-31 Canon Kabushiki Kaisha Image sensing apparatus, shading correction method, program, and storage medium
WO2005043891A1 (ja) * 2003-10-31 2005-05-12 Mitsubishi Denki Kabushiki Kaisha 画像補正方法および撮像装置
JP2007189312A (ja) * 2006-01-11 2007-07-26 Nikon Corp 撮像装置、撮像方法およびカメラ
JP2009055442A (ja) * 2007-08-28 2009-03-12 Mitsubishi Electric Corp 画像補正装置
JP2012186764A (ja) * 2011-03-08 2012-09-27 Toshiba Corp 固体撮像装置および携帯情報端末
JP2012244239A (ja) * 2011-05-16 2012-12-10 Sigma Corp 撮像装置
WO2013099613A1 (ja) * 2011-12-28 2013-07-04 富士フイルム株式会社 撮像装置及びその画質補正方法並びに交換レンズと撮像装置本体

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002218298A (ja) * 2001-01-17 2002-08-02 Canon Inc 撮像装置、シェーディング補正方法、及び記憶媒体
EP1227669A3 (en) * 2001-01-17 2008-06-04 Canon Kabushiki Kaisha Image sensing apparatus, shading correction method, program, and storage medium
JP4574022B2 (ja) * 2001-01-17 2010-11-04 キヤノン株式会社 撮像装置及びシェーディング補正方法
EP1227669A2 (en) * 2001-01-17 2002-07-31 Canon Kabushiki Kaisha Image sensing apparatus, shading correction method, program, and storage medium
US8478066B2 (en) 2003-10-31 2013-07-02 Mitsubishi Denki Kabushiki Kaisha Image-correction method and image pickup apparatus
WO2005043891A1 (ja) * 2003-10-31 2005-05-12 Mitsubishi Denki Kabushiki Kaisha 画像補正方法および撮像装置
JPWO2005043891A1 (ja) * 2003-10-31 2007-05-10 三菱電機株式会社 画像補正方法および撮像装置
JP2007189312A (ja) * 2006-01-11 2007-07-26 Nikon Corp 撮像装置、撮像方法およびカメラ
JP2009055442A (ja) * 2007-08-28 2009-03-12 Mitsubishi Electric Corp 画像補正装置
JP2012186764A (ja) * 2011-03-08 2012-09-27 Toshiba Corp 固体撮像装置および携帯情報端末
US8681249B2 (en) 2011-03-08 2014-03-25 Kabushiki Kaisha Toshiba Solid-state imaging device and portable information terminal
JP2012244239A (ja) * 2011-05-16 2012-12-10 Sigma Corp 撮像装置
WO2013099613A1 (ja) * 2011-12-28 2013-07-04 富士フイルム株式会社 撮像装置及びその画質補正方法並びに交換レンズと撮像装置本体
JP5597776B2 (ja) * 2011-12-28 2014-10-01 富士フイルム株式会社 撮像装置及びその画質補正方法並びに交換レンズと撮像装置本体
CN104205818A (zh) * 2011-12-28 2014-12-10 富士胶片株式会社 拍摄装置及其画质校正方法以及可换镜头和拍摄装置主体
US8970741B2 (en) 2011-12-28 2015-03-03 Fujifilm Corporation Imaging apparatus, image quality correction method of imaging apparatus, interchangeable lens and imaging apparatus body
CN104205818B (zh) * 2011-12-28 2016-02-24 富士胶片株式会社 拍摄装置及其画质校正方法以及可换镜头和拍摄装置主体

Also Published As

Publication number Publication date
JP3733771B2 (ja) 2006-01-11

Similar Documents

Publication Publication Date Title
Green et al. Multi-aperture photography
US8390728B2 (en) Image processing apparatus and method
US7215364B2 (en) Digital imaging system using overlapping images to formulate a seamless composite image and implemented using either a digital imaging sensor array
EP1841207B1 (en) Imaging device, imaging method, and imaging device design method
US8810713B2 (en) Image pickup apparatus and image pickup device for performing auto-focusing
US6571022B2 (en) Image processing apparatus for generating a single image of an object using overlapping partial images
JP6489932B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6047025B2 (ja) 撮像装置及びその制御方法
JP6838994B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP3461275B2 (ja) 光電変換装置及びこれを用いたカメラ
JP2008294741A (ja) 撮像システム
EP2709352A2 (en) Image pickup apparatus, image pickup system, image processing device, and method of controlling image pickup apparatus
JP2000196939A (ja) 歪曲収差及び面方向色収差のない画像形成装置及びその方法
CN104427225A (zh) 摄像设备和摄像设备的控制方法
JP2013258500A (ja) 撮像装置
JP2017107204A (ja) 情報処理装置及び情報処理方法
JP2014107631A (ja) 画像生成方法及び装置
JP2000236480A (ja) 撮像装置およびシェーディング補正方法
US10341580B2 (en) Image processing device configured to correct an image so as to decrease output data
CN111127379B (zh) 光场相机2.0的渲染方法及电子设备
JP4299561B2 (ja) 撮像装置
JP2017034682A (ja) 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム
JP6330955B2 (ja) 撮像装置及び撮像方法
JP5973784B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP6569769B2 (ja) 任意視点画像合成方法及び画像処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050607

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050613

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051010

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091028

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091028

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101028

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101028

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111028

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111028

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121028

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121028

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131028

Year of fee payment: 8

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees