JPH07298142A - 階調制御機能を有する撮像装置 - Google Patents
階調制御機能を有する撮像装置Info
- Publication number
- JPH07298142A JPH07298142A JP6086721A JP8672194A JPH07298142A JP H07298142 A JPH07298142 A JP H07298142A JP 6086721 A JP6086721 A JP 6086721A JP 8672194 A JP8672194 A JP 8672194A JP H07298142 A JPH07298142 A JP H07298142A
- Authority
- JP
- Japan
- Prior art keywords
- photoelectric conversion
- luminance
- exposure
- image
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 14
- 230000003287 optical effect Effects 0.000 claims abstract description 14
- 238000009825 accumulation Methods 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000010191 image analysis Methods 0.000 abstract description 7
- 238000001444 catalytic combustion detection Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 28
- 238000012546 transfer Methods 0.000 description 20
- 238000012937 correction Methods 0.000 description 16
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 239000002131 composite material Substances 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000007599 discharging Methods 0.000 description 3
- 235000010724 Wisteria floribunda Nutrition 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 229910004298 SiO 2 Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005513 bias potential Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000000352 storage cell Anatomy 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/148—Charge coupled imagers
- H01L27/14806—Structural or functional details thereof
- H01L27/14812—Special geometry or disposition of pixel-elements, address lines or gate-electrodes
- H01L27/14818—Optical shielding
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/148—Charge coupled imagers
- H01L27/14831—Area CCD imagers
- H01L27/14837—Frame-interline transfer
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/148—Charge coupled imagers
- H01L27/14831—Area CCD imagers
- H01L27/14843—Interline transfer
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/148—Charge coupled imagers
- H01L27/14831—Area CCD imagers
- H01L27/1485—Frame transfer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
Abstract
なく、逆光の主たる被写体と背景の双方を良好に露光し
た画像を得る。 【構成】 光画像を光電変換し光情報の蓄積を行って1
画面を構成する単位光蓄積期間毎に出力する光電変換手
段102と、光電変換手段102からの出力を映像信号
に処理して出力するデジタルカメラ信号処理手段104
と、光電変換手段102の光電変換単位期間ごとに光情
報蓄積時間の設定を行うための複数のタイミング信号を
出力する光蓄積時間設定タイミング信号発生器110
a,110bと、デジタルカメラ信号処理手段104か
らの輝度情報に基づき高輝度部あるいは低輝度部に対し
て光蓄積時間設定タイミング信号発生器110a,11
0bからの複数のタイミング信号の切換えをして光電変
換手段102に入力する画像分析回路107とを備え
る。
Description
撮影する場合に用いて好適な階調制御機能を有する撮像
装置に関するものである。
当たり、照度が強い逆光撮影の場合などでは、一画面中
の階調は極めて広いものとなる。
子等を用いた撮像装置は、このように広い階調をすべて
映像信号に変換できるほどのダイナミックレンジ幅は有
していないため、明るさのレベルの上下で各々クリップ
を発生してしまう。これは「白飛び」、「黒つぶれ」と
呼ばれる現象で、一画面中で、極端に明るい部分や暗い
部分の階調が表現できないものである。
さに比較して、主たる被写体が陰になって極端に暗くな
るため、「黒つぶれ」を起こしてしまう。
ライト・コントロール)という露光量を増加して逆光補
正を行う手法が用いられていた。以下、従来の手法によ
る逆光補正について詳しく説明する。
おけるBLCの動作について図22に示した逆光補正回
路構成図を参照して説明する。
は、アイリス11により光量制限されて、撮像素子12
上に結像する。結像状態に応じた光電変換信号が、撮像
素子12より出力され、信号処理回路13にて映像信号
化され、映像信号として出力される。
という)14にも上述の映像信号は供給されており、A
E回路14は、映像信号に応じたアイリス制御信号を発
生する。ドライバー16は、加算器15経由でAE回路
14からのアイリス制御信号を受けてigメータ17を
駆動する駆動信号を発生させ、アイリスによる光量の自
動調節を実現している。
は、一般に、映像信号の輝度レベルの一画面分の積分値
に応じて光量を調節するようにしているので、一画面全
体の平均的な明るさだけに着目していることになる。そ
のため、逆光撮影の場合などは、非常に明るい背景に合
わせて撮像素子12への入射光量の調節が行われるた
め、主たる被写体が極端に暗くなって、「黒つぶれ」を
起こしてしまう。
て、撮影者が逆光補正指示を出す必要がある。図22の
回路構成図では、BLCスイッチ19をONにすること
により、補正信号発生器18から、アイリスを「開」側
へ向ける信号が、加算器15を経てドライバー16に供
給される。ドライバー16は、igメータ17を開く方
向に駆動し、撮像素子12への入射光量が増加されて、
逆光補正が行われる。
して、従来の手法による逆光補正を行うことにより、画
像は、図3に示したBLC−OFF(逆光補正前)の状
態から、図4に示したBLC−ON(逆光補正後)の状
態に変化する。図を見て分かる通り、BLC−OFFで
は、背景は良く写っているが、主たる被写体(富士山の
表示板)は「黒つぶれ」を起こして、うまく写っていな
い。これに対し、BLC−ONでは、主たる被写体の階
調が表現され良く写っている。
従来例の撮像装置においては、図4を見れば分かる通
り、逆光補正を行うことにより、撮像素子の受光量が多
くなるため、主たる被写体は良く写るようになるもの
の、背景は、「白飛び」を起こしてうまく写すことがで
きない。
像素子のダイナミックレンジの制約から、上下どちらか
一方のレベルで、クリップしてしまい、主たる被写体と
背景の双方を良好に撮像することができないという問題
点があった、従って、本発明の撮像装置は、上記の問題
点を解消するためになされたものであり、その目的とす
るところは、主たる被写体と背景の双方に良好な露光を
実現でき、広い階調表現の可能な階調制御機能を有する
撮像装置を提供することにある。
階調制御機能を有する撮像装置は、光画像を光電変換し
光情報の蓄積を行って1画面を構成する単位光蓄積期間
毎に出力する光電変換手段と、該光電変換手段からの出
力を処理して映像信号を出力する信号処理手段と、前記
光電変換手段に設定した単位光蓄積期間ごとに光情報蓄
積時間の設定を行うための複数のタイミング信号を出力
するタイミング手段と、前記信号処理手段からの輝度情
報に基づき高輝度部及び低輝度部に対応して前記タイミ
ング手段からの複数のタイミング信号を切換え制御して
光電変換手段に入力する階調制御手段とを備えたことを
特徴とする構成によって、前記の目的を達成しようとす
るものである。
行って1画面を構成する単位光蓄積期間毎に出力する光
電変換手段と、該光電変換手段からの出力を処理して映
像信号を出力する信号処理手段と、前記光電変換手段に
設定した単位光蓄積期間ごとに光情報蓄積時間の設定を
行うための複数のタイミング信号を出力するタイミング
手段と、前記信号処理手段から入力した前記光電変換手
段に設定した単位光蓄積期間ごとの輝度情報に基づき前
記タイミング手段からの複数のタイミング信号を切換え
制御して光電変換手段に入力する階調制御手段とを備え
たことを特徴とする構成によっても、前記の目的を達成
しようとするものである。
有する撮像装置は、単位光蓄積期間毎に、光蓄積時間を
長く設定して低輝度の被写体に適した露光を行わせる動
作と、光蓄積時間を短く設定して高輝度の被写体に適し
た露光を行わせる動作を、各々行わせ、低輝度の被写体
の露光動作については低輝度の被写体部分の画像情報を
もとに、高輝度の被写体の露光動作については高輝度の
被写体部分の画像情報をもとに、それぞれ光蓄積時間を
制御することにより、低輝度の被写体と高輝度の被写体
の双方に良好な露光をアイリス等のメカニカルな光量調
節手段を用いることなく実現するように働く。
像装置の実施例を説明する。
あり、同図を参照して説明する。
り、光電変換する撮像素子を有する光電変換手段102
上に結像される。この光電変換出力をAD変換器103
にてデジタル信号に変換し、デジタルカメラ信号処理回
路104にて映像信号へと処理する。
一画面毎に格納される。ここでいう一画面とはフィール
ド(NTSCなら262.5水平走査線)、または垂直
解像度の劣化を防止するためにはフレーム(NTSCな
ら525水平走査線)に相当する。この画像メモリ10
5からの出力は合成器106にて、先のカメラ信号処理
回路104の出力と、ちょうど一画面分の時間差(NT
SCならば1/60秒)を有する状態で画面合成され、
出力される。
表現させるべく、以下に述べるAE(自動露光量調節)
手段が機能している。
輝度情報に基づき、画像分析回路107にて2系統のA
E系を制御する。
信号発生器109a及び光蓄積時間設定タイミング信号
発生器110aからなる明部用AE回路と、ゲート10
8b,制御信号発生器109b及び光蓄積時間設定タイ
ミング信号発生器110bからなる暗部用AE回路であ
る。
て、端子a側では明部用、端子bでは暗部用の光蓄積時
間を設定する選択が、前記分析回路107にて制御され
ている。この選択結果は、CCDドライバー112を介
してCCD102へ供給され、最適なシャッタースピー
ド(光蓄積時間)を設定し、撮像系全体としてのダイナ
ミックレンジの拡大を実現するものである。
撮像素子102について、以下説明する。
SIS等、光電変換の原理により、多くの方式がある。
現在ビデオカメラ用としてもっとも一般的に用いられて
いるCCDを例にとり説明を進める。
ファー型),IT型(インターライントランスファー
型),FIT型(フレームインターライントランスファ
ー型)等の電荷読み出し方式の違いや、VOD型等の不
要電荷処理の違いによる半導体デバイス構造での分類が
なされている。ここで、VODとは縦形オーバーフロー
ドレイン(Vertical Overflow Drain)の略称である。
(IT型)CCDの基本構造について説明すると同時
に、CCDの基本動作のひとつである高速シャッター動
作について説明する。
ファー型(IT型)CCDの模式図で、41は光電変換
をするセンサ部(センシング手段)、42は垂直転送レ
ジスタ、44は水平転送レジスタ、45は出力アンプで
ある。図中のA−A’線に沿った断面及びポテンシャル
を同図14の(b)に示す。
ャネルストップ(CS)、47はセンサ部41に蓄積さ
れた電荷を垂直転送レジスタ42に移すためのリードア
ウトゲート(ROG)、48はサブストレート、49は
酸化膜である。
5を参照して説明する。図15は、標準テレビジョン信
号の1フィールド分(例えばNTSCでは約1/60
秒)におけるタイミングチャートであり、φROGはリ
ードアウトゲート47に印加されるパルスで、論理レベ
ル“H”のときに、リードアウトゲート47のポテンシ
ャルが下がり、センサ部41の電荷を垂直転送レジスタ
42に移す。除去パルスφSUBは、サブストレート4
8に印加されるパルスであり、“H”のときにセンサ部
41に蓄積された電荷を、φSUB端子を通して外部に
掃き出し除去する。
直帰線期間中にあり、φSUBは、水平帰線期間中にあ
る。時刻t0でセンサ部41の電荷を読み出した後、次
の期間が始まるが、時刻t1での水平帰線期間中に、φ
SUB=“H”となるので、t0からt1までの電荷は
センサ部41には残っていない。時刻t1からt2まで
の間はφSUB=“L”なので、この期間の電荷はセン
サ部41に蓄積され、時刻t2のφROG=“H”パル
スで、垂直転送レジスタ2に移される。結局、この場合
の露光時間は(t2−t1)となる。
ッター動作が実現される。
ァー型(FIT型)CCDの動作について説明する。
スファー型(FIT型)CCDの模式図である。図14
(a)に示したインターライントランスファー型CCD
との相違点は記憶部63があることである。記憶部63
の記憶セルの数は、センサ部(センシング手段)61の
セルの数と同じである。センサ部61からの電荷は垂直
転送レジスタ62に移された後、垂直帰線期間中に記憶
部63に転送され、その後、所定のタイミングで水平転
送レジスタ64に移され、出力アンプ65を通して読み
出されて行く。
びポテンシャル図は、図14の(b)と同様であり、前
述の電荷掃き出しの機構及びセンサ部61から垂直転送
レジスタ62への電荷読出しの機構も同様である。以上
がFIT型CCDの動作である。
ジセンサの動作について説明する。上部矢印で示す被写
体光を酸化層(SiO2 )32及び暗電流低減のための
ホール蓄積層経由でセンサ部33のフォトダイオード
(PD)で受け取る。センサ部以外へは不要光が入射し
ないようアルミ層(AI)36にて遮光している。この
遮光により、CCDとしての受光面積が有効活用され
ず、開口率が低下する。本実施例では、開口率低下を補
うための集光レンズ31を、各画素ごとに設けてある。
用V−CCD(垂直転送レジスタ)38に移され、二次
元平面で、順次転送され、読み出しアンプより、電圧値
として出力される。
けられており、各画素で発生された電荷が混入しないよ
うに分離される。センサ部33の下方にP層34,N−
SUB層35があり、この両層にかけるサブストレート
・バイアス電位Vsub30により、不要電荷の処理を
行う。
をポテンシャル電位で示した模式図である。「CHAR
GE」と示した線が光電荷の蓄積状態におけるポテンシ
ャル電位図で、「DISCHARGE」と示した線が不
要電荷排出状態におけるポテンシャル電位図である。
「CHARGE」状態で電位図上部の凹部に電荷を蓄積
する。「DISCHARGE」状態で、ΔVsubをサ
ブストレート電圧Vsubに更に印加し、Vsub+Δ
Vsubとして、前述の凹部を消減させ、蓄積された電
荷を下部へ排出する。
の長い不要電荷が下部より回り込んで垂直転送レジスタ
38へノイズとして混入するのを防ぐためにP層をN型
V−CCD下層に配してある。
Vsub電位の変化をタイミングチャートで示したもの
である。まず、標準テレビジョン信号の1フィールド期
間内において、(c)に示すように、所定の時間間隔で
Vsub電荷をパルス的に変化させ、センサ部61に蓄
積された不要電荷の排出を所定の時間までくり返す。そ
の後、1フィールド期間(1画面)の後半において光電
荷蓄積を時間tだけ行い、(b)に示した読み出しパル
スにて、「HIGH」と示された蓄積電荷を画像情報と
して読み出す。このようにして、時間tの蓄積を行う高
速シャッター効果が得られる。また、通常蓄積時を「N
ORMAL」、高速シャッター動作時を「HIGH」と
して、電荷の蓄積の様子の違いを(a)に示した。
号として、t1+t2=1/60秒とすると、図15に
おいて、t2=1/500秒の場合、t1=1/60−
1/500≒1/60秒とみなせる。
0秒,1/125秒,1/250秒,1/500秒とい
う段階が、絞り換算で各々1ステップ(一絞り)に対応
していることから考えると、t1で適正露光の被写体に
対して、3絞り分だけ高輝度の被写体に対して適正な露
光がt2により与えられることを示している。
体と背景部の間に、3絞り分の輝度差があるとする。t
1時間中では、従来例のBLC−ONの状態(逆光補正
状態)に相当する画面が撮像され、主たる被写体は適正
露光となり、背景部は、高輝度のためクリップしてしま
う。t2時間中の露光では、従来例のBLC−OFFの
状態(逆光補正されていない状態)に相当する画面が撮
像され、主たる被写体よりも3絞り分明るい背景部が適
正露光となり、主たる被写体はほとんど撮像されない。
このt時間中に蓄積される電荷とt2時間中に蓄積され
る電荷に対応した情報が、各画素毎に画像メモリを介し
て合成器により加算され、結果として、図2に示すよう
に逆光の主被写体(富士山標)も、強い日射の背景も見
事に表現された画面が得られる。
250を例示)と通常NTSCフィールドレートの1/
60秒での光蓄積時の入力照度対出力信号のグラフであ
る。
00%となるようにリニアに対応付け、入力100〜4
00%が出力100〜150%に対応するよう非線形に
圧縮している。
力100%となるようにし、200〜800%の入力に
は出力100〜150%を対応付けた圧縮としている。
%が出力100%に、入力400〜1600%が出力1
00〜150%に対応付けられている。
用の撮像に1/250秒を用いた時の合成時の圧縮特性
を示す。
暗部用に1絞り分シャッタースピードを上げた1/12
0秒の場合の合成圧縮特性である。
ることで暗部,明部ともに良好な階調を確保した特性に
変換されている。
したCCDの処理タイミングを示す。
グ Bは奇偶各フィールド毎に、暗部,明部を担当するAE
の各ループAEa及びAEbの入力信号切換タイミング Cは暗部用光蓄積期間(各1/120秒) Dは明部用光蓄積期間(各1/250秒) Eは暗部用の光電変換信号の1画面部の読出し期間 Fは明部用の光電変換信号の1画面分の読出し期間 を各々示している。
説明する。
し処理に関する模式図を示す。
上に配した、カラーセンサを例に取り説明してゆく。色
フィルターは、ホワイト,シアン,イエロー,グリーン
(W,Cy,Ye,G)から成るモザイクフィルターで
ある。ただし、W=R+G+B,Cy=B+G,Ye=
R+G,R=赤,G=緑,B=青とする。
Fを通すことにより得られる。式で表すと、各水平ライ
ン毎に下記の通りと成り、 Yn=(W+Cy)+(G+Ye)=2R+4G+2B ……(1) Yn+1=(W+Ye)+(G+Cy)=2R+4G+2B ……(2)。
ーの為、信号画素差分により得られる。式で表すと、各
水平ライン毎に下記の通りと成り、 Cn=(W+Cy)−(G+Ye)=2(B−G) ……(1) Cn+1=(W+Ye)−(G+Cy)=2(R−G) ……(2)。
は、上述と同等の処理により、奇数フィールド同様に得
られる。ただし、図示した通り奇数フィールドと偶数フ
ィールドで1ラインだけ垂直方向に読み出し画素の組合
わせをシフトして処理し、擬似インターレースさせてい
る。ちなみにMg=R+Bである。この手法では、簡単
に回路構成できるが垂直解像度が低下してしまう。
いて説明する。
し処理に関する模式図を示す。
上に配した、カラーセンサを例に取り説明してゆく。色
フィルターは、ホワイト,シアン,イエロー,グリーン
(W,Cy,Ye,G)から成るモザイクフィルターで
ある。ただし、W=R+G+B,Cy=B+G,Ye=
R+G,R=赤,G=緑,B=青とする。
Fを通すことにより得られる。式で表すと、各水平ライ
ン毎に下記の通りと成り、 Yn=(W+G)=R+2G+B ……(1) Yn+1=(Cy+Ye)=R+2G+B ……(2)。
ーの為、2線独立読み出し後の信号加算を含めた画素差
分処理により得られる。式で表すと、各水平ライン毎に
下記の通りと成り、 Cn=(W+Cy)−(G+Ye)=2(B−G) ……(1) Cn+1(W+Ye)−(G+Cy)=2(R−G) ……(2)。
は、上述と同等の処理により、奇数フィールド同様に得
られる。
と偶数フィールドで各々独立して全ラインの信号を読み
出すことで、非(ノン)インターレース化させている。
そして、このノンインターレースの525本分の情報を
毎フィールドごとに得ることで、画面合成後も525本
の画像が得られるので、垂直解像度の低下は避けられ
る。
(b)各フィールド画を加算した画像を(c)に示した
が、動きのある被写体ではズレを生じることが判る。そ
のためにも、先に説明したノンインターレース読み出し
が有効になってくる。
1,図12を参照して、本実施例による逆光補正効果と
画像分析の関連について説明する。
常、映像信号1画面分の輝度信号の積分値を、所定の値
に近づけるようにアイリス等を制御している。そのた
め、図11に示す輝度ヒストグラムの曲線イとロのよう
に1画面内での明るさの分布が違っていても、1画面分
の輝度信号の積分値が同じになる場合には、アイリスは
同じように制御される。曲線イは、逆光撮影時に発生し
やすい輝度発生頻度分布パターンであり、曲線ロは、順
光撮影時に発生しやすい輝度発生頻度分布パターンであ
る。
り、BLC−ON−MODE(逆光補正モード)が選択
されると、BLCスイッチがONになり、曲線イから、
図12に示すような曲線ハへと変化する。「黒つぶれ」
していた撮像信号の底上げをして全体に適正露光の目安
である前述の所定の値に近づけたため、明部の撮像信号
は高輝度クリップを起こし、発生頻度としては、明部へ
偏ったパターンになっている。
〜図9に示した非線形処理により、適正露光状態へ変換
する。その結果、順光状態に近い図12(ニ)に示すよ
うな分布を有する画像が得られることとなる。
を利用し、図1に示すタイミング制御回路110a,1
10bによる蓄積時間制御を適宜行えば、ダイナミック
レンジの広いAE制御が可能となる。
度領域映像用の露光制御(上記第2のAE系の制御)と
高輝度領域映像用の露光制御(上記第1のAE系の制
御)を行う方法について述べたが、次に、上記の2つの
露光制御に1画面内の別々の領域から切り出した映像信
号をそれぞれ用いる方法について説明する。
す。本例は、縦横8×8から成る64の等面積の分割で
ある。この64の画像分割を、逆光撮影時に適用した例
を示したものが図6である。高輝度部分から、代表的な
領域としてエリアA(分割ブロックNo. 13,14,
15,21,22,23,29,30,31)を選択
し、低輝度部分から、代表的な領域として、エリアB
(分割ブロックNo.43,44,45,51,52,
53,59,60,61)を選択した。ここでは、エリ
アAとエリアBとでどちらも9ブロックと同ブロック数
にしているが、異なるブロック数の場合には、おもみ付
け係数にて補正すれば良い。
分と高輝度部分について、それぞれ独立した露光量制御
を行うことで、画面全体として、適切なダイナミックレ
ンジに圧縮された映像信号が撮影可能となる。
御する実施例の構成は図1に示した回路構成例と同じで
あるが、画像分析回路の働きが、下記の通り異なる。撮
像信号は、前述の輝度ヒストグラム分析手段等の画像分
析回路107により分析され、低輝度と高輝度の出現頻
度の高いエリアを上位から数ブロック選択する。その数
ブロックのエリアの映像信号をもとに、該画像分析回路
107にて、エリアAとエリアBに各々対応するゲート
108aとゲート108bをON−OFFするための制
御信号を発生する。
いて、露光制御回路AE−1(109a)とAE−2
(109b)は各々、次のタイミング発生器110a,
110bへの制御信号を発生する。簡単な例では、AE
−1(109a)はt2を設定するためのもので、高輝
度領域のためのシャッタースピードによるAEであり、
AE−2(109b)は低輝度領域のためのシャッター
スピードによるAEである。もっとも簡単な例のみ示し
たが、他にも、AE手法は、数々あるので、これらの既
存の手法を各々の領域の制御に利用することができる。
あるVOD型CCDに簡単な制御処理回路を付加するこ
とで、ビデオカメラ撮影時の大きな問題点とされている
逆光撮影時等に代表させる狭ダイナミックレンジを効果
的に改善することが可能となる。
きなかった背景部分までも主たる被写体と共に撮像可能
となるもので、その効果は絶大なものである。
で、輝度の低い部分と輝度の高い部分を画面分割により
把握し、制御することで、安定した系が構成できる。具
体的には、画面内で階調のレンジが変わった場合、例え
ば室内の人物と窓越しの風景を同時に撮っていて、室内
に明かりをつけた場合に、明暗比が狭まり、圧縮比を変
えるべくt2が変更されると、本来変化していない窓越
しの風景の調子の方が変化してしまうが、本実施例の場
合においては、エリアBの系が独立してシャッタースピ
ードを補正して対応するので、エリアAに係わる露光の
変更は抑えられ、極力不自然な変化にならないような系
を実現できるという効果を有する。
することで、画面階調の極端な圧縮による不自然さを回
避することもできる。
囲で上記実施例を修正もしくは変形したものに適用可能
である。例えば、光蓄積時間を2種類で説明したが3種
類にしても良い。また縦形オーバーフロードレイン(V
OD)以外でも良い。
機能を有する撮像装置においては、単位光蓄積時間毎
に、光蓄積時間を長く設定して低輝度の被写体に適した
露光を行わせる動作と、光蓄積時間を短く設定して高輝
度の被写体に適した露光を行わせる動作を、各々行わ
せ、低輝度の被写体の露光動作については低輝度の被写
体部分の画像情報をもとに、高輝度の被写体の露光動作
については高輝度の被写体部分の画像情報をもとに、そ
れぞれ制御することにより、低輝度の被写体と高輝度の
被写体の双方に良好な露光を実現することができるとい
う効果がある。
部材を用いることなく、良好な、階調再現が可能にな
る。
明図である。
図である。
説明図である。
説明図である。
縮特性の説明図である。
イミングチャートである。
明図である。
る。
る。
イミングチャートである。
説明図である。
説明図である。
明図である。
ック図である。
生器 111 切換回路 112 CCDドライバ
Claims (2)
- 【請求項1】 光画像を光電変換し光情報の蓄積を行っ
て1画面を構成する単位光蓄積期間毎に出力する光電変
換手段と、該光電変換手段からの出力を処理して映像信
号を出力する信号処理手段と、前記光電変換手段に設定
した単位光蓄積期間ごとに光情報蓄積時間の設定を行う
ための複数のタイミング信号を出力するタイミング手段
と、前記信号処理手段からの輝度情報に基づき高輝度部
及び低輝度部に対応して前記タイミング手段からの複数
のタイミング信号を切換え制御して光電変換手段に入力
する階調制御手段とを備えたことを特徴とする階調制御
機能を有する撮像装置。 - 【請求項2】 光画像を光電変換し光情報の蓄積を行っ
て1画面を構成する単位光蓄積期間毎に出力する光電変
換手段と、該光電変換手段からの出力を処理して映像信
号を出力する信号処理手段と、前記光電変換手段に設定
した単位光蓄積期間ごとに光情報蓄積時間の設定を行う
ための複数のタイミング信号を出力するタイミング手段
と、前記信号処理手段から入力した前記光電変換手段に
設定した単位光蓄積期間ごとの輝度情報に基づき前記タ
イミング手段からの複数のタイミング信号を切換え制御
して光電変換手段に入力する階調制御手段とを備えたこ
とを特徴とする階調制御機能を有する撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08672194A JP3666900B2 (ja) | 1994-04-25 | 1994-04-25 | 撮像装置および撮像方法 |
US08/423,903 US6480226B1 (en) | 1994-04-25 | 1995-04-18 | Image pickup apparatus having gradation control function for providing image signals definitive of backlighted objects |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08672194A JP3666900B2 (ja) | 1994-04-25 | 1994-04-25 | 撮像装置および撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07298142A true JPH07298142A (ja) | 1995-11-10 |
JP3666900B2 JP3666900B2 (ja) | 2005-06-29 |
Family
ID=13894746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP08672194A Expired - Fee Related JP3666900B2 (ja) | 1994-04-25 | 1994-04-25 | 撮像装置および撮像方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6480226B1 (ja) |
JP (1) | JP3666900B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003046857A (ja) * | 2001-07-27 | 2003-02-14 | Nippon Telegr & Teleph Corp <Ntt> | 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体 |
EP1351499A2 (en) * | 2002-04-05 | 2003-10-08 | Mitsubishi Denki Kabushiki Kaisha | Imaging device and portable terminal |
US7155053B2 (en) | 2003-05-13 | 2006-12-26 | Olympus Corporation | Color image processing method and apparatus |
JP2007251904A (ja) * | 2006-03-20 | 2007-09-27 | Toshiba Corp | 撮像装置 |
US7298402B2 (en) | 2000-10-26 | 2007-11-20 | Olympus Corporation | Image-pickup apparatus with expanded dynamic range capabilities |
US7444075B2 (en) | 2005-05-27 | 2008-10-28 | Canon Kabushiki Kaisha | Imaging device, camera, and imaging method |
WO2012111401A1 (ja) * | 2011-02-18 | 2012-08-23 | ソニー株式会社 | 撮像装置、撮像素子、および撮像制御方法、並びにプログラム |
JP2013258526A (ja) * | 2012-06-12 | 2013-12-26 | Dainippon Printing Co Ltd | 画像処理装置、画像処理方法、画像処理用プログラム、および、記録媒体 |
WO2014141663A1 (ja) * | 2013-03-14 | 2014-09-18 | 株式会社ニコン | 撮像ユニット、撮像装置および撮像制御プログラム |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6219097B1 (en) * | 1996-05-08 | 2001-04-17 | Olympus Optical Co., Ltd. | Image pickup with expanded dynamic range where the first exposure is adjustable and second exposure is predetermined |
JP3791102B2 (ja) * | 1997-03-19 | 2006-06-28 | ソニー株式会社 | 露光制御装置、露光制御方法およびカメラ |
JP3999858B2 (ja) * | 1997-10-03 | 2007-10-31 | オリンパス株式会社 | デジタルカメラの自動露出制御装置 |
JP2000138868A (ja) * | 1998-11-04 | 2000-05-16 | Toshiba Corp | 撮像装置及びその制御方法 |
US6628334B1 (en) * | 1998-06-23 | 2003-09-30 | Intel Corporation | Method and apparatus for improving image signals |
JP4169415B2 (ja) | 1999-02-08 | 2008-10-22 | 三洋電機株式会社 | 固体撮像装置 |
JP4201424B2 (ja) * | 1999-02-26 | 2008-12-24 | 三洋電機株式会社 | 固体撮像装置 |
JP3926947B2 (ja) * | 1999-06-22 | 2007-06-06 | 富士フイルム株式会社 | 画像データ形成装置および画像データ処理方法 |
US6646683B1 (en) * | 1999-07-14 | 2003-11-11 | Sony Corporation | Iris control of a CCD camera using selective well dumping |
JP4314693B2 (ja) * | 1999-09-08 | 2009-08-19 | ソニー株式会社 | 固体撮像素子の駆動方法、固体撮像装置および撮像システム |
JP3636291B2 (ja) * | 2000-01-31 | 2005-04-06 | オリンパス株式会社 | 撮像装置 |
JP4576658B2 (ja) * | 2000-02-29 | 2010-11-10 | ソニー株式会社 | 撮像装置、撮像方法及び撮像プログラム |
FR2809568B1 (fr) * | 2000-05-26 | 2002-11-29 | Thomson Csf | Dispositif et procede d'analyse d'un ou de plusieurs signaux a grande dynamique |
JP2002058039A (ja) * | 2000-08-09 | 2002-02-22 | Eastman Kodak Japan Ltd | 撮像装置 |
US6873442B1 (en) * | 2000-11-07 | 2005-03-29 | Eastman Kodak Company | Method and system for generating a low resolution image from a sparsely sampled extended dynamic range image sensing device |
US6813046B1 (en) * | 2000-11-07 | 2004-11-02 | Eastman Kodak Company | Method and apparatus for exposure control for a sparsely sampled extended dynamic range image sensing device |
US6765611B1 (en) * | 2000-11-21 | 2004-07-20 | Eastman Kodak Company | Method for compressing an image from a sparsely sampled extended dynamic range image sensing device |
US6646246B1 (en) * | 2000-11-21 | 2003-11-11 | Eastman Kodak Company | Method and system of noise removal for a sparsely sampled extended dynamic range image sensing device |
US6999126B2 (en) * | 2001-09-17 | 2006-02-14 | Mazzapica C Douglas | Method of eliminating hot spot in digital photograph |
JP3806038B2 (ja) * | 2002-01-07 | 2006-08-09 | 富士写真フイルム株式会社 | 画像処理システム及び撮像装置 |
TW581925B (en) * | 2002-12-23 | 2004-04-01 | Inventec Multimedia & Telecom | Backlight control type short-distance photograph-taking system |
US7446812B2 (en) * | 2004-01-13 | 2008-11-04 | Micron Technology, Inc. | Wide dynamic range operations for imaging |
US7616256B2 (en) * | 2005-03-21 | 2009-11-10 | Dolby Laboratories Licensing Corporation | Multiple exposure methods and apparatus for electronic cameras |
US20070024721A1 (en) * | 2005-07-29 | 2007-02-01 | Rogers Sean S | Compensating for improperly exposed areas in digital images |
JP4986747B2 (ja) * | 2007-07-09 | 2012-07-25 | キヤノン株式会社 | 撮像装置及び撮像方法 |
JP5358136B2 (ja) * | 2008-07-29 | 2013-12-04 | パナソニック株式会社 | 固体撮像装置 |
JP6600216B2 (ja) * | 2015-09-29 | 2019-10-30 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
US20170142313A1 (en) * | 2015-11-16 | 2017-05-18 | Microsoft Corporation | Image sensor system |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5797275A (en) * | 1980-12-08 | 1982-06-16 | Sony Corp | Television camera |
US4647975A (en) * | 1985-10-30 | 1987-03-03 | Polaroid Corporation | Exposure control system for an electronic imaging camera having increased dynamic range |
WO1987004581A1 (en) * | 1986-01-24 | 1987-07-30 | Hitachi, Ltd. | Solid-state tv camera device |
US5638118A (en) * | 1987-06-09 | 1997-06-10 | Canon Kabushiki Kaisha | Image sensing device with diverse storage times used in picture composition |
US5162914A (en) * | 1987-06-09 | 1992-11-10 | Canon Kabushiki Kaisha | Image sensing device with diverse storage fumes used in picture composition |
GB2219461B (en) * | 1988-05-02 | 1992-11-18 | Canon Kk | Exposure control device |
JPH0399589A (ja) * | 1989-09-13 | 1991-04-24 | Toshiba Corp | 固体カメラ |
US5040068A (en) * | 1989-12-28 | 1991-08-13 | Eastman Kodak Company | Electronic imaging apparatus with interchangeable pickup units |
US5223935A (en) * | 1990-04-02 | 1993-06-29 | Casio Computer Co., Ltd. | Electronic camera with automatic exposure control |
US5264940A (en) * | 1990-10-08 | 1993-11-23 | Olympus Optical Co., Ltd. | Image sensing apparatus having exposure level and dynamic range control circuit |
JPH04170175A (ja) * | 1990-11-02 | 1992-06-17 | Canon Inc | 固体撮像素子の駆動装置 |
US5382974A (en) * | 1991-04-18 | 1995-01-17 | Fuji Photo Film Company, Limited | Movie camera having still picture photographing function and method of photographing still picture therewith |
US5420635A (en) * | 1991-08-30 | 1995-05-30 | Fuji Photo Film Co., Ltd. | Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device |
US5526088A (en) * | 1992-03-05 | 1996-06-11 | Nikon Corporation | Focus detection device |
KR100281788B1 (ko) * | 1992-03-18 | 2001-02-15 | 이데이 노부유끼 | 고체 촬상 장치 |
JP3412174B2 (ja) * | 1992-05-21 | 2003-06-03 | 松下電器産業株式会社 | 自動露光制御装置 |
US5463421A (en) * | 1992-05-30 | 1995-10-31 | Sony Corporation | Solid-state image apparatus which sweeps out independently ineffective electric charges so that the exposure period can be varied within a range from one field period to one frame period |
US5621462A (en) * | 1992-08-18 | 1997-04-15 | Canon Kabushiki Kaisha | Image pickup device capable of controlling made pickup operation |
JP3106720B2 (ja) * | 1992-09-16 | 2000-11-06 | 株式会社ニコン | カメラの測光制御装置 |
-
1994
- 1994-04-25 JP JP08672194A patent/JP3666900B2/ja not_active Expired - Fee Related
-
1995
- 1995-04-18 US US08/423,903 patent/US6480226B1/en not_active Expired - Fee Related
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7298402B2 (en) | 2000-10-26 | 2007-11-20 | Olympus Corporation | Image-pickup apparatus with expanded dynamic range capabilities |
JP2003046857A (ja) * | 2001-07-27 | 2003-02-14 | Nippon Telegr & Teleph Corp <Ntt> | 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体 |
EP1351499A2 (en) * | 2002-04-05 | 2003-10-08 | Mitsubishi Denki Kabushiki Kaisha | Imaging device and portable terminal |
EP1351499A3 (en) * | 2002-04-05 | 2005-01-26 | Mitsubishi Denki Kabushiki Kaisha | Imaging device and portable terminal |
US7324147B2 (en) | 2002-04-05 | 2008-01-29 | Mitsubishi Denki Kabushiki Kaisha | Intermittent driving type imaging device for portable terminal |
US7155053B2 (en) | 2003-05-13 | 2006-12-26 | Olympus Corporation | Color image processing method and apparatus |
US7444075B2 (en) | 2005-05-27 | 2008-10-28 | Canon Kabushiki Kaisha | Imaging device, camera, and imaging method |
JP2007251904A (ja) * | 2006-03-20 | 2007-09-27 | Toshiba Corp | 撮像装置 |
WO2012111401A1 (ja) * | 2011-02-18 | 2012-08-23 | ソニー株式会社 | 撮像装置、撮像素子、および撮像制御方法、並びにプログラム |
JP2012175234A (ja) * | 2011-02-18 | 2012-09-10 | Sony Corp | 撮像装置、撮像素子、および撮像制御方法、並びにプログラム |
US9060134B2 (en) | 2011-02-18 | 2015-06-16 | Sony Corporation | Imaging apparatus, image sensor, imaging control method, and program |
JP2013258526A (ja) * | 2012-06-12 | 2013-12-26 | Dainippon Printing Co Ltd | 画像処理装置、画像処理方法、画像処理用プログラム、および、記録媒体 |
WO2014141663A1 (ja) * | 2013-03-14 | 2014-09-18 | 株式会社ニコン | 撮像ユニット、撮像装置および撮像制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
US6480226B1 (en) | 2002-11-12 |
JP3666900B2 (ja) | 2005-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3666900B2 (ja) | 撮像装置および撮像方法 | |
US7292274B2 (en) | Solid-state image pickup device driving method and image capturing apparatus for outputting high-resolution signals for still images and moving images of improved quality at a high frame rate | |
US6914630B2 (en) | Imaging apparatus and signal processing method for the same | |
US7161625B2 (en) | Image pickup apparatus | |
EP0484135B1 (en) | Image sensing apparatus having tone control function | |
US20080007639A1 (en) | Solid-state imaging apparatus for controlling a sweep transfer period in dependence upon the amount of unnecessary charges to be swept out | |
US7551217B2 (en) | Solid-state image sensor obviating degradation of image quality and apparatus using the same | |
US7609306B2 (en) | Solid-state image pickup apparatus with high- and low-sensitivity photosensitive cells, and an image shooting method using the same | |
JPS63158982A (ja) | 固体テレビカメラ装置 | |
US20040239790A1 (en) | Image capturing apparatus | |
US7667735B2 (en) | Image pickup device and image processing method having a mask function | |
US7312823B1 (en) | Solid-state image pick-up apparatus and video camera loaded with the apparatus | |
JP2007027845A (ja) | 撮像装置 | |
JP3551568B2 (ja) | 撮像装置 | |
JP4282262B2 (ja) | 撮像装置 | |
JP2714248B2 (ja) | 階調制御機能を有する撮像装置 | |
JP3802596B2 (ja) | 電子カメラ | |
JP2751126B2 (ja) | 階調制御機能を有する撮像装置 | |
JP3542320B2 (ja) | 撮像装置 | |
JP2695522B2 (ja) | 撮像装置。 | |
JP2695521B2 (ja) | 階調制御機能を有する撮像装置 | |
JP2647550B2 (ja) | 階調制御機能を有する撮像装置 | |
JP3639491B2 (ja) | 撮像装置 | |
JPS596678A (ja) | ビデオカメラ | |
JPH04168886A (ja) | 階調制御機能を有する撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040329 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041115 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050405 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110415 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130415 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130415 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |