JP4325777B2 - 映像信号処理方法および映像信号処理装置 - Google Patents
映像信号処理方法および映像信号処理装置 Download PDFInfo
- Publication number
- JP4325777B2 JP4325777B2 JP2001161323A JP2001161323A JP4325777B2 JP 4325777 B2 JP4325777 B2 JP 4325777B2 JP 2001161323 A JP2001161323 A JP 2001161323A JP 2001161323 A JP2001161323 A JP 2001161323A JP 4325777 B2 JP4325777 B2 JP 4325777B2
- Authority
- JP
- Japan
- Prior art keywords
- signal processing
- video signal
- level
- level difference
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 47
- 238000003672 processing method Methods 0.000 title claims description 27
- 238000012937 correction Methods 0.000 claims description 84
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000003702 image correction Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims 2
- 238000001444 catalytic combustion detection Methods 0.000 description 38
- 238000012544 monitoring process Methods 0.000 description 16
- 238000012546 transfer Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/87—Camera processing pipelines; Components thereof for processing colour signals for reinsertion of DC or slowly varying components of colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/72—Circuits for processing colour signals for reinsertion of DC and slowly varying components of colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
【発明の属する技術分野】
本発明は、二次元CCD撮像デバイスを用いた各種機器、例えば、デジタルスチルカメラ、ビデオカメラ、スキャナー等における、映像信号処理方法および映像信号処理装置に関するもので、特に、上記CCD撮像デバイスの光学的な黒レベルと映像信号の黒レベルの差である黒レベル段差(以下「OB段差」という)の補正に関するものである。
【0002】
【従来の技術】
上記の技術分野に属する従来技術の一つとして特開平5−110941号公報記載のものがある。これは、CCD撮像デバイスの感光部から転送部を介して1フィールドごとに出力データを読み出し、1フィールドごとの出力データ読み出し後最初の水平同期信号に同期して、再度感光部の1ライン分の出力データを読み出す出力制御回路を備えることを特徴とし、フィールド走査ごとに得られる黒レベル補正信号により、手動による調整をすることなく、黒レベル段差を補正することができるようにしたものである。
【0003】
上記の技術分野に属する従来技術の別の例として特開2000−152098記載のものがある。これは、撮像素子から得られる映像信号のOBレベル算出手段と係数演算手段と減算回路を備え、OBレベル算出手段の出力に係数演算回路で係数を掛け、OB段差信号を生成し、減算回路を用いて、映像信号からOB段差信号を減算することで、OB段差を補正するというものである。
【0004】
【発明が解決しようとする課題】
近年、特にデジタルカメラの世界では、小型化、高性能・高機能化、高速化が進んでいる。一方、消費電力の面からみると、明らかに増加傾向にあるとまではいえないが、減少傾向にあるともいえない状況である。このように、機器で消費する電力は変わらず、一方で小型化や高速化が進んでくると、機器内の温度が上昇し、様々な弊害を引き起こすことになる。
【0005】
中でもデジタルカメラにおける撮像素子として広く用いられているCCD撮像デバイスは、熱による特性劣化が激しい。熱によって特性が劣化すると、温度キズと呼ばれる画素単位での暗電流の増加による特異点の発生、飽和信号量の低下、画面全体の暗電流の増加、などの不具合が生じる。その中で、画面全体の暗電流の増加というのは、正確には、CCDの構造上、OB(オプティカルブラック:Optical Black)部と有効画素部とで増加量が異なることをいう。これは、OB部がアルミ遮光膜で覆われているためで、フォトダイオードとアルミ遮光膜間に寄生容量が発生し、有効画素部より表面準位が低くなるからである。この現象を一般的にOB段差と呼んでいる。
【0006】
従って、一般的に暗電流成分は有効画素部の方が大きくなるが、CCDの信号は、後段のCDS(相関二重サンプリング)でサンプリングされる際、OB部の出力レベルを黒レベルとしてクランプを行うため、OB部と有効画素部で黒レベルが異なると、遮光した状態であっても、あたかも光が入っているかのように、画面が明るくなるというような不具合が発生する。
【0007】
ビデオカメラなどの動画を撮影する機器や、デジタルスチルカメラにおいて、いわゆるモニタリング状態では、入射光量が少ない低照度時は、フレームレートが一定のため、カメラのように露光時間を長くしてCCDの信号量を増やすということはできないので、後段のアンプでCCD出力を増幅する。そのレベルは約30dBほどである。
例えば、OB段差が5mVある状態で、30dBもの利得をかけられると、OB段差による暗電流量だけで、160mVものレベルに達してしまうことになる。これは、暗電流量だけで、得ようとする基準信号レベルに達しってしまっていることを意味する。このようにOB段差を補正しないと著しい画質劣化を生ずることになる。
【0008】
ここまで説明してきたように、OB段差とは、熱によるペデスタルレベルの変動、言い換えれば、CCDの出力信号をCDSでサンプリングするために発生してしまうオフセット量のことである。
本発明は、上記OB段差を補正するとともに、最良のタイミングで、かつ、誤差を最小限にOB段差を求めることができ、さらには、OB段差を補正することにより生ずる不具合を改善することができる映像信号処理方法および映像信号処理装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
上記オフセット量は、以下に示す方法で算出することが可能である。
図2に示すように、横軸に露光時間、縦軸に二次元CCD撮像デバイス(以下「CCD」という)の出力信号レベルをとると、飽和領域の手前まで比例関係が成り立っている。従って、CCDの出力信号レベルをy、露光時間をtとし、同一絞り、同一画角、同一光量条件下における信号の変化量、傾き係数をaとすると
y=at・・・(1)
と表すことができる。ここで係数aは使用するCCD固有のものであり、温度変化などで変化するものではない。次にこの式にOB段差が発生したときのオフセット量を表すbというパラメータを入れると
y=at+b・・・(2)
となる。
【0010】
次に、露光時間をα%にした露光時間をα/100×t、そのときのCCD出力信号レベルをy'とすると、上記パラメータbは、機内の温度変化に依存するが、短時間ではほとんど変化が無いので、
y'=a×α/100×t+b・・・(3)
と表すことができる。
ここで、(2)式をaについて解くように変形して(3)式に代入し、bについて解くと、
b=(100y'―αy)/(100−α)・・・(4)
となる。この式は、短時間に或る決められた割合(α)で変化させた露光時間で、少なくとも2回の露光をし、それぞれの露光時におけるCCDの信号レベル(y、y')を知ることにより、OB段差量bを知ることができることを示している。
【0011】
しかし、先に示した条件の中で、ユーザーが使用中に同一画角、同一光量条件を保つことは難しいと考えられる。そこで、1回あたりの誤差を少なくする工夫が必要になる。例えば、αをできるだけ大きくとるようにすることもその一つであり、さらには、次に述べるような各種の工夫をするとよい。まず、図5に示すように、或る決められた回数繰り返してこの動作を行い、それらの累積値を繰り返し回数で割った平均値を使用する。あまりにも変化が大きい時は、入射光量は急激に変化する可能性はあるが、OB段差量は急激に変化するような性質のものではないので、図7に示すように、入射光量が大きく変わってしまったと判断して、累積しないようなリミット値を設ける。あるいは、自動露出(AE)制御値、例えば、シャッタースピード値、あるいはAGC値から、画角の変化を予測し、変化の少ないときを選んで上述のOB段差算出シーケンスを行う。また、ユーザーの使用方法を考慮したとき、記録前段階では、画角は大きく変化しないと想定できるので、図8に示すように、実際に撮影する前段階の際に限定して行う。
【0012】
一方、OB段差を上記の方法で算出する際、露光時間を意識的に変化させるため、そのまま映像を出力すれば、AEのハンチングやフリッカーを起こしたような画像が出力されることになってしまう。しかし、予め決められた割合(α%)で露光時間を変化させているのであるから、その増減分を補うように、映像出力にゲインをかけることができる。そのようにすることで、ユーザーに違和感を与えないようにすることができる。
もちろん、ゲインをかけるポイントとしては、CCDの信号量を知るために設けられた、Y評価値算出回路の後段でなければならない。
【0013】
ここで、OB段差を補正することによる画質への2次的な不具合を考えてみる。例えば、CCD出力信号のダイナミックレンジの設定は、一般的にOB段差が無い状態で行なわれる。そのダイナミックレンジは、原色CCDの場合、相対感度の高いG(緑色)信号によって決められていることが多い。しかし、熱による暗電流が発生すると次第にOB段差が大きくなってくるのに対し、飽和信号レベルはそれほど変化しないため、OB段差が無いときとに比べ、CCD出力信号のダイナミックレンジが小さくなってしまう。G信号を基準としてR(赤)、B(青)信号にゲインを掛け、ホワイトバランスをとるが、上述のようにCCDのダイナミックレンジが狭くなってしまうと、基準であるG信号は信号処理装置内でフルレンジまで行かなくなる一方、R、Bは、ホワイトバランスのゲインを掛けられるため、G信号の飽和には関係なく、信号処理装置のフルレンジに達することができる(図9〜図12参照)。
【0014】
このようなことが起きると、図9に示すような、撮影視野内に、1.輝度が飽和レベルである白い雲や、2.人物の白シャツなどがあり、特に、1.の白い雲のようなハイライト部分で、白が白にならず、赤紫色になるようなことがある。図11に示す段差有りの場合、上記1.のようなハイライト部分についてのRgain、Bgain補正の欄は、RとB信号は飽和レベルに達しているのに対し、G信号は飽和レベルに達しておらず、白が白にならず、赤紫色になることを示している。このような不具合を防ぐために、算出したOB段差補正量に応じて、信号処理装置内でG信号にゲインを掛け、フルスケールまで達するようにする必要がある。図12に示す段差有りの場合のRgain、Ggain、Bgain補正の欄はこれを示している。
さらには、G信号に補正のためのゲインを掛けることにより、ランダムノイズも大きくなるので、信号処理装置内の画像補正係数、例えば、コアリングレベルを上げることによって、アパーチャー強調がランダムノイズにかからないようにする必要も発生する。
【0015】
このようにして得られたOB段差補正量をもって、実際に記録をする場合について考えてみる。まず、動画が記録可能なカメラを考えたとき、OB段差量を算出するシーケンスが、動画記録中に入ってしまうことは、必ずしもユーザーが望むところではない。なぜならば、OB段差量を算出するためには、意図的に異なる露光時間で露光する必要があるが、このときの露光レベルを適正な露光レベルに合せるべく、上述のような方法で輝度レベルを補正したとしても、完全に補正できるとは考え難いからである。モニタリングの動作中であれば気にならなかったとしても、記録されてしまうと気になるということは良くある。また、OB段差は短時間では著しく変化する性質のものではない。このように動画記録画像に違和感を残すことが無いように、実際の記録時は、OB段差量の算出シーケンスを実行しないようにする必要があろう。
【0016】
次に、デジタルスチルカメラのように静止画記録を主たる機能とする機器の場合について考える。近年、デジタルスチルカメラは高画素化が進み、高画素対応のし易さから、インターレースタイプのCCDを採用するケースが多い。このインターレーススキャンタイプCCDの構造は、大きく分けると画素部と垂直転送部とからなる。熱による暗電流の大部分はこの2つの領域で発生している。以下、画素部暗電流量をe1、垂直転送部暗電流量をe2とする。上記のように、熱による暗電流の大部分は画素部と垂直転送部で発生しているため、モニタリング中に算出されるOB段差量の中身は、ほぼe1+e2で表すことができる。しかし、インターレーススキャンのCCDにおいては、記録の際、いわゆる垂直転送路の掃き出しを行い、垂直転送路に発生する不要電荷を排出することが一般的である。従って、記録の際には、上記垂直転送部暗電流量e2分を差し引くようにする必要がある。なお、このe1:e2は、CCDの設計段階で決まっている既知のものである。
【0017】
しかし、この比率を考慮するだけでは、まだ誤差が大きい。というのは、露光フレーム内で電子シャッタを用いて露光時間制御をするため、画素部暗電流量e1が変化していることを考慮する必要があるからである。つまり、電子シャッタを使用している期間は、画素部に溜まった電荷を基板に掃き捨てるので、光電変換によって生じる電荷のみならず、暗電流によって生ずる不要電荷も掃き捨てられているのである。
【0018】
以上のことより、インターレーススキャンタイプのCCDを用いたデジタルスチルカメラで、静止画を記録する場合につき、減算すべき記録時のOB段差補正値y(pix)を求めてみる(図13参照)。
まず、モニタリング中に算出されていたOB段差補正量yは、そのうち画素部に起因するものをy(pix)、垂直転送部に起因するものをy(V)とすると、
y=y(pix)+y(V)・・・(5)
【0019】
ここで、y(pix)は、モニタリング中のフレーム期間をT、そのうち、電子シャッタパルスが出力されていない期間をt、電子シャッタパルスが全く出力されなかったとき、モニタリング時のフレーム期間に画素部で発生するであろうOB段差補正量をxとすると
y(pix)=x・t/T・・・(6)
と表すことができる。一方y(V)は、CCDの特性から得られている、画素部と垂直転送部との暗電流発生比率(e2/e1)をkとすると、
y(V)=e2/e1×x=kx・・・(7)
と表すことができる。従って(5)式は、
y=x・t/T+kx・・・(8)
となり、xについて解くと
x=y/(t/T+k)・・・(9)
となる。これを(6)式に代入すれば、
y(pix)=y・t/(t+Tk)・・・(10)
となり、静止画記録時、減算すべき記録時のOB段差補正値を得ることができる。
【0020】
ここまで求めてきた、静止画記録時のOB段差補正量も、デジタルカメラ特有の長秒時露光の際には誤差が大きくなってしまう。長秒時露光とは、被写体輝度が暗い時、モニタリング時のフレーム期間を数フレームかけ、連続して露光制御することである。上記の計算式では、1フレーム分のOB段差量しか考慮されていなかったので、長秒時露光に対応した式に変形する必要が生ずる。
また、長時間露光が必要になるときは、モニタリングの期間、フレームレートが一定であるため、信号処理装置に入る前に、CCD出力信号に利得を掛けていることが一般的であるが、記録の際には元の基準利得に戻す。従って、モニタリング期間に求めたOB段差補正量には、この利得が掛かっているので、その利得分差し引く必要も生ずる。
【0021】
以上のことを考慮し、長秒時露光における、減算すべき記録時のOB段差補正値を求める(図15参照)。
まず、モニタリング中に掛けられていた、基準利得に対する利得上昇分をgとすると、
g=20logX・・・(11)
ここでXは、通常記録時に対して、モニタリング時何倍の利得が掛けられていたかを表す変数としている。
(11)式より、
X=10^(g/20)・・・(12)
となるので、モニタリング中に算出されたOB段差補正量のうち、画素部に起因するものをGy(pix)、利得を掛けていないときをy(pix)とすると、
y(pix)=Gy(pix)/X・・・(13)
Gy(pix)=y(pix)×X・・・(14)
の関係にある。
【0022】
長秒時露光の1フレーム目は、ほぼ1フレームだけの露光のときに求めた(10)式が成り立つ(但し、ゲインが掛けられた状態のyという意味でGyに変更)とし、2フレーム以降は、前述の定義の通りxである。従って、
Gy(pix)=Gy・t/(t+Tk)+(n−1)・x・・・(15)
また、xは(9)式より、
x=Gy/(t/T+k)・・・(16)
であるから、
Gy(pix)=Gy・t/(t+Tk)+(n−1)・Gy/(t/T+k)
=(t+(n−1)・T)・Gy/(t+kT)
ここで、t+(n−1)Tは、実露光期間Texpといえるので、
Gy(pix)=Texp・Gy/(t+kT)・・・(17)
最後に、(14)式を(17)式に代入すれば、
y(pix)=Texp・Gy/(X・(t+kT))・・・(18)
以上により、静止画長秒時記録時、減算すべき記録時のOB段差補正値を得ることができる。
【0023】
以上述べて来た通り、本発明は、OB段差を補正するとともに、最良のタイミングで、かつ、誤差を最小限にOB段差を求めることができ、さらには、OB段差を補正することにより生ずる不具合の改善、および画像記録時の処理方法について言及するものである。
【0024】
先に示した先願の2例は、OB段差を補正するという点では同じであるが、達成方法が異なるため、本発明の方がコスト面、実装面、または得られる画像の画質という点においてメリットがある。また、先願の2例には、実際にOB段差を補正したときに懸念される不具合については言及されていなかった。
【0025】
特開平5−110941号公報記載の発明については、出力制御回路(特別なタイミングジェネレータ)を作る必要があることと、サンプルホールド用にコンデンサが必要になるなど、コスト、実装面でデメリットがある。
【0026】
特開2000−152098公報記載の発明については、この方式を実施する際には、係数kを求めるために、調整する必要があり、さらには、温度管理して調整するか、機器内に温度センサーを取り付け、調整時の温度を知る必要がある。また、温度を管理したとしても、温度による暗電流の増加は8度でおおよそ2倍というように、経験則的な部分が強く、正確に補正できるとは考え難い。さらに、フィードバックループが無いので、どれだけ映像信号を減算したかを知るすべが無い。闇雲にCCD出力を減算して行くと、ダイナミックレンジが少なからず小さくなり、DSP側のダイナミックレンジと不釣り合いになってしまう。CCD側のダイナミックレンジが小さくなると、γ処理をしている関係で、高輝度部分でホワイトバランスがずれ、空がピンク色になる、などの不具合が生じてしまうが、このような不具合に対しての補正方法等については、言及されていない。
【0027】
【発明の実施の形態】
以下、図面を参照しながら本発明にかかる映像信号処理方法および映像信号処理装置の実施の形態について説明する。
図1は、本発明を実現するための回路の一例を示したものである。図1において、二次元CCD撮像デバイス(以下「CCD」という)1で光電変換によって発生した電荷は、タイミングジェネレータ(以下「TG」という)6、垂直駆動部(以下「VDr」という)5から出力される水平・垂直の駆動パルスを受け、相関二重サンプリング、アナログデジタル変換部(以下「CDS・A/D」という)に運ばれる。CDS・A/Dでは、CDS回路2でCCD1の出力信号を相関2重サンプリングし、所定のゲイン(Gb)をAGCアンプ回路3で掛けられ、A/D変換部4でA/D変換した10bitデジタル信号が、信号処理装置に送られる。この例では、10bitA/D変換で記述したが、最近では、12bitのA/D変換を使用することも珍しくない。
露光時間の変更は、CPU8―TG6間のシリアル通信で、TG6が出力する電子シャッタパルスの本数を変更することによって行われる。
【0028】
信号処理装置に送られたデータは、OB(オプティカルブラック)クランプ回路9で、OB部のレベルが0になるようにクランプされる。このとき、OB部と有効画素部に段差があっても、そのまま次段の4Hメモリー回路10に送られることとなる。4Hメモリー回路10では、現信号と合せ5水平期間分のデータを、RGB分離回路11に送る。RGB分離回路11で、上記データはR(赤),G(緑),B(青)それぞれの信号に分離され、RGB補間回路12で補間され、R,G,Bそれぞれのプレーン画に対応する信号が作られる。
【0029】
ここで、Y演算装置20で、Yが演算され、これを少なくとも2フレーム、露光時間を変えて露光した結果から、OB段差の補正が必要かどうか、インターフェース24を介してCPU8によって判断される。もし、OB段差補正が必要な場合は、OB段差補正回路13にて、所定の値だけ減算され、ホワイトバランス(以下「WB」という)回路14に送られる。WB回路14では、AWB評価値出力回路23からの情報に基づいて、R,B信号にゲインが掛けられる。
【0030】
WB回路14から出力されたR,G,B信号は、次に利得補正回路15に送られる。この利得補正回路15は、OB段差補正が行われた場合、OB段差補正回路13で減算された分を補うように、利得をR,G,Bに掛ける役割と、OB段差量を算出する際、露光時間が適正露光から逸脱したとき、出力ビデオ信号で違和感の無いように補正するための回路である。
【0031】
OB段差補正が行われると、WB回路14からの出力点であるe点でのG出力の飽和レベルは、例えば8bit処理であれば255、10bit処理であれば1023になるはずのものがその値にはならず、それぞれ240とか、950とかになってしまう。そこで、利得補正回路15では、前者の場合であれば約0.5dB、後者であれば、約0.65dBの利得がR,G,Bそれぞれに掛けられる。
【0032】
また、OB段差量を算出する際は、CPU8からTG6に電子シャッタの本数を変えるように指令する。例えば、OB段差量の算出を、nフレーム目から2フレームかけて行う場合、nフレーム目ではそれまでの自動露出制御部(以下「AE」という)が制御していた露出量、電子シャッタ本数で露光し、n+1フレーム目に露光時間を半分にするべく、電子シャッタ本数を変更したとする。そのとき、利得補正回路15で、n+1フレーム目の信号に6dB掛けることで、nフレーム目と同じ出力レベルにすることができる。
【0033】
この利得補正は、OB段差補正回路13の後段で、かつ、γ補正部16の前段である必要がある。なぜならば、OB段差補正の前に利得補正をしても、OB段差補正回路で13減算されれば、今まで述べてきたことは意味がなくなり(フルレンジまで行かないという不具合の解決にはならない)、γ補正回路16より後段にあっては、非線形処理をγ補正回路16で行うため、単純な乗算回路では補正できないからである。
【0034】
次に、R,G,B信号は、γ補正回路16に送られる。ここで非線型処理をされ、γR、γG、γBが出力される。γR、γG、γB信号は、色差マトリックス回路17で、RGB→YCbCrに変換され、アパーチャー形成回路19で形成されたアパーチャー成分をY信号にミックスし、メモリーコントローラ18を介して、フレームバッファー7に送られる。
【0035】
上記アパーチャー形成回路19とは、輪郭の強調成分の形成を行う回路で、主に輪郭強調をする入力レベル変化のしきい値の設定(コアリングレベル)、輪郭強調の度合い(アパーチャーゲイン)、輪郭強調成分の強さの制限(リミット)を設定値としてもっている。そこで、例えば、OB段差量を算出するとき、露光時間を変化させた分、利得補正回路15でゲインを掛けるようにしているが、当然ゲインを掛ければノイズレベルも大きくなってしまうので、コアリングレベルを上げ、ノイズ成分に輪郭強調がかからないようにする等の手段をとる。こうすることにより、より自然な画像を得ることができる。
最後にフレームバッファー7に蓄えられた映像信号は、メモリーコントローラ18から次フレームに読み出され、ビデオエンコーダ26を通して、外部に出力される。
【0036】
以上が、一連の信号の流れである。次に、モニタリング中の実際のOB段差算出シーケンスについて述べる。
図3、図4は、OB段差量の算出を定期的に行う場合を示す。図3、図4の(1)では、露光時間を変え、露光量y1、y1'を得る。y1、y1'は、露光フレームの次のフレームで読み出され、信号処理装置に送られ、OB段差の算出を前述の通り行う。この期間をb1として示している。
【0037】
b1期間に算出されたOB段差量b1に、算出に要した次のフレームから、相当OB段差補正量が、OB段差補正回路13にセットされる。以上の動作をあるモニタリング動作中、一定期間おいて繰り返し行うことで、OB段差補正量の更新をして行く。ある一定期間を置いてOB段差量の算出をしているのは、なるべく基準露光量を逸脱した露光をしないようにするためである。また、この期間の置き方は、機器の電源投入直後は、短時間の間に機器内の温度が上昇するのに対し、長時間モニタリング後は、機器内の温度は飽和し始め、その変化も鈍くなってくるので、そのような特性に合すべく間隔をおいても良い。
【0038】
図3、図4の(2)では、上述と同じように、OB段差量の算出を定期的に行っているが、OB段差量を1度算出するのに、3回露光量を変えてした場合を示している。それぞれの露光量をy1、y1'、y1''で示している。このように露光量の違う露光を数多く行い、それらyを直線近似し、b1を求めれば、本来のOB段差量に対するずれを少なくすることができる。但し、それだけbを算出するための時間が掛かってしまうので、1シーケンス中に極端に被写体輝度が変わる(撮影フレームが変化する)可能性も高くなってしまうので、3回程度が妥当と考える。
【0039】
図5、図6は、OB段差量の算出を定常的に行う場合を表したものである。このように定常的に行うことは、タイマーを使う必要がなくなり、制御ソフトを簡略化できるとともに、OB段差量の算出という意味でも、毎回算出されているので、現状に適合したOB段差量を常に更新できるというメリットもある。
図5(1)では、適正露光および適正露光より短い露光を1シーケンスとするOB段差量の算出を定常的に行い、かつ、3シーケンスを1セットとして、それぞれのシーケンスで得られたb11、b12、b13の平均をもって、実際に補正する値B1を求める様子を示したものである。また、その様子をグラフで示したものが図6(1)(2)(3)である。
【0040】
図5(2)では、1シーケンスを3回ずつ、そして露光時間を変えてそれを3回行い、計9フレームを使ってB1を算出する様子を表している。
図7は、図5(1)における1、2、3、4フレームでのCCDOUT輝度レベルが、図示の関係にあったとき、3フレームから4フレームの間に著しい被写体輝度の変化があった場合、3、4の近似式から得られたb12は、その前のセットで得られていたbに対し、或る幅を持ったb±blimitから外れた値になっているので、B1を求める際、計算対象から外すことを意味するものである。OB段差補正量は、それほど急激に変化するような性質では無いため、このような場合は、被写体輝度が変化したと判断することができるのである。このように、それまでのOB段差補正量から逸脱した結果が出た場合は、平均する対象から外すことで補正量の精度を高めるようにする。
【0041】
図8は、静止画記録前を使って、OB段差量の算出を行う場合を表したものである。静止画記録前は、フォーカス動作を行う必要があるため、ユーザーがカメラを使用する場合、画角の変化が起こり難い。この時を利用してOB段差量の算出を行えば、図5に示したようなしきい値を設ける必要がなくなる可能性があり、また、モニタリング中にOB段差の補正をしていないので、2次的な不具合、例えば、ノイズが増えたように感じるなどの不具合も起こらない。また、OB補正量の算出シーケンスの開始を、レリーズ信号をもって行うようにすれば、一定時間おく場合に必要としていたタイマーを使う必要も無くなる。
図8(1)では、2回を1シーケンスとするOB段差量算出を3セット行い、その平均をもって記録する場合を、図8(2)では、3回を1シーケンスとするOB段差量算出を3セット行い、その平均をもって記録する場合を表している。
【0042】
このように、本発明において、OB段差量を算出する際、誤差を生ずる最も大きな原因は、1シーケンス中で被写体輝度が変わることである。しかし、被写体の輝度変化が激しいときであるか否かは、AEの制御値を見れば予想できることであるので、被写体輝度の変化が少ないときを選んで、OB段差量の算出を行うということも有効な手段である。
CPU8は、各部の動作を制御する制御手段として、また、OB段差量その他を算出する演算手段として機能する。
【0043】
【発明の効果】
請求項1および11記載の映像信号処理方法および処理装置においては、異なる露光量の2フレーム以上の輝度信号レベルから、OB段差量を算出し、その段差を補正することができる。
【0044】
請求項2および12記載の映像信号処理方法および処理装置においては、請求項1または11記載の発明において、OB段差補正量の算出を定常的に行うことで、ソフト制御の簡略化を図ることができ、また、タイムリーにOB段差の補正をすることが可能となる。
【0045】
請求項3および13記載の映像信号処理方法および処理装置においては、請求項1または11記載の発明において、OB段差補正量の算出を定期的に行うことで、必要に応じ、効率的にOB段差の補正をすることが可能となる。
【0046】
請求項4および14記載の映像信号処理方法および処理装置においては、請求項1または14記載の発明において、OB段差補正量の算出をフォーカス動作時に限定して行うことで、画角が変わり難い状況でOB段差量の算出を行うことができ、より正確なOB段差補正量算出のためのデータを採取することができる。
【0047】
請求項5および15記載の映像信号処理方法および処理装置においては、請求項1または11記載の発明において、OB段差補正量の算出を自動露出制御値の変化の少ないときに限定して行うことで、輝度変化の変わり難い状況でOB段差量の算出を行うことができ、より正確なOB段差補正量算出の為のデータを採取することができる。
【0048】
請求項6および16記載の映像信号処理方法および処理装置においては、OB段差補正量算出中に、輝度変化があったことを判定する手段をもっていることで、より正確なOB段差補正量算出の為のデータを採取することができる。
【0049】
請求項7および17記載の映像信号処理方法および処理装置においては、OB段差補正によって減算された信号レベルに、減算した量から算出された所定の利得を映像信号に掛けることで必要な利得が得られるようにしたことで、ホワイトバランスを崩すことなく、また、低輝度部分から、ハイライト部まで、正確な色を再現することができる。
【0050】
請求項8および18記載の映像信号処理方法および処理装置においては、請求項7または17記載の発明において、映像信号に掛けられたゲインによって増幅してしまうノイズを、画像補正係数を調整することで、目立たなくすることができる。
【0051】
請求項9および19記載の映像信号処理方法および処理装置においては、OB段差補正量を算出する際、適正露光量に対して、逸脱した露光時間で露光をする必要があるが、変化させた露光時間をもとに、後段のゲイン調整回路で所定のゲインを掛けることで、出力信号としては一定レベルを保つことができる。
【0052】
請求項10および20記載の映像信号処理方法および処理装置においては、動画記録の際、記録開始からOB段差補正量の算出シーケンスを止めることで、記録画像に不快な部分を残さないようにすることができる。
【図面の簡単な説明】
【図1】本発明にかかる映像信号処理方法および映像信号処理装置を実施するための回路例を示すブロック図である。
【図2】一般的なCCD撮像デバイスの露光時間に対する出力輝度レベルの関係の例を示すグラフである。
【図3】本発明の一実施形態である定期的演算の例を示すタイミングチャートである。
【図4】上記定期的演算の場合の、露光時間対CCD出力輝度レベルの関係の例を示すグラフである。
【図5】本発明の別の実施形態である定常的演算の例を示すタイミングチャートである。
【図6】上記定常的演算の場合の、露光時間対CCD出力輝度レベルの関係の例を示すグラフである。
【図7】上記定常的演算における露光時間対CCD出力輝度レベルの関係の例を示すグラフであって、OB段差量が大きく変化した場合の例を示すグラフである。
【図8】本発明の別の実施形態である限定的演算の例を示すタイミングチャートである。
【図9】ハイライト部分を含む被写体の例を示す撮影視野図である。
【図10】OB段差がない場合に、ハイライト部分を含む被写体を撮影したときの、各部の信号レベルの例を示すグラフである。
【図11】OB段差がある場合に、ハイライト部分を含む被写体を撮影したときの、各部の信号レベルの例を示すグラフである。
【図12】OB段差がある場合に、ハイライト部分を含む被写体を撮影し、R,G,Bの各ゲインを補正したときの、各部の信号レベルの例を示すグラフである。
【図13】インターレーススキャンタイプCCDを用いたデジタルスチルカメラで静止画を記録する場合のOB段差補正の例を示すタイミングチャートである。
【図14】上記OB段差補正を行った場合の露光時間対CCD出力輝度レベルの関係を示すグラフである。
【図15】デジタルスチルカメラで、長秒時露光における、減算すべき記録時のOB段差補正値を求める動作の例を示すタイミングチャートである。
【符号の説明】
1 二次元CCD撮像デバイス
2 相関二重サンプリング回路
3 AGC回路
8 制御手段としてのCPU
9 OBクランプ回路
12 RGB補間回路
13 OB段差補正回路
15 利得補正回路
Claims (20)
- 二次元CCD撮像デバイスに対する光入力がないときの電気的出力レベルであるオプティカル黒レベルと、映像信号の黒レベルとの差である黒レベル段差(以下「OB段差」という)を補正するために、上記二次元CCD撮像デバイスの適正露光時間およびそれとは異なる遮光しない状態の露光時間で露光した少なくとも2フレーム以上の輝度信号レベルと、上記撮像デバイス固有の露光時間と、輝度信号レベルの傾き係数からOB段差量を算出し、信号処理回路の入力段でOB段差を補正することを特徴とする映像信号処理方法。
- 上記OB段差量の算出を機器の電源投入直後から定常的に行い、それぞれのフレームで得られたOB段差量を積算し、採取したフレーム数で割った値をもって補正値とすることを特徴とする請求項1記載の映像信号処理方法。
- 上記OB段差量の算出を、機器の電源投入直後と、ある一定時間をおいて定期的に行い、それぞれのフレームで得られたOB段差量を積算し、採取したフレーム数で割った値をもって補正値とすることを特徴とする請求項1記載の映像信号処理方法。
- 補正値の算出を、フォーカス動作のときに限定して行うことを特徴とする請求項1、2または3記載の映像信号処理方法。
- 補正値の算出を、自動露出制御値の変化の少ないときに行うことを特徴とする請求項1、2または3記載の映像信号処理方法。
- OB段差量を算出した結果が、前回算出した結果と著しく異なり、予め設定された閾値を超えるような結果になったときは、この結果を積算対象から除外するべく制御することを特徴とする請求項2、3、4または5記載の映像信号処理方法。
- 得られたOB段差補正値をもとに映像信号を信号処理回路の入力段で補正する際、OB段差補正値に応じて信号処理回路内OBクランプ回路次段の利得調整回路で、必要分の利得を補正するようにしたことを特徴とする請求項2、3、4または5記載の映像信号処理方法。
- 利得補正量に応じて増加するランダムノイズを目立たなくするために、画像補正係数を調整することを特徴とする請求項7記載の映像信号処理方法。
- OB段差量を算出するために適正露光時間とは異なる露光時間で露光した際、輝度レベルが適正露光で露光したときの輝度レベルになるように、映像信号処理回路後段の利得調整回路で輝度レベルを補正することを特徴とする請求項1記載の映像信号処理方法。
- OB段差の補正を行うことができ、かつ動画撮影が可能なデジタルスチルカメラにおいて、実際の記録の際には、自動的に記録操作前の補正値で固定し、記録動作後、元の制御に戻ることを特徴とする請求項2、3、4または5記載の映像信号処理方法。
- 二次元CCD撮像デバイスに対する光入力がないときの電気的出力レベルであるオプティカル黒レベルと、映像信号の黒レベルとの差である黒レベル段差を補正するために、上記二次元CCD撮像デバイスの適正露光時間およびそれとは異なる遮光しない状態の露光時間で露光した少なくとも2フレーム以上の輝度信号レベルと、上記撮像デバイス固有の露光時間と、輝度信号レベルの傾き係数からOB段差量を算出し、信号処理回路の入力段でOB段差を補正するOB段差補正回路を有することを特徴とする映像信号処理装置。
- OB段差補正回路は、OB段差量の算出を機器の電源投入直後から定常的に行い、それぞれのフレームで得られたOB段差量を積算し、採取したフレーム数で割った値をもって補正値とすることを特徴とする請求項11記載の映像信号処理装置。
- OB段差補正回路は、OB段差量の算出を、機器の電源投入直後と、ある一定時間をおいて定期的に行い、それぞれのフレームで得られたOB段差量を積算し、採取したフレーム数で割った値をもって補正値とすることを特徴とする請求項11記載の映像信号処理装置。
- OB段差補正回路は、補正値の算出を、フォーカス動作のときに限定して行うことを特徴とする請求項11、12または13記載の映像信号処理装置。
- OB段差補正回路は、補正値の算出を、自動露出制御値の変化の少ないときに行うことを特徴とする請求項11、12または13記載の映像信号処理装置。
- OB段差量を算出した結果が、前回算出した結果と著しく異なり、予め設定された閾値を超えるような結果になったときは、この結果を積算対象から除外するべくOB段差補正回路を制御する制御手段を有することを特徴とする請求項12、13、14または15記載の映像信号処理装置。
- 得られたOB段差補正値をもとに映像信号を信号処理回路の入力段で補正する際、OB段差補正値に応じて必要分の利得を補正する利得調整回路を、信号処理回路内OBクランプ回路次段に有することを特徴とする請求項12、13、14または15記載の映像信号処理装置。
- 利得補正量に応じて増加するランダムノイズを目立たなくするために、画像補正係数を調整する手段を有することを特徴とする請求項17記載の映像信号処理装置。
- OB段差量を算出するために適正露光時間とは異なる露光時間で露光した際、輝度レベルが適正露光で露光したときの輝度レベルになるように、輝度レベルを補正する利得調整回路を、映像信号処理回路後段に有することを特徴とする請求項11記載の映像信号処理装置。
- OB段差の補正を行うことができ、かつ動画撮影が可能なデジタルスチルカメラにおいて、実際の記録の際には、自動的に記録操作前の補正値で固定し、記録動作後、元の制御に戻す制御手段を有することを特徴とする請求項12、13、14または15記載の映像信号処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001161323A JP4325777B2 (ja) | 2001-05-29 | 2001-05-29 | 映像信号処理方法および映像信号処理装置 |
US10/137,638 US7187409B2 (en) | 2001-05-29 | 2002-05-03 | Level difference correcting method and image pick-up device using the method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001161323A JP4325777B2 (ja) | 2001-05-29 | 2001-05-29 | 映像信号処理方法および映像信号処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002354348A JP2002354348A (ja) | 2002-12-06 |
JP4325777B2 true JP4325777B2 (ja) | 2009-09-02 |
Family
ID=19004620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001161323A Expired - Fee Related JP4325777B2 (ja) | 2001-05-29 | 2001-05-29 | 映像信号処理方法および映像信号処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7187409B2 (ja) |
JP (1) | JP4325777B2 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7589782B2 (en) * | 2003-02-06 | 2009-09-15 | Ricoh Company, Ltd. | Imaging apparatus and imaging method for reducing release time lag |
JP4391782B2 (ja) * | 2003-09-01 | 2009-12-24 | Hoya株式会社 | デジタルカメラのノイズリダクション装置 |
JP3711994B2 (ja) * | 2003-12-03 | 2005-11-02 | セイコーエプソン株式会社 | 映像信号判別装置および映像信号判別方法 |
JP3899118B2 (ja) * | 2004-02-19 | 2007-03-28 | オリンパス株式会社 | 撮像システム、画像処理プログラム |
JP2006041687A (ja) * | 2004-07-23 | 2006-02-09 | Olympus Corp | 画像処理装置、画像処理方法、画像処理プログラム、電子カメラ、及びスキャナ |
JP4625685B2 (ja) * | 2004-11-26 | 2011-02-02 | 株式会社東芝 | 固体撮像装置 |
JP2007274669A (ja) * | 2006-03-10 | 2007-10-18 | Ricoh Co Ltd | 撮像装置 |
JP2007259135A (ja) * | 2006-03-23 | 2007-10-04 | Fujifilm Corp | 撮像装置およびその駆動方法 |
US7545418B2 (en) * | 2006-07-17 | 2009-06-09 | Jeffery Steven Beck | Image sensor device having improved noise suppression capability and a method for supressing noise in an image sensor device |
JP4954659B2 (ja) * | 2006-10-10 | 2012-06-20 | 株式会社リコー | 撮像装置 |
JP4982286B2 (ja) * | 2007-07-25 | 2012-07-25 | 株式会社リコー | 撮像装置 |
EP2026567B1 (en) * | 2007-07-31 | 2010-10-06 | Ricoh Company, Ltd. | Imaging device and imaging method |
JP5381060B2 (ja) * | 2008-02-05 | 2014-01-08 | 株式会社リコー | 撮像装置およびその画像処理方法 |
WO2009119254A1 (ja) * | 2008-03-24 | 2009-10-01 | 京セラ株式会社 | 撮像装置 |
JP5206494B2 (ja) | 2009-02-27 | 2013-06-12 | 株式会社リコー | 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法 |
JP5553199B2 (ja) * | 2009-11-10 | 2014-07-16 | 株式会社リコー | 撮像装置および撮像制御方法 |
JP5446750B2 (ja) * | 2009-11-10 | 2014-03-19 | 株式会社リコー | レンズユニット、本体ユニット及び撮像装置 |
GB2483433A (en) * | 2010-08-31 | 2012-03-14 | Sony Corp | 3D image adjustment based on differences in colour properties between stereo pair |
US9762794B2 (en) | 2011-05-17 | 2017-09-12 | Apple Inc. | Positional sensor-assisted perspective correction for panoramic photography |
JP2013017040A (ja) * | 2011-07-04 | 2013-01-24 | Toshiba Corp | 画像処理装置及び固体撮像装置 |
US10306140B2 (en) | 2012-06-06 | 2019-05-28 | Apple Inc. | Motion adaptive image slice selection |
US9832378B2 (en) * | 2013-06-06 | 2017-11-28 | Apple Inc. | Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01106677A (ja) * | 1987-10-20 | 1989-04-24 | Sony Corp | 電荷転送素子の出力回路 |
JPH05110941A (ja) | 1991-10-16 | 1993-04-30 | Nec Corp | 黒レベル段差補正回路 |
JP4030605B2 (ja) * | 1995-11-10 | 2008-01-09 | オリンパス株式会社 | 電子的撮像装置 |
JP2000152098A (ja) | 1998-11-10 | 2000-05-30 | Matsushita Electric Ind Co Ltd | 映像信号処理装置 |
-
2001
- 2001-05-29 JP JP2001161323A patent/JP4325777B2/ja not_active Expired - Fee Related
-
2002
- 2002-05-03 US US10/137,638 patent/US7187409B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20020196353A1 (en) | 2002-12-26 |
US7187409B2 (en) | 2007-03-06 |
JP2002354348A (ja) | 2002-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4325777B2 (ja) | 映像信号処理方法および映像信号処理装置 | |
US7742081B2 (en) | Imaging apparatus for imaging an image and image processor and method for performing color correction utilizing a number of linear matrix operations | |
US8798395B2 (en) | Image processing apparatus, image processing method, and program | |
JP4768448B2 (ja) | 撮像装置 | |
US9118854B2 (en) | Methods and apparatus for providing optical black compensation of added images | |
US7714928B2 (en) | Image sensing apparatus and an image sensing method comprising a logarithmic characteristic area and a linear characteristic area | |
US7859589B2 (en) | Imaging apparatus, and exposure control apparatus, method, and program | |
US8218036B2 (en) | Image sensing apparatus and control method therefor | |
US20060001748A1 (en) | Image sensing apparatus | |
US20060215908A1 (en) | Image pickup apparatus and image processing method | |
KR20070024559A (ko) | 촬상 장치 및 신호 처리 방법 | |
JP2009044367A (ja) | 撮影方法及び撮影装置 | |
US20030184673A1 (en) | Automatic exposure control for digital imaging | |
JP2008271123A (ja) | 撮像装置 | |
US8155472B2 (en) | Image processing apparatus, camera, image processing program product and image processing method | |
JP2008085634A (ja) | 撮像装置及び画像処理方法 | |
US8576307B2 (en) | Imaging device having a characteristic converting section | |
JP2006333113A (ja) | 撮像装置 | |
JP3995953B2 (ja) | 露出制御装置およびその方法 | |
JP2005080190A (ja) | ホワイトバランス調整方法及び電子カメラ | |
JP2004215063A (ja) | 撮像装置及び輪郭補正方法 | |
US8625008B2 (en) | Image processing apparatus having luminance-type gamma correction circuit capable of changing nonlinear characteristic, and image processing method therefor | |
US8121473B2 (en) | Imaging apparatus | |
JP5116399B2 (ja) | 撮像装置、そのスミア補正方法、プログラムおよび記憶媒体 | |
JP2006109046A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090602 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090603 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |