JP3946913B2 - 信号生成方法および装置並びに記録媒体 - Google Patents
信号生成方法および装置並びに記録媒体 Download PDFInfo
- Publication number
- JP3946913B2 JP3946913B2 JP25529899A JP25529899A JP3946913B2 JP 3946913 B2 JP3946913 B2 JP 3946913B2 JP 25529899 A JP25529899 A JP 25529899A JP 25529899 A JP25529899 A JP 25529899A JP 3946913 B2 JP3946913 B2 JP 3946913B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel position
- frequency color
- hue
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Input (AREA)
- Color Television Image Signal Generators (AREA)
Description
【発明の属する技術分野】
本発明は、異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した、いわゆる単板CCD等の撮像デバイスにおいて得られたカラー撮像信号に基づいて、光電変換素子に対応する各画素位置における高周波の色情報を表す高周波色信号を生成する信号生成方法および装置並びに信号生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【0002】
【従来の技術】
デジタルカメラに用いられるCCD等の撮像デバイスとしては、分光感度が異なる複数種類の光電変換素子を同一平面上に交互に配置して構成されているものが知られている(以下単板CCDと称する)。ここで、R,G,Bのそれぞれに分光感度を有する光電変換素子、すなわちR,G,Bの各チャンネルの光電変換素子を交互に配置した単板CCDの場合、連続したR,G,Bチャンネルの3個の光電変換素子の組が1つの画素を構成することとなる。しかしながら、このような単板CCDにおいては各画素のR,G,B値を同一画素位置において得ることができないため、色ずれや偽色が生じることがある。また、各チャンネルの光電変換素子数は単板CCDを構成する全素子数よりも少ないため、高解像度の画像を得ることができない。例えばR,G,B各チャンネルの光電変換素子を交互に配置した単板CCDにおいては、各チャンネルの光電変換素子数は全素子数の1/3しかないため、同一素子数のモノクロ撮像装置に比べて解像度が1/3となってしまう。このため、R,G,B各チャンネルの光電変換素子が存在しない部分における信号値を補間処理により求める方法が提案されているが、単に補間処理を行うのみでは、信号値が大きく変化する部分において色ずれが発生することがある。この場合、平滑化処理を行うことにより色ずれの発生を防止することができるが、平滑化処理を行うと解像度が悪化するという問題がある。
【0003】
ここで、人間の視覚特性は色よりも輝度に対して感度が高いものである。このため、単板CCDにおいて得られたカラー撮像信号から、各画素の輝度を表す高周波の輝度信号と、上述した補間処理および平滑化処理による低周波の色信号とを生成し、輝度信号および色信号を用いてカラー画像信号を再構成するようにした方法が提案されている(特開平10−200906号、同9−65075号等)。この方法によれば、人間の視覚特性において感度が高い輝度成分に対してより多くの情報が与えられることとなるため、見かけ上解像度が高い画像を再現可能なカラー画像信号を得ることができる。
【0004】
【発明が解決しようとする課題】
しかしながら、上記特開平10−200906号等に記載された方法においては、単板CCDにおいて得られた撮像信号から生成された低周波の色信号により輝度信号を推測しているため、この方法において得られる高周波の輝度信号は、画像に含まれるエッジ付近においてぼけたものとなり、その結果画像の解像度が低下してしまうという問題がある。
【0005】
また、上記特開平9−65075号に記載された方法においては、各画素位置における高周波の輝度信号を、各画素位置およびその周囲の画素位置における信号値から補間演算により求めるものであるため、上記特開平10−200906号に記載された方法と比較して、それほど解像度は低下しないものである。しかしながら、単板CCDにおいて得られた撮像信号は各画素位置において全ての色信号(例えばRGB)が存在するものではないため、色エッジの境界付近においてすじ状のアーチファクトが生じたり、エッジ付近において粒状のアーチファクトが発生してしまうという問題がある。
【0006】
すなわち、ある画素位置が本来有する色相がある場合、その色相と補色関係にある、あるいは補色に近い信号値を用いて補間演算を行って、その画素位置の信号値を求めると、アーチファクトが発生しやすくなる。例えば、色相がRである場合にGの信号値を用いて補間演算を行ってその画素位置の信号値を求めると、元々Gの信号値はノイズと見なせるほど小さいものが、補間演算により信号値が増幅されてエッジ境界において粒状のアーチファクトが発生してしまう。
【0007】
本発明は上記事情に鑑みなされたものであり、単板CCD等の撮像デバイスにおいて得られた撮像信号に対して、エッジ付近におけるアーチファクトを発生させることなく高周波の信号を得ることができる信号生成方法および装置並びに信号生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【0008】
【課題を解決するための手段】
本発明による信号生成方法は、異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイスにおいて得られたカラー撮像信号に基づいて、前記各光電変換素子に対応する各画素位置における高周波の色情報を含む高周波色信号を生成する信号生成方法であって、前記各画素位置および該各画素位置の周囲の画素位置における信号値に基づいて補間演算を行って前記各画素位置における前記高周波色信号を生成する信号生成方法において、
前記カラー撮像信号に基づいて、前記各画素位置における低周波の色情報を表す低周波色信号を生成し、
該低周波色信号に基づいて、前記各画素位置における低周波の色差情報を表す低周波色差信号を生成し、
該低周波色差信号に基づいて、前記各画素位置における色相彩度情報を生成し、
該色相彩度情報に基づいて、前記補間演算を行う画素位置を選択し、
該選択された画素位置の信号値に基づいて補間演算を行って、前記高周波色信号を生成することを特徴とするものである。
【0009】
ここで、「異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイス」とは、上述した単板CCDのような撮像素子のことをいうものである。なお、各光電変換素子は、R(赤)、G(緑)、B(青)のみならず、C(シアン)、M(マゼンタ)、Y(イエロー)、さらにはCMYにG(緑)を加えたCMYGに分光感度を有するものであってもよく、これらの光電変換素子の配列は特定のものに限定されない。
【0010】
また、「高周波の色情報を含む」とは、低周波から高周波までの全ての周波数帯域における色情報を含むということである。
【0011】
また、「低周波の色情報を表す低周波色信号」とは、例えば線形補間演算やスプライン補間演算により、低周波色信号を求める画素位置およびその周囲の画素位置の信号値に基づいて得られるその画素位置における低周波の色信号のことをいう。このため、低周波色信号により得られる画像の解像度は全光電変換素子により得られる画像の解像度よりも小さくなり、その結果、低周波色信号は低周波の色情報を表すものとなる。
【0012】
さらに、「色相彩度情報」とは各画素位置における色相および/または彩度の変化の大きさ、色相および/または彩度の値そのものを表す情報のことをいう。
【0013】
また、「色相彩度情報に基づいて、補間演算を行う画素位置を選択する」とは、高周波色信号においてエッジ付近にアーチファクトが発生しないように、高周波色信号を算出する画素位置およびその周辺の画素位置から補間演算を行うために使用する画素位置を選択することをいう。具体的には、色相や彩度の変化方向に応じた画素位置や、色相や彩度の値そのものに応じた画素位置が選択される。
【0014】
なお、本発明による信号生成方法においては、前記色相彩度情報は、前記各画素位置における色相および/または彩度の値であることが好ましく、さらに、前記各画素位置における色相および/または彩度の変化量であることが好ましい。
【0015】
本発明による信号生成装置は、異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイスにおいて得られたカラー撮像信号に基づいて、前記各光電変換素子に対応する各画素位置における高周波の色情報を含む高周波色信号を生成する信号生成装置であって、前記各画素位置および該各画素位置の周囲の画素位置における信号値に基づいて補間演算を行って前記各画素位置における前記高周波色信号を生成する信号生成装置において、
前記カラー撮像信号に基づいて、前記各画素位置における低周波の色情報を表す低周波色信号を生成する低周波色信号生成手段と、
該低周波色信号に基づいて、前記各画素位置における低周波の色差情報を表す低周波色差信号を生成する低周波色差信号生成手段と、
該低周波色差信号に基づいて、前記各画素位置における色相彩度情報を生成する色相彩度情報生成手段と、
該色相彩度情報に基づいて、前記補間演算を行う画素位置を選択する選択手段と、
該選択された画素位置の信号値に基づいて補間演算を行って、前記高周波色信号を生成する高周波色信号生成手段とを備えたことを特徴とするものである。
【0016】
なお、本発明による信号生成装置においては、前記色相彩度情報生成手段は、前記色相彩度情報を、前記各画素位置における色相および/または彩度の値として生成する手段であることが好ましく、さらには、前記色相彩度情報を、前記各画素位置における色相および/または彩度の変化量として生成する手段であることが好ましい。
【0017】
なお、本発明による信号生成方法をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【0018】
【発明の効果】
本発明によれば、単板CCDのような撮像デバイスにおいて得られたカラー撮像信号から各画素位置における低周波の色信号が生成され、この低周波色信号に基づいて低周波色差信号が生成され、さらにこの低周波色差信号から各画素位置における色相彩度情報、すなわち各画素位置における色相、彩度の変化の大きさ、色相、彩度の値が生成される。そして、この色相彩度情報に基づいて、補間演算を行うために使用する画素位置が選択され、この選択された画素位置の信号値に基づいて補間演算が行われて高周波色信号が生成される。このように、本発明によれば、色相彩度情報に基づいて高周波色信号を生成するようにしたため、例えばある画素位置において高周波色信号を生成する際に、色相彩度情報に基づいてその画素位置の色相と補色関係にあるあるいは補色に近い信号値を使用することなく、信号値を求めることができ、これによりエッジ境界にアーチファクトが発生することを防止することができる。
【0019】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図1は本発明の実施形態による信号生成装置の構成を示す概略ブロック図である。図1に示すように本発明の実施形態による信号生成装置は、単板CCD1を構成する各光電変換素子において得られた色信号R0,G0,B0からなる撮像信号S0から、各画素位置における高周波の色信号R1,G1,B1からなる高周波信号S1を生成するものであり、各色信号R0,G0,B0により構成される撮像信号S0から低周波の色情報を表す低周波色信号RL,GL,BLを生成する低周波色信号生成手段2と、低周波色信号RL,GL,BLに基づいて、低周波の輝度色差信号YL,CrL,CbLを生成する低周波輝度色差信号生成手段3と、低周波の色差信号CrL,CbLに基づいて色相Hueおよび彩度Satからなる色相彩度情報を生成する色相彩度情報生成手段4と、色相Hueおよび彩度Satの変化量Vを算出する変化量算出手段5と、色相彩度情報生成手段4において生成された色相彩度情報および変化量算出手段5において算出された変化量Vに基づいて、各画素位置およびその周辺の画素位置を選択して、選択された画素位置の信号値による補間演算を行って各画素位置における高周波の色情報を含む色信号R1,G1,B1を生成する高周波色信号生成手段6とを備える。
【0020】
なお、本発明による信号生成装置は、デジタルカメラやフイルムから画像を読み取る撮像装置に備えられた画像処理装置に設けられるものである。この画像処理装置としては、単板CCD1において得られた撮像信号S0から高周波色信号を生成してカラー画像信号を再構成するものであり、この画像処理装置における高周波色信号を生成するために、本実施形態による信号生成装置が用いられるものである。
【0021】
図2は単板CCD1の光電変換素子の配列を示す図である。図2(a)はR,G,Bに分光感度を有するR,G,Bチャンネルの光電変換素子を交互に配列したものであり、図2(b)は紙面縦方向にR,Gチャンネルを交互に配列したラインと、G,Bチャンネルを交互に配列したラインとを横方向に交互に配列したものであり、輝度に影響を与えるGチャンネルがR,Gチャンネルの2倍となっている。また、図2(c)はC,M,Yに分光感度を有するC,M,Yチャンネルの光電変換素子を交互に配列したものであり、図2(d)はC,M,YチャンネルにさらにGチャンネルを加えた光電変換素子を交互に配列したものである。ここで、RGBとCMYとは各原色の色度が定義されているため、相互に変換可能である。したがって、本発明による信号生成装置はいずれの配列の単板CCD1から得られる撮像信号S0から高周波輝度信号YHを生成するものであってもよいが、本実施形態においては、図2(b)に示す光電変換素子の配列を有する単板CCD1において得られた撮像信号S0に対して処理を施すものとして説明する。
【0022】
低周波色信号生成手段2は、単板CCD1から得られる撮像信号S0から各画素位置における低周波の色情報を表す低周波色信号RL,GL,BLを生成するものである。まず、低周波色信号RLの生成について説明する。図2(b)に示す光電変換素子の配列において、Rチャンネルの素子のみを抽出した状態を図3に示す。図3においてXで示す素子の位置(以下画素位置Xとする)においてはR信号は存在しないことから、画素位置XにおけるR信号を、その近傍画素位置におけるR信号の値に基づいて単板CCD1の縦方向および横方向に対してこの順序で補間演算を施すことにより求める。なお、この補間演算としては、線形補間の他、滑らかさを重視したBスプライン補間演算、鮮鋭度を重視したCubicスプライン補間演算等の高次の補間演算を適用することができる。
【0023】
ここで、Cubic スプライン補間演算およびBスプライン補間演算について説明する。本実施形態において使用される撮像信号S0は、等間隔の周期でサンプリングされた一方向に配列されたサンプリング点(画素)Xk-2 ,Xk-1 ,Xk ,Xk+1 ,Xk-2…に対応した信号値(Sk-2 ,Sk-1 ,Sk,Sk+1 Sk+2 …)を有するものする。Cubic スプライン補間演算は、オリジナルのサンプリング点(画素)Xk 〜Xk+1 間に設けられた補間点Xp の補間データY′を表す3次のCubic スプライン補間演算式(1)における補間データYk-1 ,Yk ,Yk+1 ,Yk+2 にそれぞれ対応する補間係数ck-1 ,ck ,ck+1 ,ck+2 を、下記にそれぞれ示す演算により求めるものである。
【0024】
Y′=ck-1 Yk-1 +ck Yk +ck+1 Yk+1 +ck+2 Yk+2 (1)
ck-1 =(−t3 +2t2 −t)/2
ck =(3t3 −5t2 +2)/2
ck+1 =(−3t3 +4t2 +t)/2
ck+2 =(t3 −t2)/2
(但し、t(0≦t≦1)は格子間隔を1とし、画素Xk を基準としたときの補間点Xp の画素Xk+1 方向への位置を示す。)
Bスプライン補間演算は、オリジナルのサンプリング点Xk 〜Xk+1 間に設けられた補間点Xp の補間データY′を表す3次のBスプライン補間演算式(2)における補間データYk-1 、Yk 、Yk+1 、Yk+2 にそれぞれ対応する補間係数bk-1 ,bk ,bk+1 ,bk+2 を、下記にそれぞれ示す演算により求めるものである。
【0025】
Y′=bk-1 Yk-1 +bk Yk +bk+1 Yk+1 +bk+2 Yk+2 (2)
bk-1 =(−t3 +3t2 −3t+1)/6
bk =(3t3 −6t2 +4)/6
bk+1 =(−3t3 +3t2 +3t+1)/6
bk+2 =t3 /6
(但し、t(0≦t≦1)は格子間隔を1とし、画素Xk を基準としたときの補間点Xp の画素Xk+1 方向への位置を示す。)
なお、本実施形態においては、色信号を平滑化する観点からBスプライン補間演算を行うことが好ましく、また補間演算を行うことなく単にローパスフィルタによってフィルタリング処理することにより画素位置Xにおける色信号RLを求めるようにしてもよい。ローパスフィルタとしては、単板CCD1の全光電変換素子によりサンプリングした場合のナイキスト周波数をfsとした場合、図2(b)に示す光電変換素子の配列を有する単板CCD1では元の色信号R0は縦横方向には全信号の1/2しか存在しないことから、1/2fs以上の高周波成分をカットするものであることが好ましい。なお、ローパスフィルタの特性は、単板CCD1における光電変換素子の配列に応じて変更することが好ましい。
【0026】
ここで、演算時間を短縮するために下記のように補間演算を行うことが好ましい。図4はこの好ましい補間演算を説明するための図である。なお、ここでも色信号RLの算出について説明する。図4においては、○の画素位置が元々色信号R0が存在する画素位置であり、□がX方向における補間演算により算出された色信号RLが存在する画素位置、×がY方向における補間演算により算出された色信号RLが存在する画素位置を示し、色信号RLを算出する補間点の近傍4×4の画素位置における色信号RLから画素位置×の色信号RLを求めるものである。まず、X方向において求める画素位置×の色信号RLを算出する補間点の近傍4ライン(ここでラインとはX方向のラインとし、それぞれライン1からライン4とする)について、画素位置□における色信号RLを求め、4ライン分の信号をラインバッファに記憶する。なお、図4においては色信号RLが算出された画素位置を■で示している。
【0027】
次いで、算出された4ライン分の画素位置■における色信号RLに基づいて、画素位置×における色信号RLを算出する。そして、次のライン(ライン5)の画素位置□における色信号RLを算出するには、ライン1の色信号RLをラインバッファから消去しライン5の色信号RLをラインバッファに記憶して、上記と同様に画素位置□の色信号RLを算出するとともに、ライン4およびライン5の間における画素位置×における色信号RLを算出する。以下この処理を1ライン毎に繰り返すことにより、全ての画素位置□、×における色信号RLを算出して全画素位置における色信号RLを得ることができる。
【0028】
そして、色信号BLについても、上述したような補間演算あるいはローパスフィルタによるフィルタリング処理により色信号B0が存在しない画素位置Xにおける信号が求められる。
【0029】
また、色信号G0は色信号R0および色信号B0よりも多くの画素位置において信号値が得られるため、色信号GLについてはその周波数特性を色信号RLおよび色信号BLと整合させるために、画素を1/2に間引き、間引いた後に上述したような補間演算あるいはローパスフィルタによるフィルタリング処理を行うことにより、色信号G0が存在しない画素位置Xにおける色信号GLを求める。
【0030】
低周波輝度色差信号生成手段3においては、低周波色信号RL,GL,BLから下記の式(3)により低周波輝度信号YLおよび低周波色差信号CrL,CbLを算出する。
【0031】
YL=0.3RL+0.6GL+0.1BL
CrL=0.7RL−0.6GL−0.1BL (3)
CbL=−0.3RL−0.6GL+0.9BL
なお、低周波輝度信号YLは高周波色信号生成手段6に入力され、低周波色差信号CrL,CbLは色相彩度情報生成手段4に入力される。
【0032】
色相彩度情報生成手段4は、低周波輝度色差信号生成手段3において生成された低周波色差信号CrL,CbLに基づいて、下記の式(4)および(5)により色相Hueおよび彩度Satを生成する。
【0033】
Hue=tan-1(CbL/CrL) (4)
Sat=√(CrL2+CbL2) (5)
ここで、8ビットにより表されるR(R=255,G=0,B=0),G(R=0,G=255,B=0),B(R=0,G=0,B=255)およびC(R=0,G=255,B=255),M(R=255,G=0,B=255),Y(R=255,G=255,B=0)の色における色相Hueおよび彩度Satの関係を図5に示す。なお、図5においては原点から放射方向が彩度Satを表し、CrL軸に対する角度θが色相Hueを表し、R,G,B,C,M,Yの各符号に付した数字は、上記式(4)および(5)により算出される(色相,彩度)を表している。
【0034】
変化量算出手段5は、色相彩度情報生成手段4において生成された色相Hueおよび彩度Satに基づいて、各画素位置における色相Hueおよび彩度Satそれぞれの変化量の加算値としての変化量Vを求める。この変化量Vは、各画素位置を中心とする3×3画素の範囲内における色相Hueおよび彩度Satに対して、ロビンソンのエッジ検出フィルタによりフィルタリング処理を行うことにより求めることができる(画像解析ハンドブック、高木幹雄、下田陽久、東京大学出版会、1991、1/17、PP554)。このロビンソンのエッジ検出フィルタを図6に示す。図6(a)に示すフィルタは図7に示す矢印A方向のエッジ強度を算出するためのフィルタであり、以下図6(b)に示すフィルタは矢印B方向、図6(c)に示すフィルタは矢印C方向、図6(d)に示すフィルタは矢印D方向のエッジ強度を算出するためのフィルタである。具体的には色相Hueについてみると、図8に示すように各画素位置の色相HueをHueij(i,j=−1〜1)とした場合、矢印A方向の変化量V1は下記の式(6)により求めることができる。
【0035】
V1=|Hue-1-1+2Hue0-1+Hue1-1-Hue-11-2Hue01-Hue11|+1 (6)
ここで、1を加算したのは変化量V1の値を0としないためである。そして、同様にして矢印B,C,D方向の変化量V2,V3,V4も求めることができる。また、彩度Satの変化量についても色相Hueの変化量と同様に求めることができる。
【0036】
また、ここではロビンソンのエッジ検出フィルタにより変化量V1〜V4を求めているが、微分フィルタや差分フィルタによって求めるようにしてもよい。
【0037】
このようにして各画素位置における色相Hueおよび彩度Satの変化量V1〜V4が求められると、変化量V1〜V4の平均値を求め、色相Hueおよび彩度Satそれぞれの変化量の平均値を加算して変化量Vを求める。なお、この変化量Vとしては色相Hueおよび彩度Sat毎に算出してもよく、これらを重み付け加算して算出してもよい。
【0038】
高周波色信号生成手段6は、色相彩度情報生成手段4において生成された色相Hue、彩度Satの値および/または変化量算出手段5において算出された変化量Vに基づいて、高周波の色信号R1,G1,B1からなる高周波信号S1を生成する。まず、変化量Vにのみ基づいての色信号R1,G1,B1の算出について説明する。
【0039】
まず、色相Hueおよび彩度Satの変化が少ない場合(ケース1)について説明する。なお、「変化が少ない」とは変化量Vが例えば40未満の値となる場合をいう。色相Hueおよび彩度Satの変化が少ない場合には、その画素位置周辺においては色の変化が少ないということができ、この場合には下記の式(7)に示すように、その画素位置における高周波色信号と低周波色信号との差は略等しいという関係が成立する。一方、図9に示すように、色相Hueの変化があっても彩度Satの変化が小さい場合(ケース2)には、その画素位置におけるRGBの色信号は略等しくなってその画素位置周辺はグレーであるということができるため、同様に式(7)の関係が成立する。なお、この関係は各色信号が光量の対数により表されている場合に成立するものであり、色信号が光量により表されている場合には、その関係は式(7′)に示すものとなるが、本実施形態においては、各色信号は光量の対数により表されているものとして説明する。また、式(7)、(7′)において、Y1は高周波の輝度信号(低周波成分をも含むもの)とする。
【0040】
Y1−YL=R1−RL=G1−GL=B1−BL (7)
YL:RL:GL:BL=Y1:R1:G1:B1 (7′)
したがって、低周波色信号生成手段2において低周波の色信号RL,GL,BLが算出されているため、元々その画素位置に存在する色信号(例えばR0)を高周波の色信号R1として式(7)の関係を用いれば、他の高周波色信号(G1,B1)を算出することができる。
【0041】
具体的に、図10に示すように画素位置に参照番号を付した場合、画素位置R4においてはR0=R1であり、低周波輝度信号YL(R4)、高周波輝度信号Y1(R4)、画素位置R4が元々有する色信号R0(R4)、および低周波色信号RL(R4)には、下記の式(8)の関係が成立する。
【0042】
YL(R4)−RL(R4)=Y1(R4)−R0(R4) (8)
したがって、画素位置R4における高周波成分のみを表す輝度信号YH(R4)は、
YH(R4)=Y1(R4)−YL(R4)=R0(R4)−RL(R4) (9)
となる。よって、この高周波の輝度信号YH(R4)を画素位置R4における低周波の色信号GL,BLに加算することにより、画素位置R4における高周波の色信号G1(R4),B1(R4)は、下記の式(10),(11)に示すように求めることができる。
【0043】
G1(R4)=GL(R4)+R0(R4)−RL(R4) (10)
B1(R4)=BL(R4)+R0(R4)−RL(R4) (11)
ここで、図11(a)〜(c)に示すようにRGB各信号の絶対値が異なり、図中の矢印に示すエッジの差のみが略等しい部分における高周波の色信号の算出について説明する。まず、図12に示すように高周波色信号を算出する画素位置の周囲のRGB信号のみにより補間演算を行うと、図13(a)に示すようにエッジ部分に偽色が発生する。一方、式(7)に示す関係が成立しているとすると、図11(d)〜(f)に示すように、算出された高周波色信号によってはエッジの形状に差が生じないため、図13(b)に示すように偽色は発生しないものとなる。なお、図11(e),(f)においては、低周波の色信号GL,BLにR0(またはR1)−RLを加算することにより、Rの画素位置における高周波の色信号G1,B1を算出しているものである。
【0044】
なお、彩度Satの値が小さい場合には、RGB各色信号が略等しいことから、Y1(R4)=R0(R4)とし、この関係に基づいて下記の式(12),(13)により高周波の色信号G1(R4),B1(R4)を算出してもよい。
【0045】
G1(R4)=GL(R4)+R0(R4)−YL(R4) (12)
B1(R4)=BL(R4)+R0(R4)−YL(R4) (13)
なお、Bの画素位置におけるR信号、G信号およびGの画素位置におけるR信号、B信号についても上記と同様にして算出することができる。
【0046】
次に、色相Hueが一定で彩度Satが変化する場合(ケース3)は、以下のようにして高周波の色信号R1,G1,B1を算出する。図14は、色相Hueが一定で彩度Satが変化する場合の高周波色信号の算出を説明するための図である。なお、ここでは色相HueがRにおいて一定であり、彩度が図14の斜線部分に存在する場合について説明する。この場合は、Rが高彩度であるという前提で算出される信号と、Rが低彩度であるという前提で算出される信号との重み付け加算により、高周波の色信号R1,G1,B1が算出される。例えば、Rが高彩度であるという前提で算出される高周波の色信号をRh1、Rが低彩度であるという前提で算出される高周波の色信号をRl1とすると、色信号R1は下記の式(14)により算出される。なお、ここで高彩度とは彩度Satが20以上であり、低彩度とは彩度Satが10未満であることをいう。
【0047】
R1=α・Rh1+(1−α)・Rl1 (14)
但し、α:彩度Satに応じて定められる重み係数
なお、信号Rl1は、上述した色相Hueの変化があっても彩度Satが小さい場合において算出された高周波の色信号R1を使用すればよい。また、信号Rh1については後述する色相Hueおよび彩度Satの値そのものに基づく処理と同一の処理により算出される。
【0048】
一方、色相Hueおよび彩度Satの変化がともに大きい場合(ケース4)についても、色相Hueおよび彩度Satの値そのものに基づく処理と同一の処理により高周波の色信号が算出される。
【0049】
次に、色相Hueおよび彩度Satの値そのものに基づく高周波の色信号の算出について説明する。まず、色相Hueの値に応じた色信号の算出(ケース5)について説明する。なお、この色相Hueの値に応じた色信号の算出は、上述した彩度Satが高彩度である場合の式(14)における信号Rh1の算出、色相Hueおよび彩度Satの変化がともに大きい場合(ケース4)にも適用される。まず、色相HueがRであると判断された場合、その画素位置における輝度信号はRの色信号が支配的であることから、下記の式(15)に示す関係が成立する。
【0050】
Y1−YL=R1−RL (15)
ここで、高周波の色信号R1,G1,B1を算出する画素位置を図10の画素位置B0とすると、式(15)の関係より、
Y1(B0)−YL(B0)=R1(B0)−RL(B0) (16)
となる。式(16)における色信号R1(B0)は画素位置B0の近傍の画素位置R0,R1,R3,R4における色信号R0に基づいて算出する。具体的には、4画素位置R0,R1,R3,R4における色信号R0の平均値であってもよく、色相Hueおよび/または彩度Satの変化が最も少ない方向の画素位置における信号値のみを用いて算出してもよい。ここで、色相Hueおよび/または彩度Satの変化が最も少ない方向が画素位置R3の方向であったとすると、
R1(B0)=BL(B0)+R0(R3)−RL(B0) (17)
により画素位置B0における色信号R1(B0)を算出できる。ここで、式(17)においては、R1(B0)=R0(R3)としてもよい。なお、Bの画素位置におけるR信号、G信号およびGの画素位置におけるR信号、B信号についても同様にして算出することができる。また、色相HueがGやBと判断された場合には、
Y1−YL=G1−GL (18)
Y1−YL=B1−BL (19)
の関係に基づいて、上記と同様に高周波の色信号R1,G1,B1を算出することができる。
【0051】
一方、色相Hueがシアン(C)であると判断された場合には、その画素位置における輝度信号はG信号およびB信号が支配的であることから、下記の式(20)に示す関係が成立する。
【0052】
Y1−YL=G1−GL=B1−BL (20)
ここで、高周波の色信号R1,G1,B1を算出する画素位置を図10の画素位置B0とすると、式(20)の関係より下記の式(21)、(22)によって画素位置B0における高周波の色信号R1(B0),G1(B0)を求めることができる。
【0053】
R1(B0)=RL(B0)+B0(B0)−BL(B0) (21)
G1(B0)=GL(B0)+B0(B0)−BL(B0) (22)
一方、画素位置G5における高周波の色信号R1(G5),B1(G5)は下記の式(23)、(24)により求めることができる。
【0054】
R1(G5)=RL(G5)+G0(G5)−GL(G5) (23)
B1(G5)=BL(G5)+G0(G5)−GL(G5) (24)
また、画素位置R4における高周波の色信号G1,B1については、上述したように色相HueがRと判断された場合と同様にして求める。ここで、色相Hueおよび/または彩度Satの変化が最も少ない方向が画素位置G6方向である場合には、
G1(R4)=GL(R4)+G0(G6)−GL(R4)=G0(G6)(25)
により画素位置R4における色信号G1を算出することができ、色相Hueおよび/または彩度Satの変化が最も少ない方向が画素位置B3の方向である場合には、
B1(R4)=BL(R4)+B0(B3)−BL(R4)=B0(B3)(26)
により画素位置R4における色信号B1を算出することができる。
【0055】
なお、色相Hueがマゼンタ、イエローと判断された場合にも、それぞれ下記の式(27)、(28)に示す関係を用いることにより、上記と同様にして各画素位置における高周波の色信号R1,G1,B1を算出することができる。
【0056】
Y1−YL=R1−RL=B1−BL (27)
Y1−YL=R1−RL=G1−GL (28)
ここで、ある画素位置における信号値を求める場合において、その画素位置が本来有する色相Hueがある場合、その色相Hueと補色関係にあるあるいはその補色に近い信号値を用いて補間演算を行って高周波色信号R1,G1,B1を求めると、アーチファクトが発生しやすくなる。例えば、色相HueがRであるのにGの信号値を用いてその画素位置の信号値を求めると、元々Gの信号値はノイズと見なせるほど小さいものが、補間演算を行うことにより信号値が増幅されてエッジ境界において粒状のアーチファクトが発生する。このため、本実施形態のように信号を算出する画素位置における色相Hueの値に応じて、その色相Hueとは補色関係となる色信号を用いることなく、高周波の色信号R1,G1,B1を算出することにより、エッジ境界に発生するアーチファクトを抑制することができる。
【0057】
なお、色相Hueがある色相とある色相との中間の色相、例えば色相HueがRとマゼンタの中間の色相である場合には、色相HueがRであるという前提で算出される色信号と、色相Hueがマゼンタであるという前提で算出される色信号との重み付け加算により、高周波の色信号R1,G1,B1を算出すればよい。例えば、R信号について考えると、色相HueがRであるという前提で算出される高周波の色信号をRr1、色相Hueがマゼンタであるという前提で算出される高周波の色信号をRm1とすると、色信号R1は下記の式(29)により算出される。
【0058】
R1=β・Rr1+(1−β)・Rm1 (29)
但し、β:色相Hueに応じた重み係数
次に、彩度Satに応じた色信号の算出(ケース7)については、彩度Satが小さい場合には、上述した色相Hueの変化はあっても彩度Satが小さい場合と同様にして色信号R1,G1,B1を算出し、彩度Satが所定値(例えば20)よりも大きい場合には、彩度Satに拘わらず、上述した色相Hueに応じた処理により色信号R1,G1,B1が算出される。
【0059】
次に、色相Hue、彩度Satおよび変化量Vに応じた色信号の算出(ケース8)について説明する。これは色相Hueおよび彩度Satの値に応じて重み付け加算を行って高周波の色信号R1,G1,B1を算出するものである。なお、具体的な値として、色相Hue=100°、彩度Sat=15、変化量V=45を使用して説明する。
【0060】
ここで、色相Hue=100°ということは、RとCの中間の色相ということであるから、上述した色相Hueに応じた処理において色相HueがRであると判断された場合、および色相HueがCであると判断された場合の双方について高周波の色信号を求め、これらを色相Hueの値に応じて重み付け加算してその色相Hueに応じた高周波の色信号(ここではSHhとする)を算出する。ここで、色相HueがRと判断された場合およびCと判断された場合の高周波の色信号をSH(R)、SH(C)とすると、下記の式(30)により重み係数aを用いて高周波の色信号SHhを算出することができる。
【0061】
SHh=(1−a)・SH(R)+a・SH(C) (30)
ここで、重み係数aが図15に示すものであるとすると、
SHh=(1-(100-97)/(156-97))*SH(R)+(100-97)/(156-97)*SH(C) (31)
により高周波の色信号SHhを算出することができる。
【0062】
次いで、このように算出された高周波の色信号SHhを変化量Vに応じて重み付け加算する。ここで、変化量Vに応じて算出された高周波の色信号をSHcとすると、下記の式(32)により重み係数bを用いて高周波の色信号SHhcを算出することができる。
【0063】
SHhc=(1−b)・SHh+b・SHc (32)
ここで、重み係数bが図16に示すものであるとすると、
SHhc=(1-(45-40)/(60-40))*SHh+(45-40)/(60-40)*SHc (33)
により高周波の色信号SHhcを算出することができる。なお、変化量Vに応じて算出された高周波の色信号とは、上述したケース1〜4において算出される高周波の色信号R1,G1,B1である。
【0064】
さらに、このように算出された高周波の色信号SHhcを彩度Satに応じて重み付け加算する。ここで、彩度Satに応じて算出された高周波の色信号をSHsとすると、下記の式(34)により重み係数cを用いて高周波の色信号SHhcsを算出することができる。
【0065】
SHhcs=(1−c)・SHhc+c・SHs (34)
ここで、重み係数cが図17に示すものであるとすると、
SHhcs=(1-(15-10)/(20-10))*SHhc+(15-10)/(20-10)*SHs (35)
により高周波の色信号SHhcsを算出することができる。
【0066】
次いで、本実施形態の動作について説明する。図18は本実施形態の動作を示すフローチャートである。まず、単板CCD1により撮影が行われて色信号R0,G0,B0からなる撮像信号S0が得られる(ステップS1)。次いで、低周波色信号生成手段2において低周波の色信号RL,GL,BLが生成される(ステップS2)。一方、低周波輝度色差信号生成手段3において、低周波の輝度信号YLおよび色差信号CrL、CbLが生成される(ステップS3)。そして、低周波色差信号CrL,CbLは色相彩度情報生成手段4に入力され、ここで色相Hueおよび彩度Satからなる色相彩度情報が生成される(ステップS4)。一方、色相Hueおよび彩度Satは変化量算出手段5に入力され、ここで、色相Hueおよび彩度Satの変化量Vが算出される(ステップS5)。
【0067】
このようにして色相Hue、彩度Satおよび変化量Vが求められると、高周波色信号生成手段6において、上述したように、色相Hueおよび彩度Satの値に応じて、あるいは変化量Vに応じて各画素位置における高周波の色信号R1,G1,B1が生成され、これにより高周波信号S1が得られ(ステップS6)、処理を終了する。
【0068】
このように、本実施形態によれば、色相Hueおよび/または彩度Satの値、あるいはこれらの変化量Vからなる色相彩度情報に基づいて、高周波の色信号R1,G1,B1を生成するようにしたため、例えばある画素位置において高周波信号S1を生成する際に、色相彩度情報に基づいてその画素位置の色相と補色関係にあるあるいはその色相に近い信号値を使用することなく、信号値を求めることができるため、エッジ境界にアーチファクトが発生することを防止することができる。
【0069】
なお、上記実施形態においては、図4に示す方法により低周波の色信号RL,GL,BLを算出しているが、これに限定されるものではなく、種々の方法により低周波の色信号RL,GL,BLを算出することができるものである。
【0070】
また、上記実施形態においては、重み係数a〜cを図15〜図17に示すように、Hue、V、Satの値に応じて線形に変化する関数としているが、これに限定されるものではなく、Hue、V、Satの値に応じて3次元的に変化するような関数としてもよい。
【図面の簡単な説明】
【図1】本発明の実施形態による信号生成装置の構成を示す概略ブロック図
【図2】光電変換素子の配列を示す図
【図3】R信号の画素位置を示す図
【図4】低周波色信号を算出するための補間演算を説明するための図
【図5】色相および彩度の関係を示す図
【図6】ロビンソンのエッジ検出フィルタを示す図
【図7】エッジ強度を求める方向を示す図
【図8】エッジ強度の算出を説明するための図
【図9】色相および彩度の関係において彩度が低い領域を示す図
【図10】画素位置の配列を参照番号を付して示す図
【図11】高周波の色信号の算出を説明するための図
【図12】補間演算を説明するための図
【図13】エッジ部分の補間演算結果を示す図
【図14】色相および彩度の関係において彩度が変化する場合を説明するための図
【図15】重み係数aを示す図
【図16】重み係数bを示す図
【図17】重み係数cを示す図
【図18】本実施形態の動作を示すフローチャート
【符号の説明】
1 単板CCD
2 低周波色信号生成手段
3 低周波輝度色差信号生成手段
4 色相彩度情報生成手段
5 変化量算出手段
6 高周波色信号生成手段
Claims (6)
- 異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイスにおいて得られたカラー撮像信号に基づいて、前記各光電変換素子に対応する各画素位置における高周波の色情報を含む高周波色信号を生成する信号生成方法であって、前記各画素位置および該各画素位置の周囲の画素位置における信号値に基づいて補間演算を行って前記各画素位置における前記高周波色信号を生成する信号生成方法において、
前記カラー撮像信号に基づいて、前記各画素位置における低周波の色情報を表す低周波色信号を生成し、
該低周波色信号に基づいて、前記各画素位置における低周波の色差情報を表す低周波色差信号を生成し、
該低周波色差信号に基づいて、前記各画素位置における色相および/または彩度の値を生成し、
該色相および/または彩度の値に基づいて、前記補間演算を行う画素位置を選択し、
該選択された画素位置の信号値に基づいて補間演算を行って、前記高周波色信号を生成することを特徴とする信号生成方法。 - 異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイスにおいて得られたカラー撮像信号に基づいて、前記各光電変換素子に対応する各画素位置における高周波の色情報を含む高周波色信号を生成する信号生成方法であって、前記各画素位置および該各画素位置の周囲の画素位置における信号値に基づいて補間演算を行って前記各画素位置における前記高周波色信号を生成する信号生成方法において、
前記カラー撮像信号に基づいて、前記各画素位置における低周波の色情報を表す低周波色信号を生成し、
該低周波色信号に基づいて、前記各画素位置における低周波の色差情報を表す低周波色差信号を生成し、
該低周波色差信号に基づいて、前記各画素位置における色相および/または彩度の変化量を生成し、
該色相および/または彩度の変化量に基づいて、前記補間演算を行う画素位置を選択し、
該選択された画素位置の信号値に基づいて補間演算を行って、前記高周波色信号を生成することを特徴とする信号生成方法。 - 異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイスにおいて得られたカラー撮像信号に基づいて、前記各光電変換素子に対応する各画素位置における高周波の色情報を含む高周波色信号を生成する信号生成装置であって、前記各画素位置および該各画素位置の周囲の画素位置における信号値に基づいて補間演算を行って前記各画素位置における前記高周波色信号を生成する信号生成装置において、
前記カラー撮像信号に基づいて、前記各画素位置における低周波の色情報を表す低周波色信号を生成する低周波色信号生成手段と、
該低周波色信号に基づいて、前記各画素位置における低周波の色差情報を表す低周波色差信号を生成する低周波色差信号生成手段と、
該低周波色差信号に基づいて、前記各画素位置における色相および/または彩度の値を生成する色相彩度情報生成手段と、
該色相および/または彩度の値に基づいて、前記補間演算を行う画素位置を選択する選択手段と、
該選択された画素位置の信号値に基づいて補間演算を行って、前記高周波色信号を生成する高周波色信号生成手段とを備えたことを特徴とする信号生成装置。 - 異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイスにおいて得られたカラー撮像信号に基づいて、前記各光電変換素子に対応する各画素位置における高周波の色情報を含む高周波色信号を生成する信号生成装置であって、前記各画素位置および該各画素位置の周囲の画素位置における信号値に基づいて補間演算を行って前記各画素位置における前記高周波色信号を生成する信号生成装置において、
前記カラー撮像信号に基づいて、前記各画素位置における低周波の色情報を表す低周波色信号を生成する低周波色信号生成手段と、
該低周波色信号に基づいて、前記各画素位置における低周波の色差情報を表す低周波色差信号を生成する低周波色差信号生成手段と、
該低周波色差信号に基づいて、前記各画素位置における色相および/または彩度の変化量を生成する色相彩度情報生成手段と、
該色相および/または彩度の変化量に基づいて、前記補間演算を行う画素位置を選択する選択手段と、
該選択された画素位置の信号値に基づいて補間演算を行って、前記高周波色信号を生成する高周波色信号生成手段とを備えたことを特徴とする信号生成装置。 - 異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイスにおいて得られたカラー撮像信号に基づいて、前記各光電変換素子に対応する各画素位置における高周波の色情報を含む高周波色信号を生成する信号生成方法であって、前記各画素位置および該各画素位置の周囲の画素位置における信号値に基づいて補間演算を行って前記各画素位置における前記高周波色信号を生成する信号生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体において、
前記プログラムは、前記カラー撮像信号に基づいて、前記各画素位置における低周波の色情報を表す低周波色信号を生成する手順と、
該低周波色信号に基づいて、前記各画素位置における低周波の色差情報を表す低周波色差信号を生成する手順と、
該低周波色差信号に基づいて、前記各画素位置における色相および/または彩度の値を生成する手順と、
該色相および/または彩度の値に基づいて、前記補間演算を行う画素位置を選択する手順と、
該選択された画素位置の信号値に基づいて補間演算を行って、前記高周波色信号を生成する手順とを有することを特徴とするコンピュータ読取り可能な記録媒体。 - 異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイスにおいて得られたカラー撮像信号に基づいて、前記各光電変換素子に対応する各画素位置における高周波の色情報を含む高周波色信号を生成する信号生成方法であって、前記各画素位置および該各画素位置の周囲の画素位置における信号値に基づいて補間演算を行って前記各画素位置における前記高周波色信号を生成する信号生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体において、
前記プログラムは、前記カラー撮像信号に基づいて、前記各画素位置における低周波の色情報を表す低周波色信号を生成する手順と、
該低周波色信号に基づいて、前記各画素位置における低周波の色差情報を表す低周波色差信号を生成する手順と、
該低周波色差信号に基づいて、前記各画素位置における色相および/または彩度の変化量を生成する手順と、
該色相および/または彩度の変化量に基づいて、前記補間演算を行う画素位置を選択する手順と、
該選択された画素位置の信号値に基づいて補間演算を行って、前記高周波色信号を生成する手順とを有することを特徴とするコンピュータ読取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25529899A JP3946913B2 (ja) | 1999-09-09 | 1999-09-09 | 信号生成方法および装置並びに記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25529899A JP3946913B2 (ja) | 1999-09-09 | 1999-09-09 | 信号生成方法および装置並びに記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001086523A JP2001086523A (ja) | 2001-03-30 |
JP3946913B2 true JP3946913B2 (ja) | 2007-07-18 |
Family
ID=17276840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25529899A Expired - Fee Related JP3946913B2 (ja) | 1999-09-09 | 1999-09-09 | 信号生成方法および装置並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3946913B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3926363B2 (ja) | 2004-11-04 | 2007-06-06 | 三菱電機株式会社 | 画素信号処理装置及び画素信号処理方法 |
JP6924081B2 (ja) * | 2017-06-19 | 2021-08-25 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
JP7100783B1 (ja) | 2021-09-09 | 2022-07-14 | 株式会社ツバサファクトリー | 学習装置及び推論装置 |
-
1999
- 1999-09-09 JP JP25529899A patent/JP3946913B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001086523A (ja) | 2001-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5326943B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP4352371B2 (ja) | 適応モザイク減少法を実装するディジタル画像処理方法 | |
JP4162111B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
JP4520886B2 (ja) | カラー画像のデモザイク処理を行うための高品質グラディエント補正線形補間 | |
JP5260635B2 (ja) | パンクロマチック画像を用いたノイズ低減されたカラーの画像 | |
JP5206796B2 (ja) | 画像入力装置 | |
JP5677040B2 (ja) | 画像処理装置およびその制御方法 | |
US7256828B2 (en) | Weighted gradient based and color corrected interpolation | |
JP5672776B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP5441652B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP4983093B2 (ja) | 撮像装置および方法 | |
JP3806211B2 (ja) | 撮像信号処理方法及び撮像信号処理装置 | |
US8270774B2 (en) | Image processing device for performing interpolation | |
JP3771054B2 (ja) | 画像処理装置及び画像処理方法 | |
US20070292022A1 (en) | Weighted gradient based and color corrected interpolation | |
US7801355B2 (en) | Image processing method, image processing device, semiconductor device, electronic apparatus, image processing program, and computer-readable storage medium | |
US7269295B2 (en) | Digital image processing methods, digital image devices, and articles of manufacture | |
JP3458080B2 (ja) | カラー撮像装置 | |
JP4725520B2 (ja) | 画像処理装置、非撮像色信号算出装置及び画像処理方法 | |
US20070035634A1 (en) | System and method for reduction of chroma aliasing and noise in a color-matrixed sensor | |
CN105046631A (zh) | 图像处理设备和图像处理方法 | |
JP3946913B2 (ja) | 信号生成方法および装置並びに記録媒体 | |
JP5454156B2 (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
Wang et al. | Demosaicing with improved edge direction detection | |
JP5484015B2 (ja) | 撮像装置、撮像方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040823 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061116 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070123 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070410 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070412 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110420 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140420 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |