JP4155559B2 - Signal processing apparatus and method - Google Patents
Signal processing apparatus and method Download PDFInfo
- Publication number
- JP4155559B2 JP4155559B2 JP2002339751A JP2002339751A JP4155559B2 JP 4155559 B2 JP4155559 B2 JP 4155559B2 JP 2002339751 A JP2002339751 A JP 2002339751A JP 2002339751 A JP2002339751 A JP 2002339751A JP 4155559 B2 JP4155559 B2 JP 4155559B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- luminance
- mixing
- image signal
- luminance signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、信号処理に関し、特に複数のカラーフィルタを有する撮像素子からの出力信号から輝度信号を作成する処理に関するものである。
【0002】
【従来の技術】
従来、固体撮像素子からの出力色信号をもとに輝度信号を作成する方法として、SwitchY方式やOutofGreen方式が知られている。以下、固体撮像素子が図10のような原色ベイヤー配列のカラーフィルタにより覆われている場合を例にして、これらの方式を説明する。
【0003】
SwitchY方式は、固体撮像素子からの出力信号をA/D変換した後、ホワイトバランス(以下、WB)処理した信号を、そのまま輝度信号Yとみなす方式である。図11は、得られた輝度信号Yの概念を示す図で、Yの後の数字は画素の位置を示す。また、通常、サンプリングによるキャリアの発生を抑えるため、ナイキスト周波数で出力0となるローパスフィルタ(以下、LPF)を水平方向、垂直方向それぞれに適用した結果をベース信号とする。例えば、上記LPFのフィルタ係数を水平方向、垂直方向ともに[1 2 1]とすると、Y22の画素のLPFからの出力Y22’は、
Y22' = (Y11 + 2 × Y12 + Y13 + 2 × Y21 + 4 × Y22 + 2 × Y23
+ Y31 + 2×Y32 + Y33) / 16 …(1)
【0004】
のように求めることができる。
さらに、図12に示すように、ベース信号補間回路1201から得たベース信号から、高位桔梗町回路1202により高域強調信号を作り、加算器1203で元のベース信号を足しこむことにより、高域が補償された信号を得ることが可能である。
【0005】
ところが、実際の撮像系では、固体撮像素子の前にレンズ系が配置され、このレンズ系を通過した光が固体撮像素子でサンプリングされる。レンズ系を通過した光には色収差が発生するため、画像周辺になると、色によってサンプリングされる位置が異なってくる。
【0006】
この現象を図13を用いて説明する。同図において、101はレンズ系の射出瞳、102はCCD等の固体撮像素子である。図13は射出瞳101からの結像面への光を表しているが、例えば、実線が青、破線が赤い光の結像を示している。画像中心では図13(a)のようにたとえ色収差が発生してもサンプリングの重心は変化しないのに対し、画像周辺になると図13(b)のように色によってサンプリングの位置が異なってくる。
【0007】
したがって、特に画像周辺においては、サンプリングする画像の位置が撮像素子の色毎に異なってくることになるため、サンプリング位置ずれによるモアレが発生してしまう。例えば、図10のようなフィルタ配列の場合だと、G位置に対してR位置とB位置でのサンプリング位置が実質的にずれて画像に干渉パターンが発生してしまうことになる。
【0008】
【発明が解決しようとする課題】
上記のように、レンズ系を通った光は色収差が存在するため、固体撮像素子の配列が等間隔であっても、実質的にはカラーフィルタの色に依存してサンプリングがずれてしまい、モアレが発生してしていた。
【0009】
本発明は上記問題点を鑑みてなされたものであり、より質の高い輝度信号を得ると共に、色収差によるモアレの発生を抑制することを目的とする。
【0010】
【課題を解決するための手段】
上記目的を達成するために、本発明の信号処理装置は、入力した画像信号に基づいて、Out of Green方式により第1の輝度信号を出力する第1の輝度信号生成手段と、前記入力した画像信号に基づいて、Switch Y方式により第2の輝度信号を出力する第2の輝度信号生成手段と、前記第1及び第2の輝度信号を混合する割合を決定する混合比率決定手段と、前記混合比率決定手段により決定された割合に応じて、前記第1及び第2の輝度信号を混合する混合手段とを有し、前記混合比率決定手段は、前記画像信号の画像における位置を検出する手段と、前記画像信号の画像における位置が中心に近づくほど前記第2の輝度信号の混合比を大きくし、前記画像信号の画像における位置が中心から離れるほど前記第1の輝度信号の混合比を大きくするように、前記混合する割合を決定する手段とを有することを特徴とする。
また、本発明の信号処理方法は、入力した画像信号に基づいて、Out of Green方式により第1の輝度信号を出力する第1の輝度信号生成工程と、前記入力した画像信号に基づいて、Switch Y方式により第2の輝度信号を出力する第2の輝度信号生成工程と、前記画像信号の画像における位置を検出する工程と、前記画像信号の画像における位置が中心に近づくほど前記第2の輝度信号の混合比を大きくし、前記画像信号の画像における位置が中心から離れるほど前記第1の輝度信号の混合比を大きくするように、前記第1及び第2の輝度信号を混合する割合を決定する工程と、前記決定した割合に応じて、前記第1及び第2の輝度信号を混合する混合工程とを有する。
また、別の構成によれば、本発明の信号処理装置は、撮像手段により得られた画像信号を入力する入力手段と、前記入力した画像信号に基づいて、Out of Green方式により第1の輝度信号を出力する第1の輝度信号生成手段と、前記入力した画像信号に基づいて、Switch Y方式により第2の輝度信号を出力する第2の輝度信号生成手段と、前記画像信号の前記撮像手段の光軸からの距離を検出する手段と、前記画像信号の光軸からの距離が小さいほど前記第2の輝度信号の混合比を大きくし、前記画像信号の光軸からの距離が大きいほど前記第1の輝度信号の混合比を大きくするように、前記第1及び第2の輝度信号を混合する割合を決定する混合比率決定手段と、前記混合比率決定手段により決定された割合に応じて、前記第1及び第2の輝度信号を混合する混合手段とを有する。
また、撮像手段により得られた画像信号を入力する入力工程と、前記入力した画像信号に基づいて、Out of Green方式により第1の輝度信号を出力する第1の輝度信号生成工程と、前記入力した画像信号に基づいて、Switch Y方式により第2の輝度信号を出力する第2の輝度信号生成工程と、前記画像信号の前記撮像手段の光軸からの距離を検出する工程と、前記画像信号の光軸からの距離が小さいほど前記第2の輝度信号の混合比を大きくし、前記画像信号の光軸からの距離が大きいほど前記第1の輝度信号の混合比を大きくするように、前記第1及び第2の輝度信号を混合する割合を決定する工程と、前記決定された割合に応じて、前記第1及び第2の輝度信号を混合する混合工程とを有する。
【0011】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【0012】
<第1の実施形態>
本第1の実施形態では、図10に示したR(赤)、G(緑)、B(青)の3色からなる原色ベイヤー配列のカラーフィルタにより覆われた単板撮像素子からの信号を用いて、輝度信号を得る場合について説明する。
【0013】
図1は本発明の第1の実施形態における撮像装置の概略構成を示すブロック図である。撮像装置は、例えば、デジタルスチルカメラやデジタルビデオカメラを含むが、これに限るものではなく、入射する光学像をエリアセンサなどの2次元配列された固体撮像素子を用いて光電変換により電気的な画像として取得するものであれば、本発明を適用することが可能である。
【0014】
図1において、1は、入射する光を光電変換して、電気信号を出力するCCDなどの撮像素子(以下、CCD)、2はA/D変換回路、3はホワイトバランス(WB)回路、4は信号処理装置である。上記構成において、CCD1より出力される信号をA/D変換回路2によりデジタル信号に変換し、WB回路3により公知のホワイトバランス(WB)処理を施した信号を信号処理装置4に入力する。なお、図1では、図の簡略化の為に本発明に直接関わりの無いγ変換回路や、色作成回路などは省略している。
【0015】
次に、本発明の第1の実施形態における信号処理装置4の構成及び動作について、図1乃至図6を参照して詳細に説明する。図2は、本第1の実施形態における輝度信号生成手順を示すフローチャートである。
【0016】
信号処理装置4は、図1に示すように、OutofGreen輝度回路5、SwichY輝度回路6、混合比率変更回路7、輝度混合回路8を有する。信号処理装置4は、WB回路3によりWB処理された信号を受け取とると(ステップS11)、Out of Green輝度回路5において、Out of Green方式により輝度信号1を作成する(ステップS12)。
【0017】
図3は、本第1の実施形態におけるOut of Green輝度回路5の構成例を示すブロック図である。CCD1の各カラーフィルタ位置に対応して、R、B、Gの各信号を独立に処理するために、R補間回路9、B補間回路10、G補間回路11を備える。例えば、R信号を処理する場合には、R以外の画素に0挿入しておき、水平、垂直方向それぞれに[1 2 1]の係数を持つLPFを適用してG信号、B信号に関しても同様に処理し、乗算回路13および加算回路14により次式のように輝度信号Yを生成する。
Y = 0.3R + 0.59G + 0.11B …(2)
【0018】
さらに、輪郭補正回路12により、G信号から高域強調信号を作成し、Yに足しこむ。このように、高域強調信号をG信号のみから作成するため、輝度信号Yにおいて、G信号が支配的になる。
【0019】
一方、SwichY輝度回路6により、例えば、従来技術で述べたSwichY方式により輝度信号2を作成する(ステップS13)。なお、このSwichY方式は、レッド(R)信号、グリーン(G)信号、ブルー(B)信号をそのまま輝度信号とみなす方式であり、本第1の実施形態で採用している原色ベイヤー配列の撮像素子の場合、輝度の色構成比は、R:G:B=1:2:1である。
【0020】
Switch Y方式により得られる輝度信号2は、従来例で述べたように、画像の周辺においてモアレが顕著に発生してしまう。一方、Out of Green方式による輝度信号1は、後述するようにG信号を中心に輝度信号を構成するため、色収差によりG信号に対してR信号およびB信号のサンプリングの位置がずれたとしても、その影響を受けにくい。しかし、Out of Green方式はSwitch Y方式に比べCCDの画素を約半分しか利用していないことになるため、画像の中心ではSwitch Y方式を利用した方が有利である。
【0021】
従って、本第1の実施形態においては、画像の中心ではSwitch Y方式を採用し、画像の周辺ではOut of Green方式を採用し、中間ではSwitch Y方式とOut of Green方式の両方を採用する。
【0022】
混合比率変更回路7では、画素位置に応じて(ステップS14)輝度信号1と輝度信号2との混合比率を変更する(ステップS15)。より具体的には、画面の中心(または光軸)から各画素までの距離dに応じて、混合比率rを決める。この混合比率の決め方については、詳細に後述する。
【0023】
次に、輝度混合回路8において、混合比率変更回路7により変更された混合比率rを用いて、輝度信号1と輝度信号2とを混合する(ステップS16)。この混合の仕方についても、詳細に後述する。
【0024】
図4は、本第1の実施形態における混合比率変更回路7の構成例を示すブロック図である。まず、画素位置検出回路15により処理している画素位置(x,y)を検出する。次に、距離演算回路16により画像中心(xc,yc)からの距離を演算する。例えば、距離dを
【0025】
【0026】
のように演算する。次に、混合比率演算回路17において、距離dにより混合比率rを演算する。例えば、画像中心から最も距離の離れた画素位置までの距離をDmaxとすると、
r = d/Dmax …(4)
のように演算する。このようにすると、中心付近では混合比率rが0となり、周辺で1となる。
また、距離dと混合比率rの関係を図5のように作成しておき、テーブル変換によって距離dから混合比率rを求めるように構成してもよい。
【0027】
輝度混合回路8では、上記混合比率rを用いて、輝度信号1と輝度信号2を次式(5)のように混合して混合輝度信号Ymixを得る。なお、式(5)において、輝度信号1はY1、輝度信号2はY2、比率rは輝度信号1の混合比率を示すものとする。従って、輝度信号2の混合比率は(1−r)により表される。
Ymix = rY1 + (1-r)Y2 …(5)
【0028】
図6は、図5に示す比率を用いて、輝度混合回路8により輝度信号1及び輝度信号2を混合した結果を図示したものである。中央部ではSwitch Y方式の輝度が採用され、周辺ではOut Of Green方式の輝度、中間部では両方式の輝度を混合した輝度が採用されている。
【0029】
以上のように構成することで、画像の中心部分と周辺部分で異なる方式の輝度信号を採用することが可能となり、レンズ系の色収差の影響を受けにくい輝度信号を作成することが可能となる。
【0030】
即ち、本第1の実施形態によれば、入力した画像信号に基づいて、第1の方式により第1の輝度信号を生成し、同じ画像信号に基づいて、第2の方式により第2の輝度信号を生成し、第1及び第2の輝度信号を混合する割合を決定し、決定した割合に応じて、第1及び第2の輝度信号を混合する。
【0031】
より具体的には、混合する割合を決定する時には、画像信号の画像における位置を検出し、検出した位置に基づいて、混合する割合を決定する。
【0032】
更に具体的には、前記第1の方式は、Out of Green方式であって、前記第2の方式は、Switch Y方式である。
【0033】
<第2の実施形態>
本第2の実施形態では、第1の実施形態に加え、さらに、画像の特定個所のみ複数の輝度信号を混合することが可能な実施形態について説明する。
【0034】
第1の実施形態では、輝度信号1と輝度信号2を被写体によらず、画像の中心からの距離に応じて混合していたが、色の濃い被写体の場合、輝度信号の色構成比の違いにより輝度レベルが異なってくる。例えば、(R,G,B)=(200,0,0)という色の場合、色の構成比がR:G:B=3:6:1の場合、Y=60くらいになるが、色の構成比がR:G:B=1:2:1の場合、Y=50くらいになる。そのため、色の濃い被写体を撮影した場合、輝度信号1と輝度信号2の輝度レベルの差が激しくなり、切り替えポイントでの輝度段差が気になる場合がある。
【0035】
これを避けるためには、色の濃い部分については、輝度信号を混合せずに、Out of Green方式で得られた輝度信号1をそのまま用いる。
【0036】
図7は、本第2の実施形態における撮像装置の構成を示すブロック図である。図7では、図1の構成に信号処理装置4’内に混合位置検出回路18が加わったもので、その他の構成は図1と同じであるため、同じ構成については詳細説明を省略する。以下、本第2の実施形態における動作を、図8のフローチャートを参照しながら説明するが、第1の実施形態で説明した図2のフローチャートの処理と同様の処理には同じ参照番号を付し、一部説明を省略する。
【0037】
信号処理装置4は、WB回路3によりWB処理された信号を受け取とると(ステップS11)、Out of Green輝度回路5において、Out of Green方式により輝度信号1を作成し(ステップS12)、SwichY輝度回路6により、SwichY方式により輝度信号2を作成する(ステップS13)。その後、入力した信号の彩度から、輝度信号混合を行うか否かを判断するが(ステップS21)、この判断は混合位置検出回路18で行われる。
【0038】
図9は、本第2の実施形態における混合位置検出回路18の構成例を示すブロック図である。まず、彩度演算回路19において、例えば、次式(6)に従って彩度を演算する。なお、式(6)のChmは、彩度である。
【0039】
【0040】
次に、混合度合い決定回路20において、ある閾値より彩度が小さい場合にのみ輝度を混合するように決定する。例えば、閾値THとChmを比較し、Chmの方が小さい場合には輝度を混合すると判定し、1の信号を発生する。逆の場合にはしないと判定し、0の信号を発生する。
【0041】
輝度混合回路8’において、この信号を受け取り、1が与えられた場合のみ、輝度の混合を実施するよう構成する(ステップS14〜S16)。なお、輝度の混合は、上記第1の実施形態で説明したようにして行われる。0の場合には、Out of Green方式で得られた輝度信号1を出力する。
【0042】
上記の通り第2の実施形態によれば、彩度が小さい部分のみ輝度の混合が実施されるため、上記問題を回避することが可能となる。
【0043】
なお、上記第2の実施形態では、混合するかしないかを彩度と閾値とを比較して0、1で判定したが、彩度に応じて0〜1の連続的な数値で混合度合いを決定するように構成してもよい。
【0044】
即ち、本第2の実施形態によれば、上記第1の実施形態の構成に加えて、画像信号の彩度に応じて、第1及び第2の輝度信号を混合するか否かを判断し、混合すると判断した場合に、第1及び第2の輝度信号を混合する。
【0045】
より具体的には、上記判断を行う時に、画像信号の彩度を検出し、検出した彩度を予め決められた閾値と比較し、閾値よりも小さい場合に第1及び第2の輝度信号を混合し、大きい場合に前記第1及び第2の輝度信号を混合しないと決定する。
【0046】
また、別の構成では、上記第1の実施形態の構成に加えて、前記画像信号の彩度に応じて、第1及び第2の輝度信号を混合する割合を判断し、上記決定された2種類の割合に応じて、第1及び第2の輝度信号を混合する。
【0047】
より具体的には、前記第1の方式は、Out of Green方式であって、彩度に基づく判断で混合しないと判断した場合に、第1の輝度信号をそのまま出力する。
【0048】
【他の実施形態】
なお、本発明は、複数の機器(例えばホストコンピュータ、インターフェイス機器、スキャナ、カメラヘッドなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、デジタルスチルカメラ、デジタルビデオカメラ、複写機、ファクシミリ装置など)に適用してもよい。
【0049】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ROM、RAM、磁気テープ、不揮発性のメモリカード、CD−ROM、CD−R、DVD、光ディスク、光磁気ディスク、MOなどが考えられる。
【0050】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0051】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図2または図8に示すフローチャートに対応するプログラムコードが格納されることになる。
【0052】
【発明の効果】
上記の通り本発明によれば、より質の高い輝度信号を得ると共に、色収差によるモアレの発生を抑制することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態における撮像装置の概略構成を示すブロック図である。
【図2】本発明の第1の実施形態における輝度信号生成手順を示すフローチャートである。
【図3】本発明の第1の実施形態におけるOut of Green輝度回路の構成例を示すブロック図である。
【図4】本発明の第1の実施形態における混合比率変更回路の構成例を示すブロック図である。
【図5】本発明の第1の実施形態における中心から各画素までの距離に対する、混合比率の例を示す図である。
【図6】本発明の第1の実施形態における輝度信号1及び輝度信号2を混合した結果を示す図である。
【図7】本発明の第2の実施形態における撮像装置の構成を示すブロック図である。
【図8】本発明の第2の実施形態における輝度信号生成手順を示すフローチャートである。
【図9】本発明の第2の実施形態における混合位置検出回路の構成例を示すブロック図である。
【図10】原色ベイヤー配列を示す図である。
【図11】 Switch Y方式の説明図である。
【図12】 Switch Y方式で輝度信号生成を行う回路の構成例を示すブロック図である。
【図13】色収差を説明するための図である。
【符号の説明】
1 撮像素子
2 A/D変換回路
3 ホワイトバランス回路
4、4’ 信号処理装置
5 OutofGreen輝度回路
6 SwichY輝度回路
7 混合比率変更回路
8、8’ 輝度混合回路
9 R補間回路
10 B補間回路
11 G補間回路
12 輪郭補正回路
13 乗算回路
14 加算回路
15 画素位置検出回路
16 距離演算回路
17 混合比率演算回路
18 混合位置検出回路
19 彩度演算回路
20 混合度合い決定回路
101 射出瞳
102 固体撮像素子
1201 ベース信号補間回路
1202 高域強調回路
1203 加算器[0001]
BACKGROUND OF THE INVENTION
The present invention relates to signal processing, and more particularly to processing for creating a luminance signal from an output signal from an image sensor having a plurality of color filters.
[0002]
[Prior art]
Conventionally, the SwitchY method and the OutofGreen method are known as methods for creating a luminance signal based on an output color signal from a solid-state imaging device. Hereinafter, these methods will be described by taking as an example a case where the solid-state imaging device is covered with a color filter having a primary color Bayer arrangement as shown in FIG.
[0003]
The SwitchY method is a method in which a signal subjected to white balance (hereinafter referred to as WB) processing after A / D conversion of an output signal from a solid-state imaging device is regarded as a luminance signal Y as it is. FIG. 11 is a diagram showing the concept of the obtained luminance signal Y, and the number after Y indicates the pixel position. Usually, in order to suppress the generation of carriers due to sampling, the result of applying a low-pass filter (hereinafter referred to as LPF) having an output of 0 at the Nyquist frequency in the horizontal direction and the vertical direction is used as the base signal. For example, when the filter coefficient of the LPF is [1 2 1] in both the horizontal direction and the vertical direction, the output Y22 ′ from the LPF of the Y22 pixel is
Y22 '= (Y11 + 2 × Y12 + Y13 + 2 × Y21 + 4 × Y22 + 2 × Y23
+ Y31 + 2 x Y32 + Y33) / 16… (1)
[0004]
Can be obtained as follows.
Further, as shown in FIG. 12, a high frequency emphasis signal is created by the high-order Kikyocho
[0005]
However, in an actual imaging system, a lens system is disposed in front of the solid-state imaging device, and light that has passed through the lens system is sampled by the solid-state imaging device. Chromatic aberration occurs in the light that has passed through the lens system, and therefore, the position sampled differs depending on the color when it comes to the periphery of the image.
[0006]
This phenomenon will be described with reference to FIG. In the figure, 101 is an exit pupil of a lens system, and 102 is a solid-state image sensor such as a CCD. FIG. 13 shows light from the
[0007]
Therefore, particularly in the vicinity of the image, the position of the image to be sampled differs for each color of the image sensor, so that moire due to the sampling position deviation occurs. For example, in the case of the filter array as shown in FIG. 10, the sampling positions at the R position and the B position are substantially deviated from the G position, and an interference pattern is generated in the image.
[0008]
[Problems to be solved by the invention]
As described above, since light passing through the lens system has chromatic aberration, sampling is shifted substantially depending on the color of the color filter even if the arrangement of the solid-state imaging devices is equally spaced. Had occurred.
[0009]
The present invention has been made in view of the above problems, and an object of the present invention is to obtain a higher quality luminance signal and to suppress the occurrence of moire due to chromatic aberration.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, the signal processing apparatus of the present invention includes a first luminance signal generating means for outputting a first luminance signal by an Out of Green method based on an input image signal, and the input image. A second luminance signal generating means for outputting a second luminance signal by the Switch Y method based on the signal; a mixing ratio determining means for determining a ratio of mixing the first and second luminance signals; and the mixing Mixing means for mixing the first and second luminance signals according to the ratio determined by the ratio determining means, and the mixing ratio determining means detects the position of the image signal in the image; The mixing ratio of the second luminance signal is increased as the position of the image signal in the image approaches the center, and the mixing ratio of the first luminance signal is increased as the position of the image signal in the image is away from the center. Yo And a means for determining the mixing ratio.
The signal processing method of the present invention includes a first luminance signal generation step of outputting a first luminance signal by an Out of Green method based on an input image signal, and a Switch based on the input image signal. A second luminance signal generating step of outputting a second luminance signal by the Y method, a step of detecting the position of the image signal in the image, and the second luminance as the position of the image signal in the image approaches the center. The ratio of mixing the first and second luminance signals is determined such that the mixing ratio of the signals is increased and the mixing ratio of the first luminance signals is increased as the position of the image signal in the image is further away from the center. And a mixing step of mixing the first and second luminance signals according to the determined ratio.
According to another configuration, the signal processing apparatus of the present invention includes an input unit that inputs an image signal obtained by the imaging unit, and a first luminance based on the input image signal by an Out of Green method. A first luminance signal generating means for outputting a signal; a second luminance signal generating means for outputting a second luminance signal by the Switch Y method based on the inputted image signal; and the imaging means for the image signal. A means for detecting the distance from the optical axis of the image signal; and the smaller the distance from the optical axis of the image signal, the larger the mixing ratio of the second luminance signal, and the greater the distance from the optical axis of the image signal, In accordance with the ratio determined by the mixing ratio determining means, the mixing ratio determining means for determining the ratio of mixing the first and second luminance signals so as to increase the mixing ratio of the first luminance signal, The first and second luminance signals And a mixing means for mixing the number.
In addition, an input step of inputting an image signal obtained by the imaging means, a first luminance signal generation step of outputting a first luminance signal by an Out of Green method based on the input image signal, and the input A second luminance signal generation step of outputting a second luminance signal by the Switch Y method based on the image signal, a step of detecting a distance of the image signal from the optical axis of the imaging means, and the image signal The mixing ratio of the second luminance signal is increased as the distance from the optical axis is reduced, and the mixing ratio of the first luminance signal is increased as the distance from the optical axis of the image signal is increased. A step of determining a ratio of mixing the first and second luminance signals; and a mixing step of mixing the first and second luminance signals according to the determined ratio.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Preferred embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
[0012]
<First Embodiment>
In the first embodiment, signals from a single-plate image sensor covered with a primary color Bayer array color filter composed of three colors of R (red), G (green), and B (blue) shown in FIG. A case where a luminance signal is obtained will be described.
[0013]
FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus according to the first embodiment of the present invention. The imaging apparatus includes, for example, a digital still camera and a digital video camera, but is not limited thereto, and an incident optical image is electrically converted by photoelectric conversion using a two-dimensionally arranged solid-state imaging device such as an area sensor. The present invention can be applied if it is acquired as an image.
[0014]
In FIG. 1, 1 is an image sensor such as a CCD (hereinafter referred to as a CCD) that photoelectrically converts incident light and outputs an electrical signal, 2 is an A / D conversion circuit, 3 is a white balance (WB) circuit, 4 Is a signal processing device. In the above configuration, a signal output from the
[0015]
Next, the configuration and operation of the signal processing device 4 according to the first embodiment of the present invention will be described in detail with reference to FIGS. 1 to 6. FIG. 2 is a flowchart showing a luminance signal generation procedure in the first embodiment.
[0016]
As illustrated in FIG. 1, the signal processing device 4 includes an OutofGreen luminance circuit 5, a SwichY luminance circuit 6, a mixing ratio changing circuit 7, and a luminance mixing circuit 8. When the signal processing device 4 receives the signal subjected to the WB processing by the WB circuit 3 (Step S11), the Out of Green luminance circuit 5 creates the
[0017]
FIG. 3 is a block diagram illustrating a configuration example of the Out of Green luminance circuit 5 according to the first embodiment. An R interpolation circuit 9, a
Y = 0.3R + 0.59G + 0.11B (2)
[0018]
Further, the
[0019]
On the other hand, the luminance signal 2 is created by the SwichY luminance circuit 6 by, for example, the SwichY method described in the prior art (step S13). The SwichY method is a method in which red (R) signal, green (G) signal, and blue (B) signal are regarded as luminance signals as they are, and imaging of the primary color Bayer array employed in the first embodiment is performed. In the case of an element, the color composition ratio of luminance is R: G: B = 1: 2: 1.
[0020]
In the luminance signal 2 obtained by the Switch Y method, as described in the conventional example, moiré is remarkably generated around the image. On the other hand, the
[0021]
Therefore, in the first embodiment, the Switch Y method is adopted at the center of the image, the Out of Green method is adopted at the periphery of the image, and both the Switch Y method and the Out of Green method are adopted in the middle.
[0022]
The mixing ratio changing circuit 7 changes the mixing ratio of the
[0023]
Next, in the luminance mixing circuit 8, the
[0024]
FIG. 4 is a block diagram showing a configuration example of the mixing ratio changing circuit 7 in the first embodiment. First, the pixel position (x, y) being processed by the pixel
[0026]
Calculate as follows. Next, the mixing ratio calculation circuit 17 calculates the mixing ratio r from the distance d. For example, if the distance from the image center to the farthest pixel position is Dmax,
r = d / Dmax (4)
Calculate as follows. In this way, the mixing ratio r is 0 near the center and 1 around.
Further, the relationship between the distance d and the mixing ratio r may be created as shown in FIG. 5, and the mixing ratio r may be obtained from the distance d by table conversion.
[0027]
In the luminance mixing circuit 8, the
Ymix = rY1 + (1-r) Y2 (5)
[0028]
FIG. 6 shows the result of mixing the
[0029]
With the configuration as described above, it is possible to employ different types of luminance signals for the central portion and the peripheral portion of the image, and it is possible to create a luminance signal that is not easily affected by the chromatic aberration of the lens system.
[0030]
That is, according to the first embodiment, the first luminance signal is generated by the first method based on the input image signal, and the second luminance is generated by the second method based on the same image signal. A signal is generated, a ratio of mixing the first and second luminance signals is determined, and the first and second luminance signals are mixed according to the determined ratio.
[0031]
More specifically, when the mixing ratio is determined, the position of the image signal in the image is detected, and the mixing ratio is determined based on the detected position.
[0032]
More specifically, the first method is an Out of Green method, and the second method is a Switch Y method.
[0033]
<Second Embodiment>
In the second embodiment, in addition to the first embodiment, an embodiment capable of mixing a plurality of luminance signals only at a specific portion of an image will be described.
[0034]
In the first embodiment, the
[0035]
In order to avoid this, the
[0036]
FIG. 7 is a block diagram illustrating a configuration of the imaging apparatus according to the second embodiment. In FIG. 7, the mixed
[0037]
When the signal processing device 4 receives the signal subjected to the WB processing by the WB circuit 3 (Step S11), the Out of Green luminance circuit 5 creates the
[0038]
FIG. 9 is a block diagram illustrating a configuration example of the mixed
[0039]
[0040]
Next, the mixing
[0041]
The luminance mixing circuit 8 ′ receives this signal and configures the luminance mixing only when 1 is given (steps S14 to S16). Note that the luminance mixing is performed as described in the first embodiment. In the case of 0, the
[0042]
As described above, according to the second embodiment, since the luminance is mixed only in the portion with low saturation, the above problem can be avoided.
[0043]
In the second embodiment, whether to mix or not is determined by comparing the saturation and the threshold with 0 and 1, but the mixing degree is determined by a continuous numerical value of 0 to 1 according to the saturation. You may comprise so that it may determine.
[0044]
That is, according to the second embodiment, in addition to the configuration of the first embodiment, it is determined whether to mix the first and second luminance signals according to the saturation of the image signal. When it is determined that they are mixed, the first and second luminance signals are mixed.
[0045]
More specifically, when the above determination is made, the saturation of the image signal is detected, the detected saturation is compared with a predetermined threshold value, and if it is smaller than the threshold value, the first and second luminance signals are detected. If they are mixed and are large, it is determined not to mix the first and second luminance signals.
[0046]
In another configuration, in addition to the configuration of the first embodiment, the ratio of mixing the first and second luminance signals is determined according to the saturation of the image signal, and the determined 2 The first and second luminance signals are mixed according to the type ratio.
[0047]
More specifically, the first method is an Out of Green method, and when it is determined that mixing is not performed based on determination based on saturation, the first luminance signal is output as it is.
[0048]
[Other Embodiments]
Note that the present invention can be applied to a system composed of a plurality of devices (for example, a host computer, an interface device, a scanner, a camera head, etc.), or a device composed of a single device (for example, a digital still camera, a digital video camera). , Copying machines, facsimile machines, etc.).
[0049]
Another object of the present invention is to supply a storage medium (or recording medium) in which a program code of software that realizes the functions of the above-described embodiments is recorded to a system or apparatus, and the computer (or CPU or CPU) of the system or apparatus. Needless to say, this can also be achieved by the MPU) reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included. Examples of the storage medium for storing the program code include a flexible disk, hard disk, ROM, RAM, magnetic tape, nonvolatile memory card, CD-ROM, CD-R, DVD, optical disk, magneto-optical disk, MO, and the like. Can be considered.
[0050]
Furthermore, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion card or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
[0051]
When the present invention is applied to the above-described storage medium, the program code corresponding to the flowchart shown in FIG. 2 or FIG. 8 described above is stored in the storage medium.
[0052]
【The invention's effect】
As described above, according to the present invention, it is possible to obtain a higher quality luminance signal and suppress the occurrence of moire due to chromatic aberration.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of an imaging apparatus according to a first embodiment of the present invention.
FIG. 2 is a flowchart showing a luminance signal generation procedure in the first embodiment of the present invention.
FIG. 3 is a block diagram illustrating a configuration example of an Out of Green luminance circuit according to the first embodiment of the present invention.
FIG. 4 is a block diagram showing a configuration example of a mixing ratio changing circuit in the first embodiment of the present invention.
FIG. 5 is a diagram illustrating an example of a mixing ratio with respect to a distance from the center to each pixel in the first embodiment of the present invention.
FIG. 6 is a diagram showing a result of mixing a
FIG. 7 is a block diagram illustrating a configuration of an imaging apparatus according to a second embodiment of the present invention.
FIG. 8 is a flowchart showing a luminance signal generation procedure according to the second embodiment of the present invention.
FIG. 9 is a block diagram illustrating a configuration example of a mixed position detection circuit according to a second embodiment of the present invention.
FIG. 10 is a diagram illustrating a primary color Bayer arrangement.
FIG. 11 is an explanatory diagram of a Switch Y method.
FIG. 12 is a block diagram illustrating a configuration example of a circuit that generates a luminance signal by the Switch Y method.
FIG. 13 is a diagram for explaining chromatic aberration.
[Explanation of symbols]
DESCRIPTION OF
Claims (14)
前記入力した画像信号に基づいて、Switch Y方式により第2の輝度信号を出力する第2の輝度信号生成手段と、
前記第1及び第2の輝度信号を混合する割合を決定する混合比率決定手段と、
前記混合比率決定手段により決定された割合に応じて、前記第1及び第2の輝度信号を混合する混合手段とを有し、
前記混合比率決定手段は、
前記画像信号の画像における位置を検出する手段と、
前記画像信号の画像における位置が中心に近づくほど前記第2の輝度信号の混合比を大きくし、前記画像信号の画像における位置が中心から離れるほど前記第1の輝度信号の混合比を大きくするように、前記混合する割合を決定する手段と
を有することを特徴とする信号処理装置。First luminance signal generating means for outputting a first luminance signal by the Out of Green method based on the input image signal;
Second luminance signal generation means for outputting a second luminance signal by the Switch Y method based on the input image signal;
Mixing ratio determining means for determining a ratio of mixing the first and second luminance signals;
Mixing means for mixing the first and second luminance signals in accordance with the ratio determined by the mixing ratio determining means,
The mixing ratio determining means includes
Means for detecting a position of the image signal in the image;
The mixing ratio of the second luminance signal is increased as the position of the image signal in the image approaches the center, and the mixing ratio of the first luminance signal is increased as the position of the image signal in the image is away from the center. And a means for determining the mixing ratio.
前記混合手段は、前記判断手段により混合すると判断された場合に、前記第1及び第2の輝度信号を混合することを特徴とする請求項1に記載の信号処理装置。A determination means for determining whether to mix the first and second luminance signals according to the saturation of the image signal;
The signal processing apparatus according to claim 1, wherein the mixing unit mixes the first and second luminance signals when the determination unit determines that the mixing is performed.
前記画像信号の彩度を検出する手段と、
前記検出した彩度を予め決められた閾値と比較し、閾値よりも小さい場合に前記第1及び第2の輝度信号を混合し、大きい場合に前記第1及び第2の輝度信号を混合しないと決定する手段と
を有することを特徴とする請求項2に記載の信号処理装置。The determination means includes
Means for detecting the saturation of the image signal;
When the detected saturation is compared with a predetermined threshold, the first and second luminance signals are mixed when the detected saturation is smaller than the threshold, and the first and second luminance signals are not mixed when the detected saturation is larger. The signal processing apparatus according to claim 2 , further comprising: a determining unit.
前記混合手段は、前記混合比率決定手段により決定された割合及び前記判断手段により判断された割合に応じて、前記第1及び第2の輝度信号を混合することを特徴とする請求項1に記載の信号処理装置。A determination means for determining a ratio of mixing the first and second luminance signals according to the saturation of the image signal;
It said mixing means, according to the ratio which is determined by the ratio and the determining means is determined by the mixing ratio determining means, according to claim 1, characterized in that mixing the first and second luminance signals Signal processing equipment.
前記第1の輝度信号生成手段及び前記第2の輝度信号生成手段は、前記入力手段から入力した画像信号に基づいて、前記第1の輝度信号及び前記第2の輝度信号をそれぞれ出力することを特徴とする請求項1乃至6のいずれか1項に記載の信号処理装置。An input unit that inputs an image signal obtained by an imaging unit whose characteristics of chromatic aberration change according to the position of the imaging surface;
The first luminance signal generation unit and the second luminance signal generation unit output the first luminance signal and the second luminance signal, respectively, based on the image signal input from the input unit. the signal processing apparatus according to any one of claims 1 to 6, wherein.
前記入力した画像信号に基づいて、Out of Green方式により第1の輝度信号を出力する第1の輝度信号生成手段と、
前記入力した画像信号に基づいて、Switch Y方式により第2の輝度信号を出力する第2の輝度信号生成手段と、
前記画像信号の前記撮像手段の光軸からの距離を検出する手段と、
前記画像信号の光軸からの距離が小さいほど前記第2の輝度信号の混合比を大きくし、前記画像信号の光軸からの距離が大きいほど前記第1の輝度信号の混合比を大きくするように、前記第1及び第2の輝度信号を混合する割合を決定する混合比率決定手段と、
前記混合比率決定手段により決定された割合に応じて、前記第1及び第2の輝度信号を混合する混合手段とを有することを特徴とする信号処理装置。Input means for inputting an image signal obtained by the imaging means;
First luminance signal generating means for outputting a first luminance signal by an Out of Green method based on the input image signal;
Second luminance signal generation means for outputting a second luminance signal by the Switch Y method based on the input image signal;
Means for detecting the distance of the image signal from the optical axis of the imaging means;
The mixing ratio of the second luminance signal is increased as the distance from the optical axis of the image signal is decreased, and the mixing ratio of the first luminance signal is increased as the distance from the optical axis of the image signal is increased. in a mixing ratio determining means for determining a ratio of mixing the first and second luminance signals,
A signal processing apparatus comprising: mixing means for mixing the first and second luminance signals in accordance with the ratio determined by the mixing ratio determining means.
前記入力した画像信号に基づいて、Switch Y方式により第2の輝度信号を出力する第2の輝度信号生成工程と、
前記画像信号の画像における位置を検出する工程と、
前記画像信号の画像における位置が中心に近づくほど前記第2の輝度信号の混合比を大きくし、前記画像信号の画像における位置が中心から離れるほど前記第1の輝度信号の混合比を大きくするように、前記第1及び第2の輝度信号を混合する割合を決定する工程と、
前記決定した割合に応じて、前記第1及び第2の輝度信号を混合する混合工程と
を有することを特徴とする信号処理方法。A first luminance signal generating step of outputting a first luminance signal by an Out of Green method based on the input image signal;
A second luminance signal generation step of outputting a second luminance signal by the Switch Y method based on the input image signal;
Detecting a position of the image signal in the image;
The mixing ratio of the second luminance signal is increased as the position of the image signal in the image approaches the center, and the mixing ratio of the first luminance signal is increased as the position of the image signal in the image moves away from the center. And determining a ratio of mixing the first and second luminance signals;
And a mixing step of mixing the first and second luminance signals in accordance with the determined ratio.
前記第1の輝度信号生成工程及び前記第2の輝度信号生成工程では、前記入力した画像信号に基づいて、前記第1の輝度信号及び前記第2の輝度信号をそれぞれを出力することを特徴とする請求項9に記載の信号処理方法。An input step of inputting an image signal obtained by an imaging means whose chromatic aberration characteristics change according to the position of the imaging surface;
In the first luminance signal generation step and the second luminance signal generation step, the first luminance signal and the second luminance signal are output based on the input image signal, respectively. The signal processing method according to claim 9 .
前記入力した画像信号に基づいて、Out of Green方式により第1の輝度信号を出力する第1の輝度信号生成工程と、
前記入力した画像信号に基づいて、Switch Y方式により第2の輝度信号を出力する第2の輝度信号生成工程と、
前記画像信号の前記撮像手段の光軸からの距離を検出する工程と、
前記画像信号の光軸からの距離が小さいほど前記第2の輝度信号の混合比を大きくし、前記画像信号の光軸からの距離が大きいほど前記第1の輝度信号の混合比を大きくするように、前記第1及び第2の輝度信号を混合する割合を決定する工程と、
前記決定された割合に応じて、前記第1及び第2の輝度信号を混合する混合工程と
を有することを特徴とする信号処理方法。An input step of inputting an image signal obtained by the imaging means;
A first luminance signal generation step of outputting a first luminance signal by an Out of Green method based on the input image signal;
A second luminance signal generation step of outputting a second luminance signal by the Switch Y method based on the input image signal;
Detecting the distance of the image signal from the optical axis of the imaging means;
The mixing ratio of the second luminance signal is increased as the distance from the optical axis of the image signal is decreased, and the mixing ratio of the first luminance signal is increased as the distance from the optical axis of the image signal is increased. And determining a ratio of mixing the first and second luminance signals;
And a mixing step of mixing the first and second luminance signals according to the determined ratio.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002339751A JP4155559B2 (en) | 2002-11-22 | 2002-11-22 | Signal processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002339751A JP4155559B2 (en) | 2002-11-22 | 2002-11-22 | Signal processing apparatus and method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004173207A JP2004173207A (en) | 2004-06-17 |
JP2004173207A5 JP2004173207A5 (en) | 2005-12-22 |
JP4155559B2 true JP4155559B2 (en) | 2008-09-24 |
Family
ID=32702633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002339751A Expired - Fee Related JP4155559B2 (en) | 2002-11-22 | 2002-11-22 | Signal processing apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4155559B2 (en) |
-
2002
- 2002-11-22 JP JP2002339751A patent/JP4155559B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004173207A (en) | 2004-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4054184B2 (en) | Defective pixel correction device | |
JP4154847B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium storing image processing program | |
JP5045421B2 (en) | Imaging apparatus, color noise reduction method, and color noise reduction program | |
JP3706789B2 (en) | Signal processing apparatus and signal processing method | |
JP2004088149A (en) | Imaging system and image processing program | |
JP4011861B2 (en) | Signal processing apparatus and method | |
JPWO2008150017A1 (en) | Signal processing method and signal processing apparatus | |
JP2013017142A (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP2008311874A (en) | Image processor, image processing program and image processing method | |
US7489822B2 (en) | Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method | |
US8441543B2 (en) | Image processing apparatus, image processing method, and computer program | |
JP5291788B2 (en) | Imaging device | |
JP5621053B2 (en) | Image processing apparatus, method and program, and imaging apparatus | |
US9401006B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2007195122A (en) | Imaging apparatus, image processor and image processing method | |
JP2003123063A (en) | Image processor | |
JP3633561B2 (en) | Image processing apparatus, image processing method, and program | |
JP4280462B2 (en) | Signal processing apparatus and method | |
JP4539299B2 (en) | Image processing apparatus, image processing method, and computer program | |
US8654220B2 (en) | Image processing apparatus and control method for the same | |
JP2001307079A (en) | Image processor, image processing method and recording medium | |
US8675106B2 (en) | Image processing apparatus and control method for the same | |
JP4155559B2 (en) | Signal processing apparatus and method | |
JP4958926B2 (en) | Signal processing apparatus and method | |
JP2005260908A (en) | Image processing method, image processing device, semiconductor device, electronic apparatus, image processing program, and computer-readable recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051107 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080321 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080704 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080707 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |