JP4859220B2 - 輝度信号作成装置及び輝度信号作成方法、並びに撮像装置 - Google Patents
輝度信号作成装置及び輝度信号作成方法、並びに撮像装置 Download PDFInfo
- Publication number
- JP4859220B2 JP4859220B2 JP2006248575A JP2006248575A JP4859220B2 JP 4859220 B2 JP4859220 B2 JP 4859220B2 JP 2006248575 A JP2006248575 A JP 2006248575A JP 2006248575 A JP2006248575 A JP 2006248575A JP 4859220 B2 JP4859220 B2 JP 4859220B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- frequency
- luminance signal
- frequency signal
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
図20は、SWY方式を説明する図である。
SWY方式は、OutOfGreen方式における、G画素以外の値を0とする処理(1901)を行なわずに輝度信号を得る方式である。以下、SWY方式で得られる輝度信号をSWY信号という。
x軸は被写体の水平(H)方向の周波数空間を、y軸は垂直(V)方向の周波数空間を示し、原点から遠ざかるほど空間周波数が高い。OG信号はG信号のみから輝度信号を作成するため、水平及び垂直方向の解像限界はナイキスト周波数(軸上、π/2)に等しい。しかし、斜め方向は画素が存在しないラインが存在するため、斜め方向の限界解像周波数は水平垂直にくらべ低く、結果として図のひし形領域2100の内部が解像可能な空間周波数となる。
図1は本発明の第1の実施形態に係る輝度信号作成装置の構成例を示すブロック図である。本実施形態の輝度信号作成装置は、原色ベイヤー配列の色フィルタを備える撮像素子を用いる撮像装置において、所謂現像処理等の信号処理を行なう信号処理回路において好適に実現可能である。
(第1の高周波信号(AC_OG信号)の作成処理)
図2は、図1におけるOG信号作成部101と、第1の高周波成分検出処理部102の構成例を示す図である。
RAW信号100は、OG信号作成部101の内部で、Zero挿入回路201、DiffH信号作成回路206及びDiffV信号作成回路207にそれぞれ入力される。
第2の水平方向ローパスフィルタ(H-LPF)203は、Gv信号の水平方向の帯域を制限し、Ghv信号を出力する。
一方、DiffH信号作成回路(DiffH)206及びDiffV信号作成回路(DiffV)207は、RAW信号100からDiffH及びDiffV信号を作成する。
DiffH=|P21−P23|+|2×P22−P20−P24| (式1)
DiffV=|P12−P32|+|2×P22−P02−P42| (式2)
なお、式1及び式2における、P12〜P42は、図3中の対応画素の信号値である。
横軸がDiffHV信号、縦軸が加重加算係数Tsigの値をそれぞれ示す。DiffHV≦Th0の場合は、DiffVがDiffHより大きいため横縞領域であると判定される。この場合、加重加算回路205がGh信号を100%使用するTsig値(Tsig=−128)が出力される。
なお、これ以降、エッジ信号をAC成分と記述することがある。
図5は、図1におけるSWY信号作成部103と、第2の高周波成分検出処理部104の構成例を示す図である。
(1)ベースとなるSWY信号作成
RAW信号100は、まず、SWY信号作成部103の垂直方向ローパスフィルタ(V-LPF)501、水平方向ローパスフィルタ(H-LPF)502によって垂直及び水平方向における帯域が制限され、汎用のSWY輝度信号が作成される。
原色ベイヤー配列の信号は、フィルタの分光感度の特性上、RGB三原色の色分離が良い。よって、汎用のSWY輝度信号作成に用いる水平及び垂直方向の帯域制限フィルタ501,502に加え、斜め方向についても帯域制限フィルタを適用しないと、輝度の折り返し歪みを十分抑制することができない。そこで本実施形態では、水平及び垂直方向の帯域を制限するローパスフィルタに加え、45度及び135度方向の帯域を制限する斜めLPFを設けている。そして、被写体の角度情報により、帯域制限された2種類の信号の1つを選択することを特徴としている。
角度判別信号作成回路510には、RAW信号100からOG信号作成部101が作成したDC_OG信号が入力される。45度線を強調するバンドパスフィルタ601(D135−BPF)と、絶対値回路(ABS)602により、DC_OG信号から45度線検出信号を作成する。また、135度線を強調するバンドパスフィルタ(D45−BPF)603と絶対値回路(ABS)604により、DC_OG信号から135度線検出信号を作成する。
加重加算処理部105は、上述したようにして作成された第1の高周波信号(AC_OG)及び第2の高周波信号(AC_SWY)を、以下の式5に従って加重加算し、第3の高周波信号(ACsig)を作成する。
(1)SWYUseRatio_1の算出
図17は、本実施形態の輝度信号作成装置が、図21と同様の周波数空間において、OG信号とSWY信号とをそのように使用するかを説明する図である。ここで、第1の高周波信号(AC_OG)が折り返し歪みの影響を受ける領域は斜め領域1700である。よって、領域1700を第2の高周波信号(AC_SWY)で置換すれば、折り返し歪みのない高周波信号が作成できる。よってAC_SWY信号作成時に用いた角度判別信号を用いることで、加重加算係数を算出できる。
図17における水平垂直領域1701は第1の高周波信号(AC_OG)を用いる。これは、OG信号が水平もしくは垂直方向の帯域を制限させる適応的OG信号であることから、水平及び垂直の両方向に帯域制限をかけるSWY信号より解像度が向上していることが理由である。
画素差分値の大きさは、第1の高周波成分検出処理部102において算出されるDiffHV信号の絶対値を用いることができる。上述の通り、被写体が縦縞の場合、DiffH信号の値は大きくなりDiffV信号は0となる。また被写体が横縞の場合、DiffV信号の値は大きくなりDiffH信号は0となる。従って、DiffHとDiffVとの差であるDiffHV信号の絶対値が大きいほど、水平線か垂直線に近いことが分かる。
図17における水平及び垂直のナイキスト付近の領域(偽色領域)1702は、(2)と同じ理由から、第1の高周波信号(AC_OG)を用いるのが好ましい。ナイキスト領域は、G1とG2信号の位相のずれを検出することで判別可能である。
RAW信号100は、Zero挿入回路1001において、G1以外の信号に0が挿入され、Zero挿入回路1002においては、G2以外の信号に0が挿入される。水平及び垂直方向の補間のためのローパスフィルタ回路(1002,1003,1005,1006)により、0とされた画素に補間値が挿入される。
図17における低周波領域1703は、第1の高周波信号(AC_OG)を用いるのが好ましい。低周波領域は、RAW信号に低周波領域を検出するフィルタを適用することで検出可能である。
RAW信号100は、ローパスフィルタ1201及び1202により、垂直方向及び水平方向の帯域が制限される。その後、水平方向のバンドパスフィルタ(H-BPF)1203と垂直方向のバンドパスフィルタ(V-BPF)1204が別々に適用される。そして減算器1205によって、H−BPF1203の出力からV−BPF1204の出力を減算し、絶対値回路1206によって絶対値がとられ、低域検出用信号(LowF信号)として出力される。
赤色被写体は、R画素以外の出力が0となりやすい。そのため、SWY方式で輝度信号を作成すると、ナイキスト周波数の1/2の周波数以上で折り返し歪みが発生してしまう。そのため、赤い被写体に対し、第2の高周波信号(AC_SWY)は折り返し歪みの多い信号となってしまう。よって、被写体の色を判別し、色が赤の場合、斜め領域1700であっても第1の高周波信号(AC_OG)を用いる。
色補間回路1401は、RAW信号100から予め定められた方法で画素の色補間処理を行なう。色差信号作成回路1402は、色補間結果のRGB値から、色差信号(R−Y信号及びB−Y信号)を作成する。色相角検出回路1403は、色差信号から以下の式6を用いて色相角信号θを求める。
以上のようにして算出されたSWYUseRatio_1からSWYUseRatio_5から、SWYUseRatio算出回路1059によって最終的なSWYUseRatioを算出する。
SWYUseRatio_1(1600)とSWYUseRatio_2(1601)が乗算器1605で乗算された後、シフター1606により右方向に8ビットシフト演算される。シフター1606により、乗算器1605の出力値は1/256にされる。
更に、本実施形態では、低周波数領域では第1の高周波信号(AC_OG)を用いることで、解像感の高い信号を得ることが可能になる。
更に、本実施形態では、SWY信号が苦手とする赤色被写体に対しては、第1の高周波信号(AC_OG)を用いるため、赤色被写体に対する折り返し歪みを抑制することができる。
上述の実施形態は、システム或は装置のコンピュータ(或いはCPU、MPU等)によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるCPUで実行するようにしてもよい。
Claims (14)
- 原色ベイヤー配列の色フィルタを備えた撮像素子によって得られた被写体の信号から、輝度信号を作成する輝度信号作成装置であって、
前記撮像素子のG画素の信号のみから作成した第1の輝度信号を用いて第1の高周波信号を作成する第1の高周波信号作成手段と、
前記撮像素子の全色画素の信号から作成した第2の輝度信号を用いて第2の高周波信号を作成する第2の高周波信号作成手段と、
前記被写体の信号の空間周波数に応じて前記第1の高周波信号と第2の高周波信号を加重加算し第3の高周波信号を作成する加重加算手段と、
前記第1の輝度信号と第3の高周波信号を加算し、第3の輝度信号を作成する加算手段とを有し、
前記加重加算手段は、前記第1の輝度信号に、空間周波数領域において45度方向のバンドパスフィルタ処理を行った第1のバンドパス信号と、前記第1の輝度信号に、空間周波数領域において135度方向のバンドパスフィルタ処理を行った第2のバンドパス信号との差の絶対値が大きいほど、前記第3の高周波信号における前記第2の高周波信号の比率を高くする加重加算を行なうことを特徴とする輝度信号作成装置。 - 前記加重加算手段は、前記撮像素子の着目画素を挟んで上下に存在する少なくとも一組の画素信号の差分値の絶対値と、前記着目画素を挟んで左右に存在する少なくとも一組の画素信号の差分値の絶対値とに基づいて前記被写体が縦縞もしくは横縞である度合いを判別し、縦縞もしくは横縞に近いほど、前記第3の高周波信号における前記第1の高周波信号の比率を高くする加重加算を行なうことを特徴とする請求項1記載の輝度信号作成装置。
- 前記加重加算手段は、前記G画素のうちR画素の両隣に存在するG1画素の信号の低周波成分と、B画素の両隣に存在するG2画素の信号の低周波成分との差分信号の絶対値が大きいほど、前記第3の高周波信号における前記第1の高周波信号の比率を高くする加重加算を行なうことを特徴とする請求項1又は請求項2に記載の輝度信号作成装置。
- 前記加重加算手段は、前記撮像素子から得られる前記被写体の信号の低周波数領域を検出するフィルタの出力信号の絶対値信号が大きいほど前記第3の高周波信号における前記第1の高周波信号の比率を高くする加重加算を行なうことを特徴とする請求項1乃至請求項3のいずれか1項に記載の輝度信号作成装置。
- 前記加重加算手段は、前記撮像素子から得られる前記被写体の信号から前記被写体の色を検出し、前記被写体の色が赤色に近いほど前記第3の高周波信号における前記第1の高周波信号の比率を高くする加重加算を行なうことを特徴とする請求項1乃至請求項4のいずれか1項に記載の輝度信号作成装置。
- 原色ベイヤー配列の色フィルタを備えた撮像素子によって得られた被写体の信号から、前記撮像素子の各画素の輝度信号を作成する輝度信号作成装置であって、
前記撮像素子のG画素のみから作成した第1の輝度信号を用いて第1の高周波信号を作成する第1の高周波信号作成手段と、
前記撮像素子の全色画素の信号の水平、垂直及び45度方向の帯域を制限した第2の輝度信号を用いて第2の高周波信号を作成する第2の高周波信号作成手段と、
前記撮像素子の全色画素の信号の水平、垂直及び135度方向の帯域を制限した第3の輝度信号を用いて第3の高周波信号を作成する第3の高周波信号作成手段と、
前記第2及び第3の高周波信号の一方を選択する選択手段と、
前記第1の高周波信号と、前記第2及び第3の高周波信号のうち前記選択手段が選択した一方とを加重加算し、第4の高周波信号を作成する加重加算手段と、
前記第1の輝度信号と第4の高周波信号とを加算し、第4の輝度信号を出力する加算手段と、を有し、
前記選択手段は、前記第1の輝度信号の45度方向の帯域を制限した信号の絶対値が前記第1の輝度信号の135度方向の帯域を制限した信号の絶対値より大きければ前記第2の高周波信号を、小さければ前記第3の高周波信号を選択することを特徴とする輝度信号作成装置。 - 前記加重加算手段は、前記撮像素子の着目画素を挟んで上下に存在する少なくとも一組の画素信号の差分値の絶対値と、前記着目画素を挟んで左右に存在する少なくとも一組の画素信号の差分値の絶対値との差に基づいて被写体が縦縞もしくは横縞である度合いを判別し、縦縞もしくは横縞に近いほど、前記第4の高周波信号における前記第1の高周波信号の比率を高くする加重加算を行なうことを特徴とする請求項6記載の輝度信号作成装置。
- 前記加重加算手段は、前記G画素のうちR画素の両隣に存在するG1画素信号の低周波成分と、B画素の両隣に存在するG2画素信号の低周波成分との差分信号の絶対値が大きいほど、前記第4の高周波信号における前記第1の高周波信号の比率を高くする加重加算を行なうことを特徴とする請求項6又は請求項7に記載の輝度信号作成装置。
- 前記加重加算手段は、前記撮像素子から得られる前記被写体の信号の低周波数領域を検出するフィルタの出力信号の絶対値信号が大きいほど、前記第4の高周波信号における前記第1の高周波信号の比率を高くする加重加算を行なうことを特徴とする請求項6乃至請求項8のいずれか1項に記載の輝度信号作成装置。
- 前記加重加算手段は、前記撮像素子から得られる前記被写体の信号から前記被写体の色を検出し、前記被写体の色が赤色に近いほど前記第4の高周波信号における前記第1の高周波信号の比率を高くする加重加算を行なうことを特徴とする請求項6乃至請求項9のいずれか1項に記載の輝度信号作成装置。
- 原色ベイヤー配列の色フィルタを備えた撮像素子と、
請求項1乃至請求項10のいずれか1項に記載の輝度信号作成装置を備える撮像装置。 - 原色ベイヤー配列の色フィルタを備えた撮像素子によって得られた被写体の信号から、輝度信号を作成する輝度信号作成方法であって、
前記撮像素子のG画素の信号のみから作成した第1の輝度信号を用いて第1の高周波信号を作成する第1の高周波信号作成工程と、
前記撮像素子の全色画素の信号から作成した第2の輝度信号を用いて第2の高周波信号を作成する第2の高周波信号作成工程と、
前記被写体の信号の空間周波数に応じて前記第1の高周波信号と第2の高周波信号を加重加算し第3の高周波信号を作成する加重加算工程と、
前記第1の輝度信号と第3の高周波信号を加算し、第3の輝度信号を作成する加算工程とを有し、
前記加重加算工程は、前記第1の輝度信号に、空間周波数領域において45度方向のバンドパスフィルタ処理を行った第1のバンドパス信号と、前記第1の輝度信号に、空間周波数領域において135度方向のバンドパスフィルタ処理を行った第2のバンドパス信号との差の絶対値が大きいほど、前記第3の高周波信号における前記第2の高周波信号の比率を高くする加重加算を行なうことを特徴とする輝度信号作成方法。 - 原色ベイヤー配列の色フィルタを備えた撮像素子によって得られた被写体の信号から、輝度信号を作成する輝度信号作成方法であって、
前記撮像素子のG画素のみから作成した第1の輝度信号を用いて第1の高周波信号を作成する第1の高周波信号作成工程と、
前記撮像素子の全色画素の信号の水平、垂直及び45度方向の帯域を制限した第2の輝度信号を用いて第2の高周波信号を作成する第2の高周波信号作成工程と、
前記撮像素子の全色画素の信号の水平、垂直及び135度方向の帯域を制限した第3の輝度信号を用いて第3の高周波信号を作成する第3の高周波信号作成工程と、
前記第2及び第3の高周波信号の一方を選択する選択工程と、
前記第1の高周波信号と、前記第2及び第3の高周波信号のうち前記選択工程が選択した一方とを加重加算し、第4の高周波信号を作成する加重加算工程と、
前記第1の輝度信号と第4の高周波信号とを加算し、第4の輝度信号を出力する加算工程とを有し、
前記選択工程は、前記第1の輝度信号の45度方向の帯域を制限した信号の絶対値が前記第1の輝度信号の135度方向の帯域を制限した信号の絶対値より大きければ前記第2の高周波信号を、小さければ前記第3の高周波信号を選択することを特徴とする輝度信号作成方法。 - コンピュータに、請求項12又は請求項13記載の輝度信号作成方法の各工程を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006248575A JP4859220B2 (ja) | 2006-09-13 | 2006-09-13 | 輝度信号作成装置及び輝度信号作成方法、並びに撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006248575A JP4859220B2 (ja) | 2006-09-13 | 2006-09-13 | 輝度信号作成装置及び輝度信号作成方法、並びに撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008072377A JP2008072377A (ja) | 2008-03-27 |
JP2008072377A5 JP2008072377A5 (ja) | 2009-11-05 |
JP4859220B2 true JP4859220B2 (ja) | 2012-01-25 |
Family
ID=39293581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006248575A Expired - Fee Related JP4859220B2 (ja) | 2006-09-13 | 2006-09-13 | 輝度信号作成装置及び輝度信号作成方法、並びに撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4859220B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009171196A (ja) * | 2008-01-16 | 2009-07-30 | Olympus Imaging Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
JP5129685B2 (ja) | 2008-08-06 | 2013-01-30 | キヤノン株式会社 | 輝度信号生成装置及び輝度信号生成方法、並びに撮像装置 |
JP5490139B2 (ja) * | 2009-10-13 | 2014-05-14 | キヤノン株式会社 | 撮像装置 |
CN104010174B (zh) * | 2009-10-13 | 2016-08-31 | 佳能株式会社 | 图像处理设备和图像处理方法 |
GB2488283B (en) * | 2009-12-04 | 2015-10-21 | Canon Kk | Image Processing device |
CN102754443B (zh) | 2010-02-12 | 2014-11-12 | 佳能株式会社 | 图像处理设备和图像处理方法 |
JP5868046B2 (ja) | 2010-07-13 | 2016-02-24 | キヤノン株式会社 | 輝度信号作成装置、撮像装置、輝度信号作成方法、及びプログラム、並びに記録媒体 |
JP5503491B2 (ja) * | 2010-10-15 | 2014-05-28 | 日本放送協会 | 画像処理装置および画像処理プログラム |
JP5841359B2 (ja) * | 2011-06-28 | 2016-01-13 | キヤノン株式会社 | 画像処理装置及びその制御方法並びにプログラム |
JP5409864B2 (ja) * | 2012-09-12 | 2014-02-05 | キヤノン株式会社 | 輝度信号生成装置及び輝度信号生成方法、並びに撮像装置 |
KR101744761B1 (ko) * | 2012-11-30 | 2017-06-09 | 한화테크윈 주식회사 | 영상처리장치 및 방법 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4280462B2 (ja) * | 2002-05-29 | 2009-06-17 | キヤノン株式会社 | 信号処理装置及び方法 |
JP4298445B2 (ja) * | 2003-09-12 | 2009-07-22 | キヤノン株式会社 | 画像処理装置 |
JP2005109991A (ja) * | 2003-09-30 | 2005-04-21 | Canon Inc | 信号処理方法及び装置、撮像装置 |
-
2006
- 2006-09-13 JP JP2006248575A patent/JP4859220B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008072377A (ja) | 2008-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4859220B2 (ja) | 輝度信号作成装置及び輝度信号作成方法、並びに撮像装置 | |
JP3806211B2 (ja) | 撮像信号処理方法及び撮像信号処理装置 | |
JP5129685B2 (ja) | 輝度信号生成装置及び輝度信号生成方法、並びに撮像装置 | |
JP2006186965A (ja) | 画素補間方法および画像判定方法 | |
JP3972816B2 (ja) | 画像処理装置および表色系変換方法 | |
JP3771054B2 (ja) | 画像処理装置及び画像処理方法 | |
KR20070102399A (ko) | 촬상 장치 | |
JP2008113222A (ja) | 画像処理装置、撮影装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム | |
US8692906B2 (en) | Luminance signal generation apparatus, luminance signal generation method, image pickup apparatus, and storage medium | |
JP4321064B2 (ja) | 画像処理装置および画像処理プログラム | |
JP6276569B2 (ja) | 画素補間処理装置、撮像装置、プログラムおよび集積回路 | |
JP5076186B2 (ja) | 画像拡大方法 | |
EP1360843A1 (en) | Green reconstruction for image sensors | |
JP2007318280A (ja) | 画像処理装置 | |
JP2005109991A (ja) | 信号処理方法及び装置、撮像装置 | |
WO2001030087A1 (fr) | Appareil de captage d'image couleur | |
JP2009194721A (ja) | 画像信号処理装置、画像信号処理方法、及び撮像装置 | |
JP5409864B2 (ja) | 輝度信号生成装置及び輝度信号生成方法、並びに撮像装置 | |
JP5103580B2 (ja) | 画像処理装置およびデジタルカメラ | |
JP2004064227A (ja) | 映像信号処理装置 | |
JP5305992B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2012100215A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP4269368B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
Tomaselli et al. | False colors removal on the YCr-Cb color space | |
JP2018107682A (ja) | 輝度信号生成装置、輝度信号生成方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090911 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110819 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111028 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111031 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141111 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |