JP3617080B2 - Signal processing apparatus and signal processing method - Google Patents
Signal processing apparatus and signal processing method Download PDFInfo
- Publication number
- JP3617080B2 JP3617080B2 JP20695994A JP20695994A JP3617080B2 JP 3617080 B2 JP3617080 B2 JP 3617080B2 JP 20695994 A JP20695994 A JP 20695994A JP 20695994 A JP20695994 A JP 20695994A JP 3617080 B2 JP3617080 B2 JP 3617080B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- class classification
- output
- circuit
- adaptive filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
Description
【0001】
【産業上の利用分野】
本発明は、入力信号に対してクラス分類に応じた適応処理を施す信号処理装置及び信号処理方法に関する。
【0002】
【従来の技術】
従来、標準解像度(以下、SDという。)信号から高解像度(以下、HDという。)信号へ、アップコンバートする画像信号変換装置は、図12に示すような装置であった。すなわち、従来の画像信号変換装置の入力端子120から入力されたSD信号は、水平補間フィルタ121により水平方向の画素数が2倍とされ、垂直補間フィルタ122により垂直方向のライン数が2倍とされ、出力端子123からHD信号として出力されていた。
【0003】
しかし、上記従来の画像信号変換装置から出力される信号は、単に補間された信号に過ぎず、解像度は入力されたSD信号と何ら変わらなかった。
そこで、本件出願人は、特願平5−167518号明細書及び図面にて、単に補間するのではなく、既知のHD信号から学習を行うことによって、予測式の予測係数を用いてSD信号からHD信号へアップコンバートできる画像信号変換装置を提案した。
【0004】
この画像信号変換装置は、図13に示すような構成とされていた。先ず、入力端子130から入力されたSD信号は、ブロック化回路131に供給されブロック単位のデータがSD画像中から取り出され、適応ダイナミックレンジ符号化(Adaptive Dynamic Range Coding、以下、ADRCという。)回路132と予測演算回路135に供給される。ADRC符号化は、VTR向け高能率符号化用に開発された適応的再量子化法であり、信号レベルの局所的な代表値を短い語長で効率的に表現できる。このADRC符号化回路132では、供給されたブロック単位のデータに例えば1ビットADRC符号化処理を施し、クラスを決定する。クラスコード発生回路133では、決定されたクラスに対応するクラスコードを発生し、このクラスコードを予測係数メモリ134にアドレスとして供給する。予測係数メモリ134は、上記アドレスに応じたクラスの予測係数を予測演算回路135に供給する。予測演算回路135は、ブロック化回路131から供給されたブロック単位のデータに、予測係数メモリ134からの予測係数を用いた予測式による演算を施し、推定HDデータを出力端子136から出力する。
【0005】
すなわち、この画像信号変換装置では、ADRC符号化回路132と、クラスコード発生回路133と、予測係数メモリ134と予測演算回路135にて構成されるクラス分類適応処理装置により、SD信号をHD信号にアップコンバートしている。
【0006】
【発明が解決しようとする課題】
ところで、上記図13に示したような画像信号変換装置のADRC符号化回路132と、クラスコード発生回路133と、予測係数メモリ134と予測演算回路135で構成されるクラス分類適応処理装置では、固定領域における画像信号の波形パターン分類、すなわちクラス分類に対応したクラスコードを用いて予測係数メモリ134から予測係数を出力させており、この固定領域に属さないクラスの影響を考慮していなかった。
【0007】
そこで、本発明は、上記実情に鑑みてなされたものであり、上記固定領域に属さないクラスの影響にも対応して、高精度のクラス分類適応処理を行うことのできる信号処理装置及び信号処理方法の提供を目的とする。
【0008】
【課題を解決するための手段】
本発明に係る信号処理装置は、入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、相互に異なる大きさの複数のブロックの各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力する複数のクラス分類手段と、上記複数のクラス分類手段の複数の上記クラス分類情報信号の一を選択処理する選択手段と、上記ブロック内の変化の度合を示す信号に応じて上記選択手段の選択処理を切り替え制御する切り替え制御手段と、上記選択手段から得られた上記クラス分類情報信号の一に基づいて出力されるフィルタ係数を用いたフィルタ処理を上記入力信号に施す適応フィルタ手段を備える信号出力手段とを有し、上記信号出力手段は、予め学習により獲得されたクラス毎の適応フィルタ係数を格納する適応フィルタ係数記憶手段をさらに有し、上記適応フィルタ処理手段は上記選択手段から得られた上記クラス分類情報信号の一に応じて上記適応フィルタ係数記憶手段から出力された上記適応フィルタ係数を用いて処理することにより上記課題を解決する。
【0009】
この場合、上記信号出力手段は、予め学習により獲得されたクラス毎の適応フィルタ係数を格納する適応フィルタ係数記憶手段をさらに有し、上記適応フィルタ処理手段は上記選択手段から得られた上記クラス分類情報信号の一に応じて上記適応フィルタ係数記憶手段から出力された上記適応フィルタ係数を用いて処理する。
【0010】
本発明に係る信号処理方法は、入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、相互に異なる大きさの複数のブロックの各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力するクラス分類工程と、上記クラス分類工程から出力された複数の上記クラス分類情報信号の一を選択処理する選択工程と、上記ブロック内の変化の度合を示す信号に応じて上記選択工程の選択処理を切り替え制御する切り替え制御工程と、上記選択工程から得られた上記クラス分類情報信号の一に基づいて出力されるフィルタ係数を用いたフィルタ処理を、上記入力信号に施す適応フィルタ工程を備える信号出力工程とを有し、上記信号出力工程の上記適応フィルタ処理工程は、上記選択工程から得られた上記クラス分類情報信号の一に応じて、予め学習により獲得されたクラス毎の適応フィルタ係数を格納する適応フィルタ係数記憶手段から出力された上記適応フィルタ係数を用いて処理することにより上記課題を解決する。
【0011】
【作用】
本発明に係る信号処理装置は、複数のクラス分類手段が入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力し、選択手段が複数のクラス分類手段の複数のクラス分類情報信号の一を選択処理し、切り替え制御手段がブロック内の変化の度合いを示す信号に応じて選択手段の選択処理を切り替え制御し、信号出力手段が適応フィルタ手段により、選択手段から得られたクラス分類情報信号の一に応じて、入力信号に適応フィルタ処理を施す。
また、本発明に係る信号処理方法は、クラス分類工程が入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力し、選択工程がクラス分類工程から出力された複数のクラス分類情報信号の一を選択処理し、切り替え制御工程がブロック内の変化の度合いを示す信号に応じて選択工程の選択処理を切り替え制御し、信号出力工程が選択工程により選択されたクラス分類情報信号に対応して適応フィルタ係数記憶手段から出力されたフィルタ係数を用いて入力信号に適応フィルタ処理を施す。
【0012】
【実施例】
以下、本発明に係る信号処理装置及び信号処理方法の好ましい実施例を図面を参照しながら説明する。この実施例は、サブサンプリングにより伝送情報量を圧縮するような高解像度ビデオ信号のデコーダ、例えばハイビジョン信号の圧縮方式である多重サブサンプリングエンコード(Multiple Sub−Nyquist−Sampling Encoding、MUSE)方式のデコーダの要部に適用されるクラス分類適応処理装置である。
【0013】
先ず、この実施例のクラス分類適応処理装置を説明する前に、多重サブサンプリングエンコード方式のエンコーダ及びデコーダの主要部を図1乃至図4を参照しながら説明しておく。
図1には多重サブサンプリングエンコード方式のエンコーダの主要部を示す。このエンコーダの主要部には、入力端子1、2及び3を介して、図示しないA/D変換器によってディジタル信号に変換され、図示しないマトリクス演算回路によって形成された高解像度(以下、HDという。)信号のY(輝度)信号、Pr(R−Y成分)信号及びPb(B−Y成分)信号が供給される。
【0014】
入力端子1を介したY信号は、フィールド間前置フィルタ4に供給される。このフィールド間前置フィルタ4に対して、フィールドオフセットサブサンプリング回路5、ローパスフィルタ6及びサンプリング周波数変換回路7(図中、48→32と記す。)が接続される。
フィールドオフセットサブサンプリング回路5は、フィールド間でサブサンプリングの位相を1画素ずらすもので、その出力がローパスフィルタ8に供給される。原Y信号のサンプリング周波数は例えば48.6MHzで、フィールドオフセットサブサンプリング回路5のサンプリング周波数が例えば24.3MHzで、ローパスフィルタ8によって、例えば12.15MHz以上の周波数成分が除去されるとともに、データが補間されてサンプリング周波数が48.6MHzに戻される。
【0015】
ローパスフィルタ8に対して、サンプリング周波数変換回路9(図中、48→32と記す。)が接続される。このサンプリング周波数変換回路9は、サンプリング周波数を例えば32.4MHzに変換する。このサンプリング周波数変換回路9の出力信号は、TCI(Time Compressed Integration)スイッチ10に供給される。フィールドオフセットサブサンプリング回路5からサンプリング周波数変換回路9までの信号路は、静止領域の処理のために設けられている。
【0016】
帯域制限用のローパスフィルタ6に対してサンプリング周波数変換回路11(図中、48→32と記す。)が接続され、例えば48.6MHzから32.4MHzへサンプリング周波数が変換される。このサンプリング周波数変換回路11の出力がTCIスイッチ12に供給される。TCIスイッチ12からの信号が2次元サブサンプリングフィルタ16を介して混合回路17に供給される。ローパスフィルタ6から2次元サブサンプリングフィルタ16に至る信号路が動き領域の処理のために設けられている。混合回路17では、2次元サブサンプリングフィルタ16の出力信号とTCIスイッチ10の出力信号とが混合される。
【0017】
サンプリング周波数変換回路7に対しては、動きベクトル検出回路13が接続される。動きベクトル検出回路13に対して、動きフィルタ14及び動き検出回路15が接続される。動きフィルタ14には、サンプリング周波数変換回路11の出力信号も供給される。動きフィルタ14の出力が動き検出回路15に供給される。動き検出回路15での検出結果(動き量)に基づいて混合回路17の混合比を制御する制御信号が生成される。
【0018】
入力端子2、3からの色差信号Pr、Pbが垂直ローパスフィルタ21、22をそれぞれ介して線順次化回路23に供給される。線順次化回路23からの線順次色信号がローパスフィルタ24に供給され、7MHz以上の成分が除去され、そして、フィールドオフセットサブサンプリング回路26に供給される。線順次色信号が帯域制限用のローパスフィルタ25を介してフィールドオフセットサブサンプリング回路27に供給される。フィールドオフセットサブサンプリング回路27に対して時間圧縮回路28が接続される。
【0019】
ローパスフィルタ24及びフィールドオフセットサブサンプリング回路26は、静止領域用の処理回路であり、ローパスフィルタ25、フィールドオフセットサブサンプリング回路27及び時間圧縮回路28は、動き領域用の処理回路である。フィールドオフセットサブサンプリング回路26及び時間圧縮回路28の出力信号がTCIスイッチ10及び12へそれぞれ供給され、上述のように処理された輝度信号成分と時間軸多重化される。
【0020】
混合回路17の出力信号がフレームラインオフセットサブサンプリング回路31に供給される。ここでのサブサンプリングのパターンは、フレーム間及びライン間で反転され、また、サンプリング周波数が例えば16.2MHzとされる。フレームラインオフセットサブサンプリング回路31の出力信号が伝送用ガンマ補正回路32を介して多重サブサンプリングエンコードのフォーマット化回路33に供給される。図では省略されているが、時間軸圧縮されたオーディオ信号、同期信号、VIT信号等がフォーマット化回路33に加えられ、出力端子34に約8MHzの多重サブサンプリングエンコード信号が取り出される。
【0021】
上述の多重サブサンプリングエンコード方式のエンコーダのサブサンプリングについて、図2を参照して概略的に説明する。図2では、静止領域の処理が上側に示され、動き領域の処理が下側に示されている。すなわち、図1の各点の信号に関して、そのサンプリング状態を図2に示している。また、色信号の処理は、輝度信号Yと同様であるため、その説明を省略する。フィールドオフセットサブサンプリング回路5の入力(A点)からディジタルY信号が供給され、フィールド毎にサンプリング位相が1画素ずれたパターンでサブサンプリングされた出力信号がB点に発生する。
【0022】
ローパスフィルタ12の出力(C点)には、補間された信号(サンプリング周波数が48.6MHz)が発生する。サンプリング周波数変換回路9の出力(D点)もサンプリング周波数が32.4MHzに変換された信号が現れる。
一方、ローパスフィルタ6の入力(a点)には、A点と同様のディジタルY信号が供給される。動き領域では、フィールドオフセットサブサンプリングがなされず、サンプリング周波数変換回路11の出力(b点)には、D点と同様のY信号が発生する。
【0023】
静止領域及び動き領域のそれぞれの処理を受けたY信号が混合回路17で混合され、混合回路17の出力がフレームラインオフセットサブサンプリング回路31に供給される。このフレームラインオフセットサブサンプリング回路31の出力(E点)では、フレーム間及びライン間で水平方向に1画素のオフセットを持つようにサンプリングされた出力信号が発生する。
【0024】
図3には本発明の実施例となるクラス分類適応処理装置を適用できる多重サブサンプリングエンコード方式のデコーダの主要部を示す。このデコーダの主要部には、受信されベースバンド信号に変換され、ディジタル信号に変換された多重サブサンプリングエンコード信号と、動きベクトルとが入力される。多重サブサンプリングエンコード信号は、フレーム間補間回路41、フィールド内補間回路42及び動き部分検出回路43にそれぞれ供給される。動き部分検出回路43によって、動き領域を検出し、動き領域と静止領域との処理がそれぞれなされた信号の混合比が制御される。
【0025】
すなわち、静止領域では、フレーム間補間回路41により1フレーム前の画像データを使用したフレーム間補間がなされる。ただし、カメラのパンニングのように、画像の全体が動く時には、コントロール信号として伝送される動きベクトルに応じて1フレーム前の画像を動かして重ね合わせる処理がなされる。フレーム間補間回路41の出力信号がローパスフィルタ44、サンプリング周波数変換回路45、フィールドオフセットサブサンプリング回路46及びフィールド間補間回路47を介して混合回路48に供給される。フィールドオフセットサブサンプリング回路46からは、例えば24.3MHzのサンプリング周波数の信号が得られる。
【0026】
動き領域では、フィールド内補間回路42によって、空間的補間がなされる。フィールド内補間回路42に対して、32.4MHzから48.6MHzへのサンプリング周波数変換回路49が接続され、その出力信号が混合回路48に供給される。この混合回路48の混合比は、動き部分検出回路43の出力信号により制御される。混合回路48の出力信号が図示しないが、TCIデコーダに供給され、Y、Pr、Pbの各信号に分離される。さらに、D/A変換され、逆マトリクス演算され、ガンマ補正がされてからR、G、B信号が得られる。
【0027】
上述のデコーダの処理を図4のサンプリングパターンを参照して概略的に説明する。入力信号(E点)のサンプリング状態は、上述のエンコーダの出力(E点)と同一である。静止領域ではフレーム間補間回路41が介され、その出力(F点)で間引き画素が補間されたビデオ信号が生じる。サンプリング周波数変換回路45(G点)では、サンプリング周波数が48.6MHzに変換されたビデオ信号が現れる。
【0028】
フィールドオフセットサブサンプリング回路46の出力(H点)では、フィールド毎に1画素ずれたオフセットサンプリングがなされた信号が発生する。次のフィールド間補間回路47の出力(I点)に画素が補間された信号が生じる。これが混合回路48に供給される。
動き領域の処理のためのフィールド内補間回路42の出力(f点)にフィールド内の画素により補間されたビデオ信号が発生する。サンプリング周波数変換回路49によって、その出力(h点)には、48.6MHzのサンプリング周波数のビデオ信号が発生する。これが混合回路48に供給される。
【0029】
この多重サブサンプリングエンコード方式のデコーダでは、静止領域及び動き領域に関して補間とサブサンプリング処理が施される。ここで、本実施例のクラス分類適応処理装置は、フィールド内補間回路42に適用できる。すなわち、本実施例のクラス分類適応処理装置は、図5に示すように、碁の目抜きされた状態で供給された多重サブサンプリングエンコード動画信号を碁の目補間してフィールド内補間する補間処理部51からの補間多重サブサンプリングエンコード動画信号に、クラス分類適応処理を施してアップコンバージョンするクラス分類適応処理装置52である。
【0030】
図6に、本実施例のクラス分類適応処理装置52の詳細な構成を示す。
補間処理部51によって補間された後の多重サブサンプリングエンコード動画信号は、4種類の1ビット適応ダイナミックレンジ符号化(Adaptive Dynamic Range Coding、以下、ADRCという。)回路61、62、63及び64に供給される。ADRC符号化は、画像の局所的な相関を利用してレベル方向の冗長度を適応的に除去するものである。1ビットADRC符号化回路61は、補間処理部51で補間された後の多重サブサンプリングエンコード動画信号を3×3の領域にブロック化し、該3×3の領域の多重サブサンプリングエンコード動画信号の中の最大値と最小値からダイナミックレンジDR3を検出すると共に、クラスコードC3を出力する。同様に、1ビットADRC符号化回路62は、5×5の領域にブロック化された多重サブサンプリングエンコード動画信号からダイナミックレンジDR5を検出すると共に、クラスコードC5を出力する。以下、1ビットADRC符号化回路63も、7×7の領域の多重サブサンプリングエンコード動画信号からダイナミックレンジDR7を検出すると共に、クラスコードC7を出力し、1ビットADRC符号化回路64も、9×9の領域の多重サブサンプリングエンコード動画信号からダイナミックレンジDR9を検出すると共に、クラスコードC9を出力する。
【0031】
各1ビットのADRC符号化回路61、62、63及び64から出力されたダイナミックレンジDR3、DR5、DR7及びDR9は、図中破線で示すように、ダイナミックレンジ判定回路65に供給される。ダイナミックレンジ判定回路65は、後述するように、各ダイナミックレンジDR3、DR5、DR7及びDR9を基に、2ビットのクラスコード選択信号を生成し、クラスコード選択回路66に供給すると共にフィルタ係数用ROM67に供給する。
【0032】
フィルタ係数用ROM67には、予め学習により作成された適応フィルタ係数が格納されている。このフィルタ係数用ROM67は、クラスコード選択回路66から供給されるクラスコードとDR判定回路65から供給されるクラスコード選択信号によりアドレスを決定されて、そのクラスに対応するフィルタ係数を適応フィルタ68に出力する。適応フィルタ68は、補間された多重サブサンプリングエンコード動画信号に上記フィルタ係数を用いた適応フィルタ処理を施し、アップコンバージョンした多重サブサンプリングエンコード動画信号を出力する。ここで、このフィルタ係数用ROM67と適応フィルタ68とは、クラスコード選択回路66により切り替え選択されて得られたクラスコードに応じて適応的に目的とする出力信号を出力する信号出力手段を形成している。
【0033】
1ビットADRC符号化回路61、62、63及び64の詳細な構成を図7、8、9及び10に示す。先ず、1ビットADRC符号化回路61は、図7に示すように、3×3の領域内で補間多重サブサンプリングエンコード動画信号である各画素データの最大(MAX)値を算出するMAX計算部71と、3×3の領域内で上記各画素データの最小(MIN)値を算出するMIN計算部72と、上記MAX値と上記MIN値から3×3領域のダイナミックレンジDR3を算出するDR計算部73と、上記MIN値を上記各画素データから減算した後、該減算値を上記ダイナミックレンジDR3で除算して、3×3の領域内で上記各画素データを正規化する正規化部74と、この正規化部74からの各正規化値と所定のしきい値とを比較し、1画素当り1ビットの2値化信号とし、計9ビットを割り当てるビット割り当て部75とを有する。このビット割り当て部75では、上記所定のしきい値を例えば0.5とし、上記各正規化値が上記しきい値以上である場合には2値化信号“1”を、上記各正規化値が上記しきい値より小さい場合には2値化信号“0”を、上記3×3の領域内で割り当てる。
【0034】
また、1ビットADRC符号化回路62は、図8に示すように、5×5の領域内で補間多重サブサンプリングエンコード動画信号である各画素データのMAX値を算出するMAX計算部81と、5×5の領域内で上記各画素データのMIN値を算出するMIN計算部82と、上記MAX値と上記MIN値から5×5領域のダイナミックレンジDR5を算出するDR計算部83と、上記MIN値を上記各画素データから減算した後、該減算値を上記ダイナミックレンジDR5で除算して、3×3の領域内で上記各画素データを正規化する正規化部84と、この正規化部84からの各正規化値と上記例えば0.5である所定のしきい値とを比較し、1画素当り1ビットの2値化信号とし、計9ビットを割り当てるビット割り当て部85とを有する。このビット割り当て部85が行うビット割り当て処理は、上記ビット割り当て部75が行うビット割り当て処理と同様である。
【0035】
さらに、1ビットADRC符号化回路63は、図9に示すように7×7の領域内で補間多重サブサンプリングエンコード動画信号である各画素データのMAX値を算出するMAX計算部91と、7×7の領域内で上記各画素データのMIN値を算出するMIN計算部92と、上記MAX値と上記MIN値から7×7領域のダイナミックレンジDR7を算出するDR計算部93と、上記MIN値を上記各画素データから減算した後、該減算値を上記ダイナミックレンジDR7で除算して、3×3の領域内で上記各画素データを正規化する正規化部94と、この正規化部94からの各正規化値と上記例えば0.5である所定のしきい値とを比較し、1画素当り1ビットの2値化信号とし、計9ビットを割り当てるビット割り当て部95とを有する。このビット割り当て部95が行うビット割り当て処理も、上記ビット割り当て部75が行うビット割り当て処理と同様である。
【0036】
またさらに、1ビットADRC符号化回路64は、図10に示すように9×9の領域内で補間多重サブサンプリングエンコード動画信号である各画素データのMAX値を算出するMAX計算部101と、9×9の領域内で上記各画素データのMIN値を算出するMIN計算部102と、上記MAX値と上記MIN値から9×9領域のダイナミックレンジDR9を算出するDR計算部103と、上記MIN値を上記各画素データから減算した後、該減算値を上記ダイナミックレンジDR9で除算して、3×3の領域内で上記各画素データを正規化する正規化部104と、この正規化部104からの各正規化値と上記例えば0.5である所定のしきい値とを比較し、1画素当り1ビットの2値化信号とし、計9ビットを割り当てるビット割り当て部105とを有する。このビット割り当て部105が行うビット割り当て処理も、上記ビット割り当て部75が行うビット割り当て処理と同様である。
【0037】
図11には、図6に示したダイナミックレンジ判定回路65の詳細な構成を示す。このダイナミックレンジ判定回路65は、上記1ビットADRC符号化回路61のDR計算部73から供給されるダイナミックレンジDR3と上記1ビットADRC符号化回路62から供給されるダイナミックレンジDR5との比(=DR3/DR5)を所定のしきい値と比較して、2値化信号“1”又は“0”を出力する比較部111と、上記ダイナミックレンジDR3と上記1ビットADRC符号化回路63から供給されるダイナミックレンジDR7との比(=DR3/DR7)を所定のしきい値と比較して、2値化信号“1”又は“0”を出力する比較部112と、
上記ダイナミックレンジDR3と上記1ビットADRC符号化回路64から供給されるダイナミックレンジDR9との比(=DR3/DR9)を所定のしきい値と比較して、2値化信号“1”又は“0”を出力する比較部113と、上記比較部111、112及び113の出力を加算することによって2ビットのクラスコード選択信号を出力する加算部114とを有してなる。比較部111、112及び113では、上記ダイナミックレンジDR3と上記ダイナミックレンジDR5、DR7及びDR9との比(DR3/DRn)が所定のしきい値より大きいときに2値化信号“1”を、上記比が上記所定のしきい値以下のときに2値化信号“0”を出力する。
【0038】
そして、クラスコード選択部66は、上記DR判定部65の加算器114が出力する2ビットのクラスコード選択信号に応じて、各1ビットのADRC符号化回路61、62、63及び64が出力した9ビットの割り当てデータ、すなわちクラスコードC3、C5、C7及びC9を選択的に切り替えてROM67に出力する。ここで、上記クラスコード選択信号が“11”(=3)のときには、上記クラスコードC9が、上記クラスコード選択信号が“10”(=2)のときには、上記クラスコードC7が、上記クラスコード選択信号が“01”(=1)のときには、上記クラスコードC5が、上記クラスコード選択信号が“00”(=0)のときには、上記クラスコードC3が選択されるようにすればよい。
【0039】
以上より、本実施例のクラス分類適応処理装置は、ダイナミックレンジに応じたクラスコード選択信号に応じてクラスコードを切り替え、該クラスコードをアドレスとしてフィルタ係数用ROM67からフィルタ係数を適応フィルタ68に供給するので、固定領域に属さないクラスの影響にも対応して、予測係数用メモリ67から予測係数を出力できる。さらに、該クラス分類適応処理装置を多重サブサンプリングエンコード方式のデコーダのフィールド内補間回路42に適用すると、画像の局所的性質に追従したアップコンバージョンが可能となる。
【0040】
【発明の効果】
本発明に係る信号処理装置は、複数のクラス分類手段が入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力し、選択手段が複数のクラス分類手段の複数のクラス分類情報信号の一を選択処理し、切り替え制御手段がブロック内の変化の度合いを示す信号に応じて選択手段の選択処理を切り替え制御し、信号出力手段が適応フィルタ手段により、選択手段から得られたクラス分類情報信号の一に応じて、入力信号に適応フィルタ処理を施すので、固定領域に属さないクラスの影響にも対応できる。このため、本発明に係る信号処理装置は、高精度のクラス分類適応処理を行うことができる。
また、本発明に係る信号処理方法は、クラス分類工程が入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力し、選択工程がクラス分類工程から出力された複数のクラス分類情報信号の一を選択処理し、切り替え制御工程がブロック内の変化の度合いを示す信号に応じて選択工程の選択処理を切り替え制御し、信号出力工程が選択工程により選択されたクラス分類情報信号に対応して適応フィルタ係数記憶手段から出力されたフィルタ係数を用いて入力信号に適応フィルタ処理を施すので、固定領域に属さないクラスの影響にも対応できる。このため、本発明に係る信号処理装置は、高精度のクラス分類適応処理を行うことができる。
【図面の簡単な説明】
【図1】多重サブサンプリングエンコード方式のエンコーダの部分的なブロック図である。
【図2】多重サブサンプリングエンコード方式のエンコーダのサブサンプリングを説明するための図である。
【図3】本発明の実施例のクラス分類適応処理装置を適用できる多重サブサンプリングエンコード方式のデコーダの部分的なブロック図である。
【図4】多重サブサンプリングエンコード方式のデコーダの補間処理を説明するための図である。
【図5】本発明の実施例のクラス分類適応処理装置を概略的に説明するための図である。
【図6】本発明の実施例のクラス分類適応処理装置の詳細なブロック図である。
【図7】図6に示したクラス分類適応処理装置の3×3の領域の1ビットADRC符号化回路の詳細なブロック図である。
【図8】図6に示したクラス分類適応処理装置の5×5の領域の1ビットADRC符号化回路の詳細なブロック図である。
【図9】を図6に示したクラス分類適応処理装置の7×7の領域の1ビットADRC符号化回路の詳細なブロック図である。
【図10】図6に示したクラス分類適応処理装置の9×9の領域の1ビットADRC符号化回路の詳細なブロック図である。
【図11】図6に示したクラス分類適応処理装置のダイナミックレンジ判定部の詳細なブロック図である。
【図12】従来の画像信号変換装置のブロック図である。
【図13】従来の他の画像信号変換装置のブロック図である。
【符号の説明】
42 フィールド内補間回路
51 補間処理部
52 クラス分類適応処理装置
61 3×3の領域の1ビットADRC符号化回路
62 5×5の領域の1ビットADRC符号化回路
63 7×7の領域の1ビットADRC符号化回路
64 9×9の領域の1ビットADRC符号化回路
65 ダイナミックレンジ判定回路
66 クラスコード選択回路
67 フィルタ係数用ROM
68 適応フィルタ[0001]
[Industrial application fields]
The present invention relates to a signal processing apparatus and a signal processing method for performing adaptive processing according to class classification on an input signal.
[0002]
[Prior art]
Conventionally, an image signal conversion apparatus that performs up-conversion from a standard resolution (hereinafter referred to as SD) signal to a high resolution (hereinafter referred to as HD) signal has been shown in FIG. That is, in the SD signal input from the
[0003]
However, the signal output from the conventional image signal converter is merely an interpolated signal, and the resolution is not different from the input SD signal.
Therefore, the present applicant does not simply interpolate in Japanese Patent Application No. Hei 5-167518 and the drawings, but by learning from a known HD signal, the prediction signal of the prediction formula is used to calculate from the SD signal. An image signal converter capable of up-conversion to HD signals has been proposed.
[0004]
This image signal converter has a configuration as shown in FIG. First, the SD signal input from the
[0005]
That is, in this image signal conversion apparatus, an SD signal is converted into an HD signal by a class classification adaptive processing apparatus configured by an
[0006]
[Problems to be solved by the invention]
By the way, in the class classification adaptive processing apparatus including the
[0007]
Therefore, the present invention has been made in view of the above circumstances, and a signal processing apparatus and signal processing capable of performing high-precision class classification adaptive processing in response to the influence of a class that does not belong to the fixed region. The purpose is to provide a method.
[0008]
[Means for Solving the Problems]
The signal processing apparatus according to the present invention mutually converts input signals. Overlap and Each block of a plurality of blocks of different sizes is divided into a plurality of areas of different sizes, and each class classification process is performed for each block, and each class classification information signal and a signal indicating the degree of change in each block are respectively provided. A plurality of class classification means for outputting; a selection means for selecting one of the plurality of class classification information signals of the plurality of class classification means; and a signal indicating the degree of change in the block. A signal comprising switching control means for switching control of selection processing, and adaptive filter means for performing filtering processing on the input signal using a filter coefficient output based on one of the class classification information signals obtained from the selection means Output means, The signal output means further includes an adaptive filter coefficient storage means for storing an adaptive filter coefficient for each class acquired in advance by learning, and the adaptive filter processing means is configured to store the class classification information signal obtained from the selection means. And processing using the adaptive filter coefficient output from the adaptive filter coefficient storage means This solves the above problem.
[0009]
In this case, the signal output means further includes an adaptive filter coefficient storage means for storing an adaptive filter coefficient for each class acquired in advance by learning, and the adaptive filter processing means has the class classification obtained from the selection means. Processing is performed using the adaptive filter coefficient output from the adaptive filter coefficient storage means in accordance with one information signal.
[0010]
The signal processing method according to the present invention allows input signals to be mutually transmitted. Overlap and Each block of a plurality of blocks of different sizes is divided into a plurality of areas of different sizes, and each class classification process is performed for each block, and each class classification information signal and a signal indicating the degree of change in each block are respectively provided. A classification step to be output; a selection step for selecting one of the plurality of class classification information signals output from the class classification step; and a selection of the selection step according to a signal indicating the degree of change in the block A signal comprising a switching control step for switching processing, and an adaptive filter step for performing filtering processing using the filter coefficient output based on one of the class classification information signals obtained from the selection step on the input signal An output process, The adaptive filter processing step of the signal output step includes an adaptive filter coefficient storage means for storing an adaptive filter coefficient for each class obtained in advance by learning according to one of the class classification information signals obtained from the selection step. Process using the adaptive filter coefficient output from This solves the above problem.
[0011]
[Action]
In the signal processing apparatus according to the present invention, the plurality of class classification means overlaps the input signals with each other and blocks the signals into a plurality of regions having different sizes, and performs a class classification process for each block, and each class classification information signal and A signal indicating the degree of change in each block is output, the selection means selects one of the plurality of class classification information signals of the plurality of class classification means, and the switching control means is a signal indicating the degree of change in the block The selection processing of the selection means is switched and controlled according to the signal, and the signal output means performs adaptive filter processing on the input signal according to one of the class classification information signals obtained from the selection means by the adaptive filter means.
Further, in the signal processing method according to the present invention, the class classification process blocks input signals from each other and blocks them into a plurality of regions having different sizes, and performs class classification processing for each block to perform each class classification information signal and A signal indicating the degree of change in each block is output, the selection process selects one of the plurality of class classification information signals output from the class classification process, and the switching control process indicates the degree of change in the block The selection process of the selection process is switched according to the signal, and the signal output process is adapted to the input signal using the filter coefficient output from the adaptive filter coefficient storage means corresponding to the class classification information signal selected by the selection process Apply filtering.
[0012]
【Example】
Hereinafter, preferred embodiments of a signal processing apparatus and a signal processing method according to the present invention will be described with reference to the drawings. In this embodiment, a high-resolution video signal decoder that compresses the amount of transmission information by sub-sampling, for example, a multiple sub-sampling encoding (MUSE) decoder that is a compression system for high-definition signals. It is a class classification adaptive processing device applied to the main part.
[0013]
First, before describing the class classification adaptive processing apparatus of this embodiment, the main parts of the encoder and decoder of the multiple sub-sampling encoding method will be described with reference to FIGS.
FIG. 1 shows a main part of an encoder of a multiple sub-sampling encoding method. The main part of this encoder is converted into a digital signal by an A / D converter (not shown) via
[0014]
The Y signal via the
The field
[0015]
A sampling frequency conversion circuit 9 (denoted as 48 → 32 in the figure) is connected to the low-
[0016]
A sampling frequency conversion circuit 11 (denoted as 48 → 32 in the figure) is connected to the band limiting
[0017]
A motion
[0018]
The color difference signals Pr and Pb from the
[0019]
The low-
[0020]
The output signal of the mixing
[0021]
Sub-sampling of the encoder of the above-described multiple sub-sampling encoding method will be schematically described with reference to FIG. In FIG. 2, the processing of the still area is shown on the upper side, and the processing of the motion area is shown on the lower side. That is, FIG. 2 shows the sampling state of the signal at each point in FIG. Further, the processing of the color signal is the same as that of the luminance signal Y, and therefore the description thereof is omitted. A digital Y signal is supplied from the input (point A) of the field offset
[0022]
An interpolated signal (sampling frequency is 48.6 MHz) is generated at the output (point C) of the low-
On the other hand, a digital Y signal similar to that at point A is supplied to the input (point a) of the low-
[0023]
The Y signals that have been subjected to the processing of the still region and the motion region are mixed by the mixing
[0024]
FIG. 3 shows a main part of a multi-subsampling encoding decoder to which the class classification adaptive processing apparatus according to the embodiment of the present invention can be applied. The main part of the decoder receives a multiple sub-sampling encoded signal that has been received and converted into a baseband signal and converted into a digital signal, and a motion vector. The multiplexed sub-sampling encode signal is supplied to the inter-frame interpolation circuit 41, the
[0025]
That is, in the still region, interframe interpolation using the image data of the previous frame is performed by the interframe interpolation circuit 41. However, when the entire image moves, such as camera panning, a process is performed in which the image one frame before is moved and superimposed according to the motion vector transmitted as the control signal. An output signal of the inter-frame interpolation circuit 41 is supplied to the mixing
[0026]
In the motion region, spatial interpolation is performed by the
[0027]
The processing of the above decoder will be schematically described with reference to the sampling pattern of FIG. The sampling state of the input signal (point E) is the same as the output (point E) of the encoder described above. In the still region, an inter-frame interpolation circuit 41 is passed through, and a video signal in which thinned pixels are interpolated is generated at the output (point F). In the sampling frequency conversion circuit 45 (point G), a video signal whose sampling frequency is converted to 48.6 MHz appears.
[0028]
At the output (point H) of the field offset
A video signal interpolated by the pixels in the field is generated at the output (point f) of the
[0029]
In this multiple sub-sampling encoding decoder, interpolation and sub-sampling processing are performed on the still region and the motion region. Here, the class classification adaptive processing apparatus of this embodiment can be applied to the
[0030]
FIG. 6 shows a detailed configuration of the class classification
The multiplexed sub-sampled encoded video signal after being interpolated by the interpolation processing unit 51 is supplied to four types of 1-bit adaptive dynamic range coding (hereinafter referred to as ADRC)
[0031]
Dynamic range DR output from each 1-bit
[0032]
The
[0033]
Detailed configurations of the 1-bit
[0034]
Further, as shown in FIG. 8, the 1-bit
[0035]
Further, as shown in FIG. 9, the 1-bit
[0036]
Further, as shown in FIG. 10, the 1-bit
[0037]
FIG. 11 shows a detailed configuration of the dynamic
Dynamic range DR above 3 And the dynamic range DR supplied from the 1-bit
[0038]
The class
[0039]
As described above, the class classification adaptive processing apparatus according to the present embodiment switches the class code according to the class code selection signal corresponding to the dynamic range, and supplies the filter coefficient from the
[0040]
【The invention's effect】
In the signal processing apparatus according to the present invention, the plurality of class classification means overlaps the input signals with each other and blocks the signals into a plurality of regions having different sizes, and performs a class classification process for each block, and each class classification information signal and A signal indicating the degree of change in each block is output, the selection means selects one of the plurality of class classification information signals of the plurality of class classification means, and the switching control means is a signal indicating the degree of change in the block Since the selection processing of the selection means is switched and controlled according to the signal output means, the adaptive filter means performs the adaptive filter processing on the input signal according to one of the class classification information signals obtained from the selection means. Can also handle the effects of classes that do not belong to For this reason, the signal processing apparatus according to the present invention can perform highly accurate class classification adaptive processing.
Further, in the signal processing method according to the present invention, the class classification process blocks input signals from each other and blocks them into a plurality of regions having different sizes, and performs class classification processing for each block to perform each class classification information signal and A signal indicating the degree of change in each block is output, the selection process selects one of the plurality of class classification information signals output from the class classification process, and the switching control process indicates the degree of change in the block The selection process of the selection process is switched according to the signal, and the signal output process is adapted to the input signal using the filter coefficient output from the adaptive filter coefficient storage means corresponding to the class classification information signal selected by the selection process Since filtering is applied, it is possible to deal with the effects of classes that do not belong to fixed areas. For this reason, the signal processing apparatus according to the present invention can perform highly accurate class classification adaptive processing.
[Brief description of the drawings]
FIG. 1 is a partial block diagram of an encoder of a multiple sub-sampling encoding scheme.
FIG. 2 is a diagram for explaining sub-sampling of an encoder of a multiple sub-sampling encoding method.
FIG. 3 is a partial block diagram of a multi-subsampling encoding decoder to which the class classification adaptive processing apparatus according to the embodiment of the present invention can be applied.
FIG. 4 is a diagram for explaining interpolation processing of a decoder of a multiple sub-sampling encoding method.
FIG. 5 is a diagram for schematically explaining a class classification adaptive processing apparatus according to an embodiment of the present invention;
FIG. 6 is a detailed block diagram of a class classification adaptive processing apparatus according to an embodiment of the present invention.
7 is a detailed block diagram of a 1-bit ADRC encoding circuit in a 3 × 3 region of the class classification adaptive processing device shown in FIG. 6;
FIG. 8 is a detailed block diagram of a 1-bit ADRC encoding circuit in a 5 × 5 region of the class classification adaptive processing device shown in FIG. 6;
9 is a detailed block diagram of a 1-bit ADRC encoding circuit in a 7 × 7 area of the class classification adaptive processing apparatus shown in FIG. 6;
10 is a detailed block diagram of a 1-bit ADRC encoding circuit in a 9 × 9 region of the class classification adaptive processing device shown in FIG. 6;
FIG. 11 is a detailed block diagram of a dynamic range determination unit of the class classification adaptive processing device shown in FIG. 6;
FIG. 12 is a block diagram of a conventional image signal conversion apparatus.
FIG. 13 is a block diagram of another conventional image signal conversion apparatus.
[Explanation of symbols]
42 Intra-field interpolation circuit
51 Interpolation processing unit
52 class classification adaptive processor
61 1-bit ADRC encoding circuit of 3 × 3 area
62 1-bit ADRC encoding circuit in 5 × 5 area
63 1-bit ADRC encoding circuit of 7 × 7 area
64 1 × ADRC encoding circuit in 9 × 9 area
65 Dynamic range determination circuit
66 Class code selection circuit
67 Filter coefficient ROM
68 Adaptive filter
Claims (8)
上記複数のクラス分類手段の複数の上記クラス分類情報信号の一を選択処理する選択手段と、
上記ブロック内の変化の度合を示す信号に応じて上記選択手段の選択処理を切り替え制御する切り替え制御手段と、
上記選択手段から得られた上記クラス分類情報信号の一に基づいて出力されるフィルタ係数を用いたフィルタ処理を上記入力信号に施す適応フィルタ手段を備える信号出力手段とを有し、
上記信号出力手段は、予め学習により獲得されたクラス毎の適応フィルタ係数を格納する適応フィルタ係数記憶手段をさらに有し、上記適応フィルタ処理手段は上記選択手段から得られた上記クラス分類情報信号の一に応じて上記適応フィルタ係数記憶手段から出力された上記適応フィルタ係数を用いて処理することを特徴とする信号処理装置。Input signals are overlapped with each other and divided into a plurality of regions of different sizes, and each block of a plurality of blocks of different sizes is subjected to class classification processing to change each class classification information signal and changes in each block. A plurality of class classification means for outputting signals indicating the degree of
Selection means for selecting and processing one of the plurality of class classification information signals of the plurality of class classification means;
Switching control means for switching and controlling the selection process of the selection means in accordance with a signal indicating the degree of change in the block;
Signal output means comprising adaptive filter means for subjecting the input signal to filter processing using a filter coefficient output based on one of the class classification information signals obtained from the selection means,
The signal output means further includes an adaptive filter coefficient storage means for storing an adaptive filter coefficient for each class acquired in advance by learning, and the adaptive filter processing means is configured to output the class classification information signal obtained from the selection means. And processing using the adaptive filter coefficient output from the adaptive filter coefficient storage means according to one .
上記クラス分類工程から出力された複数の上記クラス分類情報信号の一を選択処理する選択工程と、
上記ブロック内の変化の度合を示す信号に応じて上記選択工程の選択処理を切り替え制御する切り替え制御工程と、
上記選択工程から得られた上記クラス分類情報信号の一に基づいて出力されるフィルタ係数を用いたフィルタ処理を、上記入力信号に施す適応フィルタ工程を備える信号出力工程とを有し、
上記信号出力工程の上記適応フィルタ処理工程は、上記選択工程から得られた上記クラス分類情報信号の一に応じて、予め学習により獲得されたクラス毎の適応フィルタ係数を格納する適応フィルタ係数記憶手段から出力された上記適応フィルタ係数を用いて処理することを特徴とする信号処理方法。Input signals are overlapped with each other and divided into a plurality of regions of different sizes, and each block of a plurality of blocks of different sizes is subjected to class classification processing to change each class classification information signal and changes in each block. A classification process for outputting signals indicating the degree of each,
A selection step of selecting one of the plurality of class classification information signals output from the class classification step;
A switching control step of switching and controlling the selection process of the selection step according to a signal indicating the degree of change in the block;
A signal output step including an adaptive filter step of applying a filter process using a filter coefficient output based on one of the class classification information signals obtained from the selection step to the input signal,
The adaptive filter processing step of the signal output step includes an adaptive filter coefficient storage means for storing an adaptive filter coefficient for each class acquired in advance in accordance with one of the class classification information signals obtained from the selection step. A signal processing method characterized in that processing is performed using the adaptive filter coefficient output from the above .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20695994A JP3617080B2 (en) | 1994-08-31 | 1994-08-31 | Signal processing apparatus and signal processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20695994A JP3617080B2 (en) | 1994-08-31 | 1994-08-31 | Signal processing apparatus and signal processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0879712A JPH0879712A (en) | 1996-03-22 |
JP3617080B2 true JP3617080B2 (en) | 2005-02-02 |
Family
ID=16531849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20695994A Expired - Lifetime JP3617080B2 (en) | 1994-08-31 | 1994-08-31 | Signal processing apparatus and signal processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3617080B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4066146B2 (en) | 2002-04-26 | 2008-03-26 | ソニー株式会社 | Data conversion device, data conversion method, learning device, learning method, program, and recording medium |
JP4265291B2 (en) * | 2003-06-06 | 2009-05-20 | ソニー株式会社 | Information signal processing apparatus and method, and program for executing information signal processing method |
-
1994
- 1994-08-31 JP JP20695994A patent/JP3617080B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH0879712A (en) | 1996-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3271108B2 (en) | Apparatus and method for processing digital image signal | |
EP0449555B1 (en) | Image encoding apparatus | |
US5371549A (en) | Decoding method and system for providing digital television receivers with multipicture display by way of zero masking transform coefficients | |
EP0777388A2 (en) | Video encoder and decoder with noise reduction | |
EP0608092A2 (en) | Apparatus for scalable encoding and decoding of a digital video signal | |
JPH1032837A (en) | Image processing device and method and image encoding device and method | |
JPH07212761A (en) | Hierarchical coder and hierarchical decoder | |
JP3864444B2 (en) | Image signal processing apparatus and method | |
JPS6359313B2 (en) | ||
EP0840519B1 (en) | Apparatus and method of coding/decoding moving pictures | |
JP3617080B2 (en) | Signal processing apparatus and signal processing method | |
US6061401A (en) | Method and apparatus for selectively encoding/decoding a video signal | |
JP3844520B2 (en) | Signal processing apparatus and signal processing method | |
JP3867697B2 (en) | Image signal generation apparatus and generation method | |
JP3906770B2 (en) | Digital image signal processing apparatus and method | |
JP3963184B2 (en) | Signal processing apparatus and signal processing method | |
JPH0746548A (en) | Digital image signal processor | |
JP3906832B2 (en) | Image signal processing apparatus and processing method | |
JP2590865B2 (en) | High-efficiency encoded image signal decoding apparatus | |
JP3831960B2 (en) | Interpolation apparatus and interpolation method for compressed high resolution video signal | |
JP3746305B2 (en) | Image signal generating apparatus and method, and digital image signal processing apparatus and method | |
JP2832949B2 (en) | High-efficiency code decoding device | |
EP0734179A2 (en) | Method and apparatus for selectively encoding/decoding a video signal | |
JPH036184A (en) | Inter-frame predictive encoding system | |
JP2712299B2 (en) | High-efficiency code decoding device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040706 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040906 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041101 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071119 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 9 |
|
EXPY | Cancellation because of completion of term |