JP3212917B2 - 走査線補間装置および走査線補間方法 - Google Patents
走査線補間装置および走査線補間方法Info
- Publication number
- JP3212917B2 JP3212917B2 JP22945897A JP22945897A JP3212917B2 JP 3212917 B2 JP3212917 B2 JP 3212917B2 JP 22945897 A JP22945897 A JP 22945897A JP 22945897 A JP22945897 A JP 22945897A JP 3212917 B2 JP3212917 B2 JP 3212917B2
- Authority
- JP
- Japan
- Prior art keywords
- scanning line
- interpolation
- signal
- data
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Picture Signal Circuits (AREA)
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、例えば、テレビジ
ョン画像などの走査線のライン補間あるいは画素補間を
行う、走査線補間装置および走査線補間方法に関する。
ョン画像などの走査線のライン補間あるいは画素補間を
行う、走査線補間装置および走査線補間方法に関する。
【０００２】
【従来の技術】従来、走査線補間装置および走査線補間
方法は一般に、テレビジョン画像の走査線補間装置およ
び走査線補間方法として適用される。これに用いられる
走査線補間方式には、大きく分けて３次元処理と２次元
処理の２つの方式がある。
方法は一般に、テレビジョン画像の走査線補間装置およ
び走査線補間方法として適用される。これに用いられる
走査線補間方式には、大きく分けて３次元処理と２次元
処理の２つの方式がある。
【０００３】上記一般的な従来例の前者の３次元処理
は、動き適応型走査線補間方式で隣り合うフレーム間の
画素差分を用いて動き検出をおこない、前フィールドの
画素データと現フィールドの上下の走査線を平均した画
素データとを、動きの度合いに応じて混合し補間信号と
する。よって、静止画、動画ともに良好な走査線補間を
行う。
は、動き適応型走査線補間方式で隣り合うフレーム間の
画素差分を用いて動き検出をおこない、前フィールドの
画素データと現フィールドの上下の走査線を平均した画
素データとを、動きの度合いに応じて混合し補間信号と
する。よって、静止画、動画ともに良好な走査線補間を
行う。
【０００４】上記一般的な従来例の後者の２次元処理に
は、フィールド内の上下の走査線を平均した値を補間走
査線として補間する後者第１の平均値走査線補間方式
と、単純に同じ走査線を２度走査する後者第２の単純２
度書き走査線補間方式とがある。
は、フィールド内の上下の走査線を平均した値を補間走
査線として補間する後者第１の平均値走査線補間方式
と、単純に同じ走査線を２度走査する後者第２の単純２
度書き走査線補間方式とがある。
【０００５】個別的な従来例１として、特開平１−１９
４６９３号公報の「動き適応型走査線補間方法」があ
る。本従来例１によれば、動き係数の検出において、フ
レーム間差によって検出した信号差のレベルが大きくな
ると、動き係数が小さくなる特性の動き係数発生器によ
って、１フレーム間差と２フレーム間差とを比較し、そ
の動き係数が小さい方を採る。これは、大きい動きの場
合を採用したことに他ならない。このようにして求めた
動き係数を３つの隣接フィールドにつき比較して、その
最小値を採る。これは、隣接する３フィールドの１フレ
ーム間差及び２フレーム間差による動き検出の範囲内に
おいて、最大の動きをとらえ、この動きによって現フィ
ールドの走査線補間を行うものである。最大の動きを採
用することは、現フィールドのバイリニヤデータのウェ
イトを大きく採ることに相当する。このようにすること
により、動きの程度に比べてバイリニヤデータを補間デ
ータとして採用する割合が多くなり、その分多少の解像
度の低下はあり得るが、不適切な前フィールドデータの
補間による残像効果は未然に防ぐことができる。よっ
て、総合的な画質は向上する、としている。
４６９３号公報の「動き適応型走査線補間方法」があ
る。本従来例１によれば、動き係数の検出において、フ
レーム間差によって検出した信号差のレベルが大きくな
ると、動き係数が小さくなる特性の動き係数発生器によ
って、１フレーム間差と２フレーム間差とを比較し、そ
の動き係数が小さい方を採る。これは、大きい動きの場
合を採用したことに他ならない。このようにして求めた
動き係数を３つの隣接フィールドにつき比較して、その
最小値を採る。これは、隣接する３フィールドの１フレ
ーム間差及び２フレーム間差による動き検出の範囲内に
おいて、最大の動きをとらえ、この動きによって現フィ
ールドの走査線補間を行うものである。最大の動きを採
用することは、現フィールドのバイリニヤデータのウェ
イトを大きく採ることに相当する。このようにすること
により、動きの程度に比べてバイリニヤデータを補間デ
ータとして採用する割合が多くなり、その分多少の解像
度の低下はあり得るが、不適切な前フィールドデータの
補間による残像効果は未然に防ぐことができる。よっ
て、総合的な画質は向上する、としている。
【０００６】個別的な従来例２として、特開平７−３２
７１４８号公報の「ライン補間方法及びライン補間装
置」がある。本従来例２によれば、注目画素の周囲の６
個の画素を輝度成分、色相成分、彩度成分のうち少なく
とも１つの成分で表す演算を行い、次に注目画素に対す
る上下方向と斜め２方向との３方向における３対の画素
ペアから相関のある画素ペアを求める。その画素ペアの
信号値を、注目画素の信号値とする演算を各成分につい
て行い、その際各画素ペアの何れにも相関がない場合
は、上下方向の画素ペアの平均値を注目画素の信号値と
する。このようにしたことにより、上下２ラインに対し
てより相関性の高いライン補間を行うことができると共
に、カラー画像についても相関性を重視した補間を行う
ことができる。よって、高画質の画像を得ることができ
る効果がある、としている。
７１４８号公報の「ライン補間方法及びライン補間装
置」がある。本従来例２によれば、注目画素の周囲の６
個の画素を輝度成分、色相成分、彩度成分のうち少なく
とも１つの成分で表す演算を行い、次に注目画素に対す
る上下方向と斜め２方向との３方向における３対の画素
ペアから相関のある画素ペアを求める。その画素ペアの
信号値を、注目画素の信号値とする演算を各成分につい
て行い、その際各画素ペアの何れにも相関がない場合
は、上下方向の画素ペアの平均値を注目画素の信号値と
する。このようにしたことにより、上下２ラインに対し
てより相関性の高いライン補間を行うことができると共
に、カラー画像についても相関性を重視した補間を行う
ことができる。よって、高画質の画像を得ることができ
る効果がある、としている。
【０００７】
【発明が解決しようとする課題】しかしながら、一般的
な従来例の前者の動き適応型走査線補間方式は、動きを
検出する必要があるため、動き検出回路と適応走査線補
間回路により回路規模が大規模化し、多くのメモリを必
要とする問題点を伴う。また、後者第１の平均値走査線
補間方式では、インターレス走査に比べ垂直方向の解像
度が減少する。また、後者第２の単純２度書き走査線補
間方式では、斜め方向の描画成分においてオリジナル画
像に比べギザギザになる問題点を伴う。
な従来例の前者の動き適応型走査線補間方式は、動きを
検出する必要があるため、動き検出回路と適応走査線補
間回路により回路規模が大規模化し、多くのメモリを必
要とする問題点を伴う。また、後者第１の平均値走査線
補間方式では、インターレス走査に比べ垂直方向の解像
度が減少する。また、後者第２の単純２度書き走査線補
間方式では、斜め方向の描画成分においてオリジナル画
像に比べギザギザになる問題点を伴う。
【０００８】個別的な従来例１は一般的な従来例の前者
に相当し、個別的な従来例２は一般的な従来例の後者第
１に相当している。これら個別的な従来例の二者は、そ
れぞれの一般的な従来例のもつ問題点および欠点の改善
を図ったものである。
に相当し、個別的な従来例２は一般的な従来例の後者第
１に相当している。これら個別的な従来例の二者は、そ
れぞれの一般的な従来例のもつ問題点および欠点の改善
を図ったものである。
【０００９】本発明は、簡略規模の構成で描画改善およ
び画素改善した走査線補間装置および走査線補間方法を
提供することを目的とする。
び画素改善した走査線補間装置および走査線補間方法を
提供することを目的とする。
【００１０】
【課題を解決するための手段】かかる目的を達成するた
め、本発明の走査線補間装置は、入力信号Ｄを一走査線
遅延した信号Ｂを得る走査線遅延素子（９）と、信号Ｂ
を一画素遅延した信号Ａを得る画素遅延素子（１０）
と、入力信号Ｄから一画素遅延した信号Ｃを得る画素遅
延素子（１１）と、各信号Ａ、Ｂ、Ｃ、Ｄの相関性を比
較してこの各信号の４つの画素の中で一番相関が強い信
号を検出する映像レベル比較部（１２）と、平均値処理
演算を行い補間データＺを生成する補間データ計算部
（１３）とを有して構成され、入力信号の隣り合う上下
の走査線ｎおよびｎ＋１上でかつ隣り合う２画素の４つ
の画像データＡ、Ｂ、Ｃ、Ｄを作り、一番相関がある画
素を用いて補間データＺを生成することを特徴としてい
る。
め、本発明の走査線補間装置は、入力信号Ｄを一走査線
遅延した信号Ｂを得る走査線遅延素子（９）と、信号Ｂ
を一画素遅延した信号Ａを得る画素遅延素子（１０）
と、入力信号Ｄから一画素遅延した信号Ｃを得る画素遅
延素子（１１）と、各信号Ａ、Ｂ、Ｃ、Ｄの相関性を比
較してこの各信号の４つの画素の中で一番相関が強い信
号を検出する映像レベル比較部（１２）と、平均値処理
演算を行い補間データＺを生成する補間データ計算部
（１３）とを有して構成され、入力信号の隣り合う上下
の走査線ｎおよびｎ＋１上でかつ隣り合う２画素の４つ
の画像データＡ、Ｂ、Ｃ、Ｄを作り、一番相関がある画
素を用いて補間データＺを生成することを特徴としてい
る。
【００１１】さらに、上記の走査線補間装置は、補間デ
ータ計算部（１３）により生成された補間データＺを入
力し倍速変換する倍速変換部（１４）と、走査線遅延素
子（９）により一走査線遅延させた走査線を倍速変換す
る倍速変換部（１５）と、これらの倍速変換を制御する
出力イネーブル（１７）とクロック発生部（１６）と、
映像信号を出力するＤＡＣ（１８）とにより構成される
補間データ位相シフト部（２０）を有し、補間データ位
相シフト部（２０）が走査線間に挿入する、補間データ
からなる補間走査線上の画素を、走査線に対して水平方
向にオフセットし、ＤＡＣ（１８）が映像信号として出
力するとよい。
ータ計算部（１３）により生成された補間データＺを入
力し倍速変換する倍速変換部（１４）と、走査線遅延素
子（９）により一走査線遅延させた走査線を倍速変換す
る倍速変換部（１５）と、これらの倍速変換を制御する
出力イネーブル（１７）とクロック発生部（１６）と、
映像信号を出力するＤＡＣ（１８）とにより構成される
補間データ位相シフト部（２０）を有し、補間データ位
相シフト部（２０）が走査線間に挿入する、補間データ
からなる補間走査線上の画素を、走査線に対して水平方
向にオフセットし、ＤＡＣ（１８）が映像信号として出
力するとよい。
【００１２】また、上記の平均値処理演算により補間デ
ータＺを求める計算式は、 Ｚ＝（ａＡ＋ｂＢ＋ｃＣ＋ｄＤ）／（ａ＋ｂ＋ｃ＋ｄ） であり、記号ａ、ｂ、ｃ、ｄは、映像レベル比較部（１
２）の比較結果であり、他の画素と相関がある場合に
１、他の画素と相関がない場合に０、すべての画素に相
関がない場合に１となることとし、補間データＺは、４
つの画素から等距離の点（Ｚ８）に配置するとよい。
ータＺを求める計算式は、 Ｚ＝（ａＡ＋ｂＢ＋ｃＣ＋ｄＤ）／（ａ＋ｂ＋ｃ＋ｄ） であり、記号ａ、ｂ、ｃ、ｄは、映像レベル比較部（１
２）の比較結果であり、他の画素と相関がある場合に
１、他の画素と相関がない場合に０、すべての画素に相
関がない場合に１となることとし、補間データＺは、４
つの画素から等距離の点（Ｚ８）に配置するとよい。
【００１３】本発明の走査線補間方法は、入力信号Ｄを
一走査線遅延した信号Ｂを得る走査線遅延工程と、信号
Ｂを一画素遅延した信号Ａを得る第１の画素遅延工程
と、入力信号Ｄから一画素遅延した信号Ｃを得る第２の
画素遅延工程と、各信号Ａ、Ｂ、Ｃ、Ｄの相関性を比較
してこの各信号の４つの画素の中で一番相関が強い信号
を検出する映像レベル比較工程と、平均値処理演算を行
い補間データＺを生成する補間データ計算工程とを有し
て構成され、入力信号の隣り合う上下の走査線ｎおよび
ｎ＋１上でかつ隣り合う２画素の４つの画像データＡ、
Ｂ、Ｃ、Ｄを作り、一番相関がある画素を用いて補間デ
ータＺを生成することを特徴としている。
一走査線遅延した信号Ｂを得る走査線遅延工程と、信号
Ｂを一画素遅延した信号Ａを得る第１の画素遅延工程
と、入力信号Ｄから一画素遅延した信号Ｃを得る第２の
画素遅延工程と、各信号Ａ、Ｂ、Ｃ、Ｄの相関性を比較
してこの各信号の４つの画素の中で一番相関が強い信号
を検出する映像レベル比較工程と、平均値処理演算を行
い補間データＺを生成する補間データ計算工程とを有し
て構成され、入力信号の隣り合う上下の走査線ｎおよび
ｎ＋１上でかつ隣り合う２画素の４つの画像データＡ、
Ｂ、Ｃ、Ｄを作り、一番相関がある画素を用いて補間デ
ータＺを生成することを特徴としている。
【００１４】さらに、上記の走査線補間方法は、補間デ
ータ計算工程により生成された補間データＺを入力し倍
速変換する第１の変換工程と、走査線遅延工程により一
走査線遅延させた走査線を倍速変換する第２の倍速変換
工程と、第１及び第２の倍速変換工程による倍速変換を
制御する出力イネーブル工程とクロック発生工程と、映
像信号を出力するＤＡＣ工程とにより構成される補間デ
ータ位相シフト工程とを有し、補間データ位相シフト工
程が走査線間に挿入する、補間データからなる補間走査
線上の画素を、走査線に対して水平方向にオフセット
し、ＤＡＣ工程により映像信号として出力するとよい。
ータ計算工程により生成された補間データＺを入力し倍
速変換する第１の変換工程と、走査線遅延工程により一
走査線遅延させた走査線を倍速変換する第２の倍速変換
工程と、第１及び第２の倍速変換工程による倍速変換を
制御する出力イネーブル工程とクロック発生工程と、映
像信号を出力するＤＡＣ工程とにより構成される補間デ
ータ位相シフト工程とを有し、補間データ位相シフト工
程が走査線間に挿入する、補間データからなる補間走査
線上の画素を、走査線に対して水平方向にオフセット
し、ＤＡＣ工程により映像信号として出力するとよい。
【００１５】また、上記の平均値処理演算により補間デ
ータＺを求める計算式は、 Ｚ＝（ａＡ＋ｂＢ＋ｃＣ＋ｄＤ）／（ａ＋ｂ＋ｃ＋ｄ） であり、記号ａ、ｂ、ｃ、ｄは、映像レベル比較工程の
比較結果であり、他の画素と相関がある場合に１、他の
画素と相関がない場合に０、すべての画素に相関がない
場合に１となることとし、補間データＺは、４つの画素
から等距離の点（Ｚ８）に配置するとよい。
ータＺを求める計算式は、 Ｚ＝（ａＡ＋ｂＢ＋ｃＣ＋ｄＤ）／（ａ＋ｂ＋ｃ＋ｄ） であり、記号ａ、ｂ、ｃ、ｄは、映像レベル比較工程の
比較結果であり、他の画素と相関がある場合に１、他の
画素と相関がない場合に０、すべての画素に相関がない
場合に１となることとし、補間データＺは、４つの画素
から等距離の点（Ｚ８）に配置するとよい。
【００１６】
【発明の実施の形態】次に添付図面を参照して本発明に
よる走査線補間装置および走査線補間方法の実施の形態
を詳細に説明する。図１〜図４を参照すると本発明の走
査線補間装置および走査線補間方法の一実施形態が示さ
れている。これらの図の、図１が走査線補間装置のブロ
ック構成例、図２が走査線補間方法の手順例をそれぞれ
示す図である。また、図３および図４は、本実施形態の
効果を説明するための図である。
よる走査線補間装置および走査線補間方法の実施の形態
を詳細に説明する。図１〜図４を参照すると本発明の走
査線補間装置および走査線補間方法の一実施形態が示さ
れている。これらの図の、図１が走査線補間装置のブロ
ック構成例、図２が走査線補間方法の手順例をそれぞれ
示す図である。また、図３および図４は、本実施形態の
効果を説明するための図である。
【００１７】＜構成の説明＞ブロック構成例を示す図１
と、走査線補間方法の手順例を示す図２とにおいて、本
実施形態の走査線補間装置は、４つの画素Ａ４、Ｂ５、
Ｃ６、Ｄ７を基に補間データＺ８を求める装置として構
成されている。本走査線補間装置は、常時Ａ、Ｂ、Ｃ、
Ｄの４つの画素を比較し補間データＺを計算する補間デ
ータ生成部１９と、補間データを水平方向にオフセット
する補間データ位相シフト部２０とで構成される。
と、走査線補間方法の手順例を示す図２とにおいて、本
実施形態の走査線補間装置は、４つの画素Ａ４、Ｂ５、
Ｃ６、Ｄ７を基に補間データＺ８を求める装置として構
成されている。本走査線補間装置は、常時Ａ、Ｂ、Ｃ、
Ｄの４つの画素を比較し補間データＺを計算する補間デ
ータ生成部１９と、補間データを水平方向にオフセット
する補間データ位相シフト部２０とで構成される。
【００１８】走査線補間装置を構成する一方の補間デー
タ生成部１９は、走査線遅延素子９、画素遅延素子１
０、画素遅延素子１１、映像レベル比較部１２、補間デ
ータ計算部１３により構成される。また、他方の補間デ
ータ位相シフト部２０は、倍速変換部１４、倍速変換部
１５、クロック１６、出力イネーブル１７、ＤＡＣ１８
により構成される。
タ生成部１９は、走査線遅延素子９、画素遅延素子１
０、画素遅延素子１１、映像レベル比較部１２、補間デ
ータ計算部１３により構成される。また、他方の補間デ
ータ位相シフト部２０は、倍速変換部１４、倍速変換部
１５、クロック１６、出力イネーブル１７、ＤＡＣ１８
により構成される。
【００１９】補間データ生成部１９は、隣接する走査線
上の隣り合う画素データを比較するため、走査線遅延素
子９と２つの画素遅延素子１０、１１とを有する。この
構成で、隣り合う上下の走査線ｎおよびｎ＋１上でかつ
隣り合う２画素の４つの画像データＡ、Ｂ、Ｃ、Ｄを作
る。この信号を基に、信号レベル比較部１２で画素デー
タＡ、Ｂ、Ｃ、Ｄの信号レベルを比較して、各々の信号
レベルの相関性を検出する。この検出結果を基に、補間
データ計算部１３で４つの画素データＡ、Ｂ、Ｃ、Ｄの
中から、一番相関がある画素だけで平均値処理演算を行
い、補間データＺを生成する。
上の隣り合う画素データを比較するため、走査線遅延素
子９と２つの画素遅延素子１０、１１とを有する。この
構成で、隣り合う上下の走査線ｎおよびｎ＋１上でかつ
隣り合う２画素の４つの画像データＡ、Ｂ、Ｃ、Ｄを作
る。この信号を基に、信号レベル比較部１２で画素デー
タＡ、Ｂ、Ｃ、Ｄの信号レベルを比較して、各々の信号
レベルの相関性を検出する。この検出結果を基に、補間
データ計算部１３で４つの画素データＡ、Ｂ、Ｃ、Ｄの
中から、一番相関がある画素だけで平均値処理演算を行
い、補間データＺを生成する。
【００２０】補間データ位相シフト部２０は、走査線を
倍速変換する倍速変換部１４、１５と、それを制御する
出力イネーブル１７と、クロック１６とにより、補間デ
ータＺを上下の走査線上の画素位相に対して水平方向に
オフセットし、ＤＡＣ１８により映像出力として出力す
る。
倍速変換する倍速変換部１４、１５と、それを制御する
出力イネーブル１７と、クロック１６とにより、補間デ
ータＺを上下の走査線上の画素位相に対して水平方向に
オフセットし、ＤＡＣ１８により映像出力として出力す
る。
【００２１】＜動作の説明＞図１において入力信号は、
走査線遅延素子９を通り一走査線遅延した信号Ｂ５と、
この信号Ｂ５をさらに画素遅延素子１０により一画素遅
延した信号Ａ４と、入力信号Ｄ７と、この信号Ｄ７を画
素遅延素子１１により一画素遅延した信号Ｃ６の、４つ
の信号Ａ、Ｂ、Ｃ、Ｄを抽出する。これら４つの信号
Ａ、Ｂ、Ｃ、Ｄを、信号レベル比較部１２において各々
の信号の信号相関性を比較し、４つの画素の中で一番相
関が強い信号のみを検出する。
走査線遅延素子９を通り一走査線遅延した信号Ｂ５と、
この信号Ｂ５をさらに画素遅延素子１０により一画素遅
延した信号Ａ４と、入力信号Ｄ７と、この信号Ｄ７を画
素遅延素子１１により一画素遅延した信号Ｃ６の、４つ
の信号Ａ、Ｂ、Ｃ、Ｄを抽出する。これら４つの信号
Ａ、Ｂ、Ｃ、Ｄを、信号レベル比較部１２において各々
の信号の信号相関性を比較し、４つの画素の中で一番相
関が強い信号のみを検出する。
【００２２】４つの信号Ａ、Ｂ、Ｃ、Ｄは、補間データ
計算部１３で信号レベル比較部１２において相関性が比
較検査され、この比較結果を基に、４つの信号Ａ、Ｂ、
Ｃ、Ｄの中で、一番信号相関が高かった信号の平均の値
を補間信号として生成する。
計算部１３で信号レベル比較部１２において相関性が比
較検査され、この比較結果を基に、４つの信号Ａ、Ｂ、
Ｃ、Ｄの中で、一番信号相関が高かった信号の平均の値
を補間信号として生成する。
【００２３】上記の平均値処理の補間データＺを求める
計算式は、例えば、下記の式（１）とする。 Ｚ＝（ａＡ＋ｂＢ＋ｃＣ＋ｄＤ）／（ａ＋ｂ＋ｃ＋ｄ） （１） 但し、上記式中の記号ａ、ｂ、ｃ、ｄは、映像レベル比
較部１２の比較結果であり、「０」または「１」とな
る。この０／１は、下記の条件を表す。 他の画素と相関がある場合 ……… １ 他の画素と相関がない場合 ……… ０ すべての画素に相関がない場合 …… １
計算式は、例えば、下記の式（１）とする。 Ｚ＝（ａＡ＋ｂＢ＋ｃＣ＋ｄＤ）／（ａ＋ｂ＋ｃ＋ｄ） （１） 但し、上記式中の記号ａ、ｂ、ｃ、ｄは、映像レベル比
較部１２の比較結果であり、「０」または「１」とな
る。この０／１は、下記の条件を表す。 他の画素と相関がある場合 ……… １ 他の画素と相関がない場合 ……… ０ すべての画素に相関がない場合 …… １
【００２４】生成された補間データＺと走査線データは
倍速変換部１４、１５に、クロック１６から各々１８０
度位相のずれたクロックにより倍速変換部１４、１５に
書き込まれ、出力イネーブル１７により一走査線毎交互
に読み出され、ＤＡＣ１８により出力信号として出力さ
れる。
倍速変換部１４、１５に、クロック１６から各々１８０
度位相のずれたクロックにより倍速変換部１４、１５に
書き込まれ、出力イネーブル１７により一走査線毎交互
に読み出され、ＤＡＣ１８により出力信号として出力さ
れる。
【００２５】本実施形態によれば、図１に示すように、
走査線ｎ１上の２点Ａ４、Ｂ５と隣接する走査線ｎ＋１
上の２点Ｃ６、Ｄ７の４画素から信号相関性を求め、そ
の中で相関のある画素だけを取り出し補間データを生成
することで、より多くの情報で補間データを作れる。こ
の補間データは、補間走査線ｎ’３上で各々の画素から
等距離の点Ｚ８に補間データを配置することにより、画
素配列が曲線や斜め線の描画時に有利な配列となる。
走査線ｎ１上の２点Ａ４、Ｂ５と隣接する走査線ｎ＋１
上の２点Ｃ６、Ｄ７の４画素から信号相関性を求め、そ
の中で相関のある画素だけを取り出し補間データを生成
することで、より多くの情報で補間データを作れる。こ
の補間データは、補間走査線ｎ’３上で各々の画素から
等距離の点Ｚ８に補間データを配置することにより、画
素配列が曲線や斜め線の描画時に有利な配列となる。
【００２６】＜補間の具体例＞補間の具体例を、斜め線
画像とＸ画像の場合について、図３、図４を用いて示
す。図３の斜め線の場合、比較する４画素Ａ２１、Ｂ２
２、Ｃ２３、Ｄ２４の内３画素Ａ２１、Ｂ２２、Ｃ２３
が同じ信号レベルになるため、上下の走査線上の画素Ａ
２１、Ｂ２２、Ｃ２３、Ｄ２４から等距離に同信号レベ
ルの信号Ｚ２５を補間するため、きれいな斜め線を表現
することが可能になる。他の補間画素についても同様と
なる。
画像とＸ画像の場合について、図３、図４を用いて示
す。図３の斜め線の場合、比較する４画素Ａ２１、Ｂ２
２、Ｃ２３、Ｄ２４の内３画素Ａ２１、Ｂ２２、Ｃ２３
が同じ信号レベルになるため、上下の走査線上の画素Ａ
２１、Ｂ２２、Ｃ２３、Ｄ２４から等距離に同信号レベ
ルの信号Ｚ２５を補間するため、きれいな斜め線を表現
することが可能になる。他の補間画素についても同様と
なる。
【００２７】図４のＸ画像の場合、隣接する上下左右の
４画素Ａ２６、Ｂ２７、Ｃ２８、Ｄ２９の比較を行う
と、白黒ともに２画素になる。このため、平均の灰色を
上下の走査線上の画素Ａ２６、Ｂ２７、Ｃ２８、Ｄ２９
から等距離のＺ３０に補間する。これにより、滑らかに
Ｘが表現でき画質改善が達成できる。
４画素Ａ２６、Ｂ２７、Ｃ２８、Ｄ２９の比較を行う
と、白黒ともに２画素になる。このため、平均の灰色を
上下の走査線上の画素Ａ２６、Ｂ２７、Ｃ２８、Ｄ２９
から等距離のＺ３０に補間する。これにより、滑らかに
Ｘが表現でき画質改善が達成できる。
【００２８】本具体例によれば、補間走査線の画素位相
が隣り合う上下の走査線上の画素に対して水平方向にオ
フセットすることで、斜め方向の描画改善ができる。ま
た、補間処理をフィールド内でおこなったとしても、隣
接するｎラインとｎ＋１ライン上の連続する２画素の計
４画素から補間画素を生成するため、画素改善が可能で
あり、動き適応型走査線補間方式に比べ回路の簡略化が
できる。また、入力した走査線と補間走査線の画素構成
が、入力した走査線に対して水平方向に半画素オフセッ
トした位置に補間走査線の画素を配置するため、曲線や
斜め線などの描画表現が優れている画素配列となる特徴
がある。
が隣り合う上下の走査線上の画素に対して水平方向にオ
フセットすることで、斜め方向の描画改善ができる。ま
た、補間処理をフィールド内でおこなったとしても、隣
接するｎラインとｎ＋１ライン上の連続する２画素の計
４画素から補間画素を生成するため、画素改善が可能で
あり、動き適応型走査線補間方式に比べ回路の簡略化が
できる。また、入力した走査線と補間走査線の画素構成
が、入力した走査線に対して水平方向に半画素オフセッ
トした位置に補間走査線の画素を配置するため、曲線や
斜め線などの描画表現が優れている画素配列となる特徴
がある。
【００２９】さらに、上下左右の隣接する４点の画素に
おける信号レベル相関を取り、一番信号レベルが近い画
素だけで平均の値を作り補間データとするため、入力信
号に対してより正確な補間データが生成でき回路の簡略
化が可能である。その理由は、動き検出による検出をせ
ず、なおかつ補間データ作成に上下左右の隣接する４点
の画素を用いることによる。
おける信号レベル相関を取り、一番信号レベルが近い画
素だけで平均の値を作り補間データとするため、入力信
号に対してより正確な補間データが生成でき回路の簡略
化が可能である。その理由は、動き検出による検出をせ
ず、なおかつ補間データ作成に上下左右の隣接する４点
の画素を用いることによる。
【００３０】尚、上述の実施形態は本発明の好適な実施
の一例であるが、本発明はこれに限定されるものではな
く、本発明の要旨を逸脱しない範囲内において種々変形
実施が可能である。
の一例であるが、本発明はこれに限定されるものではな
く、本発明の要旨を逸脱しない範囲内において種々変形
実施が可能である。
【００３１】
【発明の効果】以上の説明より明かなように、本発明の
走査線補間装置および走査線補間方法は、入力信号Ｄを
一走査線遅延した信号Ｂを得て、この信号Ｂを一画素遅
延した信号Ａを得る。また、入力信号Ｄから一画素遅延
した信号Ｃを得て、各信号Ａ、Ｂ、Ｃ、Ｄの相関性を比
較してこの各信号の４つの画素の中で一番相関が強い信
号を検出し、平均値処理演算を行い補間データＺを生成
する。入力信号の隣り合う上下の走査線ｎおよびｎ＋１
上でかつ隣り合う２画素の４つの画像データＡ、Ｂ、
Ｃ、Ｄを作り、一番相関がある画素を用いて補間データ
Ｚを生成する。よって、隣接した画素と相関性の高い補
間データが生成され、精度の高い描画改善および画素改
善の走査線補間を行うことが可能となる。
走査線補間装置および走査線補間方法は、入力信号Ｄを
一走査線遅延した信号Ｂを得て、この信号Ｂを一画素遅
延した信号Ａを得る。また、入力信号Ｄから一画素遅延
した信号Ｃを得て、各信号Ａ、Ｂ、Ｃ、Ｄの相関性を比
較してこの各信号の４つの画素の中で一番相関が強い信
号を検出し、平均値処理演算を行い補間データＺを生成
する。入力信号の隣り合う上下の走査線ｎおよびｎ＋１
上でかつ隣り合う２画素の４つの画像データＡ、Ｂ、
Ｃ、Ｄを作り、一番相関がある画素を用いて補間データ
Ｚを生成する。よって、隣接した画素と相関性の高い補
間データが生成され、精度の高い描画改善および画素改
善の走査線補間を行うことが可能となる。
【００３２】さらに、上記の走査線補間装置は、走査線
を倍速変換し、この倍速変換を制御することにより、補
間データＺを上下の走査線上の画素位相に対して水平方
向にオフセットして、映像信号を出力する。よって、隣
り合う上下２ラインのｎラインとｎ＋１ライン上の連続
する２画素の４画素から信号の信号レベル相関性を求
め、その中から相関のあるものだけを選択し補間データ
を生成し、各々の画素から等距離の位相に補間画素を生
成することが可能となる。
を倍速変換し、この倍速変換を制御することにより、補
間データＺを上下の走査線上の画素位相に対して水平方
向にオフセットして、映像信号を出力する。よって、隣
り合う上下２ラインのｎラインとｎ＋１ライン上の連続
する２画素の４画素から信号の信号レベル相関性を求
め、その中から相関のあるものだけを選択し補間データ
を生成し、各々の画素から等距離の位相に補間画素を生
成することが可能となる。
【図１】本発明の走査線補間装置の実施形態を示すブロ
ック構成図である。
ック構成図である。
【図２】本発明の走査線補間方法の実施形態を説明する
ための概念図である。
ための概念図である。
【図３】補間の具体例の処理結果（斜め線）を示す図で
ある。
ある。
【図４】補間の具体例の処理結果（Ｘ線）を示す図であ
る。
る。
１ 走査線ｎ ２ 走査線ｎ＋１ ３ 補間走査線 ４ 画素Ａ ５ 画素Ｂ ６ 画素Ｃ ７ 画素Ｄ ８ 画素Ｚ ９ 走査線遅延素子 １０ 画素遅延素子 １１ 画素遅延素子 １２ 映像レベル比較部 １３ 補間データ計算部 １４ 倍速変換部 １５ 倍速変換部 １６ クロック １７ 出力イネーブル １８ ＤＡＣ １９ 補間データ生成部 ２０ 補間データ位相シフト部 ２１ 画素Ａ ２２ 画素Ｂ ２３ 画素Ｃ ２４ 画素Ｄ ２５ 画素Ｚ ２６ 画素Ａ ２７ 画素Ｂ ２８ 画素Ｃ ２９ 画素Ｄ ３０ 画素Ｚ
Claims (8)
- 【請求項１】 入力信号Ｄを一走査線遅延した信号Ｂを
得る走査線遅延素子（９）と、 前記信号Ｂを一画素遅延した信号Ａを得る画素遅延素子
（１０）と、 前記入力信号Ｄから一画素遅延した信号Ｃを得る画素遅
延素子（１１）と、 前記各信号Ａ、Ｂ、Ｃ、Ｄの相関性を比較して該各信号
の４つの画素の中で一番相関が強い信号を検出する映像
レベル比較部（１２）と、 平均値処理演算を行い補間データＺを生成する補間デー
タ計算部（１３）とを有して構成され、 前記入力信号の隣り合う上下の走査線ｎおよびｎ＋１上
でかつ隣り合う２画素の前記４つの画像データＡ、Ｂ、
Ｃ、Ｄを作り、一番相関がある画素を用いて前記補間デ
ータＺを生成することを特徴とする走査線補間装置。 - 【請求項２】 前記走査線補間装置は、さらに、前記補
間データ計算部（１３）により生成された補間データＺ
を入力し倍速変換する倍速変換部（１４）と、前記走査
線遅延素子（９）により一走査線遅延させた走査線を倍
速変換する倍速変換部（１５）と、これらの倍速変換を
制御する出力イネーブル（１７）とクロック発生部（１
６）と、映像信号を出力するＤＡＣ（１８）とにより構
成される補間データ位相シフト部（２０）を有し、該補
間データ位相シフト部（２０）が走査線間に挿入する、
前記補間データからなる補間走査線上の画素を、前記走
査線に対して水平方向にオフセットし、前記ＤＡＣ（１
８）が映像信号として出力することを特徴とする請求項
１記載の走査線補間装置。 - 【請求項３】 前記平均値処理演算により補間データＺ
を求める計算式は、 Ｚ＝（ａＡ＋ｂＢ＋ｃＣ＋ｄＤ）／（ａ＋ｂ＋ｃ＋ｄ） であり、記号ａ、ｂ、ｃ、ｄは、映像レベル比較部（１
２）の比較結果であり、他の画素と相関がある場合に
１、他の画素と相関がない場合に０、すべての画素に相
関がない場合に１となることを特徴とする請求項１また
は２記載の走査線補間装置。 - 【請求項４】 前記補間データＺは、前記４つの画素か
ら等距離の点（Ｚ８）に配置することを特徴とする請求
項１から３の何れか１項に記載の走査線補間装置。 - 【請求項５】 入力信号Ｄを一走査線遅延した信号Ｂを
得る走査線遅延工程と、 前記信号Ｂを一画素遅延した信号Ａを得る第１の画素遅
延工程と、 前記入力信号Ｄから一画素遅延した信号Ｃを得る第２の
画素遅延工程と、 前記各信号Ａ、Ｂ、Ｃ、Ｄの相関性を比較して該各信号
の４つの画素の中で一番相関が強い信号を検出する映像
レベル比較工程と、 平均値処理演算を行い補間データＺを生成する補間デー
タ計算工程とを有して構成され、 前記入力信号の隣り合う上下の走査線ｎおよびｎ＋１上
でかつ隣り合う２画素の前記４つの画像データＡ、Ｂ、
Ｃ、Ｄを作り、一番相関がある画素を用いて前記補間デ
ータＺを生成することを特徴とする走査線補間方法。 - 【請求項６】 前記走査線補間方法は、さらに、前記補
間データ計算工程により生成された補間データＺを入力
し倍速変換する第１の倍速変換工程と、前記走査線遅延
工程により一走査線遅延させた走査線を倍速変換する第
２の倍速変換工程と、前記第１及び第２の倍速変換工程
による倍速変換を制御する出力イネーブル工程とクロッ
ク発生工程と、映像信号を出力するＤＡＣ工程とにより
構成される補間データ位相シフト工程を有し、該補間デ
ータ位相シフト工程が走査線間に挿入する、前記補間デ
ータからなる補間走査線上の画素を、前記走査線に対し
て水平方向にオフセットし、前記ＤＡＣ工程が映像信号
として出力することを特徴とする請求項５記載の走査線
補間方法。 - 【請求項７】 前記平均値処理演算により補間データＺ
を求める計算式は、 Ｚ＝（ａＡ＋ｂＢ＋ｃＣ＋ｄＤ）／（ａ＋ｂ＋ｃ＋ｄ） であり、記号ａ、ｂ、ｃ、ｄは、映像レベル比較工程の
比較結果であり、他の画素と相関がある場合に１、他の
画素と相関がない場合に０、すべての画素に相関がない
場合に１となることを特徴とする請求項５または６記載
の走査線補間方法。 - 【請求項８】 前記補間データＺは、前記４つの画素か
ら等距離の点（Ｚ８）に配置することを特徴とする請求
項５から７の何れか１項に記載の走査線補間方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22945897A JP3212917B2 (ja) | 1997-08-26 | 1997-08-26 | 走査線補間装置および走査線補間方法 |
| US09/140,682 US6215525B1 (en) | 1997-08-26 | 1998-08-26 | Scanning line interpolation apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22945897A JP3212917B2 (ja) | 1997-08-26 | 1997-08-26 | 走査線補間装置および走査線補間方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1169200A JPH1169200A (ja) | 1999-03-09 |
| JP3212917B2 true JP3212917B2 (ja) | 2001-09-25 |
Family
ID=16892525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22945897A Expired - Fee Related JP3212917B2 (ja) | 1997-08-26 | 1997-08-26 | 走査線補間装置および走査線補間方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6215525B1 (ja) |
| JP (1) | JP3212917B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3614324B2 (ja) | 1999-08-31 | 2005-01-26 | シャープ株式会社 | 画像の補間システムおよび画像の補間方法 |
| US7053944B1 (en) * | 1999-10-01 | 2006-05-30 | Intel Corporation | Method of using hue to interpolate color pixel signals |
| DE19951341B4 (de) * | 1999-10-25 | 2012-02-16 | Robert Bosch Gmbh | Verfahren zur bewegungskompensierenden Prädiktion von Bewegtbildern sowie Einrichtung hierzu |
| ATE266295T1 (de) * | 2000-01-28 | 2004-05-15 | Fujitsu General Ltd | Scanning-umsetzschaltung |
| US6801923B2 (en) * | 2001-06-04 | 2004-10-05 | Micron Technology, Inc. | System and method for a single-pass multiple tap filter |
| JP4217543B2 (ja) * | 2003-06-05 | 2009-02-04 | キヤノン株式会社 | 動き情報処理装置及び方法 |
| JP5151075B2 (ja) * | 2005-06-21 | 2013-02-27 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63156494A (ja) | 1986-12-20 | 1988-06-29 | Fujitsu General Ltd | テレビ受信機における信号処理方法 |
| JPH01194693A (ja) | 1988-01-29 | 1989-08-04 | Ikegami Tsushinki Co Ltd | 動き適応型走査線補間方法 |
| JPH02177683A (ja) * | 1988-09-29 | 1990-07-10 | Toshiba Corp | 画素信号の相関判定および補間データ作成装置 |
| US4989090A (en) | 1989-04-05 | 1991-01-29 | Yves C. Faroudja | Television scan line doubler including temporal median filter |
| JPH03190473A (ja) | 1989-12-20 | 1991-08-20 | Nec Home Electron Ltd | ビデオ信号処理装置 |
| JPH0813122B2 (ja) | 1990-01-30 | 1996-02-07 | 三菱電機株式会社 | 走査線補間回路 |
| JPH0486089A (ja) | 1990-07-27 | 1992-03-18 | Victor Co Of Japan Ltd | 映像信号変換装置 |
| US5347599A (en) * | 1991-06-14 | 1994-09-13 | Matsushita Electric Industrial Co., Ltd. | Adaptive interpolation method and apparatus using correlation detection |
| JPH07245744A (ja) | 1994-03-07 | 1995-09-19 | Matsushita Electric Ind Co Ltd | テレビジョン信号処理装置 |
| JP3438032B2 (ja) * | 1994-03-15 | 2003-08-18 | 松下電器産業株式会社 | 空間周波数適応補間方法および空間周波数適応補間装置 |
| JP3333839B2 (ja) * | 1994-04-19 | 2002-10-15 | 松下電器産業株式会社 | 補間ライン検出方法及び補間ライン検出装置 |
| JPH07327148A (ja) | 1994-05-31 | 1995-12-12 | Canon Inc | ライン補間方法及びライン補間装置 |
| JPH08317336A (ja) * | 1995-03-15 | 1996-11-29 | Fuji Photo Film Co Ltd | 補間画像データ生成装置および方法 |
| JP3210248B2 (ja) * | 1996-04-25 | 2001-09-17 | キヤノン株式会社 | 画像処理装置及びその方法 |
| KR100314098B1 (ko) * | 1997-05-29 | 2001-12-12 | 윤종용 | 주위화소값의적응임계치를이용한이진영상보간방법 |
-
1997
- 1997-08-26 JP JP22945897A patent/JP3212917B2/ja not_active Expired - Fee Related
-
1998
- 1998-08-26 US US09/140,682 patent/US6215525B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1169200A (ja) | 1999-03-09 |
| US6215525B1 (en) | 2001-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5631706A (en) | Converter and method for converting video signals of interlace format to video signals of progressive format | |
| US7012649B2 (en) | Image processing apparatus and method, program, and recording medium | |
| JP3333839B2 (ja) | 補間ライン検出方法及び補間ライン検出装置 | |
| US20090102966A1 (en) | Systems and methods of motion and edge adaptive processing including motion compensation features | |
| US7236205B2 (en) | Scan line conversion circuit for simultaneously carrying out three-dimensional motion adaptive sequential scan conversion and scan line conversion | |
| JP3365333B2 (ja) | 解像度変換装置 | |
| JP3212917B2 (ja) | 走査線補間装置および走査線補間方法 | |
| KR0138120B1 (ko) | 동작보상 보간 방법 및 그 장치 | |
| JP3875286B2 (ja) | 動きベクトル発生方式 | |
| JP3814326B2 (ja) | 映像信号処理回路 | |
| JP2658625B2 (ja) | 補間信号生成回路 | |
| JP2003289511A (ja) | 画像走査変換方法及び装置 | |
| JP2009212851A (ja) | 走査線補間装置及びその制御方法 | |
| JPH10215370A (ja) | 画像入力装置 | |
| KR100224859B1 (ko) | 엣지에 근거한 영상신호의 수직 보간 방법 및 그에 적합한 장치 | |
| JP2653441B2 (ja) | 順次走査変換回路 | |
| JP2002112203A (ja) | 補間信号生成装置 | |
| KR100224860B1 (ko) | 영상신호의 수직보간방법 및 장치와 그를 이용한 정지 영상형성방법 및 장치 | |
| JPH08186800A (ja) | 動きベクトル検出方法 | |
| JP3242164B2 (ja) | 画像信号の走査線数変換装置 | |
| JP3918759B2 (ja) | 画像データの生成装置および生成方法 | |
| JP2007019708A (ja) | 画像処理装置 | |
| JP2003204528A (ja) | 走査線変換装置 | |
| JP2001024987A (ja) | 順次走査変換回路 | |
| JP2653442B2 (ja) | 順次走査変換回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010703 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070719 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080719 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090719 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100719 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110719 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110719 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120719 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120719 Year of fee payment: 11 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120719 Year of fee payment: 11 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120719 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130719 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |