JP3927776B2 - 画像処理装置及びその処理方法 - Google Patents

画像処理装置及びその処理方法 Download PDF

Info

Publication number
JP3927776B2
JP3927776B2 JP2001191843A JP2001191843A JP3927776B2 JP 3927776 B2 JP3927776 B2 JP 3927776B2 JP 2001191843 A JP2001191843 A JP 2001191843A JP 2001191843 A JP2001191843 A JP 2001191843A JP 3927776 B2 JP3927776 B2 JP 3927776B2
Authority
JP
Japan
Prior art keywords
image
phase information
pixel
image data
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001191843A
Other languages
English (en)
Other versions
JP2003008888A (ja
Inventor
敦 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001191843A priority Critical patent/JP3927776B2/ja
Priority to US10/176,176 priority patent/US6993208B2/en
Publication of JP2003008888A publication Critical patent/JP2003008888A/ja
Application granted granted Critical
Publication of JP3927776B2 publication Critical patent/JP3927776B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、入力画像データに変倍処理を施して出力する画像処理装置及びその処理方法に関する。
【0002】
【従来技術】
近年、画像を変倍する変倍処理として、変倍後の注目画素に最も近い元の画像データの画素を選択する「ニアレストネイバー法」が知られている。
【0003】
また、「双3次補間法」などの処理も良く用いられている。
【0004】
【発明が解決しようとする課題】
しかしながら、上述の「ニアレストネイバー法」は最近傍の画素データを使用するだけであるため、モアレの発生や拡大する際に画素が荒く見えるなど画像の劣化がひどいという問題がある。
【0005】
一方、「双3次補間法」は、「ニアレストネイバー法」に比べて画質は良いが、解像度を保つために縮小変倍時に周期性のある原稿、例えば印刷物原稿を読み取って画像処理する際に、モアレ縞が発生し、画質が劣化してしまうという問題がある。
【0006】
特に、2値画像を変倍処理すると、画像の劣化が著しい。2値画像の変倍処理で、100%に近い変倍率の時には、原稿に周期性を持たない画像であっても、周期性のある濃度むらが発生し、見栄えが悪くなる。
【0007】
また、2値画像を多値画像に変換した後、変倍処理を行う方法もあるが、画像記憶装置の記憶容量、画像転送量も増えてしまうという問題がある。
【0008】
本発明は上記課題を解決するためになされたもので、変倍時にモアレ縞発生による画質劣化を防いだ変倍処理を施すことを目的とする。
【0009】
【課題を解決するための手段】
上記目的を達成するために、本発明は、入力画像データに変倍処理を施して出力する画像処理装置において、変倍処理後の各注目画素に対して、該注目画素近傍の元画像の画素位置と当該注目画素との距離を示す位相情報を決定する位相情報決定手段と、各注目画素の位相情報と、変倍率に応じて連続的に変化する位相情報制御パラメータとに応じて、フィルタ処理におけるフィルタ係数を算出する係数演算手段と、前記算出されたフィルタ係数に基づき、入力2値画像データを畳み込み演算によってフィルタ処理し、多値画像データを出力するフィルタ処理手段と、前記出力された多値画像データを2値化する2値化処理手段とを有し、前記係数演算手段は、前記位相情報に基づき、前記注目画素の元画像での位置と畳み込み演算に用いられる元画像の画素位置との距離を求め、該距離は前記位相情報制御パラメータで割ることによって変更され、該変更された距離を用いた補間法により前記フィルタ係数を算出することを特徴とする。
【0010】
また、本発明は、入力画像データに変倍処理を施して出力する画像処理装置の処理方法であって、変倍処理後の各注目画素に対して、該注目画素近傍の元画像の画素位置と当該注目画素との距離を示す位相情報を決定する位相情報決定工程と、各注目画素の位相情報と、変倍率に応じて連続的に変化する位相情報制御パラメータとに応じて、フィルタ処理におけるフィルタ係数を算出する係数演算工程と、前記算出されたフィルタ係数に基づき、入力2値画像データを畳み込み演算によってフィルタ処理し、多値画像データを出力するフィルタ処理工程と、前記出力された多値画像データを2値化する2値化処理工程とを有し、前記係数演算工程は、前記位相情報に基づき、前記注目画素の元画像での位置と畳み込み演算に用いられる元画像の画素位置との距離を求め、該距離は前記位相情報制御パラメータで割ることによって変更され、該変更された距離を用いた補間法により前記フィルタ係数を算出することを特徴とする。
【0011】
【発明の実施の形態】
以下、図面を参照しながら本発明に係る実施の形態を詳細に説明する。
【0012】
[画像制御装置(Image Controller Unit)]
図1は、本実施形態における画像制御装置の構成を示すブロック図である。図示するように、本画像制御装置100は画像入力デバイスの一例であるスキャナ200や画像出力デバイスの一例であるプリンタ300と接続する一方、LAN700や公衆回線(WAN)800と接続することで、画像情報やデバイス情報の入出力を行うためのコントローラである。
【0013】
画像制御装置100において、101はCPUであり、後述するROMに格納されているプログラムに従ってシステム全体を制御する。102はRAMであり、CPU101が処理を実行時に使用するシステムワークメモリや画像データを一時記憶するための画像メモリが定義されているメモリである。103はROMであり、システムのブートプログラムや各種処理プログラム或いは制御データが格納されている。104はハードディスクドライブ(HDD)であり、システムソフトウェア、画像データを格納する。106は操作部I/Fであり、160に示す操作部とのインターフェースとして機能すると共に操作部160に表示する画像データを操作部160に対して出力する。また、操作部160から使用者が入力した情報をCPU101に伝える役割をする。110はネットワークI/Fであり、ネットワーク(LAN)700に接続し、情報の入出力を行う。120はモデム(Modem)であり、公衆回線(WAN)800に接続し、情報の入出力を行う。以上のデバイスが107のシステムバス上に配置される。
【0014】
105は画像バス(Image Bus)I/Fであり、上述のシステムバス107と画像データを高速で転送する108に示す画像バスを接続し、データ構造を変換するバスブリッジである。画像バス108は、PCIバスなどの高速バスで構成される。そして、画像バス108上には以下のデバイスが配置される。
【0015】
150はラスターイメージプロセッサ(RIP)であり、不図示のパーソナルコンピュータ(パソコン)等から送られてくるページ記述言語(PDL)コードをビットマップイメージに展開する。600はデバイスI/Fであり、画像入出力装置であるスキャナ200やプリンタ300と画像制御装置100を接続し、画像データの同期系/非同期系の変換を行う。400はスキャナ画像処理部であり、入力画像データに対して、補正、加工、編集を行う。500はプリンタ画像処理部であり、プリント出力画像データに対して、文字のエッジを滑らかにするためのスムージング処理等を行う。130は2値画像変倍処理部であり、本実施形態の特徴的な処理モジュールであり、詳しい処理内容については後述するが、基本的には、2値画像データを入力し、変倍処理を行った後、2値画像データを出力する。140は画像圧縮部であり、多値画像データに対してJPEGの圧縮伸張処理を行い、2値画像画像データに対してはJBIG、MMR、MHの圧縮伸張処理を行う。
【0016】
また、上述のHDD104には、ネットワーク(LAN)700に接続されているノードに関する画像出力速度、設置位置などを示す情報がアドレス毎に保存されているものとする。
【0017】
[画像入力装置(スキャナ)]
図2は、本実施形態における画像入力装置を示す外観斜視図である。図示するように、画像入力装置としてのスキャナ200は、原稿となる紙上の画像を照明し、不図示のCCDラインセンサーを走査することで、ラスターイメージデータとしての電気信号に変換する。ここで、原稿用紙を原稿フィーダ201のトレイ202にセットし、使用者が操作部160から読み取り起動を指示することにより画像制御装置100のCPU101がデバイスI/F600を介してスキャナ200に起動指示を与え、スキャナ200のフィーダ201が原稿用紙を1枚ずつフィードし、原稿画像の読み取り動作を行う。
【0018】
[画像出力装置(プリンタ)]
図3は、本実施形態における画像出力装置を示す外観斜視図である。図示するように、画像出力装置としてのプリンタ300は、ラスターイメージデータを用紙上の画像に変換する部分であり、その方式には感光体ドラムや感光体ベルトを用いた電子写真方式、微少ノズルアレイからインクを吐出して用紙上に直接画像を印字するインクジェット方式等があるが、どの方式でも構わない。また、プリント動作の起動は、画像制御装置100のCPU101がデバイスI/F600を介して指示することにより開始される。プリンタ300には、異なる用紙サイズ又は異なる用紙向きを選択できるように複数の給紙段が備えられ、それぞれ対応した用紙カセット301、302、303、304がある。また、排紙トレイ305は印字し終わった用紙を受けるものである。
【0019】
[スキャナ画像処理部]
図4は、図1に示すスキャナ画像処理部400の構成を示す図である。同図において、401は画像バスI/Fコントローラであり、画像バス108と接続し、画像バス108へのアクセスシーケンスを制御する機能と、スキャナ画像処理部400内の各デバイスの制御及びタイミングを発生させる。402はフィルタ処理部であり、空間フィルタによってコンボリューション演算を行う。403は編集部であり、例えば入力画像データからマーカーペンで囲まれた閉領域を認識し、その閉領域内の画像データに対して影つけ、網掛け、ネガポジ反転等の画像加工処理を行う。404は変倍部であり、読み取った画像の解像度を変える場合にラスターイメージの主走査方向について補間演算を行い、拡大、縮小を行う。副走査方向の変倍については画像読取用ラインセンサー(図示せず)を走査する速度を変えることで行う。405はテーブルであり、読み取った輝度データである画像データを濃度データに変換するためのテーブルである。406は2値化部であり、多値のグレースケール画像データを、例えば誤差拡散処理やスクリーン処理によって2値化する。
【0020】
上述の画像データに対する処理が施された画像データは、再び画像バスI/Fコントローラ401を介して画像バス108上に転送される。
【0021】
[プリンタ画像処理部]
図5は、図1に示すプリンタ画像処理部500の構成を示す図である。同図において、501は画像バスI/Fコントローラであり、画像バス108と接続し、画像バス108へのアクセスシーケンスを制御する機能と、プリンタ画像処理部500内の各デバイスの制御及びタイミングを発生させる。503はスムージング処理部であり、解像度変換後の画像データのジャギー(斜め線等の白黒境界部に現れる画像のがさつき)を滑らかにする処理を行う。
【0022】
[2値画像変倍処理部]
図6は、図1に示す2値画像変倍処理部130の処理を説明するための簡単なブロック図である。同図において、601は画像入力部、602は2値画像変倍部、603はCPU、1104は画像記憶部、605は画像出力部である。それぞれ図1に示したブロックから、処理をわかりやすく説明するために抜き出して接続関係を表したものである。尚、画像入力部601には、送り先のデバイスとしてスキャナ200からデバイスI/F600経由で画像データが入力されても良いし、LAN700やWAN800経由でネットワークI/F110やモデム120から画像データが入力されても良いし、HDD104やRAM102などの記憶デバイスに記憶された画像データが入力されても良い。
【0023】
また、図6に示す2値画像変倍部602は図1に示した2値画像変倍処理部130に相当ものである。CPU603はCPU101に相当し、画像記憶部604はHDD104やRAM102などの画像を記憶するデバイスに相当し、2値画像変倍部602から読み書き可能であればどれでもよい。画像出力部605は画像記憶部604からの出力を表しており、プリントするのであれば、プリント画像処理部500に、また画像データを別の記憶デバイスに記憶するのであれば、HDD104やRAM102などの記憶デバイスに或いはFAX送信やネットワーク経由などにより画像データを転送するのであれば、モデム120やネットワークI/F110にそれぞれ送出する。
【0024】
図6に示す構成において、画像入力部601から画像データが、CPU603から変倍率が2値画像変倍部602にそれぞれ入力される。尚、2値画像変倍部602は、変倍率とローパスフィルタの特性とをそれぞれ独立に制御可能な変倍処理手段である。また、変倍率に応じて、求められるローパスフィルタの特性は変化する。一般に変倍率が小さくなると、より低い周波数での帯域制限が求められる。即ち、本実施形態の2値画像変倍部602はCPU603からの変倍率に応じたフィルタ係数を用いて変倍を行い、2値画像データとして画像を画像記憶部604に出力する。
【0025】
図7は、図6に示した2値画像変倍部602の詳細な構成を示すブロック図である。同図において、701は変倍率入力部であり、CPU603からの変倍率を入力する。702はアドレス演算処理部であり、変倍率入力部701からの変倍率と後述する位相情報変更処理部からの初期位相パラメータを受け取り、出力画像の画素位置を1画素毎に移動させてアドレス演算を行う。具体的には、出力画像上の注目画素が元画像上のどの画素位置に相当するかを変倍率から演算し、元画像上の近傍の画素から1画素以内のずれ分を位相情報として算出し、その位相情報を後述する係数演算処理部に出力し、元画像の画素位置情報を後述するフィルタ処理部に出力する。
【0026】
703は位相情報変更処理部であり、変倍率入力部701からの変倍率に応じて位相情報制御パラメータを後述する係数演算処理部に出力すると共にその変倍率に応じて初期位相パラメータをアドレス演算処理部702に出力する。704は係数演算処理部であり、アドレス演算処理部702からの位相情報と位相情報変更処理部703からの位相情報制御パラメータとを入力し、注目画素の近傍に位置する元画像の8×8画素それぞれと注目画素との距離を計算し、距離と位相情報制御パラメータに応じて、フィルタ処理に用いるためのフィルタ係数を演算する。その後、フィルタ処理部705に各画素のフィルタ係数をセットする。
【0027】
図6に示す画像入力部601から画像データは入力されるが、図7に示す例では、画像記憶部604には、処理すべき元画像が予め記憶されており、アドレス演算処理部702からの画素位置情報に基づき、画像記憶部604から元画像の8×8画素のデータが後述するフィルタ処理部に読み出されるものとする。
【0028】
705はフィルタ処理部であり、アドレス演算処理部702からの画素位置情報に基づき元画像の8×8画素のデータを画像記憶部604から受け取り、係数演算処理部704からのフィルタ係数に基づいて畳み込み演算を行い、多値画像データを出力する。706はLUT(ルックアップテーブル)であり、フィルタ処理部705から多値画像データを受け取り、レベルに応じた出力値をテーブルを参照して出力する。707は2値化処理部であり、LUT706からの出力結果を2値化し、画像記憶部604に2値画像データとして出力する。
【0029】
上述したように、2値画像変倍部602は2値画像データを入力し、変倍率に応じて変倍処理した多値画像データを2値化処理し、2値画像データを出力するものである。
【0030】
従って、本実施形態によれば、中間状態の多値画像データをスプールすることなく、2値画像データを出力することにより画像記憶部604の使用容量、画像転送量を最小限に抑えることができる。
【0031】
また、本実施形態では、フィルタのサイズを8×8として説明をすすめるが、サイズは主走査、副走査で違っていても良いし、サイズも「8」に限るものではなく任意に設定することが可能である。
【0032】
次に、2値画像変倍部602による縮小変倍処理についてより詳細に説明する。尚、説明を簡単化するために、位相情報制御パラメータ、初期位相パラメータ、変倍率などを主走査、副走査ともに同じであると仮定して説明をすすめるが、主、副別のパラメータを用いて動作させるように構成することも容易に拡張可能であることは言うまでもない。
【0033】
以下では、変倍率入力部701から入力される変倍率は、主、副共に50%とする。また、位相情報変更処理部703は変倍率に応じて、例えば次式のように位相情報制御パラメータLC(ローパス係数)を算出するものとする。
【0034】
LC=1.5+(100/RPX(RPY)−1)×0.5
ここで、RPX(RPY)は、主走査(副走査)方向の変倍率である。変倍率は主、副共に50%なので、今回はLC=2となる。
【0035】
LC(ローパス係数)は、ローパスフィルタの周波数特性を制御するために、係数演算処理部704に出力されて用いられる。本実施形態では、LCは上式に基づき変倍率に応じて変更されるが、この限りではないことは言うまでもない。変倍率に応じてLCを変更する際に、切り替わりが画像に影響しない程度に連続的に変化させるように設定すれば良い。LCをどのように用いるかについては、後述する。
【0036】
また、位相情報変更処理部703は変倍率に応じて初期位相パラメータを算出する。例えば、整数分の1の変倍率の場合は、初期位相パラメータIX(IY)を0.5とし、それ以外はゼロであるといったルールを本実施形態では用いる。このルールについては更に後述する。
【0037】
本実施形態では、変倍率が1/2=50%であるので、初期位相パラメータはIX=IY=0.5と設定される。また、1/3=約33%、1/4=25%の変倍率時も同様に設定される。
【0038】
また、拡大変倍時に整数倍となる場合、例えば200%、300%などの場合には、初期位相パラメータは次式によって設定される。
【0039】
IX(IY)=100/RPX(RPY)/2
具体的には、200%の場合には、IX(IY)=0.25、300%の場合には、IX(IY)=約0.167である。
【0040】
このように設定された初期位相パラメータIX、IYは、アドレス演算処理部702に出力されて用いられる。
【0041】
ここで、アドレス演算処理部702は、変倍率RPX(RPY)=50、初期位相パラメータIX(IY)=0.5を受け取り、次のように動作する。例えば、注目画素が主走査X=50画素目、副走査Y=10画素目の場合、注目画素が元画像のどの座標に位置しているかは、次式のように演算できる。
【0042】
Figure 0003927776
尚、初期位相パラメータは上述したようにアドレス演算時に足し込まれるように用いられる。
【0043】
ここで、Xo,Yoの小数部PIX=0.5 PIY=0.5(本実施形態では、XoとYoの小数部が同じ値になるように構成されているため、1つのパラメータで説明を続ける。)を初期位相パラメータとして係数演算処理部704に出力し、Xo,Yoの整数部OX=100,OY=20を元画像の画素位置情報としてN×1フィルタ処理部705に出力する。現在の注目画素での処理が全て終わると、注目画素を1画素移動して、更に処理を続ける。
【0044】
変倍率RPX(RPY)が50の場合、常に50/100=0.5で割ることになるため、常に小数部PIXは、初期位相IXのまま変わらない。例えば、X=51、Y=10とXだけ1画素更新した場合、Xo=102.5(副走査方向に更新した場合も同じ話が成り立つので省略する。)となり、やはり、PIX=0.5である。Xが1画素ずつ増えていっても常にXoが2ずつ増えてPIX=0.5で変わらないことになる。
【0045】
しかし、これは例外である。一般に、注目画素を1画素移動させる毎にPIX(PIY)の値は変化し、PIX(PIY)の変化により補間演算で用いられるフィルタ係数の値も1画素毎に変化することになる。例えば、変倍率RPが80であったとすると、上述したように、初期位相パラメータを0として、
Figure 0003927776
【0046】
ここでは、RPX=RPY=50として説明を続ける。
【0047】
本実施形態では、次の処理は主走査方向に1画素移動して、X=51画素目、Y=10画素目となる。複写機の原稿台の大きさと読取解像度、変倍率により、主走査、副走査の最大画素値は変化するが、ここでは主走査方向の最大画素値が5000画素とすると、本処理が主走査方向に0画素目から開始され、4999画素目まで達すると、その次の処理は副走査方向に1画素進むことになる。上述の例では、X=4999画素目、Y=10画素目まで処理が進むと、次の処理はX=0画素目、Y=11画素目と副走査方向に注目画素位置が進められるように構成され、副走査方向の最大値に達するまで処理が継続されることになる。
【0048】
次に、係数演算処理部704は、位相情報変更処理部703から位相情報制御パラメータLCを、アドレス演算処理部702から位相情報PIXを受け取り、以下のように動作する。
【0049】
図8は、注目画素と注目画素近傍の元画像上の画素を表した図である。図中、X(バツ)マークが注目画素で、○(マル)マークが元画像上の画素をそれぞれ示している。尚、本実施形態では、8×8個のフィルタを用いているため、注目画素近傍の元画像上の画素を8×8個だけ用いることになる。また、注目画素X(バツ)は、常に注目画素近傍の元画像上の画素の3≦i<4、3≦j<4内にくるように設定される。また、アドレス演算処理部702から出力される元画像の位置情報OX,OYはi=3、j=3の位置となるように設定される。
【0050】
ここで、注目画素近傍の元画像上の画素と注目画素との距離を主走査、副走査独立に求める。図9に示すように、主走査方向に投影して、主走査方向の距離に着目する。AXi(iは0から7の整数)をi番目の画素と注目画素との距離とすると、以下のようになる。
【0051】
AX0=3+PIX
AX1=2+PIX
AX2=1+PIX
AX3=PIX
AX4=1−PIX
AX5=2−PIX
AX6=3−PIX
AX7=4−PIX
尚、1画素間の距離は1として計算を行っており、0≦PIX(PIY)<1とする。副走査方向にも同様に求められ、AY0〜AY7を算出する。
【0052】
また、AX0〜AX7、AY0〜AY7の距離情報と位相情報制御パラメータLCから、主、副独立に主走査i番目の係数Ci、副走査j番目の係数Cjを求め、主走査i番目、副走査j番目の係数Cij=Ci*Cjとして演算することになるが、本実施形態の効果を説明するために双3次補間法を先に説明する。
【0053】
ここで、フィルタの係数を求めるための演算式として双3次補間法(bi-cubic法)としてよく知られているsinc関数の3次多項式近似式を用いる。但し、フィルタの係数を求めるための一例であり、これに限るものではない。
【0054】
双3次補間法は、係数C、注目画素からの距離をdとすると、以下の式により表される。
【0055】
Figure 0003927776
図10は、双3次補間法の係数Cと距離dとの関係を示す図である。図10に示す例では、本実施形態の距離情報AXi又はAYjがどのように配置されるかを△で示しており、i(又はj)は△についている数字に対応し、0から7までの値を示している。距離dは、図9に示すXを原点とし、原点を中心に1目盛りが1の距離となるように描かれており、距離であるために原点よりも左にあっても正の値をとる。具体的には、△3の位置は原点からPIの位置にあり、AX3(AY3)=PIとなる。また、△間の距離は1である。よって、AX0は△0の位置にあり、AX0=3+PIである。図10に描かれた曲線は距離dに応じた係数Cの値を示しており、iが2から5の場合、それぞれ係数が割り当てられ、0,1,6,7の場合、係数は0となる。即ち、双3次補間法では、常に4×4画素のフィルタが用いられている。
【0056】
図11は、sinc関数の周波数特性を示す図である。双3次補間法で用いられる多項式近似式は、sinc関数の近似であるため、図11に示す周波数特性とは多少異なるが、説明の簡略化のため、図11に示すものと同等であるとして説明する。sinc関数は、図11からもわかる通り、帯域制限フィルタである。制限される帯域は、元画像の周波数の±1/2(ナイキスト周波数)を越える周波数帯である。一般にナイキスト周波数を超える周波数帯をもつ画像は、解像できず、モアレの発生等により画質が劣化する。
【0057】
例えば、元画像が600dpiであるとすると、300dpiを越える周波数成分を0とすることになる。縮小変倍時に、そのままこの演算式を用いた場合、元画像の周波数帯域を全て保存することになる。縮小変倍時に、元画像の周波数帯域を残すと、元画像に周期性のある画像が含まれている場合、モアレが発生し、画質劣化の原因となる。例えば、50%縮小変倍を行った場合、200dpiのスクリーン画像又は200線の網点を用いた印刷物が元画像に含まれていると、みかけの周波数が400dpiであるような振る舞いをする。そのため、解像限界の300dpiを越えてしまい、モアレ縞による画質劣化が起こる。
【0058】
そこで、本実施形態では、変倍率に応じて位相情報変更を行うことで、上述のモアレ縞による画質劣化を防ぐものである。
【0059】
以下、変倍率に応じて位相情報を変更する本実施形態の処理を説明する。本来、距離dは注目画素からの距離であるので、dXi=AXi(dYj=AYj)となるが、位相制御パラメータLCを用いて次のように変更する。
【0060】
dXi=AXi/LC(dYj=AYj/LC)
LCは、変倍率に応じて変更される。例えば、上述したように、LC=100/RP(変倍率)とすると、LC=2となる。
【0061】
LC=1の時、
d=AX0=3.5 Ci=0
d=AX1=2.5 Ci=0
d=AX2=1.5 Ci=-0.125
d=AX3=0.5 Ci=0.625
d=AX4=0.5 Ci=0.625
d=AX5=1.5 Ci=-0.125
d=AX6=2.5 Ci=0
d=AX7=3.5 Ci=0
LC=2の時は、
d=AX0=3.5/2=1.75 Ci=-0.047
d=AX1=2.5/2=1.25 Ci=-0.141
d=AX2=1.5/2=0.75 Ci=0.297
d=AX3=0.5/2=0.25 Ci=0.891
d=AX4=0.5/2=0.25 Ci=0.891
d=AX5=1.5/2=0.75 Ci=0.297
d=AX6=2.5/2=1.25 Ci=-0.141
d=AX7=3.5/2=1.75 Ci=-0.047
となる。尚、説明の簡略化のため、係数の小数点は第4位で四捨五入している。ここで重要なことは、LC=1の場合、iが2から5までの真ん中の4つの係数しか用いていない(図10参照)が、LC=2の場合、iが0から7まで全てに係数が割り当てられ、より低周波数の領域まで帯域制限されることである。
【0062】
図12は、LC=2の場合の係数Cと距離dとの関係を示す図である。また、図13はLC=2の場合のフィルタの周波数特性を模式的に示す図である。尚、実際の周波数特性としては、フィルタがsinc関数そのものではなく近似であること、有限個で打ち切られていることのために、このようにきれいな矩形とはならないが、意図する周波数特性という意味では近い特性となっている。図13からもわかるように、ナイキスト周波数の半分の帯域まで制限することになり、上述したようなモアレ縞の発生による画質劣化を低減することが可能となる。
【0063】
また、副走査方向のフィルタ係数も上述した主走査方向のフィルタ係数と同様にして求めることができる。
【0064】
このように、本実施形態では1次元のフィルタ係数を例に説明したが、2次元でのフィルタ係数を以下のように求め、フィルタ処理部705でフィルタ処理を行う。
【0065】
Cij=Ci*Cj
つまり、フィルタ処理部705にはCijが入力され、8×8のうちのアドレス(i番目、j番目)に対応した場所にフィルタ係数をセットする。これを8×8個分の係数回だけセットすることでフィルタ演算を行う。また、各Cij(i=0〜7,j=0〜7)の総和でフィルタ演算結果は正規化され出力される。尚、本実施形態では、0〜255の256値へと正規化されるものとする。
【0066】
ここで、フィルタ係数は、主副別々に演算される。実際は、元画像の画素位置情報X、Yが、i=3、j=3にあたるため、元画像のX−3,Y−3からX+4,Y+4までの8x8画素のデータを取り出して畳み込み演算を行う。
【0067】
ここで、フィルタ処理部705は、アドレス演算処理部702からの画素位置情報に基づき、処理される元画像の8×8画素のデータを画像記憶部604から取り出し、フィルタ係数に基づいて畳み込み演算を行い、多値画像データを出力する。そして、多値画像データはLUT706に入力され、出力手段である図1に示したプリンタ300の濃度特性にレベルが変更され、所望の濃度特性に変更することが可能である。
【0068】
図14は、本実施形態によるLUT706の入出力特性を示す図である。図示するように、多値画像の入力信号が192レベルであれば、145レベルの出力信号を出力するものである。従って、入力信号の濃度特性と出力信号でプリントされた際の濃度特性から以上のようなテーブルを作成し、セットしておくことで濃度補正が可能になる。
【0069】
そして、LUT706から出力された多値画像データは、2値化処理部707により2値化され、2値画像データとして画像記憶部604に出力される。
【0070】
このように、本実施形態によれば、2値画像で入力し、変倍した後、2値画像で出力するために、画像記憶容量、データ転送量も一旦多値で画像出力するよりも1/8でよく、リソース節減に貢献することができる。
【0071】
[第2の実施形態]
次に、図面を参照しながら本発明に係る第2の実施形態を詳細に説明する。
【0072】
通常、LC(ローパス係数)を選ばないと、2値の場合、原稿にはない干渉縞(モアレ)が発生してしまう可能性がある。特に、100%に近い変倍率で変倍処理を行う場合、顕著に現れてしまう。これは、ローパス係数LCが1のとき、位相の変化により周波数特性が、大きく変化してしまうからである。第2の実施形態では、これを防ぐための方法について説明する。
【0073】
前述した第1の実施形態では、LC=1、2におけるローパスフィルタを例に周波数特性の相違を模式的に示したが、LCの値と位相とから作られるローパスフィルタの周波数特性について、もう少し詳しく説明していく。
【0074】
図15〜図18は、1画素を600dpiとして、各ローパス係数、各位相に応じた周波数応答のグラフを示す図である。各図共に、横軸は周波数(dpi)として画像の空間周波数の半分(ナイキスト周波数)である300dpiまでを示し、縦軸はパワーを表している。
【0075】
図15は、LC=1、位相=0画素のときのフィルタの周波数特性を示す図である。図16は、LC=1、位相=1/2画素のときのフィルタの周波数特性を示す図である。位相が1/2のときが、位相0から最も離れた周波数特性になり、1/2から1に近づくにつれて位相0のときの周波数特性に近づく。よって、その他の位相における周波数特性は、図15及び図16の間を通る曲線となる。このように位相毎に周波数特性が異なる場合、2値画像を入力すると、周期性がない原稿であっても周期的な濃度むらが発生してしまう。特に、100%に近い変倍率の場合、濃度むらが長い周期で起きてしまうため、非常に目立ってしまう。これは、位相が0、又は1に近づく場合、図15の周波数特性のように、殆ど解像度が落ちない状態となり、位相が1/2画素に近づくと図16のような周波数特性となり、図15に比べて解像度が落ちる状態となる。
【0076】
第1の実施形態では、50%で説明を行ったため、位相が、初期の位相である0.5画素から変化しなかった。しかしながら、他の変倍率では、変倍処理中の注目画素からアドレス演算手段により演算される、位相値は、注目画素毎に変動していく。例えば、99%の変倍率であると、99画素周期で位相が元に戻る。そのため、99画素周期で周波数特性が異なるフィルタ係数が繰り返されることになり、長い周期の濃度むらとなり目立ってしまうことがある。
【0077】
参考のため、LC=1の時の位相0、0.5画素のときの元画像0〜7の距離d及び係数AXn(AYnも同じ)(nは0〜7)を示す。
【0078】
LC=1、位相=0画素のとき、
d=AX0=3 Ci=0
d=AX1=2 Ci=0
d=AX2=1 Ci=0
d=AX3=0 Ci=1
d=AX4=0 Ci=0
d=AX5=1 Ci=0
d=AX6=2 Ci=0
d=AX7=3 Ci=0
LC=1、位相=0.5画素のとき、
d=AX0=3.5 Ci=0
d=AX1=2.5 Ci=0
d=AX2=1.5 Ci=-0.125
d=AX3=0.5 Ci=0.625
d=AX4=0.5 Ci=0.625
d=AX5=1.5 Ci=-0.125
d=AX6=2.5 Ci=0
d=AX7=3.5 Ci=0
このような現象を防ぐために、本実施形態では、LCは常に1.3以上であるように設定する。
【0079】
図17は、LC=1.3、位相=0画素のときの周波数特性を示す図である。また、図18は、LC=1.3、位相=1/2画素のときの周波数特性を示す図である。図15及び図16に示す周波数特性とは違い、位相がどの場合であっても、かなり近い周波数特性になることがわかる。即ち、LCの値を1.3以上にすれば、ローパスフィルタの効果がより低周波数まで得られ、かつ、位相による周波数特性の差も少ないままとなり、上述した問題は低減される。
【0080】
参考のために、LC=1.3のときの位相0、0.5画素のときの元画像0〜7の距離d及び係数AXn(AYnも同じ)(nは0〜7)を示す。
【0081】
LC=1.3、位相0画素のとき、
d=AX0=3 Ci=0
d=AX1=2 Ci=-0.11
d=AX2=1 Ci=0.27
d=AX3=0 Ci=1
d=AX4=0 Ci=0.27
d=AX5=1 Ci=-0.11
d=AX6=2 Ci=0
d=AX7=3 Ci=0
LC=1、位相=0.5画素のとき、
d=AX0=3.5 Ci=0
d=AX1=2.5 Ci=-0.01
d=AX2=1.5 Ci=-0.11
d=AX3=0.5 Ci=0.76
d=AX4=0.5 Ci=0.76
d=AX5=1.5 Ci=-0.11
d=AX6=2.5 Ci=-0.01
d=AX7=3.5 Ci=0
第2の実施形態によれば、LC(ローパス係数)を1.3以上にすることで、どの位相においても近しい周波数特性が得られ、上述した問題を防ぐことが可能になる。これを言い換えると、図17及び図18に示すように、各位相でのローパスフィルタの周波数特性で、ナイキスト周波数でのパワーの差が20%以内であれば、上述した問題の発生を十分低減することができる。
【0082】
尚、本発明は複数の機器(例えば、ホストコンピュータ,インタフェイス機器,リーダ,プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機,ファクシミリ装置など)に適用してもよい。
【0083】
また、前述した実施形態では、2値画像処理部602をハードウェアによって構成した場合を例に説明したが、本発明の目的は前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(CPU若しくはMPU)が記憶媒体に格納されたプログラムコードを読み出して実行することによっても、達成されることは言うまでもない。
【0084】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0085】
プログラムコードを供給するための記憶媒体としては、例えばフロッピーディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,磁気テープ,不揮発性のメモリカード,ROMなどを用いることができる。
【0086】
また、前述した実施形態の機能を実現するソフトウェアのプログラムコードをコンピュータが読み出して実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理により前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0087】
更に、記憶媒体から読み出されたプログラムコードがコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニット等に備わるCPUなどが実際の処理の一部又は全部を行い、その処理により前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0088】
【発明の効果】
以上説明したように、本発明によれば、変倍時にモアレ縞発生による画質劣化を防いだ変倍処理を施すことが可能となる。
【図面の簡単な説明】
【図1】本実施形態における画像制御装置の構成を示すブロック図である。
【図2】本実施形態における画像入力装置を示す外観斜視図である。
【図3】本実施形態における画像出力装置を示す外観斜視図である。
【図4】図1に示すスキャナ画像処理部400の構成を示す図である。
【図5】図1に示すプリンタ画像処理部500の構成を示す図である。
【図6】図1に示す2値画像変倍処理部130の処理を説明するための簡単なブロック図である。
【図7】図6に示す画像変倍部602の詳細な構成を示すブロック図である。
【図8】注目画素と注目画素近傍の元画像上の画素を表した図である。
【図9】主走査方向の距離を求める処理を説明するための図である。
【図10】双3次補間法の係数Cと距離dとの関係を示す図である。
【図11】sinc関数の周波数特性を示す図である。
【図12】LC=2の場合の係数Cと距離dとの関係を示す図である。
【図13】LC=2の場合のフィルタの周波数特性を模式的に示す図である。
【図14】本実施形態によるLUT706の入出力特性を示す図である。
【図15】LC=1、位相=0画素のときの周波数特性を示す図である。
【図16】LC=1、位相=1/2画素のときの周波数特性を示す図である。
【図17】LC=1.3、位相=0画素のときの周波数特性を示す図である。
【図18】LC=1.3、位相=1/2画素のときの周波数特性を示す図である。

Claims (9)

  1. 入力画像データに変倍処理を施して出力する画像処理装置において、
    変倍処理後の各注目画素に対して、該注目画素近傍の元画像の画素位置と当該注目画素との距離を示す位相情報を決定する位相情報決定手段と、
    各注目画素の位相情報と、変倍率に応じて連続的に変化する位相情報制御パラメータとに応じて、フィルタ処理におけるフィルタ係数を算出する係数演算手段と、
    前記算出されたフィルタ係数に基づき、入力2値画像データを畳み込み演算によってフィルタ処理し、多値画像データを出力するフィルタ処理手段と、
    前記出力された多値画像データを2値化する2値化処理手段とを有し、
    前記係数演算手段は、前記位相情報に基づき、前記注目画素の元画像での位置と畳み込み演算に用いられる元画像の画素位置との距離を求め、該距離は前記位相情報制御パラメータで割ることによって変更され、該変更された距離を用いた補間法により前記フィルタ係数を算出することを特徴とする画像処理装置。
  2. 前記位相情報制御パラメータを1.3以上とすることを特徴とする請求項に記載の画像処理装置。
  3. 全ての位相情報に対して、前記フィルタ係数の入力周波数の1/2の周波数におけるパワーの差が20%以内であることを特徴とする請求項に記載の画像処理装置。
  4. 前記変倍率は、等倍近傍であることを特徴とする請求項1に記載の画像処理装置。
  5. 前記2値化処理手段の前段に、出力手段の濃度特性に応じて前記多値画像データの濃度を変換する変換手段を有することを特徴とする請求項1に記載の画像処理装置。
  6. 前記変換手段はルックアップテーブルで構成され、出力結果が濃度リニアになるように変換することを特徴とする請求項に記載の画像処理装置。
  7. 入力画像データに変倍処理を施して出力する画像処理装置の処理方法であって、
    変倍処理後の各注目画素に対して、該注目画素近傍の元画像の画素位置と当該注目画素との距離を示す位相情報を決定する位相情報決定工程と、
    各注目画素の位相情報と、変倍率に応じて連続的に変化する位相情報制御パラメータとに応じて、フィルタ処理におけるフィルタ係数を算出する係数演算工程と、
    前記算出されたフィルタ係数に基づき、入力2値画像データを畳み込み演算によってフィルタ処理し、多値画像データを出力するフィルタ処理工程と、
    前記出力された多値画像データを2値化する2値化処理工程とを有し、
    前記係数演算工程は、前記位相情報に基づき、前記注目画素の元画像での位置と畳み込み演算に用いられる元画像の画素位置との距離を求め、該距離は前記位相情報制御パラメータで割ることによって変更され、該変更された距離を用いた補間法により前記フィルタ係数を算出することを特徴とする画像処理装置の処理方法。
  8. 請求項7に記載の画像処理装置の処理方法をコンピュータに実行させるためのプログラム。
  9. 請求項に記載のプログラムを格納しコンピュータ読み取り可能な記憶媒体。
JP2001191843A 2001-06-25 2001-06-25 画像処理装置及びその処理方法 Expired - Fee Related JP3927776B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001191843A JP3927776B2 (ja) 2001-06-25 2001-06-25 画像処理装置及びその処理方法
US10/176,176 US6993208B2 (en) 2001-06-25 2002-06-21 Image processing apparatus and its processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001191843A JP3927776B2 (ja) 2001-06-25 2001-06-25 画像処理装置及びその処理方法

Publications (2)

Publication Number Publication Date
JP2003008888A JP2003008888A (ja) 2003-01-10
JP3927776B2 true JP3927776B2 (ja) 2007-06-13

Family

ID=19030394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001191843A Expired - Fee Related JP3927776B2 (ja) 2001-06-25 2001-06-25 画像処理装置及びその処理方法

Country Status (2)

Country Link
US (1) US6993208B2 (ja)
JP (1) JP3927776B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7437018B1 (en) 2003-09-26 2008-10-14 Adobe Systems Incorporated Image resampling using variable quantization bins
US20050204034A1 (en) * 2004-03-12 2005-09-15 Betarbet Sandeep R. Methods, systems, and products for monitoring multiple tasks to fulfill a request originating from a web browser
US20060215929A1 (en) * 2005-03-23 2006-09-28 David Fresneau Methods and apparatus for image convolution
US7516255B1 (en) * 2005-03-30 2009-04-07 Teradici Corporation Method and apparatus for providing a low-latency connection between a data processor and a remote graphical user interface over a network
ES2272192B1 (es) * 2005-10-14 2008-03-16 Consejo Superior Invet. Cientificas Metodo de deconvolucion ciega y superresolucion para secuencias y conjuntos de imagenes, y sus aplicaciones.
JP4862747B2 (ja) * 2007-05-29 2012-01-25 コニカミノルタビジネステクノロジーズ株式会社 データ補間方法及び画像変倍方法画像処理装置
US8594465B2 (en) * 2007-11-14 2013-11-26 Microsoft Corporation Adaptive filtering for image transform processes
US20110298972A1 (en) * 2010-06-04 2011-12-08 Stmicroelectronics Asia Pacific Pte. Ltd. System and process for image rescaling using adaptive interpolation kernel with sharpness and de-ringing control
JP6097524B2 (ja) * 2012-10-29 2017-03-15 キヤノン株式会社 画像処理方法、画像処理装置、およびプログラム
WO2017161496A1 (zh) * 2016-03-22 2017-09-28 广东虚拟现实科技有限公司 条纹集合查找方法、装置以及***
CN107111882B (zh) 2016-03-22 2021-01-05 广东虚拟现实科技有限公司 条纹集合查找方法、装置以及***
US9858636B1 (en) 2016-06-30 2018-01-02 Apple Inc. Configurable convolution engine
US10176551B2 (en) 2017-04-27 2019-01-08 Apple Inc. Configurable convolution engine for interleaved channel data
US10319066B2 (en) 2017-04-27 2019-06-11 Apple Inc. Convolution engine with per-channel processing of interleaved channel data
US10325342B2 (en) 2017-04-27 2019-06-18 Apple Inc. Convolution engine for merging interleaved channel data

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4860118A (en) 1987-02-25 1989-08-22 Canon Kabushiki Kaisha Image signal processing apparatus with edge emphasis and variable magnification
JP2956213B2 (ja) * 1990-11-30 1999-10-04 ソニー株式会社 画像処理装置
US5526446A (en) * 1991-09-24 1996-06-11 Massachusetts Institute Of Technology Noise reduction system
EP0587450B1 (en) 1992-09-11 2004-11-17 Canon Kabushiki Kaisha Image processing method and apparatus
US5845015A (en) * 1995-10-12 1998-12-01 Sarnoff Corporation Method and apparatus for resizing images using the discrete cosine transform
US6188803B1 (en) * 1996-10-18 2001-02-13 Sony Corporation Image processing device
JPH11346305A (ja) * 1998-06-02 1999-12-14 Minolta Co Ltd 画像処理装置
CA2317870A1 (en) * 2000-09-08 2002-03-08 Jaldi Semiconductor Corp. A system and method for scaling images
US6757442B1 (en) * 2000-11-22 2004-06-29 Ge Medical Systems Global Technology Company, Llc Image enhancement method with simultaneous noise reduction, non-uniformity equalization, and contrast enhancement

Also Published As

Publication number Publication date
US20030001867A1 (en) 2003-01-02
US6993208B2 (en) 2006-01-31
JP2003008888A (ja) 2003-01-10

Similar Documents

Publication Publication Date Title
JP3927776B2 (ja) 画像処理装置及びその処理方法
US7038818B2 (en) Method and apparatus for image processing method, and a computer product
JP5388559B2 (ja) 画像処理装置及び画像処理方法並びに画像処理方法を実行するプログラム及び記憶媒体
WO2004015984A1 (ja) 画像データ処理装置、画像データ処理方法、プログラム、記録媒体および画像読取装置
JP2011081573A (ja) 画像処理装置及びその制御方法
JP4058583B2 (ja) 印刷制御装置、印刷制御方法および印刷制御プログラムを記録した媒体
JP2009171563A (ja) 画像処理装置及び画像処理方法並びに画像処理方法を実行するプログラム及び記憶媒体
JP3912971B2 (ja) 画像処理装置および方法
JP4097114B2 (ja) 画像処理装置、画像処理方法及び記録媒体
JP3311549B2 (ja) 画像処理装置の変倍制御装置
JP3950647B2 (ja) 画像処理装置及びその処理方法
JP2010278948A (ja) 画像処理装置
US6985258B1 (en) Print system
JPH07168938A (ja) デジタル複写機
JP3063754B2 (ja) 画像デ―タ補間装置、画像デ―タ補間方法、画像デ―タ補間プログラムを記録した媒体
JP2005031759A (ja) 空間フィルタを適用する画像処理装置及び画像処理方法
JP3836970B2 (ja) 画像形成装置
JP3919430B2 (ja) 画像処理装置及び方法
JP3964088B2 (ja) 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011015362A (ja) 画像処理装置
JPH1098612A (ja) 画像処理装置と画像処理方法と画像形成装置
JP3785295B2 (ja) 画像処理装置
JP5062633B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5265040B2 (ja) 画像処理装置、画像形成装置、コンピュータプログラム、記録媒体及び画像処理方法
WO2009082015A1 (en) Image processing apparatus, image processing method, and program and memory medium for executing image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070305

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3927776

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100309

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120309

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130309

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140309

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees