JP2587586B2 - データ転送方法 - Google Patents

データ転送方法

Info

Publication number
JP2587586B2
JP2587586B2 JP6110836A JP11083694A JP2587586B2 JP 2587586 B2 JP2587586 B2 JP 2587586B2 JP 6110836 A JP6110836 A JP 6110836A JP 11083694 A JP11083694 A JP 11083694A JP 2587586 B2 JP2587586 B2 JP 2587586B2
Authority
JP
Japan
Prior art keywords
information processing
read
read request
processing unit
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP6110836A
Other languages
English (en)
Other versions
JPH07319829A (ja
Inventor
正 嶌崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Computertechno Ltd
Original Assignee
NEC Computertechno Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Computertechno Ltd filed Critical NEC Computertechno Ltd
Priority to JP6110836A priority Critical patent/JP2587586B2/ja
Priority to US08/448,862 priority patent/US5896505A/en
Priority to DE69522369T priority patent/DE69522369T2/de
Priority to AU20267/95A priority patent/AU692533B2/en
Priority to EP95108013A priority patent/EP0684564B1/en
Priority to CA002150096A priority patent/CA2150096C/en
Publication of JPH07319829A publication Critical patent/JPH07319829A/ja
Application granted granted Critical
Publication of JP2587586B2 publication Critical patent/JP2587586B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3824Operand accessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Complex Calculations (AREA)
  • Multi Processors (AREA)
  • Memory System (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、コンピュータ等の情報
処理装置におけるデータ転送方法、特に、それぞれが複
数の情報処理部からアクセスされる複数の記憶装置で構
成される主記憶装置を有する情報処理装置において、ベ
クトルロードやベクトルストアのように、まとまったデ
ータを主記憶装置との間で転送するデータ転送方法に関
する。
【0002】
【従来の技術】従来、複数の記憶装置で構成される主記
憶装置と該主記憶装置をアクセスする複数の情報処理部
とからなる情報処理装置に於いて、ベクトルロードのよ
うなまとまったデータを主記憶装置から読み出す命令を
複数の情報処理部から主記憶装置に対し如何なる制約も
なしに発行するような場合、各情報処理部から発行され
る読み出し要求のベクトル要素数や要素間距離によっ
て、主記憶装置から読み出すデータのアドレスが重なる
ことがある。このような場合、各情報処理部から発行さ
れる読み出し要求が同一記憶装置をアクセスする競合を
起こすことになる。
【0003】同一記憶装置をアクセスする競合が発生す
ると、二つ以上の読み出し要求による同一記憶装置から
の読み出しが同時にできないため、後続の読み出し要求
は先行する読み出し要求による読み出しが終了するまで
実行されない。これが、情報処理部に戻ってくる読み出
しデータが間延びする原因の1つとなる。また、競合を
起こさなかった記憶装置からの読み出しデータは、競合
を起こして待たされている読み出し要求による読み出し
データよりも早く情報処理部に戻ってくることになる。
この時、早く発行した読み出し要求が競合を起こし、後
から発行した読み出し要求が競合を起こさなかった場
合、情報処理部に戻ってくる読み出しデータの要素の順
番が読み出し要求を発行した順ではなく逆転することに
なる。
【0004】そこで従来、読み出しデータの順序性や連
続性を保証するために、図5のように、各情報処理部か
らの読み出し要求を集中制御するデータ制御装置を設け
る方法や、図6のように、各情報処理部間で読み出し要
求の発行タイミングと読み出し終了タイミングを通知し
合い、同時に2つ以上の情報処理部から主記憶装置へ直
接アクセスしないように読み出し要求発行制御部を設け
ることが一般的であった。
【0005】図5に於いて、各情報処理部からの読み出
し要求は必要があればいつでもデータ制御部へ読み出し
要求を発行する。読み出し要求を受け取ったデータ制御
装置は、どの情報処理部からの読み出し要求を優先させ
るかを決めるプライオリティ回路を有し、それに従い主
記憶装置から記憶情報を読み出す。各記憶装置から読み
出された読み出しデータの整列順序と全ての要素が揃っ
たことを確認した時点で読み出し要求を発行した情報処
理部へ連続して転送する。このデータ転送方式は、ある
情報処理部からの読み出し要求による主記憶装置へのア
クセスが開始すると、読み出しが終了するまで他の情報
処理部からの読み出し要求による主記憶装置へのアクセ
スは実行されない。
【0006】図7は図5に於ける動作一列として、四つ
の情報処理部A,B,C,Dからデータ制御部に対し読
み出し要求を同時に発行した時の動作を示している。デ
ータ制御部内のプライオリティ回路によりA,B,C,
Dの順で読み出し行われるとすると、情報処理部Aから
の読み出し要求による読み出しが終了してから、情報処
理部Bからの読み出し要求による読み出しが開始する。
同様にBが終了してからC、Cが終了してからDという
ように読み出しが行われる。
【0007】また図6に於いては、図5の列のようにデ
ータ制御装置を設ける代りに、各情報処理部間で読み出
し要求の発行タイミングと読み出し終了タイミングを通
知し合い、同時に2つ以上の情報処理部から主記憶装置
へ直接アクセスしないように読み出し要求発行制御部を
設ける。各情報処理部の読み出し要求発行制御部は、ど
の情報処理部からの読み出し要求を優先させるかを決め
るプライオリティ回路を有し、それに従い主記憶装置か
ら記憶情報を読み出す。まず全情報処理部に対し読み出
し要求発行タイミングを通知し、自分自信のプライオリ
ティを確認しつつ最優先権を獲得すると、主記憶装置に
対しアクセスを開始する。全ての読み出しデータが自分
の情報処理部に格納されるタイミングを予測し、読み出
し終了タイミングを各情報処理部に対し通知する。他の
情報処理部では読み出し終了タイミング信号により、後
続の読み出しが連続して行われるように読み出し要求発
行制御部で管理する。このデータ転送方式も図5の例に
おけるデータ転送方式と同様に、ある情報処理部からの
読み出し要求による主記憶装置へのアクセスが開始する
と、読み出しが終了するまで他の情報処理部からの読み
出し要求による主記憶装置へのアクセスは実行されな
い。
【0008】図7は図6に於ける動作例として、四つの
情報処理部A,B,C,Dから主記憶装置に対し読み出
し要求を発行した時の動作を示している。まず情報処理
部Aから情報処理部B,C,Dに対し読み出し要求発行
タイミングと情報処理部番号を通知し、同様に情報処理
部Bから情報処理部A,C,Dへ、情報処理部Cから情
報処理部A,B,Dへ、情報処理部Dから情報処理部
A,B,C,へ読み出し要求発行タイミングと情報処理
部番号を通知する。読み出し要求発行タイミングを受け
取った各情報処理部では読み出し要求発行制御部内のプ
ライオリティ回路によりA,B,C,Dの順で読み出し
が行われるとすると、情報処理部Aからの読み出し要求
による読み出しが開始され、情報処理部Aは読み出しが
終了するタイミングを各情報処理部に対し通知する。情
報処理部Bでは情報処理部Aからの読み出し終了タイミ
ング信号により、主記憶装置からの読み出しが連続して
行われるように読み出し要求の発行を読み出し要求発行
制御部で管理する。情報処理部Aの読み出しが終了する
と同時に情報処理部Bからの読み出し要求により読み出
しが開始する。同様にBからC、CからDへと連続して
読み出しが行われる。
【0009】
【発明が解決しようとする課題】この従来のデータ転送
方式では、情報処理部の数に比例して後続の読み出し要
求が待たされる可能性が高くなり、主記憶装置がアドレ
スにより分割された複数の記憶装置を有していても、実
際に利用される記憶装置の数は1情報処理部が必要とす
る分でしかないため、マルチプロセッサ構成の利点を十
分に活かすことが出来ないという欠点を有する。
【0010】
【課題を解決するための手段】本発明の方法は、複数の
記憶装置よりなる主記憶装置と、前記記憶装置に接続さ
れた複数の情報処理部とからなる情報処理装置に於ける
データ転送方法におい、複数の要素を一つの命令で前記
主記憶装置から読み出す際に読み出す要素数に対応する
複数の読み出し要求を前記情報処理部から発行し、各読
み出し要求は読み出すデータのアドレスにより確定する
前記記憶装置へ転送され、前記記憶装置は各読み出し要
求によりメモリをアクセスして読み出したデータを、読
み出し要求により示される要求元情報処理部に戻すとと
もに読み出し要求の情報の一部を返送情報として要求元
情報処理部に戻し、かつ、前記各要素の読み出し要求
は、データ転送の処理動作を示す命令種別と、要求元情
報処理部を示す情報処理部番号と、各要素の読み出し要
求を発行した発行順番と、分割される元の命令を区別す
る命令区別と、各要素の主記憶装置におけるメモリアド
レスとから成り、また前記返送情報は、前記発行順番と
命令区別とから成ることを特徴とする。
【0011】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。図2は本発明が適用される情報処理装置の
ブロック図を示し、本情報処理装置はアドレスによって
振り分けられた複数個の記憶装置3と複数個の情報処理
部7で構成されている。
【0012】図1は本発明の一実施例として情報処理部
7および記憶装置3の詳細を示す。本情報処理部7にお
いては、ベクトルロードやベクトルストアのように、ま
とまったデータについて主記憶装置2をアクセスする命
令は、ベクトル要素対応に複数の命令に分割される。分
割後の命令、例えばベクトルロード時の読み出し要求9
は、図示のごとく、当データ転送が行う処理動作を示す
命令種別14、読み出し要求を発行した情報処理部7を
示す情報処理部番号15、読み出し要求を発行した順番
を示す発行順番16、要素毎の任意の読み出し要求9が
分割される元の命令8のうちの一つであることを示す命
令区別17および読み出しデータのメモリアドレス18
とで構成されている。
【0013】要素毎の任意の読み出し要求9の出力12
は、任意の記憶装置3に格納される。この格納された読
み出し要求5のうちの発行順番23,命令区別24およ
び読み出し要求5によりメモリ4から読み出した読み出
しデータ6とから成る返送情報の出力13は、読み出し
要求5を出した情報処理部7へ返送される。
【0014】情報処理部7に於いて、上述の返送情報を
読み出しデータ11を発行順番19と命令区別20とか
らなる付随情報10と共に受け取る。
【0015】次に、図1におけるデータ転送動作につい
て説明する。任意の情報処理部7から主記憶装置2に体
する分割される元の命令8は各要素数に対応するj個の
読み出し要求9に分割される。読み出し要求9は与み出
し要求9の情報の一部であるメモリアドレス18によっ
て各記憶装置3へと振り分けられる。
【0016】記憶装置3では各情報処理部9からの読み
出し要求5を受け取り、読み出し要求5の情報の一部で
ある命令種別21がメモリ4に格納されている記憶情報
の読み出し命令であることを確認する。他の情報処理部
7から複数個の読み出し要求を受け取った際、命令種別
21とメモリアドレス25から同一記憶装置をアクセス
する競合を起こした時の待ち合わせ用に読み出し要求5
を複数個設け、どの情報処理部7からの読み出し要求を
優先するかを決めるプライオリティ回路を設けても良
い。
【0017】読み出し要求5の情報の一部であるメモリ
アドレス25によって、メモリ4に格納されている記憶
情報を読み出す。読み出された記憶情報が、返送情報の
一部である読み出しデータ6である。各情報処理部7へ
の返送情報は、読み出しデータ6と読み出し要求5の情
報の一部である読み出し発行順番23及び分割される元
の命令を示す命令区別24である。この時、各情報処理
部7へ送る返送情報の振り分けは、読み出し要求の情報
の一部である発行番号22によって行う。
【0018】返送情報を受け取った情報処理部7に於い
て、読み出しデータ11は分割される元の命令を示す命
令区別20により、分割される元の命令8を分割した読
み出し要求9によって読み出された読み出しデータであ
ることを認識し、発行順番19によって読み出しデータ
11の整列順序を認識する。即ち、読み出しデータ11
の付随情報10が、読み出しデータ11の格納場所を指
定する。同一記憶装置3をアクセスする競合を起こして
情報処理部7に戻ってくる複数の読み出しデータ11の
順番が逆転しても付随情報10によって読み出しデータ
11の順序保障を行うことが出来る。
【0019】また記憶装置3に於いて、読み出し要求5
を受信してから読み出しデータ6を得るまでに、メモリ
アクセスタイム相当分の一定の時間を必要とする。そこ
で、読み出し要求5を受信したならば、発行順番23及
び命令区別24とからなる読み出しデータ6の付随情報
を読み出しデータ6より上述の時間だけ先駆けて情報処
理部7へ返送しても良い。このような措置により、情報
処理部7では、分割された元の命令8に於ける全ての要
素がいつ揃うのかを予測可能となる。
【0020】図3は図1に於いて同一記憶装置3をアク
セスする競合を起こさなかった場合の様子を示すタイム
チャートであり、四つの情報処理部A,B,C,Dから
主記憶装置2に対し同時に読み出し要求を発行した時の
動作を示している。各情報処理部でのベクトル要素数を
4として要素毎の読み出し要求を発行する。各情報処理
部から発行される読み出し要求が同一記憶装置3をアク
セスする競合を起こさなければ同時に読み出しが開始
し、同時に読み出しが終了する。
【0021】図4は図1に於いて、同一記憶装置3をア
クセスする競合を起こした場合の様子を示すタイムチャ
ートであり、四つの情報処理部A,B,C,Dから主記
憶装置2に対し同時に読み出し要求を発行した時の動作
を示している。各情報処理部でのベクトル要素数を4と
して要素毎の読み出し要求を発行する。この時、情報処
理部Aと情報処理部Bからの読み出し要求の要素2と要
素3が同一記憶装置をアクセスする競合を起こし、情報
処理部Bからの読み出し要求による読み出しが待たさ
れ、情報処理部Bに戻ってくる要素1と要素2の間が間
延びしている。さらに情報処理部Cと情報処理部Dから
の読み出し要求の要素1が同一記憶装置をアクセスする
競合を起こし、情報処理部Dからの読み出し要求による
読み出しが待たされ、情報処理部Dに戻ってくる要素1
と要素2が逆転している。
【0022】
【発明の効果】本発明によれば、上述のような構成の採
用により、同一記憶装置をアクセスする競合を起こした
としても、同一記憶装置をアクセスする競合を起こした
要素を揃うまでの時間分だけ情報処理部に戻ってくる時
間が延びるだけであり、同時並行でデータ転送が行える
という効果がある。
【図面の簡単な説明】
【図1】本発明の一実施例のブロック図である。
【図2】本発明が適用される情報処理装置の概要図であ
る。
【図3】本発明においてアクセス競合が発生しない場合
のタイムチャートである。
【図4】本発明においてアクセス競合が発生した場合の
タイムチャートである。
【図5】従来の第1の例を示すブロック図である。
【図6】従来の第2の例を示すブロック図である。
【図7】従来の第1の例におけるタイムチャートであ
る。
【図8】従来の第2の例におけるタイムチャートであ
る。
【符号の説明】
2 主記憶装置 3 記憶装置 4 メモリ 5 読み出し要求 6 読み出しデータ 7 情報処理部 8 分割される元の命令 9 読み出し要求 10 付随情報 11 読み出しデータ 12 読み出し要求出力 13 読み出しデータ出力 14 命令種別 15 情報処理部番号 16 発行順番 17 命令区別 18 メモリアドレス 19 発行順番 20 命令区別 21 命令種別 22 情報処理部番号 23 発行順番 24 命令区別 25 メモリアドレス。

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 複数の記憶装置よりなる主記憶装置と、
    前記記憶装置に接続された複数の情報処理部とからなる
    情報処理装置に於けるデータ転送方法において、 複数の要素を一つの命令で前記主記憶装置から読み出す
    際に読み出す要素数に対応する複数の読み出し要求を前
    記情報処理部から発行し、各読み出し要求は読み出すデ
    ータのアドレスにより確定する前記記憶装置へ転送さ
    れ、前記記憶装置は各読み出し要求によりメモリをアク
    セスして読み出したデータを、読み出し要求により示さ
    れる要求元情報処理部に戻すとともに読み出し要求の情
    報の一部を返送情報として要求元情報処理部に戻し、 かつ、前記各要素の読み出し要求は、データ転送の処理
    動作を示す命令種別と、要求元情報処理部を示す情報処
    理部番号と、各要素の読み出し要求を発行した発行順番
    と、分割される元の命令を区別する命令区別と、各要素
    の主記憶装置におけるメモリアドレスとから成り、また
    前記返送情報は、前記発行順番と命令区別とから成るこ
    とを特徴とするデータ転送方法。
JP6110836A 1994-05-25 1994-05-25 データ転送方法 Expired - Fee Related JP2587586B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP6110836A JP2587586B2 (ja) 1994-05-25 1994-05-25 データ転送方法
US08/448,862 US5896505A (en) 1994-05-25 1995-05-24 Data transfer system and method for dividing an original data read instruction into individual read demands for each data element
DE69522369T DE69522369T2 (de) 1994-05-25 1995-05-24 Datenübertragungssystem und -verfahren in einem Informationsverarbeitungssystem
AU20267/95A AU692533B2 (en) 1994-05-25 1995-05-24 Data transfer system in information processing system
EP95108013A EP0684564B1 (en) 1994-05-25 1995-05-24 Data transfer system and method in an information processing system
CA002150096A CA2150096C (en) 1994-05-25 1995-05-24 Data transfer system in information processing system permitting parallel access of a common storage device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6110836A JP2587586B2 (ja) 1994-05-25 1994-05-25 データ転送方法

Publications (2)

Publication Number Publication Date
JPH07319829A JPH07319829A (ja) 1995-12-08
JP2587586B2 true JP2587586B2 (ja) 1997-03-05

Family

ID=14545904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6110836A Expired - Fee Related JP2587586B2 (ja) 1994-05-25 1994-05-25 データ転送方法

Country Status (6)

Country Link
US (1) US5896505A (ja)
EP (1) EP0684564B1 (ja)
JP (1) JP2587586B2 (ja)
AU (1) AU692533B2 (ja)
CA (1) CA2150096C (ja)
DE (1) DE69522369T2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463524B1 (en) * 1999-08-26 2002-10-08 International Business Machines Corporation Superscalar processor and method for incrementally issuing store instructions
US7457932B2 (en) * 2005-12-30 2008-11-25 Intel Corporation Load mechanism
US8135941B2 (en) * 2008-09-19 2012-03-13 International Business Machines Corporation Vector morphing mechanism for multiple processor cores
JP5348698B2 (ja) * 2010-10-27 2013-11-20 エヌイーシーコンピュータテクノ株式会社 情報処理装置及び情報処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3704453A (en) * 1971-02-23 1972-11-28 Ibm Catenated files
CA1221464A (en) * 1983-12-26 1987-05-05 Hidehiko Nishida Data processor system having improved data throughput of multiprocessor system
JPS60136849A (ja) * 1983-12-26 1985-07-20 Hitachi Ltd 記憶制御方式
US5086498A (en) * 1987-01-23 1992-02-04 Hitachi, Ltd. Parallel computer with asynchronous communication facility
JPH0199143A (ja) * 1987-10-12 1989-04-18 Fujitsu Ltd 主記憶アクセス制御方法
US5185871A (en) * 1989-12-26 1993-02-09 International Business Machines Corporation Coordination of out-of-sequence fetching between multiple processors using re-execution of instructions
US5268846A (en) * 1991-04-10 1993-12-07 International Business Machines Corporation Method and apparatus for nonsequential multimedia data interchange in a data processing system
US5539914A (en) * 1993-06-14 1996-07-23 International Business Machines Corporation Method and system for preprocessing data block headers during access of data in a data storage system

Also Published As

Publication number Publication date
EP0684564B1 (en) 2001-08-29
US5896505A (en) 1999-04-20
EP0684564A2 (en) 1995-11-29
EP0684564A3 (en) 1996-02-14
JPH07319829A (ja) 1995-12-08
DE69522369T2 (de) 2002-05-23
CA2150096C (en) 2000-08-08
AU2026795A (en) 1995-11-30
DE69522369D1 (de) 2001-10-04
CA2150096A1 (en) 1995-11-26
AU692533B2 (en) 1998-06-11

Similar Documents

Publication Publication Date Title
US4449183A (en) Arbitration scheme for a multiported shared functional device for use in multiprocessing systems
US5249297A (en) Methods and apparatus for carrying out transactions in a computer system
JP2587586B2 (ja) データ転送方法
US5408612A (en) Microprocessor system for selectively accessing a processor internal register when the processor has control of the bus and partial address identifying the register
US20090235003A1 (en) Memory control device and memory control method
JPH11232213A (ja) 入出力装置におけるデータ転送方式
JPH0962633A (ja) ネットワーク制御装置
JP3371978B2 (ja) 情報処理装置
JPH0589027A (ja) 監視機能付ライトバツフア
JPS6278668A (ja) 共用メモリ装置
JPH0764849A (ja) プロセッサの共有メモリ制御装置
JPH04250553A (ja) プログラマブルコントローラ
JP2000099391A (ja) プリンタ装置およびプリンタ制御方法、並びに記録媒体
JP2000330866A (ja) メモリ制御方法およびメモリ制御システム
JP2988048B2 (ja) 辞書情報常駐アクセス装置
JP3063501B2 (ja) メモリアクセス制御方式
JP3270149B2 (ja) データ転送装置
JPS60140451A (ja) メモリバス方式
JPH0322053A (ja) ムーブ・イン・バッファ制御方式
JPS62546B2 (ja)
JPH06314231A (ja) 共用メモリアクセス制御方法
JP2000122968A (ja) 入出力キャッシュメモリ及びその制御方法
JPH0236011B2 (ja)
JPH01261748A (ja) バッファ記憶制御装置
JPH05265932A (ja) バス制御方式

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19961015

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071205

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081205

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091205

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091205

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101205

Year of fee payment: 14

LAPS Cancellation because of no payment of annual fees