JP5045308B2 - Image display control program and image display control apparatus - Google Patents
Image display control program and image display control apparatus Download PDFInfo
- Publication number
- JP5045308B2 JP5045308B2 JP2007219983A JP2007219983A JP5045308B2 JP 5045308 B2 JP5045308 B2 JP 5045308B2 JP 2007219983 A JP2007219983 A JP 2007219983A JP 2007219983 A JP2007219983 A JP 2007219983A JP 5045308 B2 JP5045308 B2 JP 5045308B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- image
- window
- display control
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 35
- 238000000034 method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 7
- 238000011960 computer-aided design Methods 0.000 description 2
- 101100328887 Caenorhabditis elegans col-34 gene Proteins 0.000 description 1
- 241000257465 Echinoidea Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
Description
本発明は、画面上にウィンドウとともに画像を表示する画像表示制御に適した画像表示制御プログラム及び画像表示制御装置に関する。 The present invention relates to an image display control program and an image display control apparatus suitable for image display control for displaying an image together with a window on a screen.
ディスプレイの画面上に同時に複数のウィンドウを表示できるものとして、マルチウィンドウシステムがある。これは、ウィンドウと呼ばれる表示用の窓を複数同時に開いて、これらのそれぞれに異なるアプリケーションの表示を行えるようにしたシステムである。 There is a multi-window system that can simultaneously display a plurality of windows on a display screen. This is a system in which a plurality of display windows called windows are opened simultaneously, and different applications can be displayed on each of these windows.
また、このようなマルチウィンドウシステムは、コンピュータ装置の本体と、ビットマップディスプレイなどのディスプレイと、ポインティングデバイスやキーボードなどの入力装置などからなるハードウエアと、これらのハードウエアを制御するＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やウィンドウシステムプログラムと、このウィンドウシステムプログラム上で動作するアプリケーションプログラムなどからなるソフトウエアとによって構成される。 In addition, such a multi-window system includes a computer device main body, a display such as a bitmap display, hardware including an input device such as a pointing device and a keyboard, and an OS (Operating System) that controls these hardware. ) And a window system program, and software including an application program operating on the window system program.
ウィンドウシステムプログラムは、それ自身がＯＳとしての機能を有する場合もあり、複数のアプリケーションプログラムをマルチタスク又は擬似マルチタスクによって実行させることができる。また、アプリケーションプログラムは、ワードプロセッサや表計算ソフトウエア、データベース、ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）などの各種応用プログラムであり、各アプリケーションプログラム毎に１又は２以上のウィンドウを開いて、このウィンドウ内でそれぞれの処理を行う。そして、ウィンドウシステムプログラムは、これらのアプリケーションプログラムの複数のウィンドウをディスプレイの画面上に重ねて表示させることができる。 The window system program itself may have a function as an OS, and a plurality of application programs can be executed by multitasking or pseudo multitasking. The application programs are various application programs such as a word processor, spreadsheet software, database, CAD (Computer Aided Design), and one or more windows are opened for each application program. Process. The window system program can display a plurality of windows of these application programs on the display screen.
ところで、このようなマルチウィンドウシステムでは、複数のウィンドウが画面上に表示されるとき、それぞれのウィンドウが重ならなければ何ら問題はないが、たとえば奥側のウィンドウの一部が手前側のウィンドウによって隠されてしまうと、奥側のウィンドウの一部が見えなくなってしまうことがある。 By the way, in such a multi-window system, when a plurality of windows are displayed on the screen, there is no problem as long as the windows do not overlap. If hidden, part of the window on the far side may become invisible.
このような場合、マウス等の操作により、奥側のウィンドウ又は手前側のウィンドウのサイズを調整することになるが、その調整のための操作が煩わしいものである。 In such a case, the size of the back window or the near window is adjusted by operating the mouse or the like, but the operation for the adjustment is troublesome.
このような煩わしさを解消するようにしたものとして、特許文献１では、ウィンドウ操作処理部により、手前側のウィンドウが奥側のウィンドウの表示領域に重なったかどうかを検査し、重なった場合に領域検出処理部により、その重なり領域を検出すると共に表示禁止領域を設定し、表示領域リサイズ処理部により、その表示禁止領域分だけ縮小させ、表示内容再構成処理部により、縮小された表示領域内での表示内容の書式を変更したりスクロールを行うようにしたマルチウィンドウシステムを提案している。
In order to eliminate such annoyance, in
このように、上述した特許文献１では、奥側のウィンドウと手前側のウィンドウとが重なって表示された場合に、自動的に奥側のウィンドウの表示領域を縮小すると共に表示内容を再構成して表示しているため、その奥側のウィンドウの表示内容の注目部分を常時参照できる。
As described above, in
ところが、このようなマルチウィンドウシステムでは、注目すべき特定のオブジェクト（ユーザのアバター等）が設定されている仮想３次元空間を２次元座標系に透視変換した画像（以下、３Ｄグラフィックスという）を奥側のウィンドウに表示する場合には、画像全体が縮小表示されてしまうため、注目すべき特定のオブジェクトの表示も小さくなり、視認しにくくなってしまうという問題があった。 However, in such a multi-window system, an image (hereinafter referred to as 3D graphics) obtained by perspective-transforming a virtual three-dimensional space in which a specific object to be noticed (such as a user's avatar) is set into a two-dimensional coordinate system is used. When displaying in the back window, the entire image is displayed in a reduced size, so that there is a problem that the display of a specific object to be noticed is also small and difficult to view.
本発明は、このような状況に鑑みてなされたものであり、仮想３次元空間を２次元座標系に透視変換した画像に重ねて少なくとも１つのウィンドウが表示された場合、その画像で注目すべき特定のオブジェクトの表示の大きさをなるべく維持したままウィンドウに隠れていない視認可能な位置に表示を移動させることで、その特定のオブジェクトを画面上で常に視認できるようにし、３Ｄグラフィックスの情報が損なわれないようにすることができる画像表示制御プログラム及び画像表示制御装置を提供することを目的とする。 The present invention has been made in view of such a situation. When at least one window is displayed on an image obtained by perspective-transforming a virtual three-dimensional space into a two-dimensional coordinate system, attention should be paid to that image. By moving the display to a visible position that is not hidden in the window while maintaining the display size of the specific object as much as possible, the specific object can always be viewed on the screen, and the information of 3D graphics is An object of the present invention is to provide an image display control program and an image display control device that can be kept intact.
本発明の画像表示制御プログラムは、仮想３次元空間内に設定された、通常時に注視点が固定されるように設定されている特定のオブジェクト上の点である注目点と同一の位置を前記注視点とする視点に基づいて前記仮想３次元空間を２次元座標系に透視変換した画像を、少なくとも１つのウィンドウとともに画面上に表示させるための画像表示制御プログラムであって、前記画像に少なくとも１つの前記ウィンドウが重なっているか否かを検出する重なり検出手段と、前記ウィンドウと重なっていない前記画像の矩形領域を検出する矩形領域検出手段と、前記重なり検出手段により前記画像に少なくとも１つの前記ウィンドウとの重なりが検出されたとき、前記矩形領域検出手段により検出された前記矩形領域内に前記注目点が表示されるように、前記仮想３次元空間における前記注視点の位置を前記注目点の位置から変更する注視点変更手段とを有し、コンピュータをこれらの手段として機能させることを特徴とする。 Image display control program of the present invention, the set in a virtual three-dimensional space, a normally set the same position and the target point is a point on a particular object is to gaze point is fixed at the time of note An image display control program for displaying an image obtained by perspective-transforming the virtual three-dimensional space into a two-dimensional coordinate system based on a viewpoint as a viewpoint on a screen together with at least one window, the image including at least one image An overlap detection means for detecting whether or not the window overlaps; a rectangular area detection means for detecting a rectangular area of the image not overlapping the window; and at least one window in the image by the overlap detection means; When the overlap is detected, the attention point is displayed in the rectangular area detected by the rectangular area detecting means. Sea urchin, the position of the gaze point in the virtual three-dimensional space and a fixation point changing means for changing the position of the point of interest, characterized in that causes a computer to function as these means.
また、前記注視点変更手段は、前記検出された複数の前記矩形領域の内で最も面積の大きい矩形領域を判定し、該最も面積の大きい前記矩形領域内に前記注目点が表示されるように前記仮想３次元空間における前記注視点の位置を変更するようにしてもよい。
また、前記注視点変更手段は、前記注目点が前記矩形領域の中央に表示されるように、前記仮想３次元空間における前記注視点の位置を変更するようにしてもよい。
また、前記画像は、画面全体に表示されるようにしてもよい。
また、前記画像は、前記ウィンドウ内に表示されるようにしてもよい。
また、前記注視点変更手段は、前記注視点の変更に伴って前記仮想３次元空間における前記視点の位置を変更するようにしてもよい。
Further, the gazing point changing unit determines a rectangular area having the largest area among the detected plurality of rectangular areas, and the attention point is displayed in the rectangular area having the largest area. The position of the gazing point in the virtual three-dimensional space may be changed.
The gazing point changing unit may change the position of the gazing point in the virtual three-dimensional space so that the attention point is displayed in the center of the rectangular area.
The image may be displayed on the entire screen.
The image may be displayed in the window.
Further, the gazing point changing unit may change the position of the viewpoint in the virtual three-dimensional space in accordance with the change of the gazing point.
本発明の画像表示制御装置は、仮想３次元空間内に設定された、通常時に注視点が固定されるように設定されている特定のオブジェクト上の点である注目点と同一の位置を前記注視点とする視点に基づいて前記仮想３次元空間を２次元座標系に透視変換した画像を、少なくとも１つのウィンドウとともに画面上に表示させるための画像表示制御装置であって、前記画像に少なくとも１つの前記ウィンドウが重なっているか否かを検出する重なり検出手段と、前記ウィンドウと重なっていない前記画像の矩形領域を検出する矩形領域検出手段と、前記重なり検出手段が前記画像に少なくとも１つの前記ウィンドウとの重なりを検出したときに、前記矩形領域検出手段によって検出された前記矩形領域内に前記注目点が表示されるように、前記仮想３次元空間における前記注視点の位置を前記注目点の位置から変更する注視点変更手段とを備えることを特徴とする。 The image display control device of the present invention, the set in a virtual three-dimensional space, a normally set the same position and the target point is a point on a particular object is to gaze point is fixed at the time of note An image display control device for displaying an image obtained by perspective-transforming the virtual three-dimensional space into a two-dimensional coordinate system based on a viewpoint as a viewpoint on a screen together with at least one window, the image including at least one image An overlap detection means for detecting whether or not the window overlaps; a rectangular area detection means for detecting a rectangular area of the image not overlapping the window; and the overlap detection means includes at least one window in the image. When the overlap is detected, the temporary point is displayed in the rectangular area detected by the rectangular area detecting means. The position of the gazing point in the three-dimensional space, characterized in that it comprises a fixation point changing means for changing the position of the point of interest.
また、前記注視点変更手段は、前記検出された複数の前記矩形領域の内で最も面積の大きい矩形領域を判定し、該最も面積の大きい前記矩形領域内に前記注目点が表示されるように前記仮想３次元空間における前記注視点の位置を変更するようにしてもよい。
また、前記注視点変更手段は、前記注目点が前記矩形領域の中央に表示されるように、前記仮想３次元空間における前記注視点の位置を変更するようにしてもよい。
また、前記画像は、画面全体に表示されるようにしてもよい。
また、前記画像は、前記ウィンドウ内に表示されるようにしてもよい。
また、前記注視点変更手段は、前記注視点の変更に伴って前記仮想３次元空間における前記視点の位置を変更するようにしてもよい。
Further, the gazing point changing unit determines a rectangular area having the largest area among the detected plurality of rectangular areas, and the attention point is displayed in the rectangular area having the largest area. The position of the gazing point in the virtual three-dimensional space may be changed.
The gazing point changing unit may change the position of the gazing point in the virtual three-dimensional space so that the attention point is displayed in the center of the rectangular area.
The image may be displayed on the entire screen.
The image may be displayed in the window.
Further, the gazing point changing unit may change the position of the viewpoint in the virtual three-dimensional space in accordance with the change of the gazing point.
本発明の画像表示制御プログラム及び画像表示制御装置では、仮想３次元空間内に設定された注目点と同一の位置を注視点とする視点に基づいて仮想３次元空間を２次元座標系に透視変換した画像を、少なくとも１つのウィンドウとともに画面上に表示させるとき、重なり検出手段により画像に少なくとも１つのウィンドウが重なっているか否かが検出され、矩形領域検出手段によりウィンドウと重なっていない画像の矩形領域が検出され、その重なり検出手段により画像に少なくとも１つのウィンドウとの重なりが検出されると、注視点変更手段により矩形領域検出手段によって検出された矩形領域内に注目点が表示されるように、仮想３次元空間における注視点の位置が注目点の位置から変更される。 In the image display control program and the image display control apparatus of the present invention, the virtual three-dimensional space is perspective-transformed into a two-dimensional coordinate system based on a viewpoint having the same position as the point of interest set in the virtual three-dimensional space. When the displayed image is displayed on the screen together with at least one window, it is detected whether or not at least one window overlaps the image by the overlap detecting means, and the rectangular area of the image not overlapping the window is detected by the rectangular area detecting means. When the overlap detection unit detects an overlap with at least one window on the image, the point of interest is displayed in the rectangular area detected by the rectangular region detection unit by the gaze point changing unit. The position of the point of interest in the virtual three-dimensional space is changed from the position of the point of interest.
つまり、仮想３次元空間を２次元座標系に透視変換した画像に重ねて少なくとも１つのウィンドウが表示された場合、その画像で注目すべき特定のオブジェクトの表示の大きさをなるべく維持したままウィンドウに隠れていない視認可能な位置に表示を移動させることが可能となる。 In other words, when at least one window is displayed by superimposing a virtual three-dimensional space on an image that is perspective-transformed into a two-dimensional coordinate system, the display size of a specific object to be noticed in the image is maintained as much as possible. The display can be moved to a visible position that is not hidden.
本発明の画像表示制御プログラム及び画像表示制御装置によれば、仮想３次元空間を２次元座標系に透視変換した画像に重ねて少なくとも１つのウィンドウが画面上に表示された場合、その画像で注目すべき特定のオブジェクトの表示の大きさをなるべく維持したままウィンドウに隠れていない視認可能な位置に表示を移動させるようにしたので、その特定のオブジェクトを画面上で常に視認できるようにし、３Ｄグラフィックスの情報が損なわれないようにすることができる。 According to the image display control program and the image display control apparatus of the present invention, when at least one window is displayed on the screen so as to overlap the image obtained by perspective-transforming the virtual three-dimensional space into the two-dimensional coordinate system, attention is paid to the image. Since the display is moved to a visible position that is not hidden in the window while maintaining the display size of the specific object to be kept as much as possible, the specific object can always be visually recognized on the screen, and the 3D graphic is displayed. Information can be kept intact.
本実施形態では、画面上に、仮想３次元空間内に設定された注目点と同一の位置を注視点とする視点に基づいて仮想３次元空間を２次元座標系に透視変換した画像を、少なくとも１つのウィンドウとともに画面上に表示させるとき、重なり検出手段により画像に少なくとも１つのウィンドウが重なっているか否かが検出され、矩形領域検出手段によりウィンドウと重なっていない画像の矩形領域が検出され、その重なり検出手段により画像に少なくとも１つのウィンドウとの重なりが検出されると、注視点変更手段により矩形領域検出手段によって検出された矩形領域内に注目点が表示されるように、仮想３次元空間における注視点の位置が注目点の位置から変更される。 In the present embodiment, on the screen, an image obtained by perspective-transforming the virtual three-dimensional space into the two-dimensional coordinate system based on the viewpoint having the same position as the point of interest set in the virtual three-dimensional space as the gazing point is at least When displaying on the screen together with one window, it is detected by the overlap detection means whether or not at least one window overlaps the image, and the rectangular area of the image not overlapping the window is detected by the rectangular area detection means, In the virtual three-dimensional space, when the overlap detection unit detects an overlap of at least one window on the image, the point of interest is displayed in the rectangular area detected by the rectangular region detection unit by the gaze point changing unit. The position of the gazing point is changed from the position of the point of interest.
ここで、注目点とは、通常時に注視点が固定されるように設定されている特定のオブジェクト上の点であり、特定のオブジェクトとは、画面上で常時視認可能であることが好ましいオブジェクトのことである。 Here, the attention point is a point on a specific object that is set so that the gazing point is normally fixed, and the specific object is an object that is preferably visible at all times on the screen. That is.
また、重なり検出手段による画像に対するウィンドウの重なりは、仮想３次元空間を２次元座標系に透視変換した画像（以下、３Ｄグラフィックスという）が画面上に表示されているとき、その３Ｄグラフィックスの画像上のウィンドウの有無によって検出される。 In addition, the overlap of the window with respect to the image by the overlap detection means is performed when the image obtained by perspective-transforming the virtual three-dimensional space into the two-dimensional coordinate system (hereinafter referred to as 3D graphics) is displayed on the screen. It is detected by the presence or absence of a window on the image.
また、矩形領域検出手段による、ウィンドウによって覆われていない画像の矩形領域の検出は、たとえばディスプレイの画面上における四隅の内のいずれか１つを原点座標（０，０）とし、その原点座標（０，０）に対するウィンドウの四隅の２次元座標から得られるウィンドウの領域を３Ｄグラフィックスの画像の領域から除くことで行われる。 The rectangular area of the image not covered by the window is detected by the rectangular area detecting means, for example, with any one of the four corners on the display screen as the origin coordinates (0, 0), and the origin coordinates ( 0,0) is performed by removing the window area obtained from the two-dimensional coordinates of the four corners of the window from the area of the 3D graphics image.
また、検出された矩形領域内に注目点が表示されるように、注視点変更手段による、仮想３次元空間における注視点の位置の変更は、その検出された矩形領域の中心部分に注目点が収まるように、仮想３次元空間を３Ｄグラフィックスに再変換することで行われる。 In addition, the change of the position of the gazing point in the virtual three-dimensional space by the gazing point changing means so that the observing point is displayed in the detected rectangular area, the observing point is placed at the center of the detected rectangular area. This is done by reconverting the virtual three-dimensional space into 3D graphics to fit.
以上のような手順によって、仮想３次元空間を２次元座標系に透視変換した画像に重ねて少なくとも１つのウィンドウが画面上に表示された場合、その画像で注目すべき特定のオブジェクトの表示の大きさをなるべく維持したままウィンドウに隠れていない視認可能な位置に表示を移動させることができ、その特定のオブジェクトを画面上で常に視認できるようにし、３Ｄグラフィックスの情報が損なわれないようにすることができる。 When at least one window is displayed on the screen by superimposing an image obtained by perspective-transforming the virtual three-dimensional space into the two-dimensional coordinate system by the above-described procedure, the display size of a specific object to be noted in the image is enlarged. The display can be moved to a visible position that is not hidden by the window while maintaining as much as possible, so that the specific object can always be seen on the screen, and the information of 3D graphics is not impaired. be able to.
以下、本発明の実施例の詳細について説明する。図１は本発明の画像表示制御装置をパーソナルコンピュータに適用した場合のハードウエア構成例を示す図である。 Details of the embodiments of the present invention will be described below. FIG. 1 is a diagram showing a hardware configuration example when the image display control apparatus of the present invention is applied to a personal computer.
同図に示すように、パーソナルコンピュータは、ＣＰＵ１、ＲＯＭ２、ＲＡＭ３、キーボード４、マウス５、記憶装置６、ディスプレイ７を備えて、これらはバス８を介して接続されている。
As shown in the figure, the personal computer includes a
ここで、ＣＰＵ１は、ＲＯＭ２に格納されている所定の制御プログラムやマルチウィンド表示処理に必要なプログラムを読み込んで、各部の動作を制御する。ＲＯＭ２には、ＣＰＵ１の制御等に必要な所定の制御プログラムや画像表示制御処理に必要なプログラム等が格納されている。
Here, the
ＲＡＭ３は、ＣＰＵ１の演算結果等が展開される作業エリア等として用いられる。キーボード４は、文字や数字等のキーコードを出力する。マウス５は、ディスプレイ７に表示されている画像等の移動方向や移動速度等のデータを出力する。記憶装置６は、ハードディスク等で構成される。ディスプレイ７は、画像やテキスト文字等を表示する。
The
図２は、ＣＰＵ１がＲＯＭ２に格納されている画像表示制御処理に必要なプログラムを読み込むことで実現される画像表示制御処理部を説明するための図である。
FIG. 2 is a diagram for explaining an image display control processing unit realized by the
同図に示すように、画像表示制御処理部１０は、入力処理モジュール１１、画像表示処理モジュール１２、ウィンドウ表示処理モジュール１３、重なり検出モジュール１４、矩形領域検出モジュール１５、注視点変更モジュール１６とを有している。
As shown in the figure, the image display
ここで、入力処理モジュール１１は、キーボード４やマウス５からの入力を受け付けるものであり、その入力が現在操作対象となっているウィンドウ内での処理である場合には、図示しないメッセージ処理部を介してそのウィンドウにメッセージを送る。たとえば、現在ワードプロセッサのウィンドウが操作対象となっている場合には、キーボード４から入力された文字等がそのワードプロセッサのウィンドウオブジェクトに送られ、テキスト入力等が行われる。
Here, the
画像表示処理モジュール１２は、３次元空間座標を有する３Ｄグラフィックス（３−Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を形成するための複数のポリゴンデータを２次元座標の画像データに変換した画像としてディスプレイ７に表示させる。この場合、その変換された画像は、ディスプレイ７の画面全体に表示される。なお、３Ｄグラフィックスは、ディスプレイ７の画面全体に表示されることに限られず、ウィンドウ内に表示されるようにしてもよい。この場合、後述する座標変換において、画像が表示されるウィンドウが配置される画面上の位置（座標）が考慮される。
The image
ウィンドウ表示処理モジュール１３は、マウス５等の操作により、所定のアプリケーションプログラムの起動が指示されると、そのアプリケーションプログラムの初期処理において新たなウィンドウが表示されるように処理する。
When the activation of a predetermined application program is instructed by operating the
重なり検出手段としての重なり検出モジュール１４は、３Ｄグラフィックスの画像がディスプレイ７の画面全体に表示されているとき、ウィンドウ表示処理モジュール１３によって表示されたウィンドウの有無によって３Ｄグラフィックスの画像に対するウィンドウの重なりを検出する。
When the 3D graphics image is displayed on the entire screen of the
矩形領域検出手段としての矩形領域検出モジュール１５は、たとえばディスプレイ７の画面上における四隅の内のいずれか１つを原点座標（０，０）とし、その原点座標（０，０）に対するウィンドウの四隅の２次元座標から得られるウィンドウの領域を画像の領域から除くことで、ウィンドウによって覆われていない画像の矩形領域を検出する。
The rectangular
注視点変更手段としての注視点変更モジュール１６は、矩形領域検出モジュール１５によって検出された矩形領域の中央部分に、３次元空間座標を有する３Ｄグラフィックスの画像の注目点が収まるように、後述のように仮想３次元空間の３Ｄグラフィックスを再変換することで調整する。ここで、注目点とは、通常時に注視点が固定されるように設定されている特定のオブジェクト上の点であり、特定のオブジェクトとは、画面上で常時視認可能であることが好ましいオブジェクトのことである。
The gazing point changing module 16 as the gazing point changing means is described later so that the attention point of the 3D graphics image having the three-dimensional spatial coordinates is accommodated in the central portion of the rectangular area detected by the rectangular
次に、図３及び図４を用いて、画像表示制御処理部１０による画像表示制御方法を説明する。ここで、図３は画像表示制御処理部１０による画像表示制御方法を説明するためのフローチャートであり、図４は画像表示制御処理部１０による画像表示制御方法を説明するための図である。
Next, an image display control method by the image display
なお、図４においては、ディスプレイ７の画面上における四隅の内、左上隅を原点座標（０，０）とし、その右上隅を座標（０，１００）とし、その右下隅を座標（８０，１００）とし、その左下隅を座標（８０，０）とするものとする。
In FIG. 4, among the four corners on the screen of the
ここで、ディスプレイ７の画面上に座標（０，５０）〜座標（８０，５０）を結ぶ線ａと、座標（０，４０）〜座標（１００，４０）を結ぶ線ｂとにより、その画面がＡ，Ｂ，Ｃ，Ｄの４つの領域に４分割されているものとする。
Here, on the screen of the
また、ディスプレイ７の画面全体には、３Ｄグラフィックスの画像が表示されているとともに、その画像の上に３つのウィンドウＷ１〜Ｗ３が重ねて表示されているものとする。ここで、ウィンドウＷ１が一番手前側に表示され、そのウィンドウＷ１の次にウィンドウＷ２が表示され、そのウィンドウＷ２の次にウィンドウＷ３が表示されているものとする。
In addition, it is assumed that a 3D graphics image is displayed on the entire screen of the
また、ウィンドウＷ１の四隅の座標はＰ１１（ｘ，ｙ）、Ｐ１２（ｘ，ｙ）、Ｐ１３（ｘ，ｙ）、Ｐ１４（ｘ，ｙ）であり、ウィンドウＷ２の四隅の座標はＰ２１（ｘ，ｙ）、Ｐ２２（ｘ，ｙ）、Ｐ２３（ｘ，ｙ）、Ｐ２４（ｘ，ｙ）であり、ウィンドウＷ３の四隅の座標はＰ３１（ｘ，ｙ）、Ｐ３２（ｘ，ｙ）、Ｐ３３（ｘ，ｙ）、Ｐ３４（ｘ，ｙ）であるものとする。 The coordinates of the four corners of the window W1 are P11 (x, y), P12 (x, y), P13 (x, y), and P14 (x, y), and the coordinates of the four corners of the window W2 are P21 (x, y). y), P22 (x, y), P23 (x, y), and P24 (x, y), and the coordinates of the four corners of the window W3 are P31 (x, y), P32 (x, y), and P33 (x , Y), P34 (x, y).
そして、まず、図３に示すように、３Ｄグラフィックスの画像がディスプレイ７の画面全体に表示されているとき、重なり検出モジュール１４により、ウィンドウ表示処理モジュール１３によって表示されたウィンドウＷ１〜Ｗ３により３Ｄグラフィックスの画像に対するウィンドウＷ１〜Ｗ３の重なりの有無が検出される（ステップＳ１）。
First, as shown in FIG. 3, when an image of 3D graphics is displayed on the entire screen of the
この場合、図４のように、たとえばディスプレイ７の画面がＡ，Ｂ，Ｃ，Ｄの４分割されているものとしたとき、ウィンドウＷ１の四隅の座標であるＰ１１（ｘ，ｙ）、Ｐ１２（ｘ，ｙ）、Ｐ１３（ｘ，ｙ）、Ｐ１４（ｘ，ｙ）と、ウィンドウＷ２の四隅の座標であるＰ２１（ｘ，ｙ）、Ｐ２２（ｘ，ｙ）、Ｐ２３（ｘ，ｙ）、Ｐ２４（ｘ，ｙ）と、ウィンドウＷ３の四隅の座標であるＰ３１（ｘ，ｙ）、Ｐ３２（ｘ，ｙ）、Ｐ３３（ｘ，ｙ）、Ｐ３４（ｘ，ｙ）とのいずれかが検出され、さらにそれぞれの座標を用いた領域が検出されることで、ウィンドウＷ１〜Ｗ３の有無が検出される。
In this case, as shown in FIG. 4, for example, when the screen of the
また、ウィンドウＷ１〜Ｗ３のそれぞれの上述した各座標がＡ，Ｂ，Ｃ，Ｄの４つの領域のいずれに含まれているかを検出することで、ウィンドウＷ１〜Ｗ３によって覆われていない画像の矩形領域の有無が検出される（ステップＳ２）。 Further, by detecting which of the four areas A, B, C, and D each of the above-described coordinates of each of the windows W1 to W3 is detected, a rectangular image that is not covered by the windows W1 to W3. The presence or absence of an area is detected (step S2).
ここで、図４の場合では、Ａ，Ｂ，Ｃ，Ｄの４つの領域の全てにウィンドウＷ１〜Ｗ３の一部が含まれているため、矩形領域検出モジュール１５により、そのＡ，Ｂ，Ｃ，Ｄの４つの領域の内、ウィンドウＷ１〜Ｗ３によって覆われていない画像の最も大きい矩形領域が検出される（ステップＳ３）。
Here, in the case of FIG. 4, since all of the four areas A, B, C, and D include a part of the windows W1 to W3, the rectangular
この場合、たとえばＡ，Ｂ，Ｃ，Ｄの４つの領域毎に、それぞれの領域に含まれているウィンドウＷ１〜Ｗ３の領域を求め、ウィンドウＷ１〜Ｗ３によって覆われていない画像の矩形領域を検出する。
この場合、図４に示すように、Ａ，Ｂ，Ｃ，Ｄの４つの領域の内、Ｄの領域内の領域ＥがウィンドウＷ３によって覆われていない画像の最も大きい矩形領域として検出される。
In this case, for example, for each of the four areas A, B, C, and D, the areas of the windows W1 to W3 included in the respective areas are obtained, and the rectangular area of the image not covered by the windows W1 to W3 is detected. To do.
In this case, as shown in FIG. 4, among the four areas A, B, C, and D, the area E in the area D is detected as the largest rectangular area of the image not covered by the window W3.
なお、たとえばＡ，Ｂ，Ｃ，Ｄの４つの領域において、ウィンドウＷ１〜Ｗ３によって覆われていない画像の矩形領域がそれぞれ同じである場合は、たとえばＡ，Ｂ，Ｃ，Ｄの順に優先順位を付けておき、その優先順位の高いＡの領域がウィンドウＷ１〜Ｗ３によって覆われていない画像の最も大きい矩形領域として検出されるようにしてもよい。 For example, in the four areas A, B, C, and D, if the rectangular areas of the images that are not covered by the windows W1 to W3 are the same, the priorities are set in the order of A, B, C, and D, for example. In addition, the area A having a high priority may be detected as the largest rectangular area of the image not covered by the windows W1 to W3.
このようにして、Ｄの領域内の領域ＥがウィンドウＷ３によって覆われていない画像の最も大きい矩形領域として検出されると、注視点変更モジュール１６により、その領域Ｅである矩形領域の中心部分の座標Ｅ（ｘ，ｙ）に３次元空間座標を有する３Ｄグラフィックスの画像の注目点が収まるように、仮想３次元空間の３Ｄグラフィックスを再変換することでその注目点の表示位置が調整される（ステップＳ４）。 In this way, when the area E in the area D is detected as the largest rectangular area of the image not covered by the window W3, the gaze point changing module 16 determines the central portion of the rectangular area that is the area E. The display position of the attention point is adjusted by re-transforming the 3D graphics in the virtual three-dimensional space so that the attention point of the 3D graphics image having the three-dimensional space coordinates at the coordinates E (x, y) fits. (Step S4).
このように、本実施例では、ディスプレイ７の画面上に、３次元空間座標を有する３Ｄグラフィックス（３−Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を形成するための複数のポリゴンデータを２次元座標の画像データに変換した画像に、少なくとも１つのウィンドウが重ねて表示されるとき、重なり検出手段としての重なり検出モジュール１４により、画像上に少なくとも１つのウィンドウＷ１〜Ｗ３が重なっているか否かが検出され、矩形領域検出手段としての矩形領域検出モジュール１５により、ウィンドウＷ１〜Ｗ３によって覆われていない画像の矩形領域が検出され、注視点変更手段としての注視点変更モジュール１６により、３Ｄグラフィックスの注目点が検出された矩形領域の中央部分に収まるように注目点の表示位置が調整される。
As described above, in this embodiment, a plurality of polygon data for forming 3D graphics (3-Dimensional Computer Graphics) having three-dimensional space coordinates on the screen of the
すなわち、重なり検出モジュール１４による画像に対するウィンドウＷ１〜Ｗ３の重なりは、２次元座標の画像データに変換された３Ｄグラフィックスの画像が画面全体に表示されているとき、その３Ｄグラフィックスの画像上のウィンドウＷ１〜Ｗ３の有無によって検出される。 That is, the overlap of the windows W1 to W3 with respect to the image by the overlap detection module 14 indicates that the 3D graphics image converted into the image data of the two-dimensional coordinates is displayed on the entire screen when the 3D graphics image is displayed. It is detected by the presence or absence of windows W1 to W3.
また、矩形領域検出モジュール１５によるウィンドウＷ１〜Ｗ３によって覆われていない画像の矩形領域の検出は、たとえばディスプレイ７の画面上における四隅の内のたとえば左上隅を原点座標（０，０）とし、その原点座標（０，０）に対するウィンドウＷ１〜Ｗ３の四隅の２次元座標から得られるウィンドウＷ１〜Ｗ３の領域を３Ｄグラフィックスの画像の領域から除くことで行われる。
Further, the rectangular area detection of the image not covered by the windows W1 to W3 by the rectangular
また、注視点変更モジュール１６による注目点が検出された矩形領域内となるような調整は、その検出された矩形領域の中心部分に注目点が収まるように、３次元空間座標を有する３Ｄグラフィックスの複数のポリゴンデータを２次元座標の画像データに再変換することで行われる。 In addition, the adjustment by the gaze point changing module 16 so that the attention point is within the detected rectangular area is performed by 3D graphics having three-dimensional space coordinates so that the attention point is placed in the central portion of the detected rectangular area. This is performed by re-converting a plurality of polygon data into image data of two-dimensional coordinates.
以上のような手順によって、３次元空間座標を有する複数のポリゴンデータを２次元座標の画像データに変換した画像に少なくとも１つのウィンドウＷ１〜Ｗ３が重ねて表示された場合、その画像の注目点をウィンドウと重ならないように調整することで、３Ｄグラフィックスの情報が損なわれないようにすることができる。 When at least one window W1 to W3 is displayed superimposed on an image obtained by converting a plurality of polygon data having three-dimensional spatial coordinates into image data of two-dimensional coordinates by the above procedure, the attention point of the image is displayed. By adjusting so as not to overlap with the window, it is possible to prevent the information of 3D graphics from being damaged.
次に、図５及び図６を用いて、上述した注目点の表示位置を調整する場合の処理について説明する。ここで、図５はウィンドウが開かれていない状態を示す図であり、図６はウィンドウが開かれた状態を示す図である。 Next, a process for adjusting the display position of the attention point described above will be described with reference to FIGS. 5 and 6. Here, FIG. 5 is a diagram showing a state where the window is not opened, and FIG. 6 is a diagram showing a state where the window is opened.
まず、図５（ａ）に示すように、ウィンドウが開かれていない状態では、注視点ａを特定のオブジェクトｂ上の注目点ｄに固定する。このとき、仮想カメラ（視点）ｃを注視点ａから一定の距離だけ離れた位置に固定する。ただし、注目点ｄが移動した場合は追いかける。これにより、図５（ｂ）に示すように、画面上の注目点ｄの表示位置が常時画面中央となる。 First, as shown in FIG. 5A, when the window is not opened, the gazing point a is fixed to the attention point d on the specific object b. At this time, the virtual camera (viewpoint) c is fixed at a position away from the gazing point a by a certain distance. However, if the attention point d moves, it is followed. As a result, as shown in FIG. 5B, the display position of the point of interest d on the screen is always the center of the screen.
これに対し、ウィンドウが開かれたときは、図６（ａ）に示すように、ウィンドウに覆われていない矩形領域を上述した手順で検出する。次に、最大矩形領域の中央の座標Ａを算出する。 On the other hand, when the window is opened, as shown in FIG. 6A, a rectangular area not covered by the window is detected by the procedure described above. Next, the coordinate A at the center of the maximum rectangular area is calculated.
座標Ａに基づいて算出した位置に、注視点ａ及び視点ｃを移動させる（ワールド座標系における座標をそれぞれ再設定）。注視点ａ及び視点ｃが移動したことによって、３Ｄグラフィックスが再変換され、図６（ｂ）に示すように、画面上の注目点ｄの表示位置が座標Ａとなるよう調整される。 The gazing point a and the viewpoint c are moved to the position calculated based on the coordinate A (the coordinates in the world coordinate system are reset). As the gazing point a and the sight point c are moved, the 3D graphics are reconverted, and the display position of the attention point d on the screen is adjusted to the coordinate A as shown in FIG.
ここで、座標Ａの値に基づく計算について説明する。まず、注視点ａを注目点ｄから一定の距離だけ離れた位置に固定する。また、視点ｃを注視点ａから一定の距離だけ離れた位置に固定する。それぞれの位置は、所定の係数を用いて座標Ａを座標変換することで算出されるが、ここで用いられる係数は、注目点ｄが設定されているオブジェクトの表示の具合（大きさ、向き等）や計算の処理量等を考慮して適宜決定すればよい。 Here, calculation based on the value of the coordinate A will be described. First, the fixation point a is fixed at a position away from the attention point d by a certain distance. Further, the viewpoint c is fixed at a position away from the gazing point a by a certain distance. Each position is calculated by converting the coordinate A using a predetermined coefficient. The coefficient used here is the display condition (size, orientation, etc.) of the object where the point of interest d is set. ) And the processing amount of calculation and the like may be determined as appropriate.
なお、視点ｃを移動させることなく、注視点ａのみを移動させることによって注目点ｄの表示位置を座標Ａとなるように調整することもできる。ただし、この場合、オブジェクトｂの表示の具合が注視点ａの位置のみによって決定されてしまうため、視点ｃを移動させる場合に比べて、表示位置の変化に伴うオブジェクトｂの表示の変化が大きくなることもある。 Note that the display position of the attention point d can be adjusted to the coordinate A by moving only the gazing point a without moving the viewpoint c. However, in this case, since the display state of the object b is determined only by the position of the gazing point a, the change in the display of the object b accompanying the change in the display position is larger than when the viewpoint c is moved. Sometimes.
１ ＣＰＵ
２ ＲＯＭ
３ ＲＡＭ
４ キーボード
５ マウス
６ 記憶装置
７ ディスプレイ
８ バス
１０ 画像表示制御処理部
１１ 入力処理モジュール
１２ 画像表示処理モジュール
１３ ウィンドウ表示処理モジュール
１４ 重なり検出モジュール
１５ 矩形領域検出モジュール
１６ 注視点変更モジュール
1 CPU
2 ROM
3 RAM
4
Claims (12)
前記画像に少なくとも１つの前記ウィンドウが重なっているか否かを検出する重なり検出手段と、
前記ウィンドウと重なっていない前記画像の矩形領域を検出する矩形領域検出手段と、
前記重なり検出手段により前記画像に少なくとも１つの前記ウィンドウとの重なりが検出されたとき、前記矩形領域検出手段により検出された前記矩形領域内に前記注目点が表示されるように、前記仮想３次元空間における前記注視点の位置を前記注目点の位置から変更する注視点変更手段とを有し、
コンピュータをこれらの手段として機能させることを特徴とする画像表示制御プログラム。 Set in a virtual three-dimensional space, the virtual based normally set the same position and the target point is a point on a particular object is to gaze point is fixed at the time of the viewpoint and the gazing point An image display control program for displaying an image obtained by perspective-transforming a three-dimensional space into a two-dimensional coordinate system on a screen together with at least one window,
Overlap detection means for detecting whether or not at least one window overlaps the image;
A rectangular area detecting means for detecting a rectangular area of the image not overlapping the window;
When the overlap detection unit detects an overlap with at least one window on the image, the virtual three-dimensional display is performed so that the point of interest is displayed in the rectangular region detected by the rectangular region detection unit. Gaze point changing means for changing the position of the gaze point in space from the position of the point of interest,
An image display control program for causing a computer to function as these means.
前記画像に少なくとも１つの前記ウィンドウが重なっているか否かを検出する重なり検出手段と、
前記ウィンドウと重なっていない前記画像の矩形領域を検出する矩形領域検出手段と、
前記重なり検出手段が前記画像に少なくとも１つの前記ウィンドウとの重なりを検出したときに、前記矩形領域検出手段によって検出された前記矩形領域内に前記注目点が表示されるように、前記仮想３次元空間における前記注視点の位置を前記注目点の位置から変更する注視点変更手段とを備えることを特徴とする画像表示制御装置。 Set in a virtual three-dimensional space, the virtual based normally set the same position and the target point is a point on a particular object is to gaze point is fixed at the time of the viewpoint and the gazing point An image display control device for displaying an image obtained by perspective-transforming a three-dimensional space into a two-dimensional coordinate system on a screen together with at least one window,
Overlap detection means for detecting whether or not at least one window overlaps the image;
A rectangular area detecting means for detecting a rectangular area of the image not overlapping the window;
When the overlap detection unit detects an overlap with at least one window on the image, the virtual three-dimensional display is performed so that the attention point is displayed in the rectangular region detected by the rectangular region detection unit. An image display control apparatus comprising: a gazing point changing unit that changes a position of the gazing point in space from a position of the attention point.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007219983A JP5045308B2 (en) | 2007-08-27 | 2007-08-27 | Image display control program and image display control apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007219983A JP5045308B2 (en) | 2007-08-27 | 2007-08-27 | Image display control program and image display control apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009053922A JP2009053922A (en) | 2009-03-12 |
| JP5045308B2 true JP5045308B2 (en) | 2012-10-10 |
Family
ID=40504954
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007219983A Expired - Fee Related JP5045308B2 (en) | 2007-08-27 | 2007-08-27 | Image display control program and image display control apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5045308B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6089133B1 (en) | 2016-05-23 | 2017-03-01 | 三菱日立パワーシステムズ株式会社 | Three-dimensional data display device, three-dimensional data display method, and program |
| JP7327083B2 (en) | 2019-10-30 | 2023-08-16 | 富士通株式会社 | Region clipping method and region clipping program |
| CN112583981B (en) * | 2020-12-29 | 2022-04-05 | 华勤技术股份有限公司 | Method and device for displaying screen after screen breaking |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0527938A (en) * | 1991-07-23 | 1993-02-05 | Fuji Xerox Co Ltd | Multiwindow display device |
| JP3022069B2 (en) * | 1993-06-30 | 2000-03-15 | 株式会社ビジュアルサイエンス研究所 | Information display apparatus and method using three-dimensional icons |
| JPH07200875A (en) * | 1993-12-27 | 1995-08-04 | Mutoh Ind Ltd | Display position changing method for three-dimensional model |
| JPH0973049A (en) * | 1995-06-29 | 1997-03-18 | Canon Inc | Image display method and image display device using the same |
-
2007
- 2007-08-27 JP JP2007219983A patent/JP5045308B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009053922A (en) | 2009-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8994721B2 (en) | Information processing apparatus, information processing method, and program for extending or expanding a viewing area of content displayed on a 2D workspace into a 3D virtual display screen | |
| US7900158B2 (en) | Virtual magnifying glass with intuitive use enhancements | |
| JP5769392B2 (en) | Information processing apparatus and method | |
| EP0856786B1 (en) | Window Displaying apparatus and method | |
| US9779702B2 (en) | Method of controlling head-mounted display system | |
| JP2006127158A (en) | Image processing method and image processor | |
| WO2020206045A4 (en) | Graphical patient and patient population data display environment and elements | |
| US20080250344A1 (en) | Information processing apparatus and display method | |
| JP4222875B2 (en) | 3D image display apparatus and program | |
| WO2015030264A1 (en) | Device, method, and program for detecting click operation | |
| TW201235884A (en) | Electronic apparatus with touch screen and associated displaying control method | |
| JP5442214B2 (en) | Method and apparatus for simultaneously displaying mouse pointer on a plurality of display screen areas, mouse simulation program | |
| JP2019008623A (en) | Information processing apparatus, information processing apparatus control method, computer program, and storage medium | |
| WO2004107763A1 (en) | 3-dimensional video display device and program | |
| KR100971667B1 (en) | Apparatus and method for providing realistic contents through augmented book | |
| JP5045308B2 (en) | Image display control program and image display control apparatus | |
| US7271815B2 (en) | System, method and program to generate a blinking image | |
| WO2014054317A1 (en) | User interface device and user interface method | |
| JP2006343954A (en) | Image processing method and image processor | |
| US10852767B2 (en) | Handwriting support device | |
| JP3413145B2 (en) | Virtual space editing method and virtual space editing device | |
| JP3859361B2 (en) | Information display device | |
| JP5213033B2 (en) | Software input key display method, program, and information processing terminal | |
| JP2001266175A (en) | Device/method for processing three-dimensional model and program providing method | |
| US20230237732A1 (en) | Information processing apparatus and non-transitory computer readable medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100820 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120619 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120702 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150727 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5045308 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150727 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |