JP4457130B2 - Display input device - Google Patents
Display input device Download PDFInfo
- Publication number
- JP4457130B2 JP4457130B2 JP2007180102A JP2007180102A JP4457130B2 JP 4457130 B2 JP4457130 B2 JP 4457130B2 JP 2007180102 A JP2007180102 A JP 2007180102A JP 2007180102 A JP2007180102 A JP 2007180102A JP 4457130 B2 JP4457130 B2 JP 4457130B2
- Authority
- JP
- Japan
- Prior art keywords
- window
- information
- pointing
- cursor
- pointing information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
本発明は、ディスプレイに表示する画像の変形、たとえばウィンドウのリサイズや編集中の画像の変形などを行なうためのグラフィカルユーザインターフェースに関する。 The present invention relates to a graphical user interface for deforming an image displayed on a display, for example, resizing a window or deforming an image being edited.
現在のコンピュータにおいて主流のなっているオペレーティングシステム（以下、ＯＳという）は、一般にユーザの操作性を向上させるためにグラフィカルユーザインターフェース（ＧＵＩ）による操作が行われている。このグラフィカルユーザインターフェースにおいて、アプリケーションやデータは画面上にそれぞれ適当な画像として表示され、ユーザはマウスなどのポインティングデバイスやキーボードなどのデバイスを操作し、画面に表示されているアプリケーションへの指示やデータの編集を行なう。 In general, an operating system (hereinafter referred to as an OS) that is mainstream in current computers is operated by a graphical user interface (GUI) in order to improve user operability. In this graphical user interface, applications and data are displayed as appropriate images on the screen, and the user operates a pointing device such as a mouse or a device such as a keyboard to give instructions and data to the application displayed on the screen. Edit.
グラフィカルユーザインターフェースとは、グラフィカルな画面を用い、対話的かつ直感的に操作できるように考えられたインターフェースである。現在のグラフィカルユーザインターフェースは、Ｗｉｎｄｏｗｓ（登録商標）でもＭａｃ ＯＳにおいても人間が机上で行なう作業と同じような感覚でパーソナルコンピュータ上のアプリケーションやデータを操作できるように配慮されている。具体的には、アプリケーションやファイルなどを連想しやすいビジュアルなアイコンで表示し、そのアイコンをダブルクリックすればアプリケーションが起動したり、ファイルが開く。アプリケーションはウィンドウと呼ばれる矩形領域毎に動かしたり、複数のウィンドウを同時に表示して簡単に切り換えることもできる。 A graphical user interface is an interface designed to be interactively and intuitively operated using a graphical screen. The current graphical user interface is designed so that applications and data on a personal computer can be operated with the same feeling as a human work on a desktop in both Windows (registered trademark) and Mac OS. Specifically, applications and files are displayed with easy-to-associate visual icons, and double-clicking on the icon starts the application or opens the file. The application can be moved for each rectangular area called a window, or multiple windows can be displayed at the same time for easy switching.
すなわち、一般のグラフィカルユーザインターフェースにおいて、個々のアプリケーションは１つあるいは複数のウィンドウと呼ばれる作業領域を画面上に表示し、個々のデータはウィンドウ内に表示される。ユーザはこの画面に表示されているウィンドウを介してアプリケーションに指示を送り、データを閲覧したり編集したりすることができ、アプリケーションはその結果を画面に表示する。 That is, in a general graphical user interface, each application displays a work area called one or a plurality of windows on the screen, and each data is displayed in the window. The user can send an instruction to the application through the window displayed on the screen to view or edit the data, and the application displays the result on the screen.
ユーザの操作はポインティングデバイスと呼ばれるマウスなどのデバイスを用いて行われる。ポインティングデバイスは通常画面のカーソルを操作するポインタと、ボタンと呼ばれるスイッチを１個から複数備えている。ユーザはポインタを操作してカーソルを移動し、ボタンを押すことにより適切な情報を電気信号として送信する。 The user's operation is performed using a device such as a mouse called a pointing device. The pointing device normally includes one or more pointers for operating a cursor on the screen and switches called buttons. The user operates the pointer to move the cursor, and presses a button to transmit appropriate information as an electrical signal.
ポインティングデバイスから送られる電気信号はイベントとしてＯＳに理解される。イベントの種類はポインティングデバイスより送られる電気信号により異なったものとなる。たとえばマウスのボタンを比較的短い時間で１度押して離した場合には「クリック」というイベントであったり、比較的短い時間で２度押して離した場合には「ダブルクリック」というイベントであったり、比較的長い時間ボタンを押しながらポインタでカーソルを移動させた場合は「ドラッグ」というイベントであったり、といったものになる。 An electrical signal sent from the pointing device is understood by the OS as an event. The type of event differs depending on the electrical signal sent from the pointing device. For example, if the mouse button is pressed and released once in a relatively short time, the event is “click”. If the button is pressed and released twice in a relatively short time, the event is “double click”. If the cursor is moved with the pointer while holding down the button for a relatively long time, the event may be “drag”.
ＯＳに理解されたイベントは、その種類と座標などの付加データにしたがってＯＳにより適切な処置が行われるか、あるいはイベントがアプリケーション領域で発生した場合は、アプリケーションに送られる。イベントがアプリケーションに送られた場合は、受けたアプリケーションによりイベントにしたがった適切な処置が行われるか、あるいは捨てられる。このように、ＯＳ内部でイベントにより操作が行われるシステムはイベント駆動型システムと呼ばれる。 The event understood by the OS is appropriately processed by the OS according to the additional data such as its type and coordinates, or is sent to the application when the event occurs in the application area. When an event is sent to an application, an appropriate action according to the event is performed by the received application or discarded. Thus, a system in which an operation is performed by an event inside the OS is called an event-driven system.
イベントの発生、送受信方法などの詳細はそれぞれのシステムによって異なるが、上述のようなイベント駆動型と呼ばれるグラフィカルユーザインターフェースを備えたシステムは、すでに利用可能なものが存在する。たとえば、Ａｐｐｌｅ社のＭａｃ ＯＳ、Ｍｉｃｒｏｓｏｆｔ社のＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）、ＩＢＭ社のＯＳ／２、あるいはＵＮＩＸ（登録商標）上で動作するＸ Ｗｉｎｄｏｗ Ｓｙｓｔｅｍなどが知られている。 Details of event generation, transmission / reception method, and the like differ depending on each system. However, there are already available systems having a graphical user interface called event-driven type as described above. For example, the Mac OS of Apple, the Microsoft Windows (registered trademark) of Microsoft, the OS / 2 of IBM, or the X Windows System operating on UNIX (registered trademark) is known.
上述のシステムにおいて、一般にウィンドウのリサイズを行なうときは、ウィンドウの最も外側の枠である「ボーダー」付近にカーソルを合わせ、ボタンを押しながらカーソルを移動するドラッグという操作を行なった後、希望のサイズになったところでボタンを離すという操作を行なう。また、ウィンドウの位置に移動する際にはウィンドウの一番上に水平に位置する「タイトルバー」と呼ばれる部分にカーソルを合わせ、ボタンを押しながらカーソルを移動するドラッグという操作を行なった後、希望の位置になったところでボタンを離すという操作を行なう。ここで、リサイズと移動とでユーザの行なう動作は全く同じである。したがって、ウィンドウへの動作、この場合はリサイズと移動、の判断は最初にボタンが押されたときのカーソルの位置によるものである。 In the above-mentioned system, generally when resizing a window, place the cursor near the "border" that is the outermost frame of the window, perform a drag operation that moves the cursor while pressing the button, and then the desired size. When it becomes, perform the operation of releasing the button. When moving to the window position, move the cursor to the part called the “title bar” that is positioned horizontally at the top of the window. Release the button when the position is reached. Here, the user performs the same operations for resizing and moving. Therefore, the action to the window, in this case resizing and moving, is based on the cursor position when the button is first pressed.
ところで、ユーザにとってカーソルの位置を合わせて指示の仕方を決めるという従来の方法が難しいときがある。たとえば、リサイズの際には上述のようにカーソルを合わせることが難しい。もしずれたままの状態でボタンを押してしまった場合は、別の指示をしたことになる。そこで、このような不具合を解消するものとして、特許文献１の「表示監視装置」が開示されている。
By the way, there are times when it is difficult for the user to use the conventional method of deciding how to instruct by matching the cursor position. For example, when resizing, it is difficult to align the cursor as described above. If you press the button while it is out of alignment, you have given another instruction. Therefore, as a means for solving such a problem, a “display monitoring device” of
しかしながら、特許文献１に開示されている装置にあっては、ウィンドウを縮小したときにイベントを認識する領域を狭くしないことができるものの、リサイズの際のウィンドウの外枠のように、元々狭いものに対してはカーソルを合わせやすくすることができないという問題点があった。
However, in the apparatus disclosed in
本発明は，上記に鑑みてなされたものであって，複数のポインティングデバイスの情報を組み合わせることにより、カーソルの位置によることなくウィンドウや画像変形の制御を可能にすることを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to enable control of windows and image deformation without depending on the position of a cursor by combining information of a plurality of pointing devices.
上記の目的を達成するために，請求項１にかかる表示入力装置は、画面上に表示されたウィンドウの指定及び移動を操作するためのポインティング情報を受け付ける受付手段を備え、ポインティング情報により前記ウィンドウ中のバー領域が指定され、且つ、前記ウィンドウの移動が操作された場合に、該指定及び操作に応じて前記ウィンドウを移動させる表示入力装置であって、前記ウィンドウ中の前記バー領域以外の領域であって、表示された情報の編集を行なうための編集領域が第１のポインティング情報により指定されたときに前記第１のポインティング情報を所定期間保持し、前記所定期間内に前記編集領域が第２のポインティング情報により指定され、かつ、前記第１のポインティング情報および前記第２のポインティング情報により前記ウィンドウの移動が操作された場合に、該指定及び操作に応じて前記ウィンドウを移動させることを特徴とする。また、請求項２にかかる表示入力装置は、画面上に表示されたウィンドウまたは画像の指定及び移動を操作するためのポインティング情報を受け付ける受付手段を備え、ポインティング情報により前記ウィンドウ中のバー領域が指定され、且つ、前記ウィンドウの移動が操作された場合に、該指定及び操作に応じて前記ウィンドウを移動させる表示入力装置であって、前記ウィンドウ中の前記バー領域以外の領域であって、表示された情報の編集を行なうための編集領域に表示されている画像が、第１のポインティング情報により指定されたときに前記第１のポインティング情報を所定期間保持し、前記所定期間内に前記画像が第２のポインティング情報により指定され、かつ、前記第１のポインティング情報および前記第２のポインティング情報により前記画像の移動が操作された場合に、該指定及び操作に応じて前記画像を移動させることを特徴とする。
In order to achieve the above object, a display input device according to
この発明によれば、システム内の複数のポインティングデバイスから送られるポインティング情報を組み合わせ、ユーザの指示内容を判断することにより、たとえばウィンドウ内のカーソルの位置によらずウィンドウを移動させることが可能になる。 According to the present invention, it is possible to move a window regardless of the position of the cursor in the window, for example, by combining the pointing information sent from a plurality of pointing devices in the system and determining the contents of the user's instruction. .
以上説明したように、本発明にかかる表示入力装置（請求項１および請求項２）によれば、システム内の複数のポインティングデバイスから送られるポインティング情報を組み合わせ、ユーザの指示内容を判断して処理するため、カーソルの位置によることなくウィンドウや画像変形の制御を行なうことができる。
As described above, according to the display input device (
以下，本発明にかかるグラフィカルユーザインターフェースの好適な実施の形態について添付図面を参照し、詳細に説明する。なお、本発明はこの実施の形態に限定されるものではない。 DESCRIPTION OF EMBODIMENTS Hereinafter, a preferred embodiment of a graphical user interface according to the present invention will be described in detail with reference to the accompanying drawings. The present invention is not limited to this embodiment.
図１は、実施の形態にかかるグラフィカルユーザインターフェースのシステム構成例を示すブロック図である。図において、符号１１はパーソナルコンピュータから送られてくる画像情報を表示するディスプレイ、符号２１はディスプレイ１１とそれぞれ接続されたパーソナルコンピュータ、符号６０ａ，６０ｂはパーソナルコンピュータ２１と有線あるいは無線、あるいはネットワークを介して接続されるポインティングデバイスである。
FIG. 1 is a block diagram of a system configuration example of a graphical user interface according to the embodiment. In the figure,
ディスプレイ１１は、ＣＲＴディスプレイあるいは液晶ディスプレイ、あるいはプラズマ・ディスプレイなどで構成され、たとえば６４０（横）×４８０（縦）ドットの解像度の表示、すなわち６４０×４８０＝３０７２００個の微細なドットの画面を表示する能力を有する。
The
パーソナルコンピュータ２１は、ＣＰＵ３０と、２次記憶装置として利用されるハードディスクなどを用いた保持部３１と、ＶＲＡＭ（ｖｉｄｅｏ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ：グラフィクス・ディスプレイのフレーム・バッファ専用ＲＡＭ）４１を有する出力部４０と、ポインティングデバイス６０ａと接続される入力部５０とを備えている。ＶＲＡＭ４１は、表示すべき画像の各ドットの色が、２進数化されたＲＧＢデータの形で記憶するビデオメモリである。
The
ポインティングデバイス６０ａ，６０ｂは、ジョイスティックあるいはマウスなどの入力装置であり、出力部６１と、入力部６２と、３つのスイッチ６３とを備えている。
The
ポインティングデバイス６０ａ，６０ｂとパーソナルコンピュータ２１との接続方式や規格（プロトコル）はどのようなものであってもよい。たとえば、ＲＳ２３２ＣやＭＩＤＩ（ｍｕｓｉｃａｌ ｉｎｓｔｒｕｍｅｎｔ ｄｉｇｉｔａｌ
ｉｎｔｅｒｆａｃｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ１３９４などシリアル通信やパラレル通信、あるいは光，ＦＭ，ＡＭ変調・復調などによる無線通信であってもよく、さらにはＥｔｈｅｒｎｅｔ（登録商標）などの汎用のネットワークを経由する接続によって実現させてもよい。
Any connection method or standard (protocol) may be used between the
interface), USB (Universal Serial Bus), IEEE 1394, or other serial communication or parallel communication, or wireless communication using optical, FM, AM modulation / demodulation, etc., and a general-purpose network such as Ethernet (registered trademark). You may implement | achieve by the connection through.
すなわち、パーソナルコンピュータ２１は、後述する表示出力に関する計算や制御を行なうＣＰＵ３０と、表示する画像を描画するためのＶＲＡＭ４１と、ＶＲＡＭ４１の内容をグラフィックとしてディスプレイ１１へ出力する出力部４０とを有する。出力部４０は、物理的接続のためのデバイスとＶＲＡＭ４１、デバイスを駆動するソフトウェアを内包している。さらに、パーソナルコンピュータ２１は、ポインティングデバイス６０ａ，６０ｂから入力される入力部５０を有する。入力部５０は、物理的接続のためのデバイスと、デバイスからの信号を処理するためのソフトウェアを内包している。
That is, the
従来においてはポインティングデバイスが通常１つ接続されているが、この実施の形態ではポインティングデバイスを複数接続することに１つの特徴がある。従来でも複数のポインティングデバイスが接続されることがある。たとえばノートＰＣなどの携帯用コンピュータシステムの外部端子にマウスを接続したような場合である。しかし、この場合はたとえば複数のポインティングデバイスが接続されていても、それから入力される情報は独立に処理されるところが本発明と異なる。本発明では複数のポインティングデバイスから入力される情報を組み合わせて処理するものである。 Conventionally, one pointing device is usually connected, but this embodiment has one feature in connecting a plurality of pointing devices. Conventionally, a plurality of pointing devices may be connected. For example, a mouse is connected to an external terminal of a portable computer system such as a notebook PC. However, in this case, for example, even when a plurality of pointing devices are connected, the information input from the pointing devices is processed independently from the present invention. In the present invention, information input from a plurality of pointing devices is combined and processed.
ここで、複数のポインティングデバイスにおける「複数の〜」という意味は、物理的に別のポインティングデバイス、たとえば２つのマウスを接続する場合は当然であるが、物理的に１つのポインティングデバイスから複数のポインタ情報を出力できる場合も含まれる。たとえばタッチパネルやペンタブレットなどにおいて、指やペンを複数箇所に同時に接触させた場合に、複数のポインタ情報を認識し、かつ出力することができる装置も含まれる。物理的には１つのポインティングデバイスであっても、複数のポインタ情報を出力できる装置は、本発明でいうところの複数のポインティングデバイスと同義である。 Here, the meaning of “plurality of” in a plurality of pointing devices is not limited to a physically different pointing device, for example, when two mice are connected, but a plurality of pointers physically from one pointing device. This includes cases where information can be output. For example, in a touch panel, a pen tablet, and the like, a device that can recognize and output a plurality of pointer information when a finger or a pen is simultaneously brought into contact with a plurality of locations is also included. An apparatus capable of outputting a plurality of pointer information even if it is physically one pointing device is synonymous with a plurality of pointing devices in the present invention.
図２は、本発明にかかるグラフィカルユーザインターフェースの典型的な表示画面を示す説明図である。図において、符号１はタイトルバー、符号２はウィンドウ（アプリケーションエリア）、符号３はボーダー、符号４はアイコン化ボタン、符号５はアイコン、符号６はリサイズボックスである。
FIG. 2 is an explanatory diagram showing a typical display screen of the graphical user interface according to the present invention. In the figure,
すなわち、図２の中央に位置する矩形はウィンドウ２である。現在主流になっているＯＳでは、ＯＳやアプリケーションへの指示はウィンドウ２を通じて行なう。画面の背景もまた通常ルートウィンドウと呼ばれる特殊なウィンドウである。ウィンドウ２は通常タイトルバー１、ボーダー３、アイコン化ボタン４、リサイズボックス５などＯＳへの指示内容が割り当てられた領域を備えている。この位置は同じＯＳにおけるウィンドウ間でほぼ共通であるが、ＯＳの種類によっては異なることがある。
That is, the rectangle located in the center of FIG. In the currently mainstream OS, instructions to the OS and applications are given through the window 2. The screen background is also a special window, usually called the root window. The window 2 includes areas to which the contents of instructions to the OS, such as a
多くのＯＳでは、図３に示すように、タイトルバー１にカーソル６を合わせ、ボタン（スイッチ６３）を押しながらカーソルを移動する「ドラッグ」という操作を行なうことにより、ウィンドウ２をディスプレイ上で移動することができる。このように、従来の方法ではカーソル６の位置を認識することによりポインティングデバイスの指示を判断している。したがって、ウィンドウ２を移動するためには、上述したようにタイトルバー１にカーソル６を合わせなければならない。このため、もしウィンドウ２で同じことを行った場合、ＯＳはそのイベントをウィンドウの所有者であるアプリケーションに送るため、アプリケーションに指示を与えることになる。
In many OSs, as shown in FIG. 3, the window 2 is moved on the display by moving the cursor 6 to the
これに対して本発明では、システム内の複数のポインティングデバイス６０ａ，６０ｂから送られくる情報を組み合わせることにより、ユーザが指示する内容を判断する。ここで、図１におけるポインティングデバイス６０ａ，６０ｂをＤｅｖ１，Ｄｅｖ２と呼称する。このＤｅｖ１，Ｄｅｖ２はボタンと呼ばれるスイッチ（図１における符号６３）を１つずつ備えているものとする。なお、上述したように、Ｄｅｖ１，Ｄｅｖ２は物理的に別のデバイスであってもよいし、ある種のペンタブレットのように、物理的に複数のポインタをもつ１つのデバイスであってもよい。
On the other hand, in the present invention, the contents designated by the user are determined by combining information sent from a plurality of pointing
つぎに、以上のように構成され定義されたシステムにおける動作例について説明する。図４は、本発明の実施の形態にかかる第１の動作例を示すフローチャートである。図５は、本発明の実施の形態にかかる第１の動作例を示す表示画面である。いま、Ｄｅｖ１のカーソルが図５のｐ１の位置のある状態においてボタンが押された場合を考える。この位置はウィンドウ２の内部であるから通常ならばただちにＯＳからアプリケーションに送られるが、この実施の形態では、図４の動作を行なう。 Next, an operation example in the system configured and defined as described above will be described. FIG. 4 is a flowchart showing a first operation example according to the embodiment of the present invention. FIG. 5 is a display screen showing a first operation example according to the embodiment of the present invention. Consider the case where the button is pressed while the Dev1 cursor is at the position p1 in FIG. Since this position is within the window 2, it is normally sent from the OS to the application as usual, but in this embodiment, the operation of FIG. 4 is performed.
まず、ボタンが押されたか否かを判断する（ステップＳ１１）。ここで、Ｄｅｖ１のボタン１が押下されたと判断すると、押下された後にある単位時間ｔ１（たとえば数１００ｍｓ）Ｄｅｖ１から送られてきた情報を保持部３１に保持する（ステップＳ１２）。そして、つぎの情報があるか否かを判断する（ステップＳ１３）。ここで、つぎの情報があれば、さらにＤｅｖ２のボタン２が押下されたか否かを判断する（ステップＳ１４）。ここで、Ｄｅｖ２のカーソルが図５に示すｐ２の位置にある状態においてボタンが押されたとする。すると保持されているＤｅｖ１の情報はアプリケーションには送られず、以降はＤｅｖ２の情報と組み合わせ（ステップＳ１５）、あらかじめ決められたＯＳへの指示と解釈される。
First, it is determined whether or not the button has been pressed (step S11). Here, if it is determined that the
別の単位時間ｔ２を経過したか否かを判断し（ステップＳ１６）、別の単位時間ｔ２が経過、たとえば１秒後にＤｅｖ１，Ｄｅｖ２のカーソルの位置が図５のｐ１’，ｐ２’に移動したとする。ＯＳはｐ１→ｐ１’，ｐ２→ｐ２’それぞれの変移量を算出し（ステップＳ１７）、あらかじめ決められた方法によりウィンドウの移動量を決定し（ステップＳ１８）、ウィンドウの移動操作を行なう（ステップＳ１９）。ここであらかじめ決められた方法はいくつか考えられるが、たとえばｐ１→ｐ１’の変移量、あるいはｐ２→ｐ２’の変移量、あるいはそれらの平均値を算出してもよい。この操作の結果、ウィンドウは図５に示すように移動する。 It is determined whether another unit time t2 has elapsed (step S16), and another unit time t2 has elapsed, for example, after 1 second, the cursor positions Dev1 and Dev2 have moved to p1 ′ and p2 ′ in FIG. And The OS calculates the shift amounts of p1 → p1 ′ and p2 → p2 ′ (step S17), determines the window movement amount by a predetermined method (step S18), and performs the window movement operation (step S19). ). Here, several predetermined methods can be considered. For example, the amount of change of p1 → p1 ′, the amount of change of p2 → p2 ′, or an average value thereof may be calculated. As a result of this operation, the window moves as shown in FIG.
なお、この例ではＤｅｖ１，Ｄｅｖ２の２つのデバイスを用いたが、システムは３つ以上のポインティングデバイスを接続することも可能である。また、Ｄｅｖ１，Ｄｅｖ２の入力順序が入れ替わっても同様に動作する。 In this example, two devices Dev1 and Dev2 are used. However, the system can connect three or more pointing devices. The same operation is performed even if the input order of Dev1 and Dev2 is switched.
このように、第１の動作例によれば、複数のポインティングデバイスＤｅｖ１，Ｄｅｖ２（６０ａ，６０ｂ）から送られる情報を組み合わせることにより、ウィンドウ内のカーソルの位置によらずウィンドウを移動させることができる。また、ウィンドウの移動ではなく、同様のステップをアプリケーションで行なうことにより、アプリケーションのデータ、たとえば編集中の画像を移動することも可能である。 As described above, according to the first operation example, by combining information sent from the plurality of pointing devices Dev1, Dev2 (60a, 60b), the window can be moved regardless of the position of the cursor in the window. . Further, it is possible to move application data, for example, an image being edited, by performing the same steps with the application instead of moving the window.
ところで、従来のウィンドウをリサイズするときは、ウィンドウの外枠（ボーダー３）あるいは存在する場合にはリサイズボックス５と呼ばれる領域をクリックし、希望のサイズまでドラッグするという操作が行われる。しかし、ウィンドウの外枠は細いため、多少のマージンがあるにせよカーソルの位置を合わせ難い面がある。そこで、この実施の形態では第２の動作例によってこれを解消する。
By the way, when resizing a conventional window, an operation of clicking an outer frame (border 3) of the window or an area called a
図６は、本発明の実施の形態にかかる第２の動作例を示すフローチャートである。図７は、本発明の実施の形態にかかる第２の動作例を示す表示画面である。前述した第１の動作例と同様に、いま、Ｄｅｖ１のカーソルが図７のｐ１の位置のある状態においてボタンが押された場合を考える。この位置はウィンドウ２の内部であるから通常ならばただちにＯＳからアプリケーションに送られるが、この実施の形態では、図６の動作を行なう。 FIG. 6 is a flowchart showing a second operation example according to the embodiment of the present invention. FIG. 7 is a display screen showing a second operation example according to the embodiment of the present invention. As in the first operation example described above, consider the case where the button is pressed while the Dev1 cursor is at the position p1 in FIG. Since this position is within the window 2, it is normally sent from the OS to the application as usual, but in this embodiment, the operation of FIG. 6 is performed.
まず、ボタンが押されたか否かを判断する（ステップＳ２１）。ここで、Ｄｅｖ１のボタン１が押下されたと判断すると、押下された後にある単位時間ｔ１（たとえば数１００ｍｓ）Ｄｅｖ１から送られてきた情報を保持部３１に保持する（ステップＳ２２）。そして、つぎの情報があるか否かを判断する（ステップＳ２３）。ここで、つぎの情報があれば、さらにＤｅｖ２のボタン２が押下されたか否かを判断する（ステップＳ２４）。ここで、Ｄｅｖ２のカーソルが図７に示すｐ２の位置にある状態においてボタンが押されたとする。すると保持されているＤｅｖ１の情報はアプリケーションには送られず、以降はＤｅｖ２の情報と組み合わせ（ステップＳ２５）、あらかじめ決められたＯＳへの指示と解釈される。
First, it is determined whether or not the button has been pressed (step S21). Here, if it is determined that the
まず、Ｄｅｖ１とＤｅｖのカーソル位置ｐ１，ｐ２の座標値を含む最小範囲である矩形を算出する（ステップＳ２６）。この例の場合はシステムに存在するポインティングデバイスは２つのみであるから、これはｐ１，ｐ２を対角の点とする矩形となる。システムに存在するポインティングデバイスが３つ以上の場合は、それぞれの座標の最小値と最大値により最小矩形が求まる。 First, a rectangle that is the minimum range including the coordinate values of Dev1 and Dev cursor positions p1 and p2 is calculated (step S26). In this example, since there are only two pointing devices in the system, this is a rectangle having p1 and p2 as diagonal points. When there are three or more pointing devices in the system, the minimum rectangle is obtained from the minimum value and the maximum value of each coordinate.
別の単位時間ｔ２を経過したか否かを判断し（ステップＳ２７）、単位時間ｔ２を経過したならばさらにカーソルが移動したか否かを判断する（ステップＳ２８）。ここでは、別の単位時間ｔ２が経過、たとえば１秒後にＤｅｖ１，Ｄｅｖ２のカーソルの位置が図７のｐ１’，ｐ２’に移動したとする。カーソルが移動したと判断すると、ｐ１’，ｐ２’を含む最小範囲である矩形を求める（ステップＳ２９）。さらにｐ１，ｐ２からなる矩形とｐ１’，ｐ２’からなる矩形とのｘ，ｙ方向それぞれの変換比を求める（ステップＳ３０）。その変換比をもってウィンドウへのリサイズ操作とする（ステップＳ３１）。この結果、ウィンドウは図７に示すように移動する。 It is determined whether another unit time t2 has elapsed (step S27). If the unit time t2 has elapsed, it is determined whether the cursor has further moved (step S28). Here, it is assumed that another unit time t2 has elapsed, for example, after 1 second, the positions of the cursors Dev1 and Dev2 have moved to p1 'and p2' in FIG. If it is determined that the cursor has moved, a rectangle that is the minimum range including p1 'and p2' is obtained (step S29). Further, the conversion ratios in the x and y directions between the rectangle composed of p1 and p2 and the rectangle composed of p1 'and p2' are obtained (step S30). The resize operation to the window is performed with the conversion ratio (step S31). As a result, the window moves as shown in FIG.
なお、この例ではＤｅｖ１，Ｄｅｖ２の２つのデバイスを用いたが、システムは３つ以上のポインティングデバイスを接続することも可能である。また、Ｄｅｖ１，Ｄｅｖ２の入力順序が入れ替わっても同様に動作する。 In this example, two devices Dev1 and Dev2 are used. However, the system can connect three or more pointing devices. The same operation is performed even if the input order of Dev1 and Dev2 is switched.
このように、第２の動作例によれば、複数のポインティングデバイスＤｅｖ１，Ｄｅｖ２（６０ａ，６０ｂ）から送られる情報を組み合わせることにより、ウィンドウ内のカーソルの位置によらずウィンドウをリサイズさせることができる。また、同様のステップをアプリケーションで行なうことにより、アプリケーションのデータ、たとえば編集中の画像を移動することも可能である。 As described above, according to the second operation example, by combining information sent from the plurality of pointing devices Dev1, Dev2 (60a, 60b), the window can be resized regardless of the position of the cursor in the window. . Further, by performing the same steps with the application, it is also possible to move the application data, for example, the image being edited.
つぎに、画像を回転させる方法について説明する。ところで、現在主流のＯＳではウィンドウを回転させることができるものは存在しない。しかし、ある種のアプリケーション、たとえば画像の編集のためのツールなどでは、表示画像の回転は一般に行われている。この場合、通常は回転する画像のコーナー（角の部分）をドラッグする。したがって、ウィンドウの移動やリサイズなどと同様に、カーソル位置にしたがって指示を判断しているため、上述したと同様の不具合がある。このため、この実施の形態では、以下に述べる第３の動作例によりこれを解消する。 Next, a method for rotating an image will be described. By the way, there is no current mainstream OS that can rotate the window. However, rotation of a display image is generally performed in a certain type of application, for example, a tool for editing an image. In this case, the corner (corner part) of the rotating image is usually dragged. Therefore, as in the case of window movement and resizing, since the instruction is determined according to the cursor position, there is the same problem as described above. For this reason, in this embodiment, this is solved by a third operation example described below.
図８は、本発明の実施の形態にかかる第３の動作例を示すフローチャートである。図９は、本発明の実施の形態にかかる第３の動作例を示す表示画面である。前述した第１の動作例と同様に、いま、Ｄｅｖ１のカーソルが図９のｐ１の位置のある状態においてボタンが押された場合を考える。この位置はウィンドウ２の内部であるから通常ならばただちにＯＳからアプリケーションに送られるが、この実施の形態では、図８の動作を行なう。 FIG. 8 is a flowchart showing a third operation example according to the embodiment of the present invention. FIG. 9 is a display screen showing a third operation example according to the embodiment of the present invention. As in the first operation example described above, consider the case where the button is pressed while the Dev1 cursor is at the position p1 in FIG. Since this position is within the window 2, it is normally sent from the OS to the application as usual, but in this embodiment, the operation of FIG. 8 is performed.
まず、ボタンが押されたか否かを判断する（ステップＳ４１）。ここで、Ｄｅｖ１のボタン１が押下されたと判断すると、押下された後にある単位時間ｔ１（たとえば数１００ｍｓ）Ｄｅｖ１から送られてきた情報を保持部３１に保持する（ステップＳ４２）。そして、つぎの情報があるか否かを判断する（ステップＳ４３）。ここで、つぎの情報があれば、さらにＤｅｖ２のボタン２が押下されたか否かを判断する（ステップＳ４４）。ここで、Ｄｅｖ２のカーソルが図９に示すｐ２の位置にある状態においてボタンが押されたとする。すると保持されているＤｅｖ１の情報はアプリケーションには送られず、以降はＤｅｖ２の情報と組み合わせ（ステップＳ４５）、あらかじめ決められたＯＳへの指示と解釈される。
First, it is determined whether or not the button has been pressed (step S41). Here, if it is determined that the
別の単位時間ｔ２を経過したか否かを判断し（ステップＳ４６）、単位時間ｔ２を経過したならばさらにカーソルが移動したか否かを判断する（ステップＳ４７）。ここでは、別の単位時間ｔ２が経過、たとえば１秒後にＤｅｖ２のカーソルの位置が図９のｐ２’に移動したとする。カーソルが移動したと判断すると、直線ｐ１ｐ２と直線ｐ１ｐ２’のなす角度を算出する（ステップＳ４８）。その後、この算出した角度分を回転角とし、画像を回転する（ステップＳ４９）。すなわち、最終的にその角度と中心であるｐ１の座標はアプリケーションに送られ、アプリケーションにより適切な操作がなされる。この例の場合、編集中の画像である矩形が、直線ｐ１ｐ２と直線ｐ１ｐ２’のなす角度だけ回転する。 It is determined whether another unit time t2 has elapsed (step S46). If the unit time t2 has elapsed, it is determined whether the cursor has further moved (step S47). Here, it is assumed that another unit time t2 has elapsed, for example, after 1 second, the position of the Dev2 cursor has moved to p2 'in FIG. If it is determined that the cursor has moved, the angle formed by the straight line p1p2 and the straight line p1p2 'is calculated (step S48). Thereafter, the image is rotated with the calculated angle as a rotation angle (step S49). That is, finally, the coordinates of the angle and the center of p1 are sent to the application, and an appropriate operation is performed by the application. In this example, the rectangle that is the image being edited is rotated by an angle formed by the straight line p1p2 and the straight line p1p2 '.
このように、この第３の動作例によれば、複数のポインティングデバイスから送られる情報を組み合わせることにより、ウィンドウ内のカーソルの位置によらず画像を回転させることができる。 As described above, according to the third operation example, by combining information sent from a plurality of pointing devices, an image can be rotated regardless of the position of the cursor in the window.
１ タイトルバー
２ ウィンドウ
３ ボーダー
５ カーソル
６ リサイズボックス
１１ ディスプレイ
２１ パーソナルコンピュータ
３０ ＣＰＵ
３１ 保持部
４０ 出力部
４１ ＶＲＡＭ
５０ 入力部
６０ａ，６０ｂ ポインティングデバイス
６３ スイッチ
1 Title Bar 2 Window 3
31
50
Claims (2)
ポインティング情報により前記ウィンドウ中のバー領域が指定され、且つ、前記ウィンドウの移動が操作された場合に、該指定及び操作に応じて前記ウィンドウを移動させる表示入力装置であって、 When a bar area in the window is designated by pointing information and the movement of the window is operated, the display input device moves the window according to the designation and operation,
前記ウィンドウ中の前記バー領域以外の領域であって、表示された情報の編集を行なうための編集領域が第１のポインティング情報により指定されたときに前記第１のポインティング情報を所定期間保持し、前記所定期間内に前記編集領域が第２のポインティング情報により指定され、かつ、前記第１のポインティング情報および前記第２のポインティング情報により前記ウィンドウの移動が操作された場合に、該指定及び操作に応じて前記ウィンドウを移動させることを特徴とする表示入力装置。 The first pointing information is held for a predetermined period when an editing area for editing displayed information, which is an area other than the bar area in the window, is designated by the first pointing information, When the editing area is designated by the second pointing information within the predetermined period and the movement of the window is manipulated by the first pointing information and the second pointing information, the designation and manipulation are performed. A display input device, wherein the window is moved in response.
ポインティング情報により前記ウィンドウ中のバー領域が指定され、且つ、前記ウィンドウの移動が操作された場合に、該指定及び操作に応じて前記ウィンドウを移動させる表示入力装置であって、 When a bar area in the window is designated by pointing information and the movement of the window is operated, the display input device moves the window according to the designation and operation,
前記ウィンドウ中の前記バー領域以外の領域であって、表示された情報の編集を行なうための編集領域に表示されている画像が、第１のポインティング情報により指定されたときに前記第１のポインティング情報を所定期間保持し、前記所定期間内に前記画像が第２のポインティング情報により指定され、かつ、前記第１のポインティング情報および前記第２のポインティング情報により前記画像の移動が操作された場合に、該指定及び操作に応じて前記画像を移動させることを特徴とする表示入力装置。 The first pointing is performed when an image displayed in an editing area for editing the displayed information other than the bar area in the window is designated by the first pointing information. When the information is retained for a predetermined period, the image is designated by the second pointing information within the predetermined period, and the movement of the image is operated by the first pointing information and the second pointing information A display input device for moving the image according to the designation and operation.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007180102A JP4457130B2 (en) | 2007-07-09 | 2007-07-09 | Display input device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007180102A JP4457130B2 (en) | 2007-07-09 | 2007-07-09 | Display input device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000256279A Division JP2002073237A (en) | 2000-08-25 | 2000-08-25 | Graphical user interface |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007250015A JP2007250015A (en) | 2007-09-27 |
| JP4457130B2 true JP4457130B2 (en) | 2010-04-28 |
Family
ID=38594143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007180102A Expired - Fee Related JP4457130B2 (en) | 2007-07-09 | 2007-07-09 | Display input device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4457130B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012159898A (en) * | 2011-01-31 | 2012-08-23 | Sanyo Electric Co Ltd | Image display device |
| JP5935899B2 (en) * | 2012-11-07 | 2016-06-15 | 株式会社村田製作所 | Wake-up signal generator, touch input device |
-
2007
- 2007-07-09 JP JP2007180102A patent/JP4457130B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007250015A (en) | 2007-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7777720B2 (en) | Input system, program, and recording medium | |
| US7451408B2 (en) | Selecting moving objects on a system | |
| US20090027334A1 (en) | Method for controlling a graphical user interface for touchscreen-enabled computer systems | |
| JP2021521557A (en) | Devices and methods for measuring using augmented reality | |
| JP3630153B2 (en) | Information display input device, information display input method, and information processing device | |
| US20150212728A1 (en) | Image display apparatus, image display system, and image display method | |
| JP4789232B2 (en) | Information processing apparatus and input operation mode control method | |
| EP2214088A2 (en) | Information processing | |
| US9870144B2 (en) | Graph display apparatus, graph display method and storage medium | |
| US6963349B1 (en) | Information processing apparatus, control method therefor, and computer-readable memory | |
| US6396487B1 (en) | User interface enhancement for windows-based operating systems | |
| JP7042622B2 (en) | Image processing device, image processing system, image processing method, and program | |
| EP2180400A2 (en) | Image processing apparatus, image processing method, and program | |
| JP2012198939A (en) | Information processing apparatus, and program | |
| JP2002041023A (en) | Computer system, display control device, display device, display control method, recording medium and program transmission device | |
| US6002399A (en) | Apparatus and method for creating diagrams | |
| JP6988060B2 (en) | Image processing equipment, image processing system, image processing method and program | |
| JP2005321972A (en) | Information processor, processing method for information processor, and processing program for information processor | |
| JP4457130B2 (en) | Display input device | |
| EP1302841A2 (en) | Input system | |
| CN113721808A (en) | Control method and device | |
| JP2002073237A (en) | Graphical user interface | |
| JP2004199555A (en) | Electric appliance and its display control method | |
| JP2005100132A (en) | Display control device | |
| JP2017215857A (en) | Display, display method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090908 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100202 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100208 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130212 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130212 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140212 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |