JPWO2020194569A1 - Conversion system, conversion device and conversion method - Google Patents
Conversion system, conversion device and conversion method Download PDFInfo
- Publication number
- JPWO2020194569A1 JPWO2020194569A1 JP2021508523A JP2021508523A JPWO2020194569A1 JP WO2020194569 A1 JPWO2020194569 A1 JP WO2020194569A1 JP 2021508523 A JP2021508523 A JP 2021508523A JP 2021508523 A JP2021508523 A JP 2021508523A JP WO2020194569 A1 JPWO2020194569 A1 JP WO2020194569A1
- Authority
- JP
- Japan
- Prior art keywords
- pointer
- information
- conversion
- unit
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
変換装置（２）の入力部（２１ａ）は、操作デバイス（６）によるポインタの移動操作に基づくポインタの移動に関する情報を示す第１の差分情報（１０１）及び操作デバイス（６）による操作のうち移動操作以外の操作に関する情報を示す第１の操作イベント（１０３）を入力し、変換装置（２）の変換部（２２ａ）は、変換方式（１０５）に従い、入力部（２１ａ）が入力した第１の差分情報（１０１）を第２の差分情報（１０２）に変換し、入力部（２１ａ）が入力した第１の操作イベント（１０３）を第２の操作イベント（１０４）に変換し、変換装置（２）の出力部（２３ａ）は、入力部（２１ａ）が入力した第１の差分情報（１０１）、変換部（２２ａ）が変換した第２の差分情報（１０２）及び変換部（２２ａ）が変換した出力対象である第２の操作イベント（１０４）を、操作対象装置（３）に対して出力する。 The input unit (21a) of the conversion device (2) is among the first difference information (101) indicating information regarding the movement of the pointer based on the movement operation of the pointer by the operation device (6) and the operation by the operation device (6). The first operation event (103) indicating information related to the operation other than the movement operation is input, and the conversion unit (22a) of the conversion device (2) is the first input unit (21a) input according to the conversion method (105). The difference information (101) of 1 is converted into the second difference information (102), the first operation event (103) input by the input unit (21a) is converted into the second operation event (104), and the conversion is performed. The output unit (23a) of the device (2) has a first difference information (101) input by the input unit (21a), a second difference information (102) converted by the conversion unit (22a), and a conversion unit (22a). The second operation event (104), which is the output target converted by), is output to the operation target device (3).
Description
本発明は、マルチタッチ機能を実現させる変換システム、変換装置及び変換方法に関する。 The present invention relates to a conversion system, a conversion device, and a conversion method for realizing a multi-touch function.
従来、ユーザーインターフェースデバイス（以下、操作デバイスと記載する）として、例えば、マルチタッチ（複数点における入力操作）に対応したタッチパネル等がある。このような、マルチタッチ機能をサポートするタッチパネルでは、複数点認識（多接触検知ともいう）を行うことにより、ユーザーに対して複数点で同時に操作させることを可能とする。 Conventionally, as a user interface device (hereinafter referred to as an operation device), for example, there is a touch panel or the like that supports multi-touch (input operation at a plurality of points). Such a touch panel that supports the multi-touch function enables the user to operate at a plurality of points at the same time by performing multi-point recognition (also referred to as multi-contact detection).
上述のタッチパネルは、複数点認識を行うための専用のハードウェアを実装している。したがって、複数点認識を行うための専用のハードウェアを実装していなければ、ユーザーはマルチタッチでの入力操作を行うことが出来ない。 The above-mentioned touch panel is equipped with dedicated hardware for recognizing multiple points. Therefore, the user cannot perform multi-touch input operation unless dedicated hardware for performing multi-point recognition is implemented.
このような問題に対して、特許文献１では、マルチタッチ機能をサポートする操作デバイスを用いることなく、マウスなど単一点における入力操作が可能な操作デバイスからの複数の操作に関わる情報を各々記憶するとともに、記憶した複数の操作を同時に実行することにより、マルチタッチ機能を実現する手法が開示されている。
In response to such a problem,
しかしながら、特許文献１の手法では、事前に複数の操作の各々を登録（記憶）させておく必要があるため、依然として、ユーザー操作に対してリアルタイムでマルチタッチ操作を実現することが出来ない問題がある。
However, in the method of
本発明は、上述の問題を解決するためのものであり、マルチタッチ機能をサポートしていない操作デバイスからのユーザー操作に基づいて、マルチタッチ操作を実現させる変換システム、変換装置及び変換方法を提供することを目的とする。 The present invention is for solving the above-mentioned problems, and provides a conversion system, a conversion device, and a conversion method that realize a multi-touch operation based on a user operation from an operation device that does not support the multi-touch function. The purpose is to do.
本発明の変換装置は、操作デバイスによるポインタを移動させる操作に基づくポインタの移動に関する差分情報を示す第１の差分情報、及び、操作デバイスによる操作のうちポインタを移動させる操作を除いた情報を示す第１の操作イベントを入力する入力部と、変換方式に従い、入力部に入力された第１の差分情報を第２の差分情報に変換し、入力部に入力された第１の操作イベントを第２の操作イベントに変換する変換部と、入力部に入力された第１の操作イベント、変換部で変換された第２の差分情報及び変換部で変換された第２の操作イベントを操作対象装置に対して出力する出力部と、を備えた。 The conversion device of the present invention shows the first difference information indicating the difference information regarding the movement of the pointer based on the operation of moving the pointer by the operating device, and the information excluding the operation of moving the pointer among the operations by the operating device. The input unit for inputting the first operation event and the first difference information input to the input unit are converted into the second difference information according to the conversion method, and the first operation event input to the input unit is the first. An operation target device that converts a conversion unit that converts into 2 operation events, a first operation event input to the input unit, a second difference information converted by the conversion unit, and a second operation event converted by the conversion unit. It is equipped with an output unit that outputs to.
本発明によれば、マルチタッチ機能をサポートした操作デバイスを用いなくとも、ユーザーに対してマルチタッチ機能に相当する入力操作を行うことを可能とする効果が得られる。 According to the present invention, it is possible to obtain an effect that enables a user to perform an input operation corresponding to the multi-touch function without using an operation device that supports the multi-touch function.
実施の形態１．
以下、本発明をより詳細に説明するため、本発明を実施するための最良の形態について、添付の図面に従って説明する。なお、この実施の形態により本発明が限定されるものではない。
Hereinafter, in order to explain the present invention in more detail, the best mode for carrying out the present invention will be described with reference to the accompanying drawings. The present invention is not limited to this embodiment.
図１は、変換装置２を用いた変換システム１を示すシステム構成図である。変換システム１は、変換装置２、操作対象装置３、操作デバイス６及びディスプレイ７で構成される。
FIG. 1 is a system configuration diagram showing a
操作デバイス６は、例えばマウス４及びキーボード５等のユーザーが入力操作するためのデバイスである。なお、ディスプレイ７がタッチパネル操作に対応している場合には、操作デバイス６にディスプレイ７を含めても良い。
The
変換装置２は操作デバイス６及びディスプレイ７と通信可能に接続している。
The
操作対象装置３は、例えば、情報端末としてのタブレットＰＣや、種々のシステムを制御するための制御装置が有する表示器であって、ユーザーにとって所望の操作を行う対象となる装置である。ユーザーが所望する操作とはマルチタッチに相当する入力操作とする。
操作対象装置３は表示画面を備えており、表示画面はマルチタッチに対応していても、対応していなくとも良い。The
The
操作対象装置３は、マルチタッチ機能に相当する操作を実現するためのソフトウェア又はハードウェアを有しており、通信可能に接続した変換装置２を介して操作デバイス６でのユーザー操作と対応した情報を入力すると、前述のソフトウェア又はハードウェアによってマルチタッチ機能に相当する操作を示す情報を表示画面に出力する。
The
実施の形態１では、操作対象装置３の表示画面に表示させる、マルチタッチ機能に相当する複数のポインタを、第１のポインタｐ及び第２のポインタｓの２点を用いて説明する。
In the first embodiment, a plurality of pointers corresponding to the multi-touch function to be displayed on the display screen of the
図２は、変換装置２及び操作対象装置３が備える機能の構成を示す機能ブロック図である。
FIG. 2 is a functional block diagram showing a configuration of functions included in the
第１の差分座標１０１は、ユーザーが操作デバイス６を用いて操作するポインタの、最新の位置座標と最新の１つ前の位置座標との差分を示す座標の情報である。ユーザーが操作デバイス６を用いて操作するポインタを第１のポインタｐとする。
The
第２の差分座標１０２は、変換装置２が第１のポインタｐの第１の差分座標１０１を変換した座標の情報である。この変換した座標に基づいて生成されるポインタを第２のポインタｓとする。
The
第１の操作イベント１０３は、ユーザーが操作デバイス６を用いて操作するイベントを示す情報である。ユーザーが操作デバイス６を用いて操作するイベントとは、例えば、マウス４での左ボタンの押下、マウスホイールの回転、又は、キーボード５の各ボタンの押下などの操作である。
The
第２の操作イベント１０４は、変換装置２が第１の操作イベント１０３を変換したイベントの情報である。
The
変換方式１０５は、変換装置２が第１の操作イベント１０３を第２の操作イベント１０４に変換するための規則、又は各第２の操作イベント１０４間の優先順位若しくは分類に関する規則を取り決めた情報である。
The
第１の差分座標１０１、第２の差分座標１０２、第１の操作イベント１０３、第２の操作イベント１０４及び変換方式１０５の詳細については後述する。
Details of the first difference coordinate 101, the second difference coordinate 102, the
変換装置２は、ハードウェアとして、中央演算装置２４、主記憶装置２５、補助記憶装置２６、デバイス間インターフェース２７及びバス２８を備える。
The
中央演算装置２４は、例えば、ＣＰＵ等のＬＳＩである。主記憶装置２５は、例えば、ＲＡＭ等の揮発性メモリである。補助記憶装置２６は、例えば、不揮発性メモリ、ハードディスク又は光ディスク等である。デバイス間インターフェース２７は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ。ＵＳＢ Ｔｙｐｅ−Ｃは登録商標）又はイーサネット（登録商標）等の通信接続を可能とするための、ポート又はソケットといったデバイスである。バス２８は、中央演算装置２４、主記憶装置２５、補助記憶装置２６及びデバイス間インターフェース２７が相互に情報を入出力するための情報信号の伝送路である。
The central
変換装置２の機能を実現するためのソフトウェアは、予め補助記憶装置２６に記憶されており、例えば変換装置２の起動に伴って、中央演算装置２４が主記憶装置２５にソフトウェアデータを展開することにより実行可能な状態となる。図２は、変換装置２の機能を実現するためのソフトウェアが主記憶装置２５に展開された状態を示している。
The software for realizing the function of the
変換装置２は、入力部２１ａ、変換部２２ａ及び出力部２３ａを備える。入力部２１ａは、変換方式入力部２０１、差分座標入力部２０２ａ及びイベント入力部２０３を有する。
The
変換方式入力部２０１は、ユーザー操作によって、変換装置２の入力部２１ａに対して変換方式１０５を入力されると、入力された変換方式１０５を変換部２２ａに対して設定する。
When the
差分座標入力部２０２ａは、ユーザー操作によって、操作デバイス６から変換装置２の入力部２１ａに対して第１の差分座標１０１を入力されると、入力された第１の差分座標１０１を変換部２２ａに対して出力する。
When the first difference coordinate 101 is input from the
イベント入力部２０３は、ユーザー操作によって、操作デバイス６から変換装置２の入力部２１ａに対して第１の操作イベント１０３を入力されると、入力された第１の操作イベント１０３を変換部２２ａに対して出力する。
When the
変換部２２ａは、入力された第１の差分座標１０１を第２の差分座標１０２に変換し、変換した第２の差分座標１０２とともに入力された第１の差分座標１０１を出力部２３ａに対して出力する。
また、変換部２２ａは、設定された変換方式１０５に従い、入力された第１の操作イベント１０３を第２の操作イベント１０４に変換し、変換した第２の操作イベント１０４のうち操作対象装置３で扱われる第１のポインタｐ及び第２のポインタｓの操作に関わるものを出力部２３ａに対して出力する。The
Further, the
出力部２３ａは、操作デバイス６から入力された第１の差分座標１０１、変換部２２ａで変換された第２の差分座標１０２及び変換部２２ａで変換され出力された第２の操作イベント１０４を操作対象装置３に対して出力する。
The
操作対象装置３は、記憶部３１、情報管理部３２、表示情報生成部３３及び表示部３４を備える。
The
記憶部３１は、絶対座標情報３０１、差分座標情報３０２及び操作イベント情報３０３を格納する。
The
絶対座標情報３０１は、表示部３４で表示する複数のポインタの各々の表示位置と対応した絶対座標を含む情報である。
The absolute coordinate
差分座標情報３０２は、複数のポインタの各々について最新の表示位置と最新の１つ前の表示位置との差分を示す相対座標を含む情報である。
The difference coordinate
操作イベント情報３０３は、複数のポインタの各々と対応した操作イベントを含む情報である。
The
情報管理部３２は、変換装置２の出力部２３ａから入力される種々の情報の管理を行う。
また、情報管理部３２は、入力した情報の内容で区別して記憶部３１に記憶させる。情報管理部３２は、入力された第１の差分座標１０１及び第２の差分座標１０２を差分座標情報３０２に記憶させ、入力された第２の操作イベント１０４を操作イベント情報３０３に記憶させる。
また、情報管理部３２は、差分座標情報３０２に記憶させた第１の差分座標１０１及び第２の差分座標１０２の情報をもとに、複数のポインタごとに絶対座標情報３０１を導出する。The
Further, the
Further, the
表示情報生成部３３は、記憶部３３に格納された、複数のポインタごとに導出された絶対座標情報３０１と、複数のポインタの各々と対応する操作イベント情報３０３とに基づき、表示部３４に表示させるための画面情報を生成する。
The display
表示部３４は、操作対象装置３の表示画面であって、表示情報生成部３３が生成した画面情報（ここでは、第１のポインタｐ及び第２のポインタｓ）を表示する。
The
なお、変換システム１では、変換装置２が複数の操作対象装置３と通信接続し、操作デバイス６から複数の操作対象装置３の各々に対して、同時に又は個別に、マルチタッチ操作を行うようにしても良い。
In the
図３は、変換装置２の変換部２２ａに設定される変換方式１０５の一例を示す模式図である。変換部２２ａは、図３に示す変換方式１０５に従い、操作デバイス６から入力される第１の操作イベント１０３の情報を第２の操作イベント１０４に変換し、変換した第２の操作イベント１０４の一部を操作対象装置３に対して出力する。図３では、操作対象装置３に対して出力する出力対象の第２の操作イベント１０４に“〇”印を付与し、操作対象装置３に対して出力しない出力対象ではない第２の操作イベント１０４に“×”印を付与している。
実施の形態１では、操作デバイス６としてマウス４及びキーボード５を用いて説明する。FIG. 3 is a schematic view showing an example of the
In the first embodiment, a
図３に示す例では、変換方式１０５においてオペレーション（以下、ＯＰと記載する）＝“ＯＰ１”として登録される操作イベントによれば、“マウス”と“左ボタン”とを組み合わせた入力の情報は、変換部２２ａによって、操作対象装置３において『表示部３４で“タップ”を行う』という情報に変換される。なお、ここでは“左ボタン”の押下時間に応じて操作対象装置３での“タップ”は“ロングタップ”（長押し）状態と判定されるものとする。
In the example shown in FIG. 3, according to the operation event registered as the operation (hereinafter referred to as OP) = "OP1" in the
また、その他の例では、変換方式１０５においてＯＰ＝“ＯＰ３”として登録される操作イベントによれば、“マウスホイール”と“スクロールアップ”とを組み合わせた入力の情報は、変換部２２ａによって、操作対象装置３において『表示部３４で“ピンチアウト”を行う』という情報に変換される。
Further, in another example, according to the operation event registered as OP = "OP3" in the
また、その他の例では、変換方式１０５においてＯＰ＝“ＯＰ１０”として登録される操作イベントによれば、“キーボード”と“↓”（［↓］ボタン押下）とを組み合わせた入力の情報は、変換部２２ａによって、操作対象装置３において『表示部３４で“Ｘ軸に反対方向”、“Ｙ軸に反対方向”』を示す情報に変換される。
In another example, according to the operation event registered as OP = "OP10" in the
図３に示す変換方式１０５にはマルチタッチ操作の他に、例えば、情報端末としてのタブレットＰＣで実現されるようなマルチウィンドウ操作に対応した操作イベントを、操作デバイス６の操作と対応付けて設定しても良い。
In the
また、操作対象装置３の表示部３４で表示する複数のポインタを３点以上としても良い。この場合、変換部２２ａは表示部３４に表示させる複数のポインタの各々と対応した変換方式が取り決めされた変換方式１０５に従い、第１のポインタｐの変換処理を行うことで実現することが可能である。複数のポインタが３点である場合については後述する。
Further, the number of a plurality of pointers displayed on the
次に、図３に示す変換方式の例による操作対象装置３での複数のポインタの動作について、図４を用いて説明する。
Next, the operation of the plurality of pointers in the
図４は、変換方式１０５に従った変換を説明するための模式図である。図４では、操作対象装置３の表示部３４で表示させる複数のポインタを第１のポインタｐ及び第２のポインタｓの２点で示している。上述のとおり、第２のポインタｓは変換装置２の変換部２２ａが第１のポインタｐに対して変換処理を行ったポインタである。
また、図４では、第１のポインタｐ及び第２のポインタｓの表示位置はＸ軸及びＹ軸からなる相対座標系４００で表すものとする。FIG. 4 is a schematic diagram for explaining the conversion according to the
Further, in FIG. 4, the display positions of the first pointer p and the second pointer s are represented by the relative coordinate
図４（ａ）は、第１の操作イベント１０３がＯＰ＝“ＯＰ７”のときの変換を説明するための模式図である。
また、図４（ｂ）は、第１の操作イベント１０３がＯＰ＝“ＯＰ１”及び“ＯＰ８”のときの変換を説明するための模式図である。
また、図４（ｃ）は、第１の操作イベント１０３がＯＰ＝“ＯＰ１０”及び“ＯＰ１１”のときの変換を説明するための模式図である。
また、図４（ｄ）は、第１の操作イベント１０３がＯＰ＝“ＯＰ１”及び“ＯＰ３”のときの変換を説明するための模式図である。FIG. 4A is a schematic diagram for explaining the conversion when the
Further, FIG. 4B is a schematic diagram for explaining the conversion when the
Further, FIG. 4C is a schematic diagram for explaining the conversion when the
Further, FIG. 4D is a schematic diagram for explaining the conversion when the
図４（ａ）では、相対座標系４００において、第１のポインタｐ１（０，０）から第１の差分座標１０１である第１のポインタｐ２（１０，−１０）に移動させたときに、第２のポインタｓ１（０，０）が第２の差分座標１０２である第２のポインタｓ２（１０，１０）に移動する様子を示している。
In FIG. 4A, when the relative coordinate
ユーザーが、マウス４を用いてポインタ操作（カーソル移動操作）を行う間、キーボード５を用いて［←］ボタンを押下すると、変換部２２ａは、変換方式１０５のＯＰ＝“ＯＰ７”での入力情報と変換情報との対応に従い、マウス４で操作する第１のポインタｐの情報を変換して第２のポインタｓの情報を生成する。
When the user presses the [←] button using the
ここでの入力情報と変換情報との対応とは、図３において“キーボード”と“←”（［←］ボタン）とを組み合わせた情報の入力（＝第１の操作イベント１０３）に対する、操作対象装置３における“Ｘ軸に同じ向き”かつ“Ｙ軸に反対向き”を示す情報（＝第２の操作イベント１０４）の対応である。
The correspondence between the input information and the conversion information here is the operation target for the input of information (= first operation event 103) in which the “keyboard” and the “←” ([←] button) are combined in FIG. This is the correspondence of the information (= second operation event 104) indicating "the same direction as the X-axis" and "the opposite direction to the Y-axis" in the
具体例としては、ユーザーが、キーボード５の［←］ボタンを押下しながらマウス４を用いてカーソル移動操作を行い、第１のポインタｐ１（０，０）を第１の差分座標１０１である第１のポインタｐ２（１０，−１０）に移動させると、第２のポインタｓ１（０，０）は第２の差分座標１０２である第２のポインタｓ２（１０，１０）に移動することになる。
As a specific example, the user performs a cursor movement operation using the
図４（ｂ）では、相対座標系４００において、第１のポインタｐ１（０，０）から第１の差分座標１０１である第１のポインタｐ２（１０，−１０）に移動させたときに、第２のポインタｓ１（０，０）が第２の差分座標１０２である第２のポインタｓ３（−１０，−１０）に移動する様子を示している。
In FIG. 4B, when the relative coordinate
ユーザーが、マウス４を用いてポインタ操作（カーソル移動操作）及び左ボタンの押下（左クリック操作）を行う間、キーボード５を用いて［→］ボタンを押下すると、変換部２２ａは、変換方式１０５のＯＰ＝“ＯＰ１”及び“ＯＰ８”での入力情報と変換情報との対応に従い、マウス４で操作する第１のポインタｐの情報を変換して第２のポインタｓの情報を生成する。
When the user presses the [→] button using the
ここでの入力情報と変換情報との対応とは、図３において“マウス”と“左ボタン”とを組み合わせた情報の入力（＝第１の操作イベント１０３）に対する、操作対象装置３における“タップ”を示す情報（＝第２の操作イベント１０４）と、“キーボード”と“→”（［→］ボタン）とを組み合わせた情報の入力（＝第１の操作イベント１０３）に対する、操作対象装置３における“Ｘ軸に反対向き”かつ“Ｙ軸に同じ向き”を示す情報（＝第２の操作イベント１０４）との２つの対応である。
The correspondence between the input information and the conversion information here is the "tap" in the
具体例としては、ユーザーが、マウス４の左ボタンとキーボード５の［→］ボタンとを押下しながらマウス４を用いてカーソル移動操作を行い、第１のポインタｐ１（０，０）をロングタップ操作（マウス４の左ボタンを長押し）の状態で第１の差分座標１０１である第１のポインタｐ２（１０，−１０）に移動させると、第２のポインタｓ１（０，０）は第１のポインタと同様にロングタップ操作（マウス４の左ボタンを長押し）の状態で第２の差分座標１０２である第２のポインタｓ３（−１０，−１０）に移動することになる。
As a specific example, the user performs a cursor movement operation using the
このときの、第１のポインタｐのｐ１からｐ２への操作、及び、第２のポインタｓのｓ１からｓ３への操作は、操作対象装置３での画面表示において、相対座標系４００の座標（０，０）を基点としたＹ軸の負の向きへの移動を伴う拡大操作に等しくなる。
At this time, the operation of the first pointer p from p1 to p2 and the operation of the second pointer s from s1 to s3 are the coordinates of the relative coordinate
図４（ｃ）では、相対座標系４００において、第１のポインタｐ１（０，０）から第１の差分座標１０１である第１のポインタｐ２（１０，−１０）に移動させたときに、第２のポインタｓ１（０，０）が第２の差分座標１０２である第２のポインタｓ４（０，１０）に移動する様子を示している。
In FIG. 4C, when the relative coordinate
ユーザーが、マウス４を用いてポインタ操作（カーソル移動操作）を行う間、キーボード５を用いて［↓］ボタン及び［Ｓｈｉｆｔ］ボタンを押下すると、変換部２２ａは、変換方式１０５のＯＰ＝“ＯＰ１０”及び“ＯＰ１１”での入力情報と変換情報との対応に従い、マウス４で操作する第１のポインタｐの情報を変換して第２のポインタｓの情報を生成する。
When the user presses the [↓] button and the [Shift] button using the
ここでの入力情報と変換情報との対応とは、図３において“キーボード”と“↓”（［↓］ボタン）とを組み合わせた情報の入力（＝第１の操作イベント１０３）に対する、操作対象装置３における“Ｘ軸に反対向き”かつ“Ｙ軸に反対向き”を示す情報（＝第２の操作イベント１０４）と、“キーボード”と“Ｓｈｉｆｔ”（［Ｓｈｉｆｔ］ボタン）とを組み合わせた情報の入力（＝第１の操作イベント１０３）に対する、操作対象装置３における“Ｘ軸は固定”を示す情報（＝第２の操作イベント１０４）との２つの対応である。
The correspondence between the input information and the conversion information here is the operation target for the input of information (= first operation event 103) in which the "keyboard" and the "↓" ([↓] button) are combined in FIG. Information that combines the information (= second operation event 104) indicating "opposite to the X-axis" and "opposite to the Y-axis" in the
具体例としては、ユーザーが、キーボード５の［↓］ボタン及び［Ｓｈｉｆｔ］を押下しながらマウス４を用いてカーソル移動操作を行い、第１のポインタｐ１（０，０）を第１の差分座標１０１である第１のポインタｐ２（１０，−１０）に移動させると、第２のポインタｓ１（０，０）は第２の差分座標１０２である第２のポインタｓ４（０，１０）に移動することになる。
As a specific example, the user performs a cursor movement operation using the
ここで、変換方式１０５のＯＰ＝“ＯＰ１０”と“ＯＰ１１”とは第２の操作イベント１０４の内容、つまりＸ軸と対応する変換の仕方が異なるが、この点については、変換方式１０５において予めＯＰ＝“ＯＰ１０”よりＯＰ＝“ＯＰ１１”の操作イベントが優先されることを定義しておくことで、上述のとおりに情報の変換を行うことが可能である。変換方式１０５では、このような操作イベント間の優先順位を複数設定できるものとする。
Here, OP = "OP10" and "OP11" of the
図４（ｄ）では、相対座標系４００において、ユーザーが第１のポインタｐ１（０，０）に対し、マウス４の左ボタンを押下しつつマウスホイールをスクロールアップする操作を行ったときの様子を示している。
FIG. 4D shows a state when the user scrolls up the mouse wheel while pressing the left button of the
ユーザーが、マウス４を用いて左ボタンを押下しながらマウスホイールをスクロールアップすると、変換部２２ａは、変換方式１０５のＯＰ＝“ＯＰ１”及び“ＯＰ３”での入力情報と変換情報との対応に従い、マウス４で操作する第１のポインタｐの情報を変換して第２のポインタｓの情報を生成する。
When the user scrolls up the mouse wheel while pressing the left button using the
ここでの入力情報と変換情報との対応とは、図３において“マウス”と“左ボタン”とを組み合わせた情報の入力（＝第１の操作イベント１０３）に対する、操作対象装置３における“タップ”を示す情報（＝第２の操作イベント１０４）と、“マウス”と“スクロールアップ”とを組み合わせた情報の入力（＝第１の操作イベント１０３）に対する、操作対象装置３における“第１のポインタから他のポインタを遠ざける”を示す情報（＝第２の操作イベント１０４）との２つの対応である。
The correspondence between the input information and the conversion information here is the "tap" in the
具体例としては、ユーザーが、マウス４の左ボタンを押下しながらマウスホイールのスクロールアップ操作を行うと、第１のポインタｐ１（０，０）はロングタップ操作（マウス４の左ボタンを長押し）の状態で第１の差分座標１０１である第１のポインタｐ３（０，２）に移動し、第２のポインタｓ１（０，０）は第１のポインタｐと同様にロングタップ操作（マウス４の左ボタンを長押し）の状態で第２の差分座標１０２である第２のポインタｓ５（０，−２）に移動することになる。
As a specific example, when the user scrolls up the mouse wheel while pressing the left button of the
このときの、第１のポインタｐのｐ１からｐ３への操作、及び、第２のポインタｓのｓ１からｓ５への操作は、操作対象装置３での画面表示において、第１のポインタｐ１及び第２のポインタｓ１の２つの座標の中心を基点とした、所定の間隔で反対向きの移動（図４（ｄ）ではＹ軸方向に移動量“２”の移動）を伴う拡大操作に等しくなる。
At this time, the operation of the first pointer p from p1 to p3 and the operation of the second pointer s from s1 to s5 are the first pointers p1 and the operation on the screen display on the
なお、図４に示す相対座標系４００での第１のポインタｐ及び第２のポインタｓの移動は説明の簡易のための一例であって、この値に限られるものではない。
The movement of the first pointer p and the second pointer s in the relative coordinate
図５は、操作デバイス６であるマウス４を用いてポインタ操作（カーソル移動操作）したときの変換装置２への入力情報を説明するための模式図である。
FIG. 5 is a schematic diagram for explaining input information to the
図５では、例えば、マウス４を移動操作したときの第１のポインタｐの軌跡Ｔｒを、絶対座標系５００において所定の間隔で分割した軌跡Ｔｒ１、Ｔｒ２、Ｔｒ３及びＴｒ４として扱うことを考える。このときの所定の間隔とは、１ｍｓなどの短い時間としても良いし、１ｍｍなどの狭い距離としても良い。
In FIG. 5, for example, it is considered that the locus Tr of the first pointer p when the
そして、絶対座標系５００において所定の間隔で分割した第１のポインタｐの軌跡Ｔｒ１、Ｔｒ２、Ｔｒ３及びＴｒ４を、相対座標系４００に変換した第１のポインタｐの第１の差分軌跡ベクトルΔｖ１、Δｖ２、Δｖ３及びΔｖ４に置き換える。
Then, the first difference locus vector Δv1 of the first pointer p obtained by converting the loci Tr1, Tr2, Tr3 and Tr4 of the first pointer p divided at predetermined intervals in the absolute coordinate
置き換えた第１の差分軌跡ベクトルΔｖ１，・・・，Δｖ４はそれぞれ、相対座標系４００上において、第１の差分座標１０１ａ（ｘ１，ｙ１）、第１の差分座標１０１ｂ（ｘ２，ｙ２）、第１の差分座標１０１ｃ（ｘ３，ｙ３）、及び、第１の差分座標１０１ｄ（ｘ４，ｙ４）と導出して表せる。
The replaced first difference locus vectors Δv1, ..., Δv4 are the first difference coordinates 101a (x1, y1), the first difference coordinates 101b (x2, y2), and the first difference coordinates 101b (x2, y2), respectively, on the relative coordinate
このように、絶対座標系５００での第１のポインタｐの軌跡Ｔｒは、相対座標系４００での第１の差分軌跡ベクトルΔｖ及び第１の差分座標１０１という入力情報として変換装置２に対して入力される。
As described above, the locus Tr of the first pointer p in the absolute coordinate
なお、上記の例では軌跡Ｔｒを４分割にして説明したが、分割数は４に限られず１以上の正数であれば良い。 In the above example, the locus Tr is divided into four parts, but the number of divisions is not limited to four and may be a positive number of 1 or more.
図６は、入力情報が変換装置２において変換情報に変換され、操作対象装置３で処理される過程を示す模式図である。
FIG. 6 is a schematic diagram showing a process in which input information is converted into conversion information by the
図６では、入力情報の例として、第１のポインタｐの第１の差分座標１０１ａ，・・・，１０１ｄが入力されるとともに、第１の差分座標１０１ａ，・・・，１０１ｄの入力の間、第１の操作イベント１０３が入力されるものとする。ここで、第１の差分座標１０１ａ，・・・，１０１ｄは順に入力される。また、第１の操作イベント１０３は、変換方式１０５のＯＰ＝“ＯＰ１”（マウス４の左ボタンを押下）及びＯＰ＝“ＯＰ１０”（キーボード５の下ボタンを押下）とする。
In FIG. 6, as an example of the input information, the first difference coordinates 101a, ..., 101d of the first pointer p are input, and between the inputs of the first difference coordinates 101a, ..., 101d. , It is assumed that the
入力情報である第１のポインタｐと対応した第１の差分座標１０１ａ，・・・，１０１ｄは、順次、変換装置２の入力部２１ａを介して変換部２２ａに入力されるとともに、併せて変換部２２ａに入力された第１の操作イベント１０３のＯＰ＝“ＯＰ１０”に従って、第２のポインタｓと対応する第２の差分座標１０２ａ，・・・，１０２ｄに変換される。
そして、第１のポインタｐの第１の差分座標１０１ａ，・・・，１０１ｄ、及び、第２のポインタｓの第２の差分座標１０２ａ，・・・，１０２ｄは、出力部２３ａから操作対象装置３に対して出力される。The first difference coordinates 101a, ..., 101d corresponding to the first pointer p, which is the input information, are sequentially input to the
Then, the first difference coordinates 101a, ..., 101d of the first pointer p and the second difference coordinates 102a, ..., 102d of the second pointer s are operated from the
また、変換部２２ａに入力された第１の操作イベント１０３のＯＰ＝“ＯＰ１”は、第１のポインタｐの第１の差分座標１０１ａ，・・・，１０１ｄ、及び、第２のポインタｓの第２の差分座標１０２ａ，・・・，１０２ｄの２つの出力情報グループのそれぞれに対応付けられて、出力部２３ａから操作対象装置３に対して出力される。
Further, OP = "OP1" of the
ここで、第１のポインタｐと対応付けられて出力部２３ａから出力される第１の差分座標１０１ａ，・・・，１０１ｄ、及び、第１の操作イベント１０３であるＯＰ＝“ＯＰ１”の出力情報のまとまりを、“出力情報グループ１”として一点鎖線枠６０１で囲っている。
また、第２のポインタｓと対応付けられて出力部２３ａから出力される第２の差分座標１０２ａ，・・・，１０２ｄ、及び、第２の操作イベント１０４であるＯＰ＝“ＯＰ１”の出力情報のまとまりを、“出力情報グループ２”として二点鎖線枠６０２で囲っている。Here, the first difference coordinates 101a, ..., 101d, which are associated with the first pointer p and are output from the
Further, the output information of the second difference coordinates 102a, ..., 102d, which are associated with the second pointer s and output from the
出力情報グループ１及び２において、第２の操作イベント１０４であるＯＰ＝“ＯＰ１”は第１の差分座標１０１ａ，・・・，１０１ｄ、及び、第２の差分座標１０２ａ，・・・，１０２ｄの各々と対応付けられて、順次、操作対象装置３に対して出力される。
In the
なお、出力情報グループ１及び２として扱われる一連の出力情報の区切りは、変換装置２及び操作対象装置３の少なくともいずれかの設定によって決まるものとする。
つまり、第１のポインタｐと対応付けられる出力情報は全て同一の出力情報グループ１に含まれ、第２のポインタｓと対応付けられる出力情報は全て同一の出力情報グループ２に含まれるものと扱っても良いし、第１のポインタｐ又は第２のポインタｓと対応付けられる出力情報を情報の連続性（例えば、時系列で連続していると判断するための条件）に基づいて複数の出力情報グループ１又は２に区切って含まれるものとして扱っても良い。The division of the series of output information treated as the
That is, all the output information associated with the first pointer p is included in the same
操作対象装置３の情報管理部３２は、出力情報グループ１及び２を入力すると、第１の差分座標１０１及び第２の差分座標１０２を記憶部３１の差分座標情報３０２に記憶させ、第２の操作イベント１０４を記憶部３１の操作イベント情報３０３に記憶させる。
When the
情報管理部３２は、差分座標情報３０２に記憶させた第１の差分座標１０１及び操作イベント情報３０３に記憶させた第２の操作イベント１０４、つまり一点鎖線枠６０１で囲われた情報をもとに、絶対座標系６００において一点鎖線枠６０３で囲われた第１のポインタｐの情報を生成する。
また、情報管理部３２は、差分座標情報３０２に記憶させた第２の差分座標１０２及び操作イベント情報３０３に記憶させた第２の操作イベント１０４、つまり二点鎖線枠６０２で囲われた情報をもとに、絶対座標系６００において二点鎖線枠６０４で囲われた第２のポインタｓの情報を生成する。The
Further, the
情報管理部３２は、一点鎖線枠６０３で囲われた絶対座標系６００での第１のポインタｐの最新の絶対座標の情報を絶対座標情報３０１に記憶させる。
また、情報管理部３２は、二点鎖線枠６０４で囲われた絶対座標系６００での第２のポインタｓの最新の絶対座標の情報を絶対座標情報３０１に記憶させる。The
Further, the
このように、第１のポインタｐ及び第２のポインタｓの最新の位置情報を記憶することにより、新たに第１の差分座標１０１及び第２の差分座標１０２が入力されたとき、最新の位置情報から絶対座標の情報を導出することが可能となる。 By storing the latest position information of the first pointer p and the second pointer s in this way, when the first difference coordinate 101 and the second difference coordinate 102 are newly input, the latest position It is possible to derive absolute coordinate information from the information.
なお、一点鎖線枠６０３で囲われた第１のポインタｐ及び二点鎖線枠６０４で囲われた第２のポインタｓは移動の間、マウス４の左ボタンを押下された状態であるため、第１のポインタｐ及び第２のポインタｓの２点でのロングタップ操作となる。
Since the first pointer p surrounded by the alternate long and short
表示情報生成部３３は、絶対座標情報３０１に記憶された絶対座標の情報を表示部３４にプロットすることで、変換装置２に入力された第１のポインタｐ及び変換装置２で変換された第２のポインタｓの軌跡を表示部３４に出力することが出来る。
The display
さらに、表示情報生成部３３は、操作イベント情報３０３に記憶された第２の操作イベント１０４をプロットした各々の絶対座標に対応付けることで、表示部３４で表示した第１のポインタｐ及び第２のポインタｓに対して、第２の操作イベント１０４の操作に基づく処理を実行することが出来る。
Further, the display
図６に示す例では、操作対象装置３の表示部３４において、第１のポインタｐ及び第２のポインタｓは互いに反対向きに湾曲して移動しながらロングタップ操作として処理されるので、画面表示としては回転を伴う拡大操作に等しくなる。
In the example shown in FIG. 6, in the
なお、出力情報グループ１における第１の差分座標１０１及び第２の操作イベント１０４、並びに、出力情報グループ２における第２の差分座標１０２及び第２の操作イベント１０４とは常に対応付けられなくとも良い。
例えば、第１のポインタｐ及び第２のポインタｓにおいて移動を伴わずにタップ操作させることも可能である。この場合、出力情報グループ１及び出力情報グループ２には、第１の差分座標１０１及び第２の差分座標１０２を含めないようにしても良いし、移動量がゼロとなる第１の差分座標１０１及び第２の差分座標１０２をそれぞれ含めるようにしても良い。The first difference coordinates 101 and the
For example, the first pointer p and the second pointer s can be tapped without movement. In this case, the
また、変換装置２の変換部２２ａは、操作デバイス６からの第１の操作イベント１０３の入力の都度に第２の操作イベント１０４への変換を行うようにしても良いし、直近に入力された第１の操作イベント１０３を変換装置２が備えるイベント記憶部２９に記憶させることで、第１の操作イベント１０３の入力が無い間も変換部２２ａがあたかも第１の操作イベント１０３を入力しているかのように処理するようにしても良い。
Further, the
このとき、例えば、イベント記憶部２９に記憶させる第１の操作イベント１０３を、変換装置２又は操作対象装置３において予め分類しておくことによって、同じ分類に属する第１の操作イベント１０３はイベント記憶部２９に上書きで記憶し、異なる分類に属する第１の操作イベント１０３はイベント記憶部２９に個別に記憶することが可能となる。このようにすることで、ＯＰ＝“ＯＰ１”の“タップ”操作と、ＯＰ＝“ＯＰ７”の“Ｘ軸方向に同じ向き、Ｙ軸方向に反対向き”とは、異なる分類のために同時に操作し続けることが出来るが、ＯＰ＝“ＯＰ７”の“Ｘ軸方向に同じ向き、Ｙ軸方向に反対向き”と、ＯＰ＝“ＯＰ８”の“Ｘ軸方向に反対向き、Ｙ軸方向に同じ向き”とは、同じ分類のために同時に操作し続けることが出来ないという具合に、複数の第１の操作イベント１０３をユーザーの所望するとおりに選択的に変換させることが可能となる。
At this time, for example, by classifying the
このように、変換装置２が、予め設定された方針に基づいて第１の操作イベント１０３の変換を制御することは、ユーザーに対して操作対象装置３でのマルチタッチ相当の操作を行う利便性を向上させることに繋がる。
In this way, the
なお、イベント記憶部２９には第１の操作イベント１０３の変換後の第２の操作イベント１０４を記憶させるようにしても良い。
The
図７は、変換装置２の処理を説明するためのフローチャート図である。
FIG. 7 is a flowchart for explaining the process of the
処理Ｓ７０１では、変換装置２が起動した後、変換装置２の入力部２１ａは変換装置２に対するユーザーの操作が変換方式１０５の入力であるかどうかを判定する。ユーザーから変換方式１０５が入力されたと判定した場合には処理Ｓ７０２に進み、入力された変換方式１０５を、変換方式入力部２０１を介して変換部２２ａに対し設定する。ユーザーから変換方式１０５が入力されていないと判定した場合には処理Ｓ７０３に進み、既に入力済みの変換方式１０５を用いるように設定する。その後、処理Ｓ７０４に進む。
In the process S701, after the
処理Ｓ７０４では、変換装置２の入力部２１ａは、変換装置２に対するユーザーの操作が終了操作かどうかを判定する。ユーザーから終了操作がなされたと判定した場合には処理を終了する。ユーザーから終了操作がなされたと判定しない場合には処理Ｓ７０５に進む。
In process S704, the
処理Ｓ７０５では、ユーザー操作に基づき、操作デバイス６から変換装置２に対して、第１の差分座標１０１及び第１の操作イベント１０３のうち少なくともいずれかが入力される。その後、処理Ｓ７０６に進む。
In the process S705, at least one of the first difference coordinates 101 and the
処理Ｓ７０６では、入力部２１ａは処理Ｓ７０５で第１の差分座標１０１を入力したかどうかを判定する。第１の差分座標１０１を入力したと判定した場合には処理Ｓ７０７に進む。第１の差分座標１０１を入力したと判定しない場合には処理Ｓ７１２に進む。
In the process S706, the
処理Ｓ７０７では、入力部２１ａは処理Ｓ７０５で第１の操作イベント１０３を入力したかどうかを判定する。第１の操作イベント１０３を入力したと判定した場合には処理Ｓ７０８に進む。第１の操作イベント１０３を入力したと判定しない場合には処理Ｓ７１０に進む。
In the process S707, the
処理Ｓ７０８では、変換部２２ａは設定された変換方式１０５に従い、入力された第１の操作イベント１０３に基づいて、入力された第１の差分座標１０１を第２の差分座標１０２に変換し、第１の操作イベント１０３を第２の操作イベント１０４に変換する。その後、処理Ｓ７０９に進む。
In the process S708, the
処理Ｓ７０９では、変換装置２の出力部２３ａは、入力された第１の差分座標１０１、変換された第２の差分座標１０２、及び、変換された出力対象の第２の操作イベント１０４を操作対象装置３に対して出力する。その後、処理Ｓ７０４に進む。
In the process S709, the
処理Ｓ７１０では、変換部２２ａは設定された変換方式１０５に従い、入力された第１の操作イベント１０３に基づいて、入力された第１の差分座標１０１を第２の差分座標１０２に変換する。その後、処理Ｓ７１１に進む。
In the process S710, the
処理Ｓ７１１では、変換装置２の出力部２３ａは、入力された第１の差分座標１０１を操作対象装置３に対して出力する。その後、処理Ｓ７０４に進む。
In the process S711, the
処理Ｓ７１２では、入力部２１ａは処理Ｓ７０５で第１の操作イベント１０３を入力したかどうかを判定する。第１の操作イベント１０３を入力したと判定した場合には処理Ｓ７１３に進む。第１の操作イベント１０３を入力したと判定しない場合には処理Ｓ７０４に進む。
In the process S712, the
処理Ｓ７１３では、変換部２２ａは設定された変換方式１０５に従い、入力された第１の操作イベント１０３を第２の操作イベント１０４に変換する。その後、処理Ｓ７１４に進む。
In the process S713, the
処理Ｓ７１４では、変換装置２の出力部２３ａは、変換された出力対象の第２の操作イベント１０４を操作対象装置３に対して出力する。その後、処理Ｓ７０４に進む。
In the process S714, the
図８は、操作対象装置３での画面出力の一例を示す模式図である。
絶対座標系５００はマウス４で操作されるディスプレイ７上のポインタと対応した座標系であり、絶対座標系６００は操作対象装置３において生成される第１のポインタｐ及び第２のポインタｓと対応した座標系である。FIG. 8 is a schematic view showing an example of screen output in the
The absolute coordinate
絶対座標系５００のＸａ軸と平行な方向に対するマウス４からの移動操作により、第１のポインタｐ１は第１のポインタｐ２に移動する。その間、キーボード５で［↓］ボタンを押下すると、変換方式１０５のＯＰ＝“ＯＰ１０”に従い、第２のポインタｓ１は、第１のポインタｐ１を基点として第１のポインタｐ２とは絶対座標系６００のＸｂ軸及びＹｂ軸に対して反対向きに、第２のポインタｓ２に移動する。
The first pointer p1 moves to the first pointer p2 by the movement operation from the
続いて、絶対座標系５００のＹａ軸と平行な方向に対するマウス４からの移動操作により、第１のポインタｐ２は第１のポインタｐ３に移動する。その間、キーボード５で［↑］ボタンを押下すると、変換方式１０５のＯＰ＝“ＯＰ９”に従い、第２のポインタｓ２は、第１のポインタｐ３とは絶対座標系６００のＸｂ軸及びＹｂ軸に対して同じ向きに、第２のポインタｓ３に移動する。
Subsequently, the first pointer p2 is moved to the first pointer p3 by the movement operation from the
続いて、キーボード５で［Ａｌｔ］ボタンを押下すると、変換方式１０５のＯＰ＝“ＯＰ１３”に従い、第２のポインタｓ３は第１のポインタｐ４に切り替わり、第１のポインタｐ３は第２のポインタｓ４に切り替わる。
Subsequently, when the [Alt] button is pressed on the
続いて、絶対座標系５００のＸａ軸に対して正の向きでＹａ軸に対して負の向きとなるマウス４からの移動操作により、第１のポインタｐ４は第１のポインタｐ５に移動する。その間、キーボード５で［→］ボタンを押下すると、変換方式１０５のＯＰ＝“ＯＰ８”に従い、第２のポインタｓ４は、第１のポインタｐ４とは絶対座標系６００のＸｂ軸に対して反対向きに、かつＹｂ軸に対して同じ向きに、第２のポインタｓ５に移動する。
Subsequently, the first pointer p4 moves to the first pointer p5 by the movement operation from the
続いて、絶対座標系５００のＸａ軸と平行な方向に対するマウス４からの移動操作により、第１のポインタｐ５は第１のポインタｐ６に移動する。その間、キーボード５で［Ｓｈｉｆｔ］ボタンを押下するとともに、マウス４で左ボタンを押下すると、変換方式１０５のＯＰ＝“ＯＰ１１”及び“ＯＰ１”に従い、第２のポインタｓ５は、第１のポインタｐ５とは絶対座標系６００のＸｂ軸に対して固定された第２のポインタｓ６に位置し続けるとともに、第１のポインタｐ６及び第２のポインタｓ６に至るまでロングタップ状態となる。
Subsequently, the first pointer p5 is moved to the first pointer p6 by the movement operation from the
図８に示すように、操作デバイス６の操作に関わる情報を変換装置２で変換することにより、操作対象装置３の表示部３４において、あたかもマルチタッチのような操作を行うことが可能となる。
As shown in FIG. 8, by converting the information related to the operation of the
図９は、複数のポインタが３点である場合の、変換方式１０５に従った変換を説明するための模式図である。
また、図１０は、複数のポインタが３点である場合の、変換装置２の変換部２２ａに設定される変換方式１０５の一例を示す模式図である。FIG. 9 is a schematic diagram for explaining the conversion according to the
Further, FIG. 10 is a schematic diagram showing an example of a
図９では、操作対象装置３の表示部３４で表示させる複数のポインタを第１のポインタｐ、第２のポインタｓ及び第３のポインタｍの３点で示している。第２のポインタｓ及び第３のポインタｍは変換装置２の変換部２２ａが第１のポインタｐに対して変換処理を行ったポインタである。
また、図９では、第１のポインタｐ、第２のポインタｓ及び第３のポインタｍの表示位置はＸ軸及びＹ軸からなる相対座標系４００で表すものとする。In FIG. 9, a plurality of pointers to be displayed on the
Further, in FIG. 9, the display positions of the first pointer p, the second pointer s, and the third pointer m are represented by the relative coordinate
図９（ａ）は、第１の操作イベント１０３がＯＰ＝“ＯＰ１０１”及び“ＯＰ１”のときの変換を説明するための模式図である。
また、図９（ｂ）は、第１の操作イベント１０３がＯＰ＝“ＯＰ１０１”、“ＯＰ３”及び“ＯＰ１”のときの変換を説明するための模式図である。
また、図９（ｃ）は、第１の操作イベント１０３がＯＰ＝“ＯＰ１０１”及び“ＯＰ３”のときの変換を説明するための模式図である。FIG. 9A is a schematic diagram for explaining the conversion when the
Further, FIG. 9B is a schematic diagram for explaining the conversion when the
Further, FIG. 9C is a schematic diagram for explaining the conversion when the
図９（ａ）では、相対座標系４００において、第１のポインタｐ１（０，０）から第１のポインタｐ２（０，−２０）に移動させたときに、第２のポインタｓ１（５，０）が第２のポインタｓ２（５，−２０）に移動し、第３のポインタｍ１（−５，０）が第３のポインタｍ２（−５，−２０）に移動する様子を示している。
In FIG. 9A, when the first pointer p1 (0,0) is moved to the first pointer p2 (0, -20) in the relative coordinate
なお、第１のポインタｐ１（０，０）から第１のポインタｐ２（０，−２０）に移動させる位置は、上述のとおり、第１の差分座標１０１の情報をもとに決められる。
また、第２のポインタｓ１（５，０）から第２のポインタｓ２（５，−２０）に移動させる位置は、上述のとおり、第２の差分座標１０２の情報をもとに決められる。
また、第３のポインタｍ１（−５，０）から第３のポインタｍ２（−５，−２０）に移動させる位置は、第２のポインタｓ１及びｓ２と同様にして、変換装置２の変換部２２ａが変換方式１０５に従い第１の差分座標１０１を変換した第３の差分座標１０６の情報をもとに決められる。The position to move from the first pointer p1 (0,0) to the first pointer p2 (0, -20) is determined based on the information of the first difference coordinate 101 as described above.
Further, the position to move from the second pointer s1 (5,0) to the second pointer s2 (5, -20) is determined based on the information of the second difference coordinate 102 as described above.
Further, the position to move from the third pointer m1 (-5,0) to the third pointer m2 (-5, -20) is the same as that of the second pointers s1 and s2, and the conversion unit of the
ユーザーが、キーボード５を用いて［ｈ］ボタン及び［３］ボタンを押下すると、変換部２２ａは、図１０に示す変換方式１０５のＯＰ＝“ＯＰ１０１”での入力情報と変換情報（＝つまり「Ｘ軸方向で第１のポインタの正と負の向きに、第２のポインタと第３のポインタを置く」）との対応に従い、図９（ａ）に示すようにマウス４で操作する第１のポインタｐ１の情報を変換して第２のポインタｓ１及び第３のポインタｍ１の情報を生成する。
When the user presses the [h] button and the [3] button using the
なお、図９（ａ）では、Ｘ軸方向における第１のポインタｐ１と第２のポインタｓ１及び第３のポインタｍ１の各々との間隔を正と負の向きに“５”としているが、この値に限られず予め設定することが出来るものとする。 In FIG. 9A, the distance between the first pointer p1 and the second pointer s1 and the third pointer m1 in the X-axis direction is set to "5" in the positive and negative directions. Not limited to the value, it can be set in advance.
そして、ユーザーが、マウス４を用いてポインタ操作（カーソル移動操作）及び左ボタンの押下（左クリック操作、つまり、変換方式１０５のＯＰ＝“ＯＰ１”）を行い、第１のポインタｐ１（０，０）を第１のポインタｐ２（０，−２０）に移動させると、第２のポインタｓ１（５，０）は第２のポインタｓ２（５，−２０）に移動し、第３のポインタｍ１（−５，０）は第３のポインタｍ２（−５，−２０）に移動することになる。
Then, the user performs a pointer operation (cursor movement operation) and a left button press (left click operation, that is, OP = “OP1” of the conversion method 105) using the
このときの操作は、マルチタッチ機能をサポートした操作デバイスの表示画面において、３点でのロングタップ状態で画面下向きに移動することに相当する。 The operation at this time corresponds to moving downward on the display screen of the operation device that supports the multi-touch function in a long tap state at three points.
図９（ｂ）では、先ず、図９（ａ）での第１のポインタｐ１、第２のポインタｓ１及び第３のポインタｍ１の状態において、第２のポインタｓ１及び第３のポインタｍ１を第１のポインタｐ１からさらに遠ざけた第２のポインタｓ２（１０，０）及び第３のポインタｍ２（−１０，０）に移動させる。 In FIG. 9B, first, in the state of the first pointer p1, the second pointer s1 and the third pointer m1 in FIG. 9A, the second pointer s1 and the third pointer m1 are used. It is moved to the second pointer s2 (10,0) and the third pointer m2 (-10,0) further away from the pointer p1 of 1.
次に、図９（ａ）での第１のポインタｐ１（０，０）から第１の差分座標１０１である第１のポインタｐ２（０，−２０）に移動させたときに、第２のポインタｓ２（１０，０）が第２のポインタｓ３（１０，−２０）に移動し、第３のポインタｍ２（−１０，０）が第３のポインタｍ３（−１０，−２０）に移動する様子を示している。 Next, when the first pointer p1 (0,0) in FIG. 9A is moved to the first pointer p2 (0, -20) which is the first difference coordinate 101, the second pointer p2 (0, -20) is moved. The pointer s2 (10,0) moves to the second pointer s3 (10, -20), and the third pointer m2 (-10,0) moves to the third pointer m3 (-10, -20). It shows the situation.
ユーザーが、図９（ａ）と同様にして、キーボード５を用いて［ｈ］ボタン及び［３］ボタンを押下すると、変換部２２ａは、図１０に示す変換方式１０５のＯＰ＝“ＯＰ１０１”での入力情報と変換情報（＝つまり「Ｘ軸方向で第１のポインタの正と負の向きに、第２のポインタと第３のポインタを置く」）との対応に従い、図９（ｂ）に示すようにマウス４で操作する第１のポインタｐ１の情報を変換して第２のポインタｓ１及び第３のポインタｍ１の情報を生成する。
When the user presses the [h] button and the [3] button using the
そして、ユーザーが、マウス４を用いてスクロールアップ操作をすると、変換部２２ａは、変換方式１０５のＯＰ＝“ＯＰ３”での入力情報と変換情報（＝つまり「第１のポインタから他のポインタを遠ざける」）との対応に従い、図９（ｂ）に示すように第２のポインタｓ１及び第３のポインタｍ１の情報を変換して第２のポインタｓ２（１０，０）及び第３のポインタｍ２（−１０，０）の情報を生成する。
Then, when the user scrolls up using the
ここで、３点以上のポインタ操作において、変換方式１０５のＯＰ＝“ＯＰ３”及び“ＯＰ１”を合わせて行う場合、画面表示を拡大させることも可能である。
Here, when OP = "OP3" and "OP1" of the
そして、ユーザーが、マウス４を用いてポインタ操作（カーソル移動操作）及び左ボタンの押下（左クリック操作、つまり、変換方式１０５のＯＰ＝“ＯＰ１”）を行い、第１のポインタｐ１（０，０）を第１のポインタｐ２（０，−２０）に移動させると、第２のポインタｓ２（１０，０）は第２のポインタｓ３（１０，−２０）に移動し、第３のポインタｍ２（−１０，０）は第３のポインタｍ３（−１０，−２０）に移動することになる。
Then, the user performs a pointer operation (cursor movement operation) and a left button press (left click operation, that is, OP = “OP1” of the conversion method 105) using the
このように、変換方式１０５の内容によって３点でタップする位置を遠ざけたり、反対に近づけたり（変換方式１０５のＯＰ＝“ＯＰ４”を用いる）する操作を行うことも可能である。
In this way, depending on the content of the
図９（ｃ）では、第１のポインタｐ１（０，０）、第２のポインタｓ１（５，５）及び第３のポインタｍ１（−５，５）の状態において、第１のポインタｐ１を第１のポインタｐ２（０，−５）に移動させたときに、第２のポインタｓ１及び第３のポインタｍ１を第１のポインタｐ１の位置からさらに遠ざかった第２のポインタｓ２（１０，１０）及び第３のポインタｍ２（−１０，１０）に移動した様子を示している。 In FIG. 9C, the first pointer p1 is set in the state of the first pointer p1 (0,0), the second pointer s1 (5,5), and the third pointer m1 (-5,5). When moved to the first pointer p2 (0, -5), the second pointer s1 and the third pointer m1 are further moved away from the position of the first pointer p1 (10, 10). ) And the third pointer m2 (-10, 10).
ユーザーが、キーボード５を用いて［ｕ］ボタン及び［３］ボタンを押下すると、変換部２２ａは、図１０に示す変換方式１０５のＯＰ＝“ＯＰ１１０”での入力情報と変換情報（＝つまり「Ｘ軸方向で第１のポインタに対し正と負の向き、かつ、Ｙ軸方向で第１のポインタに対し正の向きに、第２のポインタと第３のポインタを置く」）との対応に従い、図９（ｃ）に示すようにマウス４で操作する第１のポインタｐ１の情報を変換して第２のポインタｓ１及び第３のポインタｍ１の情報を生成する。
When the user presses the [u] button and the [3] button using the
そして、ユーザーが、マウス４を用いてスクロールアップ操作（つまり、変換方式１０５のＯＰ＝“ＯＰ３”）及び左ボタンの押下（左クリック操作、つまり、変換方式１０５のＯＰ＝“ＯＰ１”）をすると、変換部２２ａは、変換方式１０５のＯＰ＝“ＯＰ３”での入力情報と変換情報（＝つまり「第１のポインタから他のポインタを遠ざける」）との対応に従い、図９（ｃ）に示すように第２のポインタｓ１及び第３のポインタｍ１の情報を変換して第２のポインタｓ２（１０，０）及び第３のポインタｍ２（−１０，０）の情報を生成する。
Then, when the user performs a scroll-up operation (that is, OP of the
このとき、第１のポインタｐ１の情報を変換して第１のポインタｐ２（０，−５）の情報を生成して第１のポインタｐ１を第１のポインタｐ２に移動させるようにしても良いし、第１のポインタｐ２の情報を生成せず第１のポインタｐ１を移動させないようにしても良い。 At this time, the information of the first pointer p1 may be converted to generate the information of the first pointer p2 (0, -5), and the first pointer p1 may be moved to the first pointer p2. However, the information of the first pointer p2 may not be generated and the first pointer p1 may not be moved.
そして、ユーザーが、マウス４を用いてポインタ操作（カーソル移動操作）及び左ボタンの押下（左クリック操作、つまり、変換方式１０５のＯＰ＝“ＯＰ１”）を行い、第１のポインタｐ１（０，０）を第１のポインタｐ２（０，−２０）に移動させると、第２のポインタｓ２（１０，０）は第２のポインタｓ３（１０，−２０）に移動し、第３のポインタｍ２（−１０，０）は第３のポインタｍ３（−１０，−２０）に移動することになる。
Then, the user performs a pointer operation (cursor movement operation) and a left button press (left click operation, that is, OP = “OP1” of the conversion method 105) using the
このときの操作は、マルチタッチ機能をサポートした操作デバイスの表示画面において、３点でのロングタップ状態で各々の点を遠ざける向きに移動させることに相当する。また、変換方式１０５のＯＰ＝“ＯＰ３”の代わりにＯＰ＝“ＯＰ４”の操作を行った場合には、３点でのロングタップ状態で各々の点を近づける向きに移動させることに相当する。
The operation at this time corresponds to moving each point in a direction away from each other in a long tap state at three points on the display screen of the operation device that supports the multi-touch function. Further, when the operation of OP = "OP4" is performed instead of OP = "OP3" of the
図９で示した操作対象装置３で扱う複数のポインタが３点である場合と同様にして、変換方式１０５での設定と変換部２２ａでの変換処理とによって、操作対象装置３で扱う複数のポインタを４点以上とすることも可能である。
そこで、操作対象装置３で扱う複数のポインタのうち、第１のポインタを除くｎ点のポインタ（ｎは１以上の正数）の各々と対応する、変換部２２ａが変換方式１０５に従い第１の差分座標１０２を変換した各差分座標をまとめて変換差分座標１１０と定義する。
第２の差分座標１０２及び第３の差分座標１０６は、変換差分座標１１０に含まれる。Similar to the case where the plurality of pointers handled by the
Therefore, among the plurality of pointers handled by the
The second difference coordinate 102 and the third difference coordinate 106 are included in the conversion difference coordinate 110.
図１１は、変換装置２の構成についての変形例である。変換装置２は、入力部２１ｂ、変換部２２ｂ及び出力部２３ｂを備える。また、入力部２１ｂは、変換方式入力部２０１、差分座標入力部２０２ｂ及びイベント入力部２０３を有する。なお、図２と同じ符号のものは説明を繰り返さない。
FIG. 11 is a modified example of the configuration of the
入力部２１ｂは、変換方式入力部２０１、差分座標入力部２０２ｂ及びイベント入力部２０３を含む。
The
変換方式入力部２０１は、図２と同様に、ユーザー操作によって変換装置２の入力部２１ｂに対して変換方式１０５が入力されると、入力された変換方式１０５を変換部２２ｂに対して設定する。
Similar to FIG. 2, when the
差分座標入力部２０２ｂは、ユーザー操作によって変換装置２の入力部２１ｂに対して第１の差分座標１０１が入力されると、入力された第１の差分座標１０１を変換部２２ｂ及び出力部２３ｂに対し出力する。
When the first difference coordinate 101 is input to the
イベント入力部２０３は、図２と同様に、ユーザー操作によって変換装置２の入力部２１ｂに対して第１の操作イベント１０３が入力されると、入力された第１の操作イベント１０３を変換部２２ｂに対し出力する。
Similar to FIG. 2, when the
変換部２２ｂは、図２と同様に、設定された変換方式１０５に従って情報の変換を行う。
また、変換部２２ｂは、入力された第１の差分座標１０１を第２の差分座標１０２に変換し、変換した第２の差分座標１０２を出力部２３ｂに対して出力する。
また、変換部２２ｂは、図２と同様に、入力された第１の操作イベント１０３を第２の操作イベント１０４に変換し、変換した第２の操作イベント１０４のうち出力対象のものを出力部２３ｂに対して出力する。Similar to FIG. 2, the
Further, the
Further, as in FIG. 2, the
出力部２３ｂは、図２と同様に、入力された第１の差分座標１０１、変換された第２の差分座標１０２及び変換された出力対象の第２の操作イベント１０４を操作対象装置３に対して出力する。
Similar to FIG. 2, the
なお、図１１に示した変換装置２の変形例においても、上述の複数のポインタを扱い、変換差分座標１１０を操作対象装置３に対して出力することは可能である。
Even in the modified example of the
以上説明したように、実施の形態１によれば、変換装置２は、ユーザーに対し、マルチタッチ機能をサポートしていない操作デバイス６を用いながら、操作対象装置３においてマルチタッチ機能に相当する入力操作を行うことを可能とする効果が得られる。
As described above, according to the first embodiment, the
また、実施の形態１によれば、変換装置２は予め変換方式１０５を設定されることにより、ユーザー操作に対してリアルタイムでマルチタッチ操作を実現する効果が得られる。つまり、ユーザーは、第１のポインタｐの操作に基づく第２のポインタｓの操作を、操作デバイス６の操作に従い、動的に柔軟に切り替えることが出来るようになる。
Further, according to the first embodiment, by setting the
また、実施の形態１によれば、ユーザーは、操作対象装置３でのマルチタッチ操作を、通信接続を介して遠隔地に設置されたマルチタッチ機能をサポートしていない操作デバイス６から実行することが可能となる。このことは、操作デバイス６、変換装置２及び操作対象装置３の設置場所を問わず、ユーザーは操作対象装置３に通信接続を行って画面操作を実行することが可能となるので、操作対象装置３への保守を容易とする効果に繋がる。このとき、ユーザーが操作対象装置３での画面表示を確認するための手段（例えば、通信接続を介して操作対象装置３の画面表示を閲覧する等）が設けられているとさらに保守が容易となる。
Further, according to the first embodiment, the user executes the multi-touch operation on the
実施の形態２．
図１２は、実施の形態２における変換装置２が備える機能の構成を示す機能ブロック図である。実施の形態２の変換装置２は、変換補正部２２０ｃをさらに備える。なお、図２と同じ符号のものは説明を繰り返さない。
FIG. 12 is a functional block diagram showing a configuration of functions included in the
変換補正部２２０ｃは、操作対象装置３の表示情報生成部３３から帰還情報１０９を入力する。帰還情報１０９は、操作対象装置３の表示部３４で表示可能な領域Ａと、第１のポインタｐ及び第２のポインタｓの少なくともいずれかの最新の表示位置とを含む情報である。
The
なお、操作対象装置３の表示部３４で表示可能な領域Ａに関する情報は、帰還情報１０９に一度だけ含めるようにしても良いし、帰還情報１０９とは別に操作対象装置３から変換装置２に対して通知されるようにしても良い。
Information about the area A that can be displayed on the
表示可能な領域Ａを示す情報は、例えば、絶対座標系６００における２つの終端座標で表される。また、第１のポインタｐ及び第２のポインタｓの最新の表示位置を示す情報は、絶対座標系６００での第１のポインタｐ及び第２のポインタｓの各々の座標で表される。
The information indicating the displayable area A is represented by, for example, two terminal coordinates in the absolute coordinate
変換補正部２２０ｃは、帰還情報１０９を入力すると、帰還情報１０９に第１のポインタｐの最新の位置座標が含まれるならば、入力部２１ａから入力された第１の差分座標１０１を第１のポインタｐの最新の位置座標（絶対座標）に加算し、帰還情報１０９に第２のポインタｓの最新の位置座標が含まれるならば、変換部２２ｃが変換した第２の差分座標１０２を第２のポインタｓの最新の位置座標（絶対座標）に加算し、加算した各々の座標が領域Ａから外れないかどうかを判定する。
When the
変換補正部２２０ｃは、第１のポインタｐ及び第２のポインタｓのいずれかについて加算した座標が領域Ａから外れると判定した場合、Ｘ軸方向及びＹ軸方向において領域Ａ内となるように座標の補正を行う。図１２では、第１の差分座標１０１を補正した情報を第４の差分座標１０７、第２の差分座標１０２を補正した情報を第５の差分座標１０８で示す。
一方で、加算した座標が領域Ａから外れないと判定した場合は座標の補正を行わない。When the
On the other hand, if it is determined that the added coordinates do not deviate from the area A, the coordinates are not corrected.
図１３は、変換装置２の変換補正部２２０ｃでの処理の一例を説明するための模式図である。
FIG. 13 is a schematic diagram for explaining an example of processing in the
表示部３４で表示可能な領域Ａが、終端座標Ｅ１（４００，６００）及び終端座標Ｅ２（−４００，−６００）の２点を対角線とする矩形範囲で定められ、第１のポインタｐ及び第２のポインタｓの最新の位置座標がそれぞれｐ１（４００，２００）及びｓ１（−１００，３００）であるとする。ここで、領域Ａは表示部３４の画面サイズの範囲内としても良いし、画面サイズより大きい範囲としても良い。
The area A that can be displayed on the
その後、操作デバイス６からの入力情報に基づき、変換部２２ｃが第１のポインタｐ１を第１の差分座標１０１（３００，２００）だけ移動させて第１のポインタｐ２（７００，４００）の位置とし、第２のポインタｓを第２の差分座標１０２（−３００，２００）だけ移動させて第２のポインタｓ２（−４００，５００）の位置としようとすると、第１のポインタｐ２及び第２のポインタｓ２は領域Ａから外れてしまうこととなる。
After that, based on the input information from the
このような場合に、変換補正部２２０ｃは、第１のポインタｐ２の位置を領域Ａに収めるように第１の差分座標１０１（３００，２００）を第４の差分座標１０７（２００，２００）に補正する変換を行い、第２のポインタｓ２の位置を領域Ａに収めるように第２の差分座標１０２（−３００，２００）を第５の差分座標１０８（−３００，１００）に補正する変換を行い、第４の差分座標１０７及び第５の差分座標１０８を出力部２３ａに対して出力する。その結果、表示部３４では第１のポインタｐ３（６００，４００）及び第２のポインタｓ３（−４００，４００）として領域Ａ内に表示されることになる。
In such a case, the
なお、第１のポインタｐ及び第２のポインタｓの少なくともいずれかの領域Ａ内への位置の補正を操作対象装置３の表示情報生成部３３が行うようにしても良い。
The display
また、図１２に示した変換装置２においても、上述の複数のポインタを扱い、変換差分座標１１０を操作対象装置３に対して出力するとともに、変換差分座標１１０に含まれる各々の差分座標に対して補正する変換を行うことは可能である。
Further, the
以上説明したように、実施の形態２によれば、ユーザーが操作を行う仕様（つまり、操作デバイス６及びディスプレイ７）と操作対象装置３が画面表示する仕様との間に差異が存在する場合に、ユーザーに対してこの差異の調整を行わせることなく、操作対象装置３でのマルチタッチ操作を行わせることを可能とする。
As described above, according to the second embodiment, when there is a difference between the specifications for the user to operate (that is, the
図１４は、操作対象装置３のハードウェア構成例を示す図である。
操作対象装置３は、ハードウェアとして、中央演算装置９０１、主記憶装置９０２、補助記憶装置９０３、デバイス間インターフェース９０４及びバス９０５を備える。FIG. 14 is a diagram showing a hardware configuration example of the
The
中央演算装置９０１は、例えば、ＣＰＵ等のＬＳＩである。主記憶装置９０２は、例えば、ＲＡＭ等の揮発性メモリである。補助記憶装置９０３は、例えば、不揮発性メモリ、ハードディスク又は光ディスク等である。デバイス間インターフェース９０４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ。ＵＳＢ Ｔｙｐｅ−Ｃは登録商標）又はイーサネット（登録商標）等の通信接続を可能とするための、ポート又はソケットといったデバイスである。バス９０５は、中央演算装置９０１、主記憶装置９０２、補助記憶装置９０３及びデバイス間インターフェース９０４が相互に情報を入出力するための情報信号の伝送路である。
The central
操作対象装置３の機能を実現するためのソフトウェアは、予め補助記憶装置９０３に記憶されており、例えば操作対象装置３の起動に伴って、中央演算装置９０１が主記憶装置９０２にソフトウェアデータを展開することにより実行可能な状態となる。上述の操作対象装置３は、操作対象装置３の機能を実現するためのソフトウェアが主記憶装置９０１に展開された状態を示している。
The software for realizing the function of the
なお、上述の構成例に限られず、変換装置２及び操作対象装置３の少なくともいずれかは、例えば、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などのハードウェアによって構成されても良いし、ソフトウェアとハードウェアの双方を用いて構成されても良い。
Not limited to the above configuration example, at least one of the
１ 変換システム、２ 変換装置、３ 操作対象装置、４ マウス、５ キーボード、６ 操作デバイス、７ ディスプレイ、２１ａ、２１ｂ、２１ｃ 入力部、２２ａ、２２ｂ、２２ｃ 変換部、２３ａ、２３ｂ、２３ｃ 出力部、２９ イベント記憶部、３１ 記憶部、３２ 情報管理部、３３ 表示情報生成部、３４ 表示部、１０１ 第１の差分情報、１０２ 第２の差分情報、１０３ 第１の操作イベント、１０４ 第２の操作イベント、１０５ 変換方式、１０６ 第３の差分情報、１０７ 第４の差分情報、１０８ 第５の差分情報、１０９ 帰還情報、１１０ 変換差分座標、２２０ｃ 変換補正部、ｐ 第１のポインタ、ｓ 第２のポインタ、ｍ 第３のポインタ 1 conversion system, 2 conversion device, 3 operation target device, 4 mouse, 5 keyboard, 6 operation device, 7 display, 21a, 21b, 21c input unit, 22a, 22b, 22c conversion unit, 23a, 23b, 23c output unit, 29 Event storage unit, 31 Storage unit, 32 Information management unit, 33 Display information generation unit, 34 Display unit, 101 First difference information, 102 Second difference information, 103 First operation event, 104 Second operation Event, 105 conversion method, 106 third difference information, 107 fourth difference information, 108 fifth difference information, 109 feedback information, 110 conversion difference coordinates, 220c conversion correction unit, p first pointer, s second Pointer, m 3rd pointer
本開示の変換装置は、操作デバイスによるポインタの移動操作に基づく前記ポインタの移動に関する情報を示す第１の差分情報及び前記操作デバイスによる操作のうち前記移動操作以外の操作に関する情報を示す第１の操作イベントを入力する入力部と、変換方式に従い、前記入力部が入力した前記第１の差分情報を前記第１の差分情報とは異なる２以上の差分情報を含む変換差分情報に変換し、前記入力部が入力した前記第１の操作イベントを第２の操作イベントに変換する変換部と、前記入力部が入力した前記第１の差分情報、前記変換部が変換した前記変換差分情報及び前記変換部が変換した出力対象である前記第２の操作イベントを、操作対象装置に対して出力する出力部と、を備えた。 The conversion device of the present disclosure is a first difference information indicating information regarding the movement of the pointer based on a movement operation of the pointer by the operation device, and a first difference information indicating information related to an operation other than the movement operation among the operations by the operation device. According to the input unit for inputting the operation event and the conversion method, the first difference information input by the input unit is converted into conversion difference information including two or more difference information different from the first difference information. A conversion unit that converts the first operation event input by the input unit into a second operation event, the first difference information input by the input unit, the conversion difference information converted by the conversion unit, and the conversion. The second operation event, which is the output target converted by the unit, is provided with an output unit that outputs the second operation event to the operation target device.
Claims (12)
変換方式に従い、前記入力部が入力した前記第１の差分情報を第２の差分情報に変換し、前記入力部が入力した前記第１の操作イベントを第２の操作イベントに変換する変換部と、
前記入力部が入力した前記第１の差分情報、前記変換部が変換した前記第２の差分情報及び前記変換部が変換した出力対象である前記第２の操作イベントを、操作対象装置に対して出力する出力部と、
を備えた変換装置。An input unit for inputting the first difference information indicating the information related to the movement of the pointer based on the operation of moving the pointer by the operating device and the first operation event indicating the information related to the operation other than the moving operation among the operations by the operating device. When,
According to the conversion method, the first difference information input by the input unit is converted into the second difference information, and the first operation event input by the input unit is converted into the second operation event. ,
The first difference information input by the input unit, the second difference information converted by the conversion unit, and the second operation event, which is the output target converted by the conversion unit, are transmitted to the operation target device. The output section to output and
A converter equipped with.
前記第２の差分情報は、前記変換部によって前記第２の操作イベントに基づき前記第１の差分情報から変換される、前記操作対象装置において前記第１の差分情報に基づき画面出力される第１のポインタと対応して画面出力される第２のポインタの移動に関する相対的な位置情報であって、
前記変換部によって変換された出力対象である前記第２の操作イベントは、前記第１のポインタ及び前記第２のポインタでの操作に関する情報を含む、
請求項１に記載の変換装置。The first difference information is relative position information obtained by dividing the movement of the pointer based on the movement operation.
The second difference information is converted from the first difference information by the conversion unit based on the second operation event, and is output to the screen based on the first difference information in the operation target device. This is the relative position information regarding the movement of the second pointer that is output to the screen corresponding to the pointer of.
The second operation event, which is an output target converted by the conversion unit, includes information about the operation with the first pointer and the second pointer.
The conversion device according to claim 1.
請求項１または２に記載の変換装置。At least a part of the second operation event output to the operation target device is associated with each of the first difference information and the second difference information.
The conversion device according to claim 1 or 2.
前記帰還情報に含まれる前記表示位置の情報、並びに、前記入力部で入力された前記第１の差分情報及び前記変換部で変換された前記第２の差分情報の少なくともいずれかに基づき、前記操作対象装置が前記第１のポインタ及び前記第２のポインタを表示させる領域から、前記第１のポインタ及び前記第２のポインタの少なくともいずれかが外れないかどうかを判定する、変換補正部をさらに備える、
請求項２または３に記載の変換装置。Return information including the latest display position of at least one of the first pointer and the second pointer is input from the operation target device.
The operation is based on at least one of the display position information included in the feedback information, the first difference information input by the input unit, and the second difference information converted by the conversion unit. The target device further includes a conversion correction unit that determines whether or not at least one of the first pointer and the second pointer does not deviate from the area for displaying the first pointer and the second pointer. ,
The conversion device according to claim 2 or 3.
請求項４に記載の変換装置。The conversion correction unit corrects at least one of the first difference information and the second difference information corresponding to at least one of the first pointer and the second pointer determined to be out of the region. ,
The conversion device according to claim 4.
前記出力部は、前記変換部が変換した前記変換差分情報を操作対象装置に対して出力する、
請求項１から３のいずれか１項に記載の変換装置。The conversion unit converts the first difference information input by the input unit into conversion difference information according to a conversion method.
The output unit outputs the conversion difference information converted by the conversion unit to the operation target device.
The conversion device according to any one of claims 1 to 3.
前記帰還情報に含まれる前記表示位置の情報、並びに、前記入力部で入力された前記第１の差分情報及び前記変換部で変換された前記変換差分情報の少なくともいずれかに基づき、前記操作対象装置が前記複数のポインタを表示させる領域から、前記複数のポインタの少なくともいずれかが外れないかどうかを判定する、変換補正部をさらに備える、
請求項６に記載の変換装置。Input the feedback information including the latest display position of at least one of the plurality of pointers handled by the operation target device.
The operation target device is based on at least one of the display position information included in the feedback information, the first difference information input by the input unit, and the conversion difference information converted by the conversion unit. Further includes a conversion correction unit that determines whether or not at least one of the plurality of pointers does not deviate from the area for displaying the plurality of pointers.
The conversion device according to claim 6.
並びに、第１のポインタ及び第２のポインタを画面出力する表示部と、前記変換装置の出力部が出力する前記第１の差分情報及び前記第２の差分情報に基づき前記第１のポインタ及び前記第２のポインタを表示させる領域での表示位置を示す情報を導出する情報管理部と、前記情報管理部が導出した情報に基づき前記表示部が前記第１のポインタ及び前記第２のポインタを画面出力するための情報を生成する表示情報生成部と、を備える操作対象装置、
を有する変換システム。The converter according to any one of claims 1 to 5.
Further, the first pointer and the first pointer based on the display unit that outputs the first pointer and the second pointer on the screen, the first difference information output by the output unit of the conversion device, and the second difference information. The information management unit that derives information indicating the display position in the area where the second pointer is displayed, and the display unit screens the first pointer and the second pointer based on the information derived by the information management unit. An operation target device including a display information generation unit that generates information for output.
Conversion system with.
請求項８に記載の変換システム。The display information generation unit includes information indicating the display positions of the first pointer and the second pointer in the area derived by the information management unit, and a second operation output by the output unit of the conversion device. Based on the event, the display unit generates information related to the operation with the first pointer and the second pointer output on the screen.
The conversion system according to claim 8.
請求項８または９に記載の変換システム。The information management unit stores in the storage unit information indicating the display positions of the first pointer and the second pointer in the derived area.
The conversion system according to claim 8 or 9.
並びに、複数のポインタを画面出力する表示部と、前記変換装置の出力部が出力する前記第１の差分情報及び前記変換差分情報に基づき前記複数のポインタを表示させる領域での表示位置を示す情報を導出する情報管理部と、前記情報管理部が導出した情報に基づき前記表示部が前記複数のポインタを画面出力するための情報を生成する表示情報生成部と、を備える操作対象装置、
を有する変換システム。The converter according to claim 6 or 7.
In addition, information indicating a display unit that outputs a plurality of pointers on the screen, a first difference information output by the output unit of the conversion device, and a display position in an area for displaying the plurality of pointers based on the conversion difference information. An operation target device including an information management unit for deriving information, and a display information generation unit for generating information for the display unit to output the plurality of pointers on the screen based on the information derived by the information management unit.
Conversion system with.
変換方式に従い、前記入力工程で入力した前記第１の差分情報を第２の差分情報に変換し、前記入力部が入力した前記第１の操作イベントを第２の操作イベントに変換する変換工程と、
前記入力工程で入力した前記第１の差分情報、前記変換工程で変換した前記第２の差分情報及び前記変換工程で変換した出力対象である前記第２の操作イベントを、操作対象装置に対して出力する出力工程と、
を有する変換方法。An input step of inputting a first difference information indicating information on the movement of the pointer based on the operation of moving the pointer by the operation device and a first operation event indicating information on operations other than the movement operation among the operations by the operation device. When,
According to the conversion method, the first difference information input in the input step is converted into the second difference information, and the first operation event input by the input unit is converted into the second operation event. ,
The first difference information input in the input step, the second difference information converted in the conversion step, and the second operation event, which is the output target converted in the conversion step, are transmitted to the operation target device. The output process to output and
Conversion method with.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/013131 WO2020194569A1 (en) | 2019-03-27 | 2019-03-27 | Conversion system, conversion device, and conversion method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2020194569A1 true JPWO2020194569A1 (en) | 2021-10-14 |
Family
ID=72609741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021508523A Pending JPWO2020194569A1 (en) | 2019-03-27 | 2019-03-27 | Conversion system, conversion device and conversion method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2020194569A1 (en) |
| WO (1) | WO2020194569A1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009205685A (en) * | 2008-02-26 | 2009-09-10 | Apple Inc | Simulation of multi-point gesture by single pointing device |
| JP2011034451A (en) * | 2009-08-04 | 2011-02-17 | Fujitsu Component Ltd | Touch panel device, method, program, and recording medium |
| JP2011257992A (en) * | 2010-06-09 | 2011-12-22 | Fujitsu Component Ltd | Conversion device and program |
| JP2012138096A (en) * | 2009-06-07 | 2012-07-19 | Apple Inc | Devices, methods, and graphical user interfaces for accessibility using touch-sensitive surface |
| JP2013254467A (en) * | 2012-06-06 | 2013-12-19 | Areson Technology Corp | Method for simulating touch screen operation by using mouse |
| JP2014241078A (en) * | 2013-06-12 | 2014-12-25 | Ｎｅｃパーソナルコンピュータ株式会社 | Information processing apparatus |
-
2019
- 2019-03-27 JP JP2021508523A patent/JPWO2020194569A1/en active Pending
- 2019-03-27 WO PCT/JP2019/013131 patent/WO2020194569A1/en active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009205685A (en) * | 2008-02-26 | 2009-09-10 | Apple Inc | Simulation of multi-point gesture by single pointing device |
| JP2012138096A (en) * | 2009-06-07 | 2012-07-19 | Apple Inc | Devices, methods, and graphical user interfaces for accessibility using touch-sensitive surface |
| JP2011034451A (en) * | 2009-08-04 | 2011-02-17 | Fujitsu Component Ltd | Touch panel device, method, program, and recording medium |
| JP2011257992A (en) * | 2010-06-09 | 2011-12-22 | Fujitsu Component Ltd | Conversion device and program |
| JP2013254467A (en) * | 2012-06-06 | 2013-12-19 | Areson Technology Corp | Method for simulating touch screen operation by using mouse |
| JP2014241078A (en) * | 2013-06-12 | 2014-12-25 | Ｎｅｃパーソナルコンピュータ株式会社 | Information processing apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020194569A1 (en) | 2020-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7369099B2 (en) | Multi-display control system and image display apparatus | |
| US10698530B2 (en) | Touch display device | |
| JPH10269022A (en) | Portable information processor with communication function | |
| US20160063674A1 (en) | Graph display apparatus, graph display method and storage medium | |
| US20170047065A1 (en) | Voice-controllable image display device and voice control method for image display device | |
| JPH07334463A (en) | Information processor with display function for plural graphs | |
| US20110199326A1 (en) | Touch panel device operating as if in the equivalent mode even when detected region is smaller than display region of display device | |
| JP2018114576A (en) | Off-line programming device and position parameter correction method | |
| US9411441B2 (en) | Interactive whiteboard for private use | |
| WO2017022031A1 (en) | Information terminal device | |
| JP2014006904A (en) | Method for recognizing touch information, and electronic device | |
| JPH11161426A (en) | Touch panel device | |
| US20140198132A1 (en) | Information displaying device, method, and program | |
| WO2020194569A1 (en) | Conversion system, conversion device, and conversion method | |
| JP2005032015A (en) | Electronic device and program | |
| US20090058858A1 (en) | Electronic apparatus having graph display function | |
| KR101579462B1 (en) | Multi-touch screen system touch screen apparatus and method for dividing touch screen | |
| US10180756B2 (en) | Input apparatus | |
| JP2006004326A (en) | Formula display controller and program | |
| CN108108107B (en) | Display system | |
| JPH06289993A (en) | Coordinate input display device | |
| JP4811177B2 (en) | Graph display device and graph display processing program | |
| KR100477125B1 (en) | Character input device using electronic pen and its control method | |
| CN104063192A (en) | Display method and electronic equipment | |
| US11875078B2 (en) | Display system, display method, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210329 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210329 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20220427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221129 |