JPWO2020194569A1 - Conversion system, conversion device and conversion method - Google Patents
Conversion system, conversion device and conversion method Download PDFInfo
- Publication number
- JPWO2020194569A1 JPWO2020194569A1 JP2021508523A JP2021508523A JPWO2020194569A1 JP WO2020194569 A1 JPWO2020194569 A1 JP WO2020194569A1 JP 2021508523 A JP2021508523 A JP 2021508523A JP 2021508523 A JP2021508523 A JP 2021508523A JP WO2020194569 A1 JPWO2020194569 A1 JP WO2020194569A1
- Authority
- JP
- Japan
- Prior art keywords
- pointer
- information
- conversion
- unit
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
変換装置(2)の入力部(21a)は、操作デバイス(6)によるポインタの移動操作に基づくポインタの移動に関する情報を示す第1の差分情報(101)及び操作デバイス(6)による操作のうち移動操作以外の操作に関する情報を示す第1の操作イベント(103)を入力し、変換装置(2)の変換部(22a)は、変換方式(105)に従い、入力部(21a)が入力した第1の差分情報(101)を第2の差分情報(102)に変換し、入力部(21a)が入力した第1の操作イベント(103)を第2の操作イベント(104)に変換し、変換装置(2)の出力部(23a)は、入力部(21a)が入力した第1の差分情報(101)、変換部(22a)が変換した第2の差分情報(102)及び変換部(22a)が変換した出力対象である第2の操作イベント(104)を、操作対象装置(3)に対して出力する。 The input unit (21a) of the conversion device (2) is among the first difference information (101) indicating information regarding the movement of the pointer based on the movement operation of the pointer by the operation device (6) and the operation by the operation device (6). The first operation event (103) indicating information related to the operation other than the movement operation is input, and the conversion unit (22a) of the conversion device (2) is the first input unit (21a) input according to the conversion method (105). The difference information (101) of 1 is converted into the second difference information (102), the first operation event (103) input by the input unit (21a) is converted into the second operation event (104), and the conversion is performed. The output unit (23a) of the device (2) has a first difference information (101) input by the input unit (21a), a second difference information (102) converted by the conversion unit (22a), and a conversion unit (22a). The second operation event (104), which is the output target converted by), is output to the operation target device (3).
Description
本発明は、マルチタッチ機能を実現させる変換システム、変換装置及び変換方法に関する。 The present invention relates to a conversion system, a conversion device, and a conversion method for realizing a multi-touch function.
従来、ユーザーインターフェースデバイス(以下、操作デバイスと記載する)として、例えば、マルチタッチ(複数点における入力操作)に対応したタッチパネル等がある。このような、マルチタッチ機能をサポートするタッチパネルでは、複数点認識(多接触検知ともいう)を行うことにより、ユーザーに対して複数点で同時に操作させることを可能とする。 Conventionally, as a user interface device (hereinafter referred to as an operation device), for example, there is a touch panel or the like that supports multi-touch (input operation at a plurality of points). Such a touch panel that supports the multi-touch function enables the user to operate at a plurality of points at the same time by performing multi-point recognition (also referred to as multi-contact detection).
上述のタッチパネルは、複数点認識を行うための専用のハードウェアを実装している。したがって、複数点認識を行うための専用のハードウェアを実装していなければ、ユーザーはマルチタッチでの入力操作を行うことが出来ない。 The above-mentioned touch panel is equipped with dedicated hardware for recognizing multiple points. Therefore, the user cannot perform multi-touch input operation unless dedicated hardware for performing multi-point recognition is implemented.
このような問題に対して、特許文献1では、マルチタッチ機能をサポートする操作デバイスを用いることなく、マウスなど単一点における入力操作が可能な操作デバイスからの複数の操作に関わる情報を各々記憶するとともに、記憶した複数の操作を同時に実行することにより、マルチタッチ機能を実現する手法が開示されている。
In response to such a problem,
しかしながら、特許文献1の手法では、事前に複数の操作の各々を登録(記憶)させておく必要があるため、依然として、ユーザー操作に対してリアルタイムでマルチタッチ操作を実現することが出来ない問題がある。
However, in the method of
本発明は、上述の問題を解決するためのものであり、マルチタッチ機能をサポートしていない操作デバイスからのユーザー操作に基づいて、マルチタッチ操作を実現させる変換システム、変換装置及び変換方法を提供することを目的とする。 The present invention is for solving the above-mentioned problems, and provides a conversion system, a conversion device, and a conversion method that realize a multi-touch operation based on a user operation from an operation device that does not support the multi-touch function. The purpose is to do.
本発明の変換装置は、操作デバイスによるポインタを移動させる操作に基づくポインタの移動に関する差分情報を示す第1の差分情報、及び、操作デバイスによる操作のうちポインタを移動させる操作を除いた情報を示す第1の操作イベントを入力する入力部と、変換方式に従い、入力部に入力された第1の差分情報を第2の差分情報に変換し、入力部に入力された第1の操作イベントを第2の操作イベントに変換する変換部と、入力部に入力された第1の操作イベント、変換部で変換された第2の差分情報及び変換部で変換された第2の操作イベントを操作対象装置に対して出力する出力部と、を備えた。 The conversion device of the present invention shows the first difference information indicating the difference information regarding the movement of the pointer based on the operation of moving the pointer by the operating device, and the information excluding the operation of moving the pointer among the operations by the operating device. The input unit for inputting the first operation event and the first difference information input to the input unit are converted into the second difference information according to the conversion method, and the first operation event input to the input unit is the first. An operation target device that converts a conversion unit that converts into 2 operation events, a first operation event input to the input unit, a second difference information converted by the conversion unit, and a second operation event converted by the conversion unit. It is equipped with an output unit that outputs to.
本発明によれば、マルチタッチ機能をサポートした操作デバイスを用いなくとも、ユーザーに対してマルチタッチ機能に相当する入力操作を行うことを可能とする効果が得られる。 According to the present invention, it is possible to obtain an effect that enables a user to perform an input operation corresponding to the multi-touch function without using an operation device that supports the multi-touch function.
実施の形態1.
以下、本発明をより詳細に説明するため、本発明を実施するための最良の形態について、添付の図面に従って説明する。なお、この実施の形態により本発明が限定されるものではない。
Hereinafter, in order to explain the present invention in more detail, the best mode for carrying out the present invention will be described with reference to the accompanying drawings. The present invention is not limited to this embodiment.
図1は、変換装置2を用いた変換システム1を示すシステム構成図である。変換システム1は、変換装置2、操作対象装置3、操作デバイス6及びディスプレイ7で構成される。
FIG. 1 is a system configuration diagram showing a
操作デバイス6は、例えばマウス4及びキーボード5等のユーザーが入力操作するためのデバイスである。なお、ディスプレイ7がタッチパネル操作に対応している場合には、操作デバイス6にディスプレイ7を含めても良い。
The
変換装置2は操作デバイス6及びディスプレイ7と通信可能に接続している。
The
操作対象装置3は、例えば、情報端末としてのタブレットPCや、種々のシステムを制御するための制御装置が有する表示器であって、ユーザーにとって所望の操作を行う対象となる装置である。ユーザーが所望する操作とはマルチタッチに相当する入力操作とする。
操作対象装置3は表示画面を備えており、表示画面はマルチタッチに対応していても、対応していなくとも良い。The
The
操作対象装置3は、マルチタッチ機能に相当する操作を実現するためのソフトウェア又はハードウェアを有しており、通信可能に接続した変換装置2を介して操作デバイス6でのユーザー操作と対応した情報を入力すると、前述のソフトウェア又はハードウェアによってマルチタッチ機能に相当する操作を示す情報を表示画面に出力する。
The
実施の形態1では、操作対象装置3の表示画面に表示させる、マルチタッチ機能に相当する複数のポインタを、第1のポインタp及び第2のポインタsの2点を用いて説明する。
In the first embodiment, a plurality of pointers corresponding to the multi-touch function to be displayed on the display screen of the
図2は、変換装置2及び操作対象装置3が備える機能の構成を示す機能ブロック図である。
FIG. 2 is a functional block diagram showing a configuration of functions included in the
第1の差分座標101は、ユーザーが操作デバイス6を用いて操作するポインタの、最新の位置座標と最新の1つ前の位置座標との差分を示す座標の情報である。ユーザーが操作デバイス6を用いて操作するポインタを第1のポインタpとする。
The
第2の差分座標102は、変換装置2が第1のポインタpの第1の差分座標101を変換した座標の情報である。この変換した座標に基づいて生成されるポインタを第2のポインタsとする。
The
第1の操作イベント103は、ユーザーが操作デバイス6を用いて操作するイベントを示す情報である。ユーザーが操作デバイス6を用いて操作するイベントとは、例えば、マウス4での左ボタンの押下、マウスホイールの回転、又は、キーボード5の各ボタンの押下などの操作である。
The
第2の操作イベント104は、変換装置2が第1の操作イベント103を変換したイベントの情報である。
The
変換方式105は、変換装置2が第1の操作イベント103を第2の操作イベント104に変換するための規則、又は各第2の操作イベント104間の優先順位若しくは分類に関する規則を取り決めた情報である。
The
第1の差分座標101、第2の差分座標102、第1の操作イベント103、第2の操作イベント104及び変換方式105の詳細については後述する。
Details of the first difference coordinate 101, the second difference coordinate 102, the
変換装置2は、ハードウェアとして、中央演算装置24、主記憶装置25、補助記憶装置26、デバイス間インターフェース27及びバス28を備える。
The
中央演算装置24は、例えば、CPU等のLSIである。主記憶装置25は、例えば、RAM等の揮発性メモリである。補助記憶装置26は、例えば、不揮発性メモリ、ハードディスク又は光ディスク等である。デバイス間インターフェース27は、例えば、USB(Universal Serial Bus。USB Type−Cは登録商標)又はイーサネット(登録商標)等の通信接続を可能とするための、ポート又はソケットといったデバイスである。バス28は、中央演算装置24、主記憶装置25、補助記憶装置26及びデバイス間インターフェース27が相互に情報を入出力するための情報信号の伝送路である。
The central
変換装置2の機能を実現するためのソフトウェアは、予め補助記憶装置26に記憶されており、例えば変換装置2の起動に伴って、中央演算装置24が主記憶装置25にソフトウェアデータを展開することにより実行可能な状態となる。図2は、変換装置2の機能を実現するためのソフトウェアが主記憶装置25に展開された状態を示している。
The software for realizing the function of the
変換装置2は、入力部21a、変換部22a及び出力部23aを備える。入力部21aは、変換方式入力部201、差分座標入力部202a及びイベント入力部203を有する。
The
変換方式入力部201は、ユーザー操作によって、変換装置2の入力部21aに対して変換方式105を入力されると、入力された変換方式105を変換部22aに対して設定する。
When the
差分座標入力部202aは、ユーザー操作によって、操作デバイス6から変換装置2の入力部21aに対して第1の差分座標101を入力されると、入力された第1の差分座標101を変換部22aに対して出力する。
When the first difference coordinate 101 is input from the
イベント入力部203は、ユーザー操作によって、操作デバイス6から変換装置2の入力部21aに対して第1の操作イベント103を入力されると、入力された第1の操作イベント103を変換部22aに対して出力する。
When the
変換部22aは、入力された第1の差分座標101を第2の差分座標102に変換し、変換した第2の差分座標102とともに入力された第1の差分座標101を出力部23aに対して出力する。
また、変換部22aは、設定された変換方式105に従い、入力された第1の操作イベント103を第2の操作イベント104に変換し、変換した第2の操作イベント104のうち操作対象装置3で扱われる第1のポインタp及び第2のポインタsの操作に関わるものを出力部23aに対して出力する。The
Further, the
出力部23aは、操作デバイス6から入力された第1の差分座標101、変換部22aで変換された第2の差分座標102及び変換部22aで変換され出力された第2の操作イベント104を操作対象装置3に対して出力する。
The
操作対象装置3は、記憶部31、情報管理部32、表示情報生成部33及び表示部34を備える。
The
記憶部31は、絶対座標情報301、差分座標情報302及び操作イベント情報303を格納する。
The
絶対座標情報301は、表示部34で表示する複数のポインタの各々の表示位置と対応した絶対座標を含む情報である。
The absolute coordinate
差分座標情報302は、複数のポインタの各々について最新の表示位置と最新の1つ前の表示位置との差分を示す相対座標を含む情報である。
The difference coordinate
操作イベント情報303は、複数のポインタの各々と対応した操作イベントを含む情報である。
The
情報管理部32は、変換装置2の出力部23aから入力される種々の情報の管理を行う。
また、情報管理部32は、入力した情報の内容で区別して記憶部31に記憶させる。情報管理部32は、入力された第1の差分座標101及び第2の差分座標102を差分座標情報302に記憶させ、入力された第2の操作イベント104を操作イベント情報303に記憶させる。
また、情報管理部32は、差分座標情報302に記憶させた第1の差分座標101及び第2の差分座標102の情報をもとに、複数のポインタごとに絶対座標情報301を導出する。The
Further, the
Further, the
表示情報生成部33は、記憶部33に格納された、複数のポインタごとに導出された絶対座標情報301と、複数のポインタの各々と対応する操作イベント情報303とに基づき、表示部34に表示させるための画面情報を生成する。
The display
表示部34は、操作対象装置3の表示画面であって、表示情報生成部33が生成した画面情報(ここでは、第1のポインタp及び第2のポインタs)を表示する。
The
なお、変換システム1では、変換装置2が複数の操作対象装置3と通信接続し、操作デバイス6から複数の操作対象装置3の各々に対して、同時に又は個別に、マルチタッチ操作を行うようにしても良い。
In the
図3は、変換装置2の変換部22aに設定される変換方式105の一例を示す模式図である。変換部22aは、図3に示す変換方式105に従い、操作デバイス6から入力される第1の操作イベント103の情報を第2の操作イベント104に変換し、変換した第2の操作イベント104の一部を操作対象装置3に対して出力する。図3では、操作対象装置3に対して出力する出力対象の第2の操作イベント104に“〇”印を付与し、操作対象装置3に対して出力しない出力対象ではない第2の操作イベント104に“×”印を付与している。
実施の形態1では、操作デバイス6としてマウス4及びキーボード5を用いて説明する。FIG. 3 is a schematic view showing an example of the
In the first embodiment, a
図3に示す例では、変換方式105においてオペレーション(以下、OPと記載する)=“OP1”として登録される操作イベントによれば、“マウス”と“左ボタン”とを組み合わせた入力の情報は、変換部22aによって、操作対象装置3において『表示部34で“タップ”を行う』という情報に変換される。なお、ここでは“左ボタン”の押下時間に応じて操作対象装置3での“タップ”は“ロングタップ”(長押し)状態と判定されるものとする。
In the example shown in FIG. 3, according to the operation event registered as the operation (hereinafter referred to as OP) = "OP1" in the
また、その他の例では、変換方式105においてOP=“OP3”として登録される操作イベントによれば、“マウスホイール”と“スクロールアップ”とを組み合わせた入力の情報は、変換部22aによって、操作対象装置3において『表示部34で“ピンチアウト”を行う』という情報に変換される。
Further, in another example, according to the operation event registered as OP = "OP3" in the
また、その他の例では、変換方式105においてOP=“OP10”として登録される操作イベントによれば、“キーボード”と“↓”([↓]ボタン押下)とを組み合わせた入力の情報は、変換部22aによって、操作対象装置3において『表示部34で“X軸に反対方向”、“Y軸に反対方向”』を示す情報に変換される。
In another example, according to the operation event registered as OP = "OP10" in the
図3に示す変換方式105にはマルチタッチ操作の他に、例えば、情報端末としてのタブレットPCで実現されるようなマルチウィンドウ操作に対応した操作イベントを、操作デバイス6の操作と対応付けて設定しても良い。
In the
また、操作対象装置3の表示部34で表示する複数のポインタを3点以上としても良い。この場合、変換部22aは表示部34に表示させる複数のポインタの各々と対応した変換方式が取り決めされた変換方式105に従い、第1のポインタpの変換処理を行うことで実現することが可能である。複数のポインタが3点である場合については後述する。
Further, the number of a plurality of pointers displayed on the
次に、図3に示す変換方式の例による操作対象装置3での複数のポインタの動作について、図4を用いて説明する。
Next, the operation of the plurality of pointers in the
図4は、変換方式105に従った変換を説明するための模式図である。図4では、操作対象装置3の表示部34で表示させる複数のポインタを第1のポインタp及び第2のポインタsの2点で示している。上述のとおり、第2のポインタsは変換装置2の変換部22aが第1のポインタpに対して変換処理を行ったポインタである。
また、図4では、第1のポインタp及び第2のポインタsの表示位置はX軸及びY軸からなる相対座標系400で表すものとする。FIG. 4 is a schematic diagram for explaining the conversion according to the
Further, in FIG. 4, the display positions of the first pointer p and the second pointer s are represented by the relative coordinate
図4(a)は、第1の操作イベント103がOP=“OP7”のときの変換を説明するための模式図である。
また、図4(b)は、第1の操作イベント103がOP=“OP1”及び“OP8”のときの変換を説明するための模式図である。
また、図4(c)は、第1の操作イベント103がOP=“OP10”及び“OP11”のときの変換を説明するための模式図である。
また、図4(d)は、第1の操作イベント103がOP=“OP1”及び“OP3”のときの変換を説明するための模式図である。FIG. 4A is a schematic diagram for explaining the conversion when the
Further, FIG. 4B is a schematic diagram for explaining the conversion when the
Further, FIG. 4C is a schematic diagram for explaining the conversion when the
Further, FIG. 4D is a schematic diagram for explaining the conversion when the
図4(a)では、相対座標系400において、第1のポインタp1(0,0)から第1の差分座標101である第1のポインタp2(10,−10)に移動させたときに、第2のポインタs1(0,0)が第2の差分座標102である第2のポインタs2(10,10)に移動する様子を示している。
In FIG. 4A, when the relative coordinate
ユーザーが、マウス4を用いてポインタ操作(カーソル移動操作)を行う間、キーボード5を用いて[←]ボタンを押下すると、変換部22aは、変換方式105のOP=“OP7”での入力情報と変換情報との対応に従い、マウス4で操作する第1のポインタpの情報を変換して第2のポインタsの情報を生成する。
When the user presses the [←] button using the
ここでの入力情報と変換情報との対応とは、図3において“キーボード”と“←”([←]ボタン)とを組み合わせた情報の入力(=第1の操作イベント103)に対する、操作対象装置3における“X軸に同じ向き”かつ“Y軸に反対向き”を示す情報(=第2の操作イベント104)の対応である。
The correspondence between the input information and the conversion information here is the operation target for the input of information (= first operation event 103) in which the “keyboard” and the “←” ([←] button) are combined in FIG. This is the correspondence of the information (= second operation event 104) indicating "the same direction as the X-axis" and "the opposite direction to the Y-axis" in the
具体例としては、ユーザーが、キーボード5の[←]ボタンを押下しながらマウス4を用いてカーソル移動操作を行い、第1のポインタp1(0,0)を第1の差分座標101である第1のポインタp2(10,−10)に移動させると、第2のポインタs1(0,0)は第2の差分座標102である第2のポインタs2(10,10)に移動することになる。
As a specific example, the user performs a cursor movement operation using the
図4(b)では、相対座標系400において、第1のポインタp1(0,0)から第1の差分座標101である第1のポインタp2(10,−10)に移動させたときに、第2のポインタs1(0,0)が第2の差分座標102である第2のポインタs3(−10,−10)に移動する様子を示している。
In FIG. 4B, when the relative coordinate
ユーザーが、マウス4を用いてポインタ操作(カーソル移動操作)及び左ボタンの押下(左クリック操作)を行う間、キーボード5を用いて[→]ボタンを押下すると、変換部22aは、変換方式105のOP=“OP1”及び“OP8”での入力情報と変換情報との対応に従い、マウス4で操作する第1のポインタpの情報を変換して第2のポインタsの情報を生成する。
When the user presses the [→] button using the
ここでの入力情報と変換情報との対応とは、図3において“マウス”と“左ボタン”とを組み合わせた情報の入力(=第1の操作イベント103)に対する、操作対象装置3における“タップ”を示す情報(=第2の操作イベント104)と、“キーボード”と“→”([→]ボタン)とを組み合わせた情報の入力(=第1の操作イベント103)に対する、操作対象装置3における“X軸に反対向き”かつ“Y軸に同じ向き”を示す情報(=第2の操作イベント104)との2つの対応である。
The correspondence between the input information and the conversion information here is the "tap" in the
具体例としては、ユーザーが、マウス4の左ボタンとキーボード5の[→]ボタンとを押下しながらマウス4を用いてカーソル移動操作を行い、第1のポインタp1(0,0)をロングタップ操作(マウス4の左ボタンを長押し)の状態で第1の差分座標101である第1のポインタp2(10,−10)に移動させると、第2のポインタs1(0,0)は第1のポインタと同様にロングタップ操作(マウス4の左ボタンを長押し)の状態で第2の差分座標102である第2のポインタs3(−10,−10)に移動することになる。
As a specific example, the user performs a cursor movement operation using the
このときの、第1のポインタpのp1からp2への操作、及び、第2のポインタsのs1からs3への操作は、操作対象装置3での画面表示において、相対座標系400の座標(0,0)を基点としたY軸の負の向きへの移動を伴う拡大操作に等しくなる。
At this time, the operation of the first pointer p from p1 to p2 and the operation of the second pointer s from s1 to s3 are the coordinates of the relative coordinate
図4(c)では、相対座標系400において、第1のポインタp1(0,0)から第1の差分座標101である第1のポインタp2(10,−10)に移動させたときに、第2のポインタs1(0,0)が第2の差分座標102である第2のポインタs4(0,10)に移動する様子を示している。
In FIG. 4C, when the relative coordinate
ユーザーが、マウス4を用いてポインタ操作(カーソル移動操作)を行う間、キーボード5を用いて[↓]ボタン及び[Shift]ボタンを押下すると、変換部22aは、変換方式105のOP=“OP10”及び“OP11”での入力情報と変換情報との対応に従い、マウス4で操作する第1のポインタpの情報を変換して第2のポインタsの情報を生成する。
When the user presses the [↓] button and the [Shift] button using the
ここでの入力情報と変換情報との対応とは、図3において“キーボード”と“↓”([↓]ボタン)とを組み合わせた情報の入力(=第1の操作イベント103)に対する、操作対象装置3における“X軸に反対向き”かつ“Y軸に反対向き”を示す情報(=第2の操作イベント104)と、“キーボード”と“Shift”([Shift]ボタン)とを組み合わせた情報の入力(=第1の操作イベント103)に対する、操作対象装置3における“X軸は固定”を示す情報(=第2の操作イベント104)との2つの対応である。
The correspondence between the input information and the conversion information here is the operation target for the input of information (= first operation event 103) in which the "keyboard" and the "↓" ([↓] button) are combined in FIG. Information that combines the information (= second operation event 104) indicating "opposite to the X-axis" and "opposite to the Y-axis" in the
具体例としては、ユーザーが、キーボード5の[↓]ボタン及び[Shift]を押下しながらマウス4を用いてカーソル移動操作を行い、第1のポインタp1(0,0)を第1の差分座標101である第1のポインタp2(10,−10)に移動させると、第2のポインタs1(0,0)は第2の差分座標102である第2のポインタs4(0,10)に移動することになる。
As a specific example, the user performs a cursor movement operation using the
ここで、変換方式105のOP=“OP10”と“OP11”とは第2の操作イベント104の内容、つまりX軸と対応する変換の仕方が異なるが、この点については、変換方式105において予めOP=“OP10”よりOP=“OP11”の操作イベントが優先されることを定義しておくことで、上述のとおりに情報の変換を行うことが可能である。変換方式105では、このような操作イベント間の優先順位を複数設定できるものとする。
Here, OP = "OP10" and "OP11" of the
図4(d)では、相対座標系400において、ユーザーが第1のポインタp1(0,0)に対し、マウス4の左ボタンを押下しつつマウスホイールをスクロールアップする操作を行ったときの様子を示している。
FIG. 4D shows a state when the user scrolls up the mouse wheel while pressing the left button of the
ユーザーが、マウス4を用いて左ボタンを押下しながらマウスホイールをスクロールアップすると、変換部22aは、変換方式105のOP=“OP1”及び“OP3”での入力情報と変換情報との対応に従い、マウス4で操作する第1のポインタpの情報を変換して第2のポインタsの情報を生成する。
When the user scrolls up the mouse wheel while pressing the left button using the
ここでの入力情報と変換情報との対応とは、図3において“マウス”と“左ボタン”とを組み合わせた情報の入力(=第1の操作イベント103)に対する、操作対象装置3における“タップ”を示す情報(=第2の操作イベント104)と、“マウス”と“スクロールアップ”とを組み合わせた情報の入力(=第1の操作イベント103)に対する、操作対象装置3における“第1のポインタから他のポインタを遠ざける”を示す情報(=第2の操作イベント104)との2つの対応である。
The correspondence between the input information and the conversion information here is the "tap" in the
具体例としては、ユーザーが、マウス4の左ボタンを押下しながらマウスホイールのスクロールアップ操作を行うと、第1のポインタp1(0,0)はロングタップ操作(マウス4の左ボタンを長押し)の状態で第1の差分座標101である第1のポインタp3(0,2)に移動し、第2のポインタs1(0,0)は第1のポインタpと同様にロングタップ操作(マウス4の左ボタンを長押し)の状態で第2の差分座標102である第2のポインタs5(0,−2)に移動することになる。
As a specific example, when the user scrolls up the mouse wheel while pressing the left button of the
このときの、第1のポインタpのp1からp3への操作、及び、第2のポインタsのs1からs5への操作は、操作対象装置3での画面表示において、第1のポインタp1及び第2のポインタs1の2つの座標の中心を基点とした、所定の間隔で反対向きの移動(図4(d)ではY軸方向に移動量“2”の移動)を伴う拡大操作に等しくなる。
At this time, the operation of the first pointer p from p1 to p3 and the operation of the second pointer s from s1 to s5 are the first pointers p1 and the operation on the screen display on the
なお、図4に示す相対座標系400での第1のポインタp及び第2のポインタsの移動は説明の簡易のための一例であって、この値に限られるものではない。
The movement of the first pointer p and the second pointer s in the relative coordinate
図5は、操作デバイス6であるマウス4を用いてポインタ操作(カーソル移動操作)したときの変換装置2への入力情報を説明するための模式図である。
FIG. 5 is a schematic diagram for explaining input information to the
図5では、例えば、マウス4を移動操作したときの第1のポインタpの軌跡Trを、絶対座標系500において所定の間隔で分割した軌跡Tr1、Tr2、Tr3及びTr4として扱うことを考える。このときの所定の間隔とは、1msなどの短い時間としても良いし、1mmなどの狭い距離としても良い。
In FIG. 5, for example, it is considered that the locus Tr of the first pointer p when the
そして、絶対座標系500において所定の間隔で分割した第1のポインタpの軌跡Tr1、Tr2、Tr3及びTr4を、相対座標系400に変換した第1のポインタpの第1の差分軌跡ベクトルΔv1、Δv2、Δv3及びΔv4に置き換える。
Then, the first difference locus vector Δv1 of the first pointer p obtained by converting the loci Tr1, Tr2, Tr3 and Tr4 of the first pointer p divided at predetermined intervals in the absolute coordinate
置き換えた第1の差分軌跡ベクトルΔv1,・・・,Δv4はそれぞれ、相対座標系400上において、第1の差分座標101a(x1,y1)、第1の差分座標101b(x2,y2)、第1の差分座標101c(x3,y3)、及び、第1の差分座標101d(x4,y4)と導出して表せる。
The replaced first difference locus vectors Δv1, ..., Δv4 are the first difference coordinates 101a (x1, y1), the first difference coordinates 101b (x2, y2), and the first difference coordinates 101b (x2, y2), respectively, on the relative coordinate
このように、絶対座標系500での第1のポインタpの軌跡Trは、相対座標系400での第1の差分軌跡ベクトルΔv及び第1の差分座標101という入力情報として変換装置2に対して入力される。
As described above, the locus Tr of the first pointer p in the absolute coordinate
なお、上記の例では軌跡Trを4分割にして説明したが、分割数は4に限られず1以上の正数であれば良い。 In the above example, the locus Tr is divided into four parts, but the number of divisions is not limited to four and may be a positive number of 1 or more.
図6は、入力情報が変換装置2において変換情報に変換され、操作対象装置3で処理される過程を示す模式図である。
FIG. 6 is a schematic diagram showing a process in which input information is converted into conversion information by the
図6では、入力情報の例として、第1のポインタpの第1の差分座標101a,・・・,101dが入力されるとともに、第1の差分座標101a,・・・,101dの入力の間、第1の操作イベント103が入力されるものとする。ここで、第1の差分座標101a,・・・,101dは順に入力される。また、第1の操作イベント103は、変換方式105のOP=“OP1”(マウス4の左ボタンを押下)及びOP=“OP10”(キーボード5の下ボタンを押下)とする。
In FIG. 6, as an example of the input information, the first difference coordinates 101a, ..., 101d of the first pointer p are input, and between the inputs of the first difference coordinates 101a, ..., 101d. , It is assumed that the
入力情報である第1のポインタpと対応した第1の差分座標101a,・・・,101dは、順次、変換装置2の入力部21aを介して変換部22aに入力されるとともに、併せて変換部22aに入力された第1の操作イベント103のOP=“OP10”に従って、第2のポインタsと対応する第2の差分座標102a,・・・,102dに変換される。
そして、第1のポインタpの第1の差分座標101a,・・・,101d、及び、第2のポインタsの第2の差分座標102a,・・・,102dは、出力部23aから操作対象装置3に対して出力される。The first difference coordinates 101a, ..., 101d corresponding to the first pointer p, which is the input information, are sequentially input to the
Then, the first difference coordinates 101a, ..., 101d of the first pointer p and the second difference coordinates 102a, ..., 102d of the second pointer s are operated from the
また、変換部22aに入力された第1の操作イベント103のOP=“OP1”は、第1のポインタpの第1の差分座標101a,・・・,101d、及び、第2のポインタsの第2の差分座標102a,・・・,102dの2つの出力情報グループのそれぞれに対応付けられて、出力部23aから操作対象装置3に対して出力される。
Further, OP = "OP1" of the
ここで、第1のポインタpと対応付けられて出力部23aから出力される第1の差分座標101a,・・・,101d、及び、第1の操作イベント103であるOP=“OP1”の出力情報のまとまりを、“出力情報グループ1”として一点鎖線枠601で囲っている。
また、第2のポインタsと対応付けられて出力部23aから出力される第2の差分座標102a,・・・,102d、及び、第2の操作イベント104であるOP=“OP1”の出力情報のまとまりを、“出力情報グループ2”として二点鎖線枠602で囲っている。Here, the first difference coordinates 101a, ..., 101d, which are associated with the first pointer p and are output from the
Further, the output information of the second difference coordinates 102a, ..., 102d, which are associated with the second pointer s and output from the
出力情報グループ1及び2において、第2の操作イベント104であるOP=“OP1”は第1の差分座標101a,・・・,101d、及び、第2の差分座標102a,・・・,102dの各々と対応付けられて、順次、操作対象装置3に対して出力される。
In the
なお、出力情報グループ1及び2として扱われる一連の出力情報の区切りは、変換装置2及び操作対象装置3の少なくともいずれかの設定によって決まるものとする。
つまり、第1のポインタpと対応付けられる出力情報は全て同一の出力情報グループ1に含まれ、第2のポインタsと対応付けられる出力情報は全て同一の出力情報グループ2に含まれるものと扱っても良いし、第1のポインタp又は第2のポインタsと対応付けられる出力情報を情報の連続性(例えば、時系列で連続していると判断するための条件)に基づいて複数の出力情報グループ1又は2に区切って含まれるものとして扱っても良い。The division of the series of output information treated as the
That is, all the output information associated with the first pointer p is included in the same
操作対象装置3の情報管理部32は、出力情報グループ1及び2を入力すると、第1の差分座標101及び第2の差分座標102を記憶部31の差分座標情報302に記憶させ、第2の操作イベント104を記憶部31の操作イベント情報303に記憶させる。
When the
情報管理部32は、差分座標情報302に記憶させた第1の差分座標101及び操作イベント情報303に記憶させた第2の操作イベント104、つまり一点鎖線枠601で囲われた情報をもとに、絶対座標系600において一点鎖線枠603で囲われた第1のポインタpの情報を生成する。
また、情報管理部32は、差分座標情報302に記憶させた第2の差分座標102及び操作イベント情報303に記憶させた第2の操作イベント104、つまり二点鎖線枠602で囲われた情報をもとに、絶対座標系600において二点鎖線枠604で囲われた第2のポインタsの情報を生成する。The
Further, the
情報管理部32は、一点鎖線枠603で囲われた絶対座標系600での第1のポインタpの最新の絶対座標の情報を絶対座標情報301に記憶させる。
また、情報管理部32は、二点鎖線枠604で囲われた絶対座標系600での第2のポインタsの最新の絶対座標の情報を絶対座標情報301に記憶させる。The
Further, the
このように、第1のポインタp及び第2のポインタsの最新の位置情報を記憶することにより、新たに第1の差分座標101及び第2の差分座標102が入力されたとき、最新の位置情報から絶対座標の情報を導出することが可能となる。 By storing the latest position information of the first pointer p and the second pointer s in this way, when the first difference coordinate 101 and the second difference coordinate 102 are newly input, the latest position It is possible to derive absolute coordinate information from the information.
なお、一点鎖線枠603で囲われた第1のポインタp及び二点鎖線枠604で囲われた第2のポインタsは移動の間、マウス4の左ボタンを押下された状態であるため、第1のポインタp及び第2のポインタsの2点でのロングタップ操作となる。
Since the first pointer p surrounded by the alternate long and short
表示情報生成部33は、絶対座標情報301に記憶された絶対座標の情報を表示部34にプロットすることで、変換装置2に入力された第1のポインタp及び変換装置2で変換された第2のポインタsの軌跡を表示部34に出力することが出来る。
The display
さらに、表示情報生成部33は、操作イベント情報303に記憶された第2の操作イベント104をプロットした各々の絶対座標に対応付けることで、表示部34で表示した第1のポインタp及び第2のポインタsに対して、第2の操作イベント104の操作に基づく処理を実行することが出来る。
Further, the display
図6に示す例では、操作対象装置3の表示部34において、第1のポインタp及び第2のポインタsは互いに反対向きに湾曲して移動しながらロングタップ操作として処理されるので、画面表示としては回転を伴う拡大操作に等しくなる。
In the example shown in FIG. 6, in the
なお、出力情報グループ1における第1の差分座標101及び第2の操作イベント104、並びに、出力情報グループ2における第2の差分座標102及び第2の操作イベント104とは常に対応付けられなくとも良い。
例えば、第1のポインタp及び第2のポインタsにおいて移動を伴わずにタップ操作させることも可能である。この場合、出力情報グループ1及び出力情報グループ2には、第1の差分座標101及び第2の差分座標102を含めないようにしても良いし、移動量がゼロとなる第1の差分座標101及び第2の差分座標102をそれぞれ含めるようにしても良い。The first difference coordinates 101 and the
For example, the first pointer p and the second pointer s can be tapped without movement. In this case, the
また、変換装置2の変換部22aは、操作デバイス6からの第1の操作イベント103の入力の都度に第2の操作イベント104への変換を行うようにしても良いし、直近に入力された第1の操作イベント103を変換装置2が備えるイベント記憶部29に記憶させることで、第1の操作イベント103の入力が無い間も変換部22aがあたかも第1の操作イベント103を入力しているかのように処理するようにしても良い。
Further, the
このとき、例えば、イベント記憶部29に記憶させる第1の操作イベント103を、変換装置2又は操作対象装置3において予め分類しておくことによって、同じ分類に属する第1の操作イベント103はイベント記憶部29に上書きで記憶し、異なる分類に属する第1の操作イベント103はイベント記憶部29に個別に記憶することが可能となる。このようにすることで、OP=“OP1”の“タップ”操作と、OP=“OP7”の“X軸方向に同じ向き、Y軸方向に反対向き”とは、異なる分類のために同時に操作し続けることが出来るが、OP=“OP7”の“X軸方向に同じ向き、Y軸方向に反対向き”と、OP=“OP8”の“X軸方向に反対向き、Y軸方向に同じ向き”とは、同じ分類のために同時に操作し続けることが出来ないという具合に、複数の第1の操作イベント103をユーザーの所望するとおりに選択的に変換させることが可能となる。
At this time, for example, by classifying the
このように、変換装置2が、予め設定された方針に基づいて第1の操作イベント103の変換を制御することは、ユーザーに対して操作対象装置3でのマルチタッチ相当の操作を行う利便性を向上させることに繋がる。
In this way, the
なお、イベント記憶部29には第1の操作イベント103の変換後の第2の操作イベント104を記憶させるようにしても良い。
The
図7は、変換装置2の処理を説明するためのフローチャート図である。
FIG. 7 is a flowchart for explaining the process of the
処理S701では、変換装置2が起動した後、変換装置2の入力部21aは変換装置2に対するユーザーの操作が変換方式105の入力であるかどうかを判定する。ユーザーから変換方式105が入力されたと判定した場合には処理S702に進み、入力された変換方式105を、変換方式入力部201を介して変換部22aに対し設定する。ユーザーから変換方式105が入力されていないと判定した場合には処理S703に進み、既に入力済みの変換方式105を用いるように設定する。その後、処理S704に進む。
In the process S701, after the
処理S704では、変換装置2の入力部21aは、変換装置2に対するユーザーの操作が終了操作かどうかを判定する。ユーザーから終了操作がなされたと判定した場合には処理を終了する。ユーザーから終了操作がなされたと判定しない場合には処理S705に進む。
In process S704, the
処理S705では、ユーザー操作に基づき、操作デバイス6から変換装置2に対して、第1の差分座標101及び第1の操作イベント103のうち少なくともいずれかが入力される。その後、処理S706に進む。
In the process S705, at least one of the first difference coordinates 101 and the
処理S706では、入力部21aは処理S705で第1の差分座標101を入力したかどうかを判定する。第1の差分座標101を入力したと判定した場合には処理S707に進む。第1の差分座標101を入力したと判定しない場合には処理S712に進む。
In the process S706, the
処理S707では、入力部21aは処理S705で第1の操作イベント103を入力したかどうかを判定する。第1の操作イベント103を入力したと判定した場合には処理S708に進む。第1の操作イベント103を入力したと判定しない場合には処理S710に進む。
In the process S707, the
処理S708では、変換部22aは設定された変換方式105に従い、入力された第1の操作イベント103に基づいて、入力された第1の差分座標101を第2の差分座標102に変換し、第1の操作イベント103を第2の操作イベント104に変換する。その後、処理S709に進む。
In the process S708, the
処理S709では、変換装置2の出力部23aは、入力された第1の差分座標101、変換された第2の差分座標102、及び、変換された出力対象の第2の操作イベント104を操作対象装置3に対して出力する。その後、処理S704に進む。
In the process S709, the
処理S710では、変換部22aは設定された変換方式105に従い、入力された第1の操作イベント103に基づいて、入力された第1の差分座標101を第2の差分座標102に変換する。その後、処理S711に進む。
In the process S710, the
処理S711では、変換装置2の出力部23aは、入力された第1の差分座標101を操作対象装置3に対して出力する。その後、処理S704に進む。
In the process S711, the
処理S712では、入力部21aは処理S705で第1の操作イベント103を入力したかどうかを判定する。第1の操作イベント103を入力したと判定した場合には処理S713に進む。第1の操作イベント103を入力したと判定しない場合には処理S704に進む。
In the process S712, the
処理S713では、変換部22aは設定された変換方式105に従い、入力された第1の操作イベント103を第2の操作イベント104に変換する。その後、処理S714に進む。
In the process S713, the
処理S714では、変換装置2の出力部23aは、変換された出力対象の第2の操作イベント104を操作対象装置3に対して出力する。その後、処理S704に進む。
In the process S714, the
図8は、操作対象装置3での画面出力の一例を示す模式図である。
絶対座標系500はマウス4で操作されるディスプレイ7上のポインタと対応した座標系であり、絶対座標系600は操作対象装置3において生成される第1のポインタp及び第2のポインタsと対応した座標系である。FIG. 8 is a schematic view showing an example of screen output in the
The absolute coordinate
絶対座標系500のXa軸と平行な方向に対するマウス4からの移動操作により、第1のポインタp1は第1のポインタp2に移動する。その間、キーボード5で[↓]ボタンを押下すると、変換方式105のOP=“OP10”に従い、第2のポインタs1は、第1のポインタp1を基点として第1のポインタp2とは絶対座標系600のXb軸及びYb軸に対して反対向きに、第2のポインタs2に移動する。
The first pointer p1 moves to the first pointer p2 by the movement operation from the
続いて、絶対座標系500のYa軸と平行な方向に対するマウス4からの移動操作により、第1のポインタp2は第1のポインタp3に移動する。その間、キーボード5で[↑]ボタンを押下すると、変換方式105のOP=“OP9”に従い、第2のポインタs2は、第1のポインタp3とは絶対座標系600のXb軸及びYb軸に対して同じ向きに、第2のポインタs3に移動する。
Subsequently, the first pointer p2 is moved to the first pointer p3 by the movement operation from the
続いて、キーボード5で[Alt]ボタンを押下すると、変換方式105のOP=“OP13”に従い、第2のポインタs3は第1のポインタp4に切り替わり、第1のポインタp3は第2のポインタs4に切り替わる。
Subsequently, when the [Alt] button is pressed on the
続いて、絶対座標系500のXa軸に対して正の向きでYa軸に対して負の向きとなるマウス4からの移動操作により、第1のポインタp4は第1のポインタp5に移動する。その間、キーボード5で[→]ボタンを押下すると、変換方式105のOP=“OP8”に従い、第2のポインタs4は、第1のポインタp4とは絶対座標系600のXb軸に対して反対向きに、かつYb軸に対して同じ向きに、第2のポインタs5に移動する。
Subsequently, the first pointer p4 moves to the first pointer p5 by the movement operation from the
続いて、絶対座標系500のXa軸と平行な方向に対するマウス4からの移動操作により、第1のポインタp5は第1のポインタp6に移動する。その間、キーボード5で[Shift]ボタンを押下するとともに、マウス4で左ボタンを押下すると、変換方式105のOP=“OP11”及び“OP1”に従い、第2のポインタs5は、第1のポインタp5とは絶対座標系600のXb軸に対して固定された第2のポインタs6に位置し続けるとともに、第1のポインタp6及び第2のポインタs6に至るまでロングタップ状態となる。
Subsequently, the first pointer p5 is moved to the first pointer p6 by the movement operation from the
図8に示すように、操作デバイス6の操作に関わる情報を変換装置2で変換することにより、操作対象装置3の表示部34において、あたかもマルチタッチのような操作を行うことが可能となる。
As shown in FIG. 8, by converting the information related to the operation of the
図9は、複数のポインタが3点である場合の、変換方式105に従った変換を説明するための模式図である。
また、図10は、複数のポインタが3点である場合の、変換装置2の変換部22aに設定される変換方式105の一例を示す模式図である。FIG. 9 is a schematic diagram for explaining the conversion according to the
Further, FIG. 10 is a schematic diagram showing an example of a
図9では、操作対象装置3の表示部34で表示させる複数のポインタを第1のポインタp、第2のポインタs及び第3のポインタmの3点で示している。第2のポインタs及び第3のポインタmは変換装置2の変換部22aが第1のポインタpに対して変換処理を行ったポインタである。
また、図9では、第1のポインタp、第2のポインタs及び第3のポインタmの表示位置はX軸及びY軸からなる相対座標系400で表すものとする。In FIG. 9, a plurality of pointers to be displayed on the
Further, in FIG. 9, the display positions of the first pointer p, the second pointer s, and the third pointer m are represented by the relative coordinate
図9(a)は、第1の操作イベント103がOP=“OP101”及び“OP1”のときの変換を説明するための模式図である。
また、図9(b)は、第1の操作イベント103がOP=“OP101”、“OP3”及び“OP1”のときの変換を説明するための模式図である。
また、図9(c)は、第1の操作イベント103がOP=“OP101”及び“OP3”のときの変換を説明するための模式図である。FIG. 9A is a schematic diagram for explaining the conversion when the
Further, FIG. 9B is a schematic diagram for explaining the conversion when the
Further, FIG. 9C is a schematic diagram for explaining the conversion when the
図9(a)では、相対座標系400において、第1のポインタp1(0,0)から第1のポインタp2(0,−20)に移動させたときに、第2のポインタs1(5,0)が第2のポインタs2(5,−20)に移動し、第3のポインタm1(−5,0)が第3のポインタm2(−5,−20)に移動する様子を示している。
In FIG. 9A, when the first pointer p1 (0,0) is moved to the first pointer p2 (0, -20) in the relative coordinate
なお、第1のポインタp1(0,0)から第1のポインタp2(0,−20)に移動させる位置は、上述のとおり、第1の差分座標101の情報をもとに決められる。
また、第2のポインタs1(5,0)から第2のポインタs2(5,−20)に移動させる位置は、上述のとおり、第2の差分座標102の情報をもとに決められる。
また、第3のポインタm1(−5,0)から第3のポインタm2(−5,−20)に移動させる位置は、第2のポインタs1及びs2と同様にして、変換装置2の変換部22aが変換方式105に従い第1の差分座標101を変換した第3の差分座標106の情報をもとに決められる。The position to move from the first pointer p1 (0,0) to the first pointer p2 (0, -20) is determined based on the information of the first difference coordinate 101 as described above.
Further, the position to move from the second pointer s1 (5,0) to the second pointer s2 (5, -20) is determined based on the information of the second difference coordinate 102 as described above.
Further, the position to move from the third pointer m1 (-5,0) to the third pointer m2 (-5, -20) is the same as that of the second pointers s1 and s2, and the conversion unit of the
ユーザーが、キーボード5を用いて[h]ボタン及び[3]ボタンを押下すると、変換部22aは、図10に示す変換方式105のOP=“OP101”での入力情報と変換情報(=つまり「X軸方向で第1のポインタの正と負の向きに、第2のポインタと第3のポインタを置く」)との対応に従い、図9(a)に示すようにマウス4で操作する第1のポインタp1の情報を変換して第2のポインタs1及び第3のポインタm1の情報を生成する。
When the user presses the [h] button and the [3] button using the
なお、図9(a)では、X軸方向における第1のポインタp1と第2のポインタs1及び第3のポインタm1の各々との間隔を正と負の向きに“5”としているが、この値に限られず予め設定することが出来るものとする。 In FIG. 9A, the distance between the first pointer p1 and the second pointer s1 and the third pointer m1 in the X-axis direction is set to "5" in the positive and negative directions. Not limited to the value, it can be set in advance.
そして、ユーザーが、マウス4を用いてポインタ操作(カーソル移動操作)及び左ボタンの押下(左クリック操作、つまり、変換方式105のOP=“OP1”)を行い、第1のポインタp1(0,0)を第1のポインタp2(0,−20)に移動させると、第2のポインタs1(5,0)は第2のポインタs2(5,−20)に移動し、第3のポインタm1(−5,0)は第3のポインタm2(−5,−20)に移動することになる。
Then, the user performs a pointer operation (cursor movement operation) and a left button press (left click operation, that is, OP = “OP1” of the conversion method 105) using the
このときの操作は、マルチタッチ機能をサポートした操作デバイスの表示画面において、3点でのロングタップ状態で画面下向きに移動することに相当する。 The operation at this time corresponds to moving downward on the display screen of the operation device that supports the multi-touch function in a long tap state at three points.
図9(b)では、先ず、図9(a)での第1のポインタp1、第2のポインタs1及び第3のポインタm1の状態において、第2のポインタs1及び第3のポインタm1を第1のポインタp1からさらに遠ざけた第2のポインタs2(10,0)及び第3のポインタm2(−10,0)に移動させる。 In FIG. 9B, first, in the state of the first pointer p1, the second pointer s1 and the third pointer m1 in FIG. 9A, the second pointer s1 and the third pointer m1 are used. It is moved to the second pointer s2 (10,0) and the third pointer m2 (-10,0) further away from the pointer p1 of 1.
次に、図9(a)での第1のポインタp1(0,0)から第1の差分座標101である第1のポインタp2(0,−20)に移動させたときに、第2のポインタs2(10,0)が第2のポインタs3(10,−20)に移動し、第3のポインタm2(−10,0)が第3のポインタm3(−10,−20)に移動する様子を示している。 Next, when the first pointer p1 (0,0) in FIG. 9A is moved to the first pointer p2 (0, -20) which is the first difference coordinate 101, the second pointer p2 (0, -20) is moved. The pointer s2 (10,0) moves to the second pointer s3 (10, -20), and the third pointer m2 (-10,0) moves to the third pointer m3 (-10, -20). It shows the situation.
ユーザーが、図9(a)と同様にして、キーボード5を用いて[h]ボタン及び[3]ボタンを押下すると、変換部22aは、図10に示す変換方式105のOP=“OP101”での入力情報と変換情報(=つまり「X軸方向で第1のポインタの正と負の向きに、第2のポインタと第3のポインタを置く」)との対応に従い、図9(b)に示すようにマウス4で操作する第1のポインタp1の情報を変換して第2のポインタs1及び第3のポインタm1の情報を生成する。
When the user presses the [h] button and the [3] button using the
そして、ユーザーが、マウス4を用いてスクロールアップ操作をすると、変換部22aは、変換方式105のOP=“OP3”での入力情報と変換情報(=つまり「第1のポインタから他のポインタを遠ざける」)との対応に従い、図9(b)に示すように第2のポインタs1及び第3のポインタm1の情報を変換して第2のポインタs2(10,0)及び第3のポインタm2(−10,0)の情報を生成する。
Then, when the user scrolls up using the
ここで、3点以上のポインタ操作において、変換方式105のOP=“OP3”及び“OP1”を合わせて行う場合、画面表示を拡大させることも可能である。
Here, when OP = "OP3" and "OP1" of the
そして、ユーザーが、マウス4を用いてポインタ操作(カーソル移動操作)及び左ボタンの押下(左クリック操作、つまり、変換方式105のOP=“OP1”)を行い、第1のポインタp1(0,0)を第1のポインタp2(0,−20)に移動させると、第2のポインタs2(10,0)は第2のポインタs3(10,−20)に移動し、第3のポインタm2(−10,0)は第3のポインタm3(−10,−20)に移動することになる。
Then, the user performs a pointer operation (cursor movement operation) and a left button press (left click operation, that is, OP = “OP1” of the conversion method 105) using the
このように、変換方式105の内容によって3点でタップする位置を遠ざけたり、反対に近づけたり(変換方式105のOP=“OP4”を用いる)する操作を行うことも可能である。
In this way, depending on the content of the
図9(c)では、第1のポインタp1(0,0)、第2のポインタs1(5,5)及び第3のポインタm1(−5,5)の状態において、第1のポインタp1を第1のポインタp2(0,−5)に移動させたときに、第2のポインタs1及び第3のポインタm1を第1のポインタp1の位置からさらに遠ざかった第2のポインタs2(10,10)及び第3のポインタm2(−10,10)に移動した様子を示している。 In FIG. 9C, the first pointer p1 is set in the state of the first pointer p1 (0,0), the second pointer s1 (5,5), and the third pointer m1 (-5,5). When moved to the first pointer p2 (0, -5), the second pointer s1 and the third pointer m1 are further moved away from the position of the first pointer p1 (10, 10). ) And the third pointer m2 (-10, 10).
ユーザーが、キーボード5を用いて[u]ボタン及び[3]ボタンを押下すると、変換部22aは、図10に示す変換方式105のOP=“OP110”での入力情報と変換情報(=つまり「X軸方向で第1のポインタに対し正と負の向き、かつ、Y軸方向で第1のポインタに対し正の向きに、第2のポインタと第3のポインタを置く」)との対応に従い、図9(c)に示すようにマウス4で操作する第1のポインタp1の情報を変換して第2のポインタs1及び第3のポインタm1の情報を生成する。
When the user presses the [u] button and the [3] button using the
そして、ユーザーが、マウス4を用いてスクロールアップ操作(つまり、変換方式105のOP=“OP3”)及び左ボタンの押下(左クリック操作、つまり、変換方式105のOP=“OP1”)をすると、変換部22aは、変換方式105のOP=“OP3”での入力情報と変換情報(=つまり「第1のポインタから他のポインタを遠ざける」)との対応に従い、図9(c)に示すように第2のポインタs1及び第3のポインタm1の情報を変換して第2のポインタs2(10,0)及び第3のポインタm2(−10,0)の情報を生成する。
Then, when the user performs a scroll-up operation (that is, OP of the
このとき、第1のポインタp1の情報を変換して第1のポインタp2(0,−5)の情報を生成して第1のポインタp1を第1のポインタp2に移動させるようにしても良いし、第1のポインタp2の情報を生成せず第1のポインタp1を移動させないようにしても良い。 At this time, the information of the first pointer p1 may be converted to generate the information of the first pointer p2 (0, -5), and the first pointer p1 may be moved to the first pointer p2. However, the information of the first pointer p2 may not be generated and the first pointer p1 may not be moved.
そして、ユーザーが、マウス4を用いてポインタ操作(カーソル移動操作)及び左ボタンの押下(左クリック操作、つまり、変換方式105のOP=“OP1”)を行い、第1のポインタp1(0,0)を第1のポインタp2(0,−20)に移動させると、第2のポインタs2(10,0)は第2のポインタs3(10,−20)に移動し、第3のポインタm2(−10,0)は第3のポインタm3(−10,−20)に移動することになる。
Then, the user performs a pointer operation (cursor movement operation) and a left button press (left click operation, that is, OP = “OP1” of the conversion method 105) using the
このときの操作は、マルチタッチ機能をサポートした操作デバイスの表示画面において、3点でのロングタップ状態で各々の点を遠ざける向きに移動させることに相当する。また、変換方式105のOP=“OP3”の代わりにOP=“OP4”の操作を行った場合には、3点でのロングタップ状態で各々の点を近づける向きに移動させることに相当する。
The operation at this time corresponds to moving each point in a direction away from each other in a long tap state at three points on the display screen of the operation device that supports the multi-touch function. Further, when the operation of OP = "OP4" is performed instead of OP = "OP3" of the
図9で示した操作対象装置3で扱う複数のポインタが3点である場合と同様にして、変換方式105での設定と変換部22aでの変換処理とによって、操作対象装置3で扱う複数のポインタを4点以上とすることも可能である。
そこで、操作対象装置3で扱う複数のポインタのうち、第1のポインタを除くn点のポインタ(nは1以上の正数)の各々と対応する、変換部22aが変換方式105に従い第1の差分座標102を変換した各差分座標をまとめて変換差分座標110と定義する。
第2の差分座標102及び第3の差分座標106は、変換差分座標110に含まれる。Similar to the case where the plurality of pointers handled by the
Therefore, among the plurality of pointers handled by the
The second difference coordinate 102 and the third difference coordinate 106 are included in the conversion difference coordinate 110.
図11は、変換装置2の構成についての変形例である。変換装置2は、入力部21b、変換部22b及び出力部23bを備える。また、入力部21bは、変換方式入力部201、差分座標入力部202b及びイベント入力部203を有する。なお、図2と同じ符号のものは説明を繰り返さない。
FIG. 11 is a modified example of the configuration of the
入力部21bは、変換方式入力部201、差分座標入力部202b及びイベント入力部203を含む。
The
変換方式入力部201は、図2と同様に、ユーザー操作によって変換装置2の入力部21bに対して変換方式105が入力されると、入力された変換方式105を変換部22bに対して設定する。
Similar to FIG. 2, when the
差分座標入力部202bは、ユーザー操作によって変換装置2の入力部21bに対して第1の差分座標101が入力されると、入力された第1の差分座標101を変換部22b及び出力部23bに対し出力する。
When the first difference coordinate 101 is input to the
イベント入力部203は、図2と同様に、ユーザー操作によって変換装置2の入力部21bに対して第1の操作イベント103が入力されると、入力された第1の操作イベント103を変換部22bに対し出力する。
Similar to FIG. 2, when the
変換部22bは、図2と同様に、設定された変換方式105に従って情報の変換を行う。
また、変換部22bは、入力された第1の差分座標101を第2の差分座標102に変換し、変換した第2の差分座標102を出力部23bに対して出力する。
また、変換部22bは、図2と同様に、入力された第1の操作イベント103を第2の操作イベント104に変換し、変換した第2の操作イベント104のうち出力対象のものを出力部23bに対して出力する。Similar to FIG. 2, the
Further, the
Further, as in FIG. 2, the
出力部23bは、図2と同様に、入力された第1の差分座標101、変換された第2の差分座標102及び変換された出力対象の第2の操作イベント104を操作対象装置3に対して出力する。
Similar to FIG. 2, the
なお、図11に示した変換装置2の変形例においても、上述の複数のポインタを扱い、変換差分座標110を操作対象装置3に対して出力することは可能である。
Even in the modified example of the
以上説明したように、実施の形態1によれば、変換装置2は、ユーザーに対し、マルチタッチ機能をサポートしていない操作デバイス6を用いながら、操作対象装置3においてマルチタッチ機能に相当する入力操作を行うことを可能とする効果が得られる。
As described above, according to the first embodiment, the
また、実施の形態1によれば、変換装置2は予め変換方式105を設定されることにより、ユーザー操作に対してリアルタイムでマルチタッチ操作を実現する効果が得られる。つまり、ユーザーは、第1のポインタpの操作に基づく第2のポインタsの操作を、操作デバイス6の操作に従い、動的に柔軟に切り替えることが出来るようになる。
Further, according to the first embodiment, by setting the
また、実施の形態1によれば、ユーザーは、操作対象装置3でのマルチタッチ操作を、通信接続を介して遠隔地に設置されたマルチタッチ機能をサポートしていない操作デバイス6から実行することが可能となる。このことは、操作デバイス6、変換装置2及び操作対象装置3の設置場所を問わず、ユーザーは操作対象装置3に通信接続を行って画面操作を実行することが可能となるので、操作対象装置3への保守を容易とする効果に繋がる。このとき、ユーザーが操作対象装置3での画面表示を確認するための手段(例えば、通信接続を介して操作対象装置3の画面表示を閲覧する等)が設けられているとさらに保守が容易となる。
Further, according to the first embodiment, the user executes the multi-touch operation on the
実施の形態2.
図12は、実施の形態2における変換装置2が備える機能の構成を示す機能ブロック図である。実施の形態2の変換装置2は、変換補正部220cをさらに備える。なお、図2と同じ符号のものは説明を繰り返さない。
FIG. 12 is a functional block diagram showing a configuration of functions included in the
変換補正部220cは、操作対象装置3の表示情報生成部33から帰還情報109を入力する。帰還情報109は、操作対象装置3の表示部34で表示可能な領域Aと、第1のポインタp及び第2のポインタsの少なくともいずれかの最新の表示位置とを含む情報である。
The
なお、操作対象装置3の表示部34で表示可能な領域Aに関する情報は、帰還情報109に一度だけ含めるようにしても良いし、帰還情報109とは別に操作対象装置3から変換装置2に対して通知されるようにしても良い。
Information about the area A that can be displayed on the
表示可能な領域Aを示す情報は、例えば、絶対座標系600における2つの終端座標で表される。また、第1のポインタp及び第2のポインタsの最新の表示位置を示す情報は、絶対座標系600での第1のポインタp及び第2のポインタsの各々の座標で表される。
The information indicating the displayable area A is represented by, for example, two terminal coordinates in the absolute coordinate
変換補正部220cは、帰還情報109を入力すると、帰還情報109に第1のポインタpの最新の位置座標が含まれるならば、入力部21aから入力された第1の差分座標101を第1のポインタpの最新の位置座標(絶対座標)に加算し、帰還情報109に第2のポインタsの最新の位置座標が含まれるならば、変換部22cが変換した第2の差分座標102を第2のポインタsの最新の位置座標(絶対座標)に加算し、加算した各々の座標が領域Aから外れないかどうかを判定する。
When the
変換補正部220cは、第1のポインタp及び第2のポインタsのいずれかについて加算した座標が領域Aから外れると判定した場合、X軸方向及びY軸方向において領域A内となるように座標の補正を行う。図12では、第1の差分座標101を補正した情報を第4の差分座標107、第2の差分座標102を補正した情報を第5の差分座標108で示す。
一方で、加算した座標が領域Aから外れないと判定した場合は座標の補正を行わない。When the
On the other hand, if it is determined that the added coordinates do not deviate from the area A, the coordinates are not corrected.
図13は、変換装置2の変換補正部220cでの処理の一例を説明するための模式図である。
FIG. 13 is a schematic diagram for explaining an example of processing in the
表示部34で表示可能な領域Aが、終端座標E1(400,600)及び終端座標E2(−400,−600)の2点を対角線とする矩形範囲で定められ、第1のポインタp及び第2のポインタsの最新の位置座標がそれぞれp1(400,200)及びs1(−100,300)であるとする。ここで、領域Aは表示部34の画面サイズの範囲内としても良いし、画面サイズより大きい範囲としても良い。
The area A that can be displayed on the
その後、操作デバイス6からの入力情報に基づき、変換部22cが第1のポインタp1を第1の差分座標101(300,200)だけ移動させて第1のポインタp2(700,400)の位置とし、第2のポインタsを第2の差分座標102(−300,200)だけ移動させて第2のポインタs2(−400,500)の位置としようとすると、第1のポインタp2及び第2のポインタs2は領域Aから外れてしまうこととなる。
After that, based on the input information from the
このような場合に、変換補正部220cは、第1のポインタp2の位置を領域Aに収めるように第1の差分座標101(300,200)を第4の差分座標107(200,200)に補正する変換を行い、第2のポインタs2の位置を領域Aに収めるように第2の差分座標102(−300,200)を第5の差分座標108(−300,100)に補正する変換を行い、第4の差分座標107及び第5の差分座標108を出力部23aに対して出力する。その結果、表示部34では第1のポインタp3(600,400)及び第2のポインタs3(−400,400)として領域A内に表示されることになる。
In such a case, the
なお、第1のポインタp及び第2のポインタsの少なくともいずれかの領域A内への位置の補正を操作対象装置3の表示情報生成部33が行うようにしても良い。
The display
また、図12に示した変換装置2においても、上述の複数のポインタを扱い、変換差分座標110を操作対象装置3に対して出力するとともに、変換差分座標110に含まれる各々の差分座標に対して補正する変換を行うことは可能である。
Further, the
以上説明したように、実施の形態2によれば、ユーザーが操作を行う仕様(つまり、操作デバイス6及びディスプレイ7)と操作対象装置3が画面表示する仕様との間に差異が存在する場合に、ユーザーに対してこの差異の調整を行わせることなく、操作対象装置3でのマルチタッチ操作を行わせることを可能とする。
As described above, according to the second embodiment, when there is a difference between the specifications for the user to operate (that is, the
図14は、操作対象装置3のハードウェア構成例を示す図である。
操作対象装置3は、ハードウェアとして、中央演算装置901、主記憶装置902、補助記憶装置903、デバイス間インターフェース904及びバス905を備える。FIG. 14 is a diagram showing a hardware configuration example of the
The
中央演算装置901は、例えば、CPU等のLSIである。主記憶装置902は、例えば、RAM等の揮発性メモリである。補助記憶装置903は、例えば、不揮発性メモリ、ハードディスク又は光ディスク等である。デバイス間インターフェース904は、例えば、USB(Universal Serial Bus。USB Type−Cは登録商標)又はイーサネット(登録商標)等の通信接続を可能とするための、ポート又はソケットといったデバイスである。バス905は、中央演算装置901、主記憶装置902、補助記憶装置903及びデバイス間インターフェース904が相互に情報を入出力するための情報信号の伝送路である。
The central
操作対象装置3の機能を実現するためのソフトウェアは、予め補助記憶装置903に記憶されており、例えば操作対象装置3の起動に伴って、中央演算装置901が主記憶装置902にソフトウェアデータを展開することにより実行可能な状態となる。上述の操作対象装置3は、操作対象装置3の機能を実現するためのソフトウェアが主記憶装置901に展開された状態を示している。
The software for realizing the function of the
なお、上述の構成例に限られず、変換装置2及び操作対象装置3の少なくともいずれかは、例えば、FPGA(field−programmable gate array)などのハードウェアによって構成されても良いし、ソフトウェアとハードウェアの双方を用いて構成されても良い。
Not limited to the above configuration example, at least one of the
1 変換システム、2 変換装置、3 操作対象装置、4 マウス、5 キーボード、6 操作デバイス、7 ディスプレイ、21a、21b、21c 入力部、22a、22b、22c 変換部、23a、23b、23c 出力部、29 イベント記憶部、31 記憶部、32 情報管理部、33 表示情報生成部、34 表示部、101 第1の差分情報、102 第2の差分情報、103 第1の操作イベント、104 第2の操作イベント、105 変換方式、106 第3の差分情報、107 第4の差分情報、108 第5の差分情報、109 帰還情報、110 変換差分座標、220c 変換補正部、p 第1のポインタ、s 第2のポインタ、m 第3のポインタ 1 conversion system, 2 conversion device, 3 operation target device, 4 mouse, 5 keyboard, 6 operation device, 7 display, 21a, 21b, 21c input unit, 22a, 22b, 22c conversion unit, 23a, 23b, 23c output unit, 29 Event storage unit, 31 Storage unit, 32 Information management unit, 33 Display information generation unit, 34 Display unit, 101 First difference information, 102 Second difference information, 103 First operation event, 104 Second operation Event, 105 conversion method, 106 third difference information, 107 fourth difference information, 108 fifth difference information, 109 feedback information, 110 conversion difference coordinates, 220c conversion correction unit, p first pointer, s second Pointer, m 3rd pointer
本開示の変換装置は、操作デバイスによるポインタの移動操作に基づく前記ポインタの移動に関する情報を示す第1の差分情報及び前記操作デバイスによる操作のうち前記移動操作以外の操作に関する情報を示す第1の操作イベントを入力する入力部と、変換方式に従い、前記入力部が入力した前記第1の差分情報を前記第1の差分情報とは異なる2以上の差分情報を含む変換差分情報に変換し、前記入力部が入力した前記第1の操作イベントを第2の操作イベントに変換する変換部と、前記入力部が入力した前記第1の差分情報、前記変換部が変換した前記変換差分情報及び前記変換部が変換した出力対象である前記第2の操作イベントを、操作対象装置に対して出力する出力部と、を備えた。 The conversion device of the present disclosure is a first difference information indicating information regarding the movement of the pointer based on a movement operation of the pointer by the operation device, and a first difference information indicating information related to an operation other than the movement operation among the operations by the operation device. According to the input unit for inputting the operation event and the conversion method, the first difference information input by the input unit is converted into conversion difference information including two or more difference information different from the first difference information. A conversion unit that converts the first operation event input by the input unit into a second operation event, the first difference information input by the input unit, the conversion difference information converted by the conversion unit, and the conversion. The second operation event, which is the output target converted by the unit, is provided with an output unit that outputs the second operation event to the operation target device.
Claims (12)
変換方式に従い、前記入力部が入力した前記第1の差分情報を第2の差分情報に変換し、前記入力部が入力した前記第1の操作イベントを第2の操作イベントに変換する変換部と、
前記入力部が入力した前記第1の差分情報、前記変換部が変換した前記第2の差分情報及び前記変換部が変換した出力対象である前記第2の操作イベントを、操作対象装置に対して出力する出力部と、
を備えた変換装置。An input unit for inputting the first difference information indicating the information related to the movement of the pointer based on the operation of moving the pointer by the operating device and the first operation event indicating the information related to the operation other than the moving operation among the operations by the operating device. When,
According to the conversion method, the first difference information input by the input unit is converted into the second difference information, and the first operation event input by the input unit is converted into the second operation event. ,
The first difference information input by the input unit, the second difference information converted by the conversion unit, and the second operation event, which is the output target converted by the conversion unit, are transmitted to the operation target device. The output section to output and
A converter equipped with.
前記第2の差分情報は、前記変換部によって前記第2の操作イベントに基づき前記第1の差分情報から変換される、前記操作対象装置において前記第1の差分情報に基づき画面出力される第1のポインタと対応して画面出力される第2のポインタの移動に関する相対的な位置情報であって、
前記変換部によって変換された出力対象である前記第2の操作イベントは、前記第1のポインタ及び前記第2のポインタでの操作に関する情報を含む、
請求項1に記載の変換装置。The first difference information is relative position information obtained by dividing the movement of the pointer based on the movement operation.
The second difference information is converted from the first difference information by the conversion unit based on the second operation event, and is output to the screen based on the first difference information in the operation target device. This is the relative position information regarding the movement of the second pointer that is output to the screen corresponding to the pointer of.
The second operation event, which is an output target converted by the conversion unit, includes information about the operation with the first pointer and the second pointer.
The conversion device according to claim 1.
請求項1または2に記載の変換装置。At least a part of the second operation event output to the operation target device is associated with each of the first difference information and the second difference information.
The conversion device according to claim 1 or 2.
前記帰還情報に含まれる前記表示位置の情報、並びに、前記入力部で入力された前記第1の差分情報及び前記変換部で変換された前記第2の差分情報の少なくともいずれかに基づき、前記操作対象装置が前記第1のポインタ及び前記第2のポインタを表示させる領域から、前記第1のポインタ及び前記第2のポインタの少なくともいずれかが外れないかどうかを判定する、変換補正部をさらに備える、
請求項2または3に記載の変換装置。Return information including the latest display position of at least one of the first pointer and the second pointer is input from the operation target device.
The operation is based on at least one of the display position information included in the feedback information, the first difference information input by the input unit, and the second difference information converted by the conversion unit. The target device further includes a conversion correction unit that determines whether or not at least one of the first pointer and the second pointer does not deviate from the area for displaying the first pointer and the second pointer. ,
The conversion device according to claim 2 or 3.
請求項4に記載の変換装置。The conversion correction unit corrects at least one of the first difference information and the second difference information corresponding to at least one of the first pointer and the second pointer determined to be out of the region. ,
The conversion device according to claim 4.
前記出力部は、前記変換部が変換した前記変換差分情報を操作対象装置に対して出力する、
請求項1から3のいずれか1項に記載の変換装置。The conversion unit converts the first difference information input by the input unit into conversion difference information according to a conversion method.
The output unit outputs the conversion difference information converted by the conversion unit to the operation target device.
The conversion device according to any one of claims 1 to 3.
前記帰還情報に含まれる前記表示位置の情報、並びに、前記入力部で入力された前記第1の差分情報及び前記変換部で変換された前記変換差分情報の少なくともいずれかに基づき、前記操作対象装置が前記複数のポインタを表示させる領域から、前記複数のポインタの少なくともいずれかが外れないかどうかを判定する、変換補正部をさらに備える、
請求項6に記載の変換装置。Input the feedback information including the latest display position of at least one of the plurality of pointers handled by the operation target device.
The operation target device is based on at least one of the display position information included in the feedback information, the first difference information input by the input unit, and the conversion difference information converted by the conversion unit. Further includes a conversion correction unit that determines whether or not at least one of the plurality of pointers does not deviate from the area for displaying the plurality of pointers.
The conversion device according to claim 6.
並びに、第1のポインタ及び第2のポインタを画面出力する表示部と、前記変換装置の出力部が出力する前記第1の差分情報及び前記第2の差分情報に基づき前記第1のポインタ及び前記第2のポインタを表示させる領域での表示位置を示す情報を導出する情報管理部と、前記情報管理部が導出した情報に基づき前記表示部が前記第1のポインタ及び前記第2のポインタを画面出力するための情報を生成する表示情報生成部と、を備える操作対象装置、
を有する変換システム。The converter according to any one of claims 1 to 5.
Further, the first pointer and the first pointer based on the display unit that outputs the first pointer and the second pointer on the screen, the first difference information output by the output unit of the conversion device, and the second difference information. The information management unit that derives information indicating the display position in the area where the second pointer is displayed, and the display unit screens the first pointer and the second pointer based on the information derived by the information management unit. An operation target device including a display information generation unit that generates information for output.
Conversion system with.
請求項8に記載の変換システム。The display information generation unit includes information indicating the display positions of the first pointer and the second pointer in the area derived by the information management unit, and a second operation output by the output unit of the conversion device. Based on the event, the display unit generates information related to the operation with the first pointer and the second pointer output on the screen.
The conversion system according to claim 8.
請求項8または9に記載の変換システム。The information management unit stores in the storage unit information indicating the display positions of the first pointer and the second pointer in the derived area.
The conversion system according to claim 8 or 9.
並びに、複数のポインタを画面出力する表示部と、前記変換装置の出力部が出力する前記第1の差分情報及び前記変換差分情報に基づき前記複数のポインタを表示させる領域での表示位置を示す情報を導出する情報管理部と、前記情報管理部が導出した情報に基づき前記表示部が前記複数のポインタを画面出力するための情報を生成する表示情報生成部と、を備える操作対象装置、
を有する変換システム。The converter according to claim 6 or 7.
In addition, information indicating a display unit that outputs a plurality of pointers on the screen, a first difference information output by the output unit of the conversion device, and a display position in an area for displaying the plurality of pointers based on the conversion difference information. An operation target device including an information management unit for deriving information, and a display information generation unit for generating information for the display unit to output the plurality of pointers on the screen based on the information derived by the information management unit.
Conversion system with.
変換方式に従い、前記入力工程で入力した前記第1の差分情報を第2の差分情報に変換し、前記入力部が入力した前記第1の操作イベントを第2の操作イベントに変換する変換工程と、
前記入力工程で入力した前記第1の差分情報、前記変換工程で変換した前記第2の差分情報及び前記変換工程で変換した出力対象である前記第2の操作イベントを、操作対象装置に対して出力する出力工程と、
を有する変換方法。An input step of inputting a first difference information indicating information on the movement of the pointer based on the operation of moving the pointer by the operation device and a first operation event indicating information on operations other than the movement operation among the operations by the operation device. When,
According to the conversion method, the first difference information input in the input step is converted into the second difference information, and the first operation event input by the input unit is converted into the second operation event. ,
The first difference information input in the input step, the second difference information converted in the conversion step, and the second operation event, which is the output target converted in the conversion step, are transmitted to the operation target device. The output process to output and
Conversion method with.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/013131 WO2020194569A1 (en) | 2019-03-27 | 2019-03-27 | Conversion system, conversion device, and conversion method |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2020194569A1 true JPWO2020194569A1 (en) | 2021-10-14 |
Family
ID=72609741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021508523A Pending JPWO2020194569A1 (en) | 2019-03-27 | 2019-03-27 | Conversion system, conversion device and conversion method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2020194569A1 (en) |
WO (1) | WO2020194569A1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009205685A (en) * | 2008-02-26 | 2009-09-10 | Apple Inc | Simulation of multi-point gesture by single pointing device |
JP2011034451A (en) * | 2009-08-04 | 2011-02-17 | Fujitsu Component Ltd | Touch panel device, method, program, and recording medium |
JP2011257992A (en) * | 2010-06-09 | 2011-12-22 | Fujitsu Component Ltd | Conversion device and program |
JP2012138096A (en) * | 2009-06-07 | 2012-07-19 | Apple Inc | Devices, methods, and graphical user interfaces for accessibility using touch-sensitive surface |
JP2013254467A (en) * | 2012-06-06 | 2013-12-19 | Areson Technology Corp | Method for simulating touch screen operation by using mouse |
JP2014241078A (en) * | 2013-06-12 | 2014-12-25 | Necパーソナルコンピュータ株式会社 | Information processing apparatus |
-
2019
- 2019-03-27 JP JP2021508523A patent/JPWO2020194569A1/en active Pending
- 2019-03-27 WO PCT/JP2019/013131 patent/WO2020194569A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009205685A (en) * | 2008-02-26 | 2009-09-10 | Apple Inc | Simulation of multi-point gesture by single pointing device |
JP2012138096A (en) * | 2009-06-07 | 2012-07-19 | Apple Inc | Devices, methods, and graphical user interfaces for accessibility using touch-sensitive surface |
JP2011034451A (en) * | 2009-08-04 | 2011-02-17 | Fujitsu Component Ltd | Touch panel device, method, program, and recording medium |
JP2011257992A (en) * | 2010-06-09 | 2011-12-22 | Fujitsu Component Ltd | Conversion device and program |
JP2013254467A (en) * | 2012-06-06 | 2013-12-19 | Areson Technology Corp | Method for simulating touch screen operation by using mouse |
JP2014241078A (en) * | 2013-06-12 | 2014-12-25 | Necパーソナルコンピュータ株式会社 | Information processing apparatus |
Also Published As
Publication number | Publication date |
---|---|
WO2020194569A1 (en) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7369099B2 (en) | Multi-display control system and image display apparatus | |
US10698530B2 (en) | Touch display device | |
JPH10269022A (en) | Portable information processor with communication function | |
US20160063674A1 (en) | Graph display apparatus, graph display method and storage medium | |
US20170047065A1 (en) | Voice-controllable image display device and voice control method for image display device | |
JPH07334463A (en) | Information processor with display function for plural graphs | |
US20110199326A1 (en) | Touch panel device operating as if in the equivalent mode even when detected region is smaller than display region of display device | |
JP2018114576A (en) | Off-line programming device and position parameter correction method | |
US9411441B2 (en) | Interactive whiteboard for private use | |
WO2017022031A1 (en) | Information terminal device | |
JP2014006904A (en) | Method for recognizing touch information, and electronic device | |
JPH11161426A (en) | Touch panel device | |
US20140198132A1 (en) | Information displaying device, method, and program | |
WO2020194569A1 (en) | Conversion system, conversion device, and conversion method | |
JP2005032015A (en) | Electronic device and program | |
US20090058858A1 (en) | Electronic apparatus having graph display function | |
KR101579462B1 (en) | Multi-touch screen system touch screen apparatus and method for dividing touch screen | |
US10180756B2 (en) | Input apparatus | |
JP2006004326A (en) | Formula display controller and program | |
CN108108107B (en) | Display system | |
JPH06289993A (en) | Coordinate input display device | |
JP4811177B2 (en) | Graph display device and graph display processing program | |
KR100477125B1 (en) | Character input device using electronic pen and its control method | |
CN104063192A (en) | Display method and electronic equipment | |
US11875078B2 (en) | Display system, display method, and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210329 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210329 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20220427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221129 |