JP5815259B2

JP5815259B2 - Information processing apparatus and information processing method

Info

Publication number: JP5815259B2
Application number: JP2011069652A
Authority: JP
Inventors: 貴久白川
Original assignee: NEC Personal Computers Ltd
Current assignee: NEC Personal Computers Ltd
Priority date: 2011-03-28
Filing date: 2011-03-28
Publication date: 2015-11-17
Anticipated expiration: 2031-03-28
Also published as: JP2012203791A

Description

本発明は、情報処理装置及び情報処理方法に関する。 The present invention relates to an information processing apparatus and an information processing method.

入力装置としてタッチＵＩ（ＵｓｅｒＩｎｔｅｒｆａｃｅ）付ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）、携帯電話、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、カーナビゲーション装置が開発されている（例えば、特許文献１〜３参照）。 As input devices, PCs (Personal Computers) with touch UIs (User Interfaces), mobile phones, PDAs (Personal Digital Assistants), and car navigation devices have been developed (see, for example, Patent Documents 1 to 3).

特許文献１に記載の発明は、「画面上の透明なキーボードインターフェース」に関する発明であり、具体的には「コンピュータ画面上に表示を生成するステップと、コンピュータ画面上にキーイメージを含む透明なキーボードインターフェースを生成するステップと、透明なキーボードインターフェースを通して行われたキーの選択を認識するステップと、を含む」ものである。 The invention described in Patent Document 1 is an invention relating to a “transparent keyboard interface on a screen”. Specifically, “a transparent keyboard including a step of generating a display on a computer screen and a key image on the computer screen” Generating an interface and recognizing key selections made through a transparent keyboard interface. "

特許文献２に記載の発明は「カーナビゲーション装置における地図表示方法」に関するものであり、具体的には「予め定めた大きさの表示領域に予め定めた尺度で地図情報を表示し、表示領域上の少なくとも一部を含む領域が指示されたときに、領域の内部を通過する２つの直線の各通過部分の線分の長さが異なる部分領域を入力し、各通過部分の線分の長さが異なって入力された部分領域に基づいて、部分領域の中心または重心の位置を求めることによって表示すべき位置を求める」ものである。 The invention described in Patent Document 2 relates to a “map display method in a car navigation device”. Specifically, “map information is displayed on a display area of a predetermined size on a display scale and displayed on the display area. When a region including at least a part of is specified, enter a partial region in which the length of the line segment of each passing part of the two straight lines passing through the inside of the region is different, and the length of the line segment of each passing part The position to be displayed is obtained by obtaining the position of the center or the center of gravity of the partial area based on the partial areas inputted differently.

特許文献３に記載の発明は、「変化可能な透明度の表示」に関するものであり、具体的には「コンピュータプログラムのそれぞれはグラフィカルユーザインタフェース内で表示可能な複数の制御表示を有し、複数の制御表示は制御表示の少なくとも一つが不透明である第１の形態と制御表示の少なくとも一つが少なくとも半透明である第２の形態とを有する少なくとも一つのコンピュータプログラムから成り、ポインタが制御表示のうち１つの制御表示の上に移動することから成る特定の事象の発生により当該制御表示を第１の形態と第２の形態との間で切り替えるシステム」である。 The invention described in Patent Document 3 relates to “display of changeable transparency”. Specifically, “each computer program has a plurality of control displays that can be displayed in a graphical user interface, The control display comprises at least one computer program having a first form in which at least one of the control displays is opaque and a second form in which at least one of the control displays is at least translucent, and the pointer is one of the control displays. A system that switches the control display between a first form and a second form by the occurrence of a specific event consisting of moving over one control display.

特表２００４−５１７３９１号公報JP-T-2004-517391 特開２００１−６６９８５号公報JP 2001-66985 A 特表２００１−５１６４８４号公報JP-T-2001-516484

しかしながら、携帯端末では表示部のサイズが数十ｍｍ角程度と小さいので、ＵＩ部品が指などでのタッチ操作が隣のボタンを誤って押してしまうなどが起こりやすく操作しづらく、単純に拡大すると元の文書自体が不必要に大きくなり文書全体が見えない、またＵＩ部品だけを拡大したとしても元の文書が拡大したＵＩ部品で隠れて見づらくなる。
また、特許文献１に発明は、キーボードを透明表示して文字入力後の画面を１つに表示しており、かつキーボード入力した文字は表示されるものの、キーボード以外の任意のＵＩ部品を透明表示することはできず、また透明なキーボードを拡大する機能は無い。 However, since the size of the display part of a portable terminal is as small as several tens of mm square, it is difficult for a UI component to touch the button with a finger or the like by mistake, and it is difficult to operate. The document itself becomes unnecessarily large and the entire document cannot be seen. Even if only the UI component is enlarged, the original document is hidden by the enlarged UI component and is difficult to see.
In addition, the invention disclosed in Patent Document 1 displays a keyboard transparently and displays a screen after character input, and displays characters input by the keyboard in a transparent manner, but displays any UI component other than the keyboard transparently. You can't do that, and there's no function to enlarge the transparent keyboard.

特許文献２に記載の発明は、ユーザがカーナビゲーション装置のモニタ画面の一部を円で囲むと拡大するが、地図情報だけに限定されており、任意のＵＩ部品や文字などを透明表示する機能は無い。 The invention described in Patent Document 2 expands when the user surrounds a part of the monitor screen of the car navigation device with a circle, but is limited to only map information, and has a function of transparently displaying any UI component or character. There is no.

特許文献３に記載の発明は、複数のＵＩ部品のうち入力するもののみ濃く表示するものの、拡大する機能は無い。 In the invention described in Patent Document 3, only the input of a plurality of UI parts is displayed dark, but there is no function to enlarge.

そこで、本発明の目的は、タッチＵＩ用に構成されていないＵＩ部品を有するアプリケーションソフトウェアのタッチ操作を容易にした情報処理装置及び情報処理方法を提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to provide an information processing apparatus and an information processing method that facilitate the touch operation of application software having UI parts that are not configured for a touch UI.

上記課題を解決するため、請求項１記載の発明は、アプリケーションを実行する実行手段と、前記実行手段の実行結果を表示する表示手段と、前記表示手段に重畳され接触したユーザの指による操作に対応する操作情報を出力するタッチパネル手段とを有する情報処理装置であって、前記実行手段は、マウスポインタで指定した位置でのクリック操作を受け付ける領域であるＵＩ部品を使用した画面を前記表示手段に表示させる前記アプリケーションを実行可能であり、前記タッチパネル手段が出力する操作情報を前記実行手段に代わって受け取る受取手段と、前記受取手段が受け取った前記操作情報が選択領域の拡大表示指示でない場合に前記操作情報を前記実行手段に出力し、前記受取手段が受け取った前記操作情報が選択領域の拡大表示指示であり、かつ、前記選択領域に前記ＵＩ部品が含まれる場合に、前記表示手段に前記選択領域内における前記ＵＩ部品を拡大し半透明に表示させる拡大透明表示手段と、を備えた情報処理装置であって、前記拡大透明表示手段は、前記受取手段が受け取った前記操作情報が選択領域の拡大表示指示であり、かつ、前記選択領域に前記ＵＩ部品が含まれない場合に、前記操作情報を前記実行手段に出力することを特徴とする。 In order to solve the above-mentioned problem, the invention according to claim 1 is characterized in that an execution means for executing an application, a display means for displaying an execution result of the execution means, and an operation by a user's finger that is superimposed on and touches the display means An information processing apparatus having touch panel means for outputting corresponding operation information, wherein the execution means displays a screen using a UI component which is an area for accepting a click operation at a position designated by a mouse pointer on the display means. The application to be displayed can be executed, and receiving means for receiving operation information output from the touch panel means on behalf of the executing means, and when the operation information received by the receiving means is not an enlarged display instruction of a selection area, Operation information is output to the execution means, and the operation information received by the receiving means is an enlarged table of selection areas. An instruction, and wherein when said the selected region includes UI parts, information processing in and a larger transparent display means the enlarged UI component is translucently displayed in the selection area on the display means In the apparatus, the enlarged transparent display unit is configured to display the operation information when the operation information received by the receiving unit is an enlarged display instruction of a selection area, and the UI part is not included in the selection area. Is output to the execution means .

本発明によれば、タッチＵＩ用に構成されていないＵＩを有するアプリケーションソフトウェアのタッチによる操作を容易にすることができる。 According to the present invention, it is possible to facilitate an operation by touching application software having a UI that is not configured for a touch UI.

本発明に係る入力装置の一実施の形態を示すブロック図である。It is a block diagram which shows one Embodiment of the input device which concerns on this invention. 図１に示した入力装置に用いられるソフトウェアブロック図の一例である。It is an example of the software block diagram used for the input device shown in FIG. 図１に示した入力装置の動作を説明するためのフローチャートの一例である。It is an example of the flowchart for demonstrating operation | movement of the input device shown in FIG. （ａ）は、タッチパネルのジェスチャー操作の一例を示す説明図であり、図４（ｂ）は、図４（ａ）に示したジェスチャー操作により表示される半透明画像の一例である。(A) is explanatory drawing which shows an example of the gesture operation of a touch panel, FIG.4 (b) is an example of the semi-transparent image displayed by gesture operation shown to Fig.4 (a). 図１に示した入力装置に用いられるフローチャートの他の一例を示す図である。It is a figure which shows another example of the flowchart used for the input device shown in FIG.

図１は、本発明に係る入力装置の一実施の形態を示すブロック図である。
同図に示す入力装置は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２２、ＲＡＭ（ＲａｎｄｏｍＡｃｅｓｓＭｅｍｏｒｙ）２３、Ｉ／Ｏ２４、モニタ２５、マウス１１、タッチパネル１３で構成されている。 FIG. 1 is a block diagram showing an embodiment of an input device according to the present invention.
The input device shown in FIG. 1 includes a CPU (Central Processing Unit) 21, a ROM (Read Only Memory) 22, a RAM (Random Access Memory) 23, an I / O 24, a monitor 25, a mouse 11, and a touch panel 13.

ＣＰＵ２１は、入力装置を統括制御する回路であり、例えばマイクロプロセッサが用いられる。
ＲＯＭ２２は、例えばマウス１１やタッチパネル１３のドライバソフトウェアなどの制御プログラムを格納する回路であり、例えば、マスクＲＯＭが用いられる。
ＲＡＭ２３は、データを一時的に格納する回路であり、例えば、フラッシュメモリが用いられる。
Ｉ／Ｏ２４は、外部とデータを授受するための回路であり、例えば、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓｌｉｎｅ）コネクタが挙げられる。
モニタ２５は、文字や画像を表示するための回路であり、例えば、液晶表示素子が挙げられる。
マウス１１は、ユーザが移動させることによりカーソルの位置を決定するための装置であり、有線式、無線式のいずれであってもよい。また、無くても良い。
タッチパネル１３は、ユーザがタッチ入力をすることにより、モニタ２５に表示されるカーソルの位置を特定したり、ジェスチャーを入力したりするための駆動回路である。
２６は、バスラインである。 The CPU 21 is a circuit that performs overall control of the input device, and for example, a microprocessor is used.
The ROM 22 is a circuit that stores a control program such as driver software for the mouse 11 or the touch panel 13, for example, and a mask ROM is used, for example.
The RAM 23 is a circuit for temporarily storing data, and for example, a flash memory is used.
The I / O 24 is a circuit for exchanging data with the outside, and includes, for example, a USB (Universal Serial Busline) connector.
The monitor 25 is a circuit for displaying characters and images, and examples thereof include a liquid crystal display element.
The mouse 11 is a device for determining the position of the cursor by being moved by the user, and may be either a wired type or a wireless type. Moreover, it is not necessary.
The touch panel 13 is a drive circuit for specifying the position of the cursor displayed on the monitor 25 or inputting a gesture when the user performs touch input.
Reference numeral 26 denotes a bus line.

図２は、図１に示した入力装置に用いられるソフトウェアブロック図の一例である（但し、マウス、タッチパネルのハードウェア、及びドライバソフトウェアが記載されている）。
図２に示すブロックは、マウス１１、タッチパネル１３、デバイスドライバ（図ではドライバ）１２、１４、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）１５、ＯＳ内部のタッチ操作の処理手段１５ａ、ＵＩ部品１６、アプリケーション（図ではＡＰ）１７、タッチ操作フック手段１８、拡大操作のジェスチャー認識１９、ジェスチャー入力による選択領域を受け取る受け取り手段および選択領域内のＵＩ部品を収拾するＵＩ部品収拾手段（図ではＧＵＩの収拾）２０a、収拾したＵＩ部品を予め定められた範囲内に収まるように拡大半透明表示する拡大ＵＩ部品表示手段（図では拡大ＧＵＩの表示）２０ｂで構成されている。 FIG. 2 is an example of a software block diagram used in the input device shown in FIG. 1 (however, mouse, touch panel hardware, and driver software are described).
2 includes a mouse 11, a touch panel 13, device drivers (drivers 12 and 14), an OS (Operating System) 15, an OS touch processing means 15a, a UI component 16, an application (AP in the figure). ) 17, touch operation hook means 18, gesture recognition 19 for enlargement operation, receiving means for receiving a selection area by gesture input, and UI part pick-up means for picking up UI parts in the selection area (GUI pick-up in the figure) 20a, pick-up The UI component display means 20b (enlarged GUI display in the figure) 20b displays the UI component in an enlarged and translucent manner so as to be within a predetermined range.

フックとは、トラップもしくは横取りすることを意味し、通常はドライバ１２、１４からＯＳ１５に行く信号（図ではドライバ１４からＯＳ１５へ行く信号）をタッチ操作フック手段１８が横取りしてＯＳ１５に戻すことである。フックは、割り込みとは異なる（割り込みは他の作業を停止して他の作業をすることをいう。）。
通常、ドライバ１４（もしくはドライバ１５）はＯＳ１５にタッチパネル１３の操作状態を通知する。タッチ操作フック手段１８は、ドライバ１４（もしくはドライバ１５）がＯＳ１５のどこに通知するかを、書き換えタッチ操作フック手段１８自身が通知を得る。ドライバ１４はＯＳ１５に操作状態を通知するつもりでもタッチ操作フック手段１８に通知することになる。 Hook means trapping or intercepting. Normally, the touch operation hook means 18 intercepts a signal going from the drivers 12 and 14 to the OS 15 (in the figure, a signal going from the driver 14 to the OS 15) and returns it to the OS 15. is there. Hooks are different from interrupts (interrupt means stopping other work and doing other work).
Usually, the driver 14 (or the driver 15) notifies the OS 15 of the operation state of the touch panel 13. The touch operation hook unit 18 itself receives a notification of where the driver 14 (or the driver 15) notifies in the OS 15. The driver 14 notifies the touch operation hook means 18 even if it intends to notify the OS 15 of the operation state.

タッチパネル１３がユーザに指でタッチされて、例えば丸く囲まれると、拡大指示するジェスチャーであると判断する。指を押して丸を描いて離すと言う一連のストロークデータをジェスチャー認識手段１９に渡すと、ジェスチャー認識手段１９はそれを認識し、拡大ジェスチャーかを判断する。もし拡大ジェスチャーでない場合はストロークデータをＯＳ１５に、戻す。拡大ジェスチャーが認識されたたら、ＧＵＩの収拾２０ａで拡大エリアの下にどんなＵＩ部品があるか取り出して、拡大ＧＵＩの表示２０ｂで半透明で拡大表示する。すなわち、拡大表示すべきＵＩ部品が拡大表示される。タッチ操作をフックし、拡大ジェスチャーか否かを判断し、拡大ジェスチャーであると判断した場合、指定された領域に含まれていたＵＩ部品を半透明で予め決められた位置とサイズに拡大表示する。拡大半透明表示されたＵＩ部品は、他のＵＩ部品同様に入力待ちとなり、入力があった場合には元のＵＩ部品と同様の処理が行われる。 When the touch panel 13 is touched with a finger by the user and surrounded by, for example, a circle, the touch panel 13 is determined to be a gesture for instructing enlargement. When a series of stroke data indicating that a finger is pressed and a circle is drawn and released is passed to the gesture recognition means 19, the gesture recognition means 19 recognizes it and determines whether it is an enlarged gesture. If it is not an enlargement gesture, the stroke data is returned to OS15. When the enlargement gesture is recognized, the UI collection 20a takes out what UI parts are under the enlargement area, and displays the enlarged GUI display 20b in a translucent manner. That is, the UI component to be enlarged and displayed is enlarged and displayed. Hook the touch operation, determine whether it is an enlargement gesture, and if it is determined to be an enlargement gesture, the UI parts included in the specified area are enlarged and displayed at a predetermined position and size in a translucent manner . The UI parts displayed in an enlarged and translucent manner wait for input in the same manner as other UI parts, and when there is an input, the same processing as the original UI parts is performed.

ここで、ＵＩ部品とは、ボタン、ラジオボタン、プルダウンメニュー、ポップアップメニュー、チェックボックス、セレクター等であり、ＯＳなどが用意している。つまり、ＰＣを使ってクリックできるところである。タッチ操作用でないＵＩ部品は指で操作しづらい数ｍｍ角程度のアイコンであることが多い。本発明はこれを拡大し、大きな画面で操作できるようにするものである。 Here, the UI parts are buttons, radio buttons, pull-down menus, pop-up menus, check boxes, selectors, and the like, and are prepared by the OS and the like. In other words, it can be clicked using a PC. UI parts that are not for touch operation are often icons of several mm square that are difficult to operate with a finger. The present invention enlarges this so that it can be operated on a large screen.

図３は、図１に示した入力装置の動作を説明するためのフローチャートの一例である。
動作の主体は、ＣＰＵであり、図２に示したソフトウェアブロックである。
まず、ドライバ１４は、タッチパネル１３の操作がタッチ操作か否か判断し、タッチ操作ではないと判断した場合（ステップＳ１０／Ｎｏ）、待機する。ここで、タッチ操作であると判断した場合（ステップＳ１０／Ｙｅｓ）、ドライバ１４の信号はタッチ操作フック手段１８がフックし、ジェスチャー認識１９に送信され、そこで拡大ジェスチャーであるか否かを判断する（ステップＳ１１）。
ジェスチャー認識手段１９は、拡大ジェスチャーでないと判断した場合（ステップＳ１１／Ｎｏ）、タッチ操作フック手段１８によりＯＳ１５aへタッチ操作である旨の信号を送り（ステップＳ１５）、ステップＳ１０へ戻る。
ジェスチャー認識手段１９が拡大ジェスチャーであると判断した場合（ステップＳ１１／Ｙｅｓ）、ＧＵＩの収拾手段２０ａにより領域内部品取りを行う。領域内部品取りとはジェスチャー操作で選択された領域内の部品を収拾することである（ステップＳ１２）。
ＧＵＩの収拾手段２０ａは、領域内の部品内にＵＩ部品があるか否かを判断し（ステップＳ１３）、ＵＩ部品が無いと判断した場合（ステップＳ１３／Ｎｏ）、ステップＳ１５に戻り、ＵＩ部品が有ると判断した場合（ステップＳ１３／Ｙｅｓ）、拡大ＧＵＩの表示手段２０ｂによりＵＩ部品を拡大かつ半透明表示して終了する（ステップＳ１４）。 FIG. 3 is an example of a flowchart for explaining the operation of the input device shown in FIG.
The subject of the operation is a CPU, which is the software block shown in FIG.
First, the driver 14 determines whether or not the operation of the touch panel 13 is a touch operation. If the driver 14 determines that the operation is not a touch operation (No in step S10), the driver 14 stands by. Here, when it is determined that the operation is a touch operation (step S10 / Yes), the signal of the driver 14 is hooked by the touch operation hook means 18 and transmitted to the gesture recognition 19, where it is determined whether or not it is an enlarged gesture. (Step S11).
If the gesture recognition means 19 determines that the gesture is not an enlargement gesture (step S11 / No), the touch operation hook means 18 sends a signal to the OS 15a that it is a touch operation (step S15) and returns to step S10.
When the gesture recognizing unit 19 determines that the gesture is an enlargement gesture (step S11 / Yes), the GUI pick-up unit 20a picks up the in-region part. In-area part picking means collecting parts in the area selected by the gesture operation (step S12).
The GUI collection unit 20a determines whether or not there is a UI part in the part in the area (step S13). If it is determined that there is no UI part (step S13 / No), the process returns to step S15 to return to the UI part. If it is determined that there is (step S13 / Yes), the enlarged GUI display means 20b displays the UI component in an enlarged and translucent manner, and the process ends (step S14).

図４（ａ）は、タッチパネルのジェスチャー操作の一例を示す説明図であり、図４（ｂ）は、図４（ａ）に示したジェスチャー操作により表示される半透明画像の一例である。
図４(a)を参照すると、このままではＵＩ部品は指で操作するには小さすぎて、誤操作が多くなることが分かる。また、画面全体を拡大すると見える文書の領域が極端に狭くなってしまう。
図４(a)(b)は、ジェスチャー操作により選択された領域内に、フォント変更ボタンが有る。例えば、本発明の場合、文字や数字のフォント色を赤くする操作を、拡大された半透明のＵＩ部品の下に透けて見えている指定した文字列が赤くなった結果を確認しながら行うことができる。半透明であるメリットは文書変更の確認が容易に可能な点である。 FIG. 4A is an explanatory diagram showing an example of a gesture operation on the touch panel, and FIG. 4B is an example of a translucent image displayed by the gesture operation shown in FIG.
Referring to FIG. 4 (a), it can be seen that the UI component is too small to operate with a finger, and erroneous operations increase. Further, when the entire screen is enlarged, the visible document area becomes extremely narrow.
4A and 4B, there is a font change button in the area selected by the gesture operation. For example, in the case of the present invention, the operation of making the font color of characters and numbers red is performed while confirming the result that the designated character string seen through the enlarged translucent UI component is red. Can do. The advantage of being translucent is that it is easy to check document changes.

例えば連続してフォントの変更を行う場合（ここでは、文字の色を赤くして下線ひく場合を示す）、関連するＵＩ部品を複数囲んでも良い。図４(a)では、下線を引くアイコン(左)と赤色にするアイコン（右）のＵＩ部品とを同時に囲んでいる。すると、図４(b)に示すように、半透明で赤色と下線のＵＩ部品が拡大される。この状態で、下線アイコンをタッチして、続けて赤色アイコンをタッチすると、選択されていた文字列に下線が引かれ、赤色になるのが確認できる。このように拡大されているＵＩ部品を閉じなくても正しい状態であることが確認でき、操作が容易になる。 For example, when fonts are changed continuously (in this case, the character color is red and underlined), a plurality of related UI parts may be enclosed. In FIG. 4A, an underlined icon (left) and a red icon (right) UI part are enclosed at the same time. Then, as shown in FIG. 4B, the translucent red and underlined UI parts are enlarged. In this state, when the underline icon is touched and then the red icon is touched, it can be confirmed that the selected character string is underlined and turned red. Thus, it is possible to confirm the correct state without closing the enlarged UI parts, and the operation becomes easy.

図５は、図１に示した入力装置に用いられるフローチャートの他の一例を示す図である。
図５に示したフローチャートの図３に示したフローチャートとの相違点は、拡大ジェスチャーと認識された場合は、指定領域にＵＩ部品がなくても拡大ジェスチャーと認識されたタッチ操作をＯＳへ送らない点である。領域内部品取り後、ＵＩ部品が無い場合は、ＵＩ部品を拡大かつ半透明表示するステップ（Ｓ２３）で処理すべき対象がないため、単純に終了する。 FIG. 5 is a diagram showing another example of a flowchart used in the input device shown in FIG.
The difference between the flowchart shown in FIG. 5 and the flowchart shown in FIG. 3 is that if the gesture is recognized as an enlargement gesture, the touch operation recognized as the enlargement gesture is not sent to the OS even if there is no UI part in the designated area. Is a point. If there is no UI part after removing the part in the area, there is no target to be processed in the step of enlarging and translucently displaying the UI part (S23), and the process simply ends.

動作の主体は、ＣＰＵであり、図２に示したソフトウェアブロックである。
まず、ドライバ１４は、タッチパネル１３の操作がタッチ操作か否か判断し、タッチ操作ではないと判断した場合（ステップＳ２０／Ｎｏ）、待機し、タッチ操作であると判断した場合（ステップＳ２０／Ｙｅｓ）、ドライバ１４の信号はタッチ操作フック手段１８がフックし、ジェスチャー認識１９に送信され、そこで拡大ジェスチャーであるか否かを判断する（ステップＳ２１）。
ジェスチャー認識１９は、拡大ジェスチャーでないと判断した場合（ステップＳ２１／Ｎｏ）、タッチ操作フック手段１８によりＯＳ１５aへタッチ操作である旨の信号を送り（ステップＳ２４）、ステップＳ２０へ戻る。
ジェスチャー認識手段１９が拡大ジェスチャーであると判断した場合（ステップ２１／Ｙｅｓ）、ＧＵＩの収拾手段20aにより領域内部品取りを行う（ステップＳ２２）。
拡大ＧＵＩの表示手段２０bは、ＵＩ部品を拡大かつ半透明表示して終了する。なお上述のように、処理すべきＵＩ部品が無い場合は、単純に終了する（ステップＳ２３）。 The subject of the operation is a CPU, which is the software block shown in FIG.
First, the driver 14 determines whether or not the operation of the touch panel 13 is a touch operation. If the driver 14 determines that the operation is not a touch operation (step S20 / No), the driver 14 waits and determines that the operation is a touch operation (step S20 / Yes). The signal of the driver 14 is hooked by the touch operation hook means 18 and transmitted to the gesture recognition 19, where it is determined whether or not it is an enlarged gesture (step S21).
If the gesture recognition 19 determines that the gesture is not an enlargement gesture (step S21 / No), the touch operation hook means 18 sends a signal indicating that the touch operation is performed to the OS 15a (step S24), and returns to step S20.
When the gesture recognizing means 19 determines that the gesture is an enlargement gesture (step 21 / Yes), the GUI picking-up means 20a picks up the parts in the area (step S22).
The enlarged GUI display means 20b displays the UI part in an enlarged and translucent manner and ends the process. As described above, if there is no UI component to be processed, the process is simply terminated (step S23).

＜プログラム＞
以上で説明した本発明にかかる入力装置は、コンピュータで画像処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。 <Program>
The input device according to the present invention described above is realized by a program that causes a computer to execute image processing. Examples of the computer include general-purpose computers such as personal computers and workstations, but the present invention is not limited to this. Therefore, as an example, a case where the present invention is realized by a program will be described below.

実質的なコンピュータに、
受取手段が、拡大したＵＩ部品を表示するための表示画面上におけるジェスチャー入力による選択領域を受け取る手順、
拡大透明表示手段が、選択領域内におけるＵＩ部品のみ拡大半透明表示する手順、
タッチ操作フック手段が、拡大したＵＩ部品の表示がされていない場合、全タッチ操作をフックする手順、
拡大ジェスチャー判別手段が、タッチ操作フック手段から送られたタッチ操作シーケンスから拡大ジェスチャーか否かを判別する手順、
拡大ＵＩ部品収拾手段が、拡大したＵＩ部品を予め定められた範囲内に収まるように拡大半透明表示する手順、
を実行させることを特徴とする。 To a substantial computer,
A procedure for the receiving means to receive a selection area by gesture input on a display screen for displaying an enlarged UI part;
A procedure in which the enlarged transparent display means enlarges and displays only the UI parts in the selected area;
The procedure for hooking all touch operations when the touch operation hook means does not display the enlarged UI parts,
A procedure for determining whether the enlargement gesture determination means is an enlargement gesture from the touch operation sequence sent from the touch operation hook means;
A procedure in which the enlarged UI parts collection means displays the enlarged UI parts in a translucent manner so as to be within a predetermined range;
Is executed.

これにより、プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明にかかる入力装置を実現することができる。 Thus, the input device according to the present invention can be realized anywhere as long as there is a computer environment capable of executing the program.

＜記憶媒体＞
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。
ここで、記憶媒体としては、例えば、ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（ＣＤＲｅｃｏｒｄａｂｌｅ）などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＦｅＲＡＭ（強誘電体メモリ）等の半導体メモリやＨＤＤ（ＨａｒｄＤｉｓｃＤｒｉｖｅ）が挙げられる。 <Storage medium>
Such a program may be stored in a computer-readable storage medium.
Here, examples of the storage medium include a computer-readable storage medium such as a CD-ROM (Compact Disc Read Only Memory), a flexible disk (FD), and a CD-R (CD Recordable), a flash memory, and a RAM (Random). Examples thereof include semiconductor memories such as Access Memory (ROM), ROM (Read Only Memory), and FeRAM (ferroelectric memory), and HDD (Hard Disc Drive).

なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。 The above-described embodiment shows an example of a preferred embodiment of the present invention, and the present invention is not limited thereto, and various modifications can be made without departing from the scope of the invention. is there.

１１マウス
１３タッチパネル
１５ＯＳ
１６ＵＩ部品
１７アプリケーション（ＡＰ）
１８タッチ操作フック手段
１９拡大操作のジェスチャー認識
２０ａＧＵＩの収拾手段
２０ｂ拡大ＧＵＩの表示手段
２１ＣＰＵ
２２ＲＯＭ
２３ＲＡＭ
２４Ｉ／Ｏ
２５モニタ
２６バスライン 11 Mouse 13 Touch panel 15 OS
16 UI parts 17 Application (AP)
18 Touch operation hook means 19 Gesture recognition for enlargement operation 20a Collecting means for GUI 20b Display means for enlargement GUI 21 CPU
22 ROM
23 RAM
24 I / O
25 Monitor 26 Bus line

Claims

アプリケーションを実行する実行手段と、前記実行手段の実行結果を表示する表示手段と、前記表示手段に重畳され接触したユーザの指による操作に対応する操作情報を出力するタッチパネル手段とを有する情報処理装置であって、
前記実行手段は、マウスポインタで指定した位置でのクリック操作を受け付ける領域であるＵＩ部品を使用した画面を前記表示手段に表示させる前記アプリケーションを実行可能であり、
前記タッチパネル手段が出力する操作情報を前記実行手段に代わって受け取る受取手段と、
前記受取手段が受け取った前記操作情報が選択領域の拡大表示指示でない場合に前記操作情報を前記実行手段に出力し、前記受取手段が受け取った前記操作情報が選択領域の拡大表示指示であり、かつ、前記選択領域に前記ＵＩ部品が含まれる場合に、前記表示手段に前記選択領域内における前記ＵＩ部品を拡大し半透明に表示させる拡大透明表示手段と、
を備えた情報処理装置であって、
前記拡大透明表示手段は、前記受取手段が受け取った前記操作情報が選択領域の拡大表示指示であり、かつ、前記選択領域に前記ＵＩ部品が含まれない場合に、前記操作情報を前記実行手段に出力することを特徴とする情報処理装置。 Information processing apparatus comprising: execution means for executing an application; display means for displaying an execution result of the execution means; and touch panel means for outputting operation information corresponding to an operation performed by a user's finger superimposed on and touching the display means Because
The execution means is capable of executing the application for causing the display means to display a screen using a UI component that is an area for accepting a click operation at a position designated by a mouse pointer.
Receiving means for receiving operation information output by the touch panel means instead of the execution means;
When the operation information received by the receiving means is not an enlarged display instruction of a selected area, the operation information is output to the execution means, and the operation information received by the receiving means is an enlarged display instruction of the selected area, and An enlarged transparent display means for causing the display means to enlarge and display the UI part in the selection area in a semi-transparent manner when the UI area is included in the selection area;
A information processing apparatus including a
The enlarged transparent display means sends the operation information to the execution means when the operation information received by the receiving means is an enlarged display instruction of a selected area and the UI area is not included in the selected area. An information processing apparatus that outputs the information .

前記拡大透明表示手段は、前記ＵＩ部品を、前記ＵＩ部品を含む表示画面に重ねて拡大表示することを特徴とする請求項１記載の情報処理装置。 The enlarged transparent display means, said UI components, according to claim 1 Symbol placement of the information processing apparatus is characterized in that to enlarge superimposed on the display screen including the UI component.

前記ＵＩ部品の拡大表示を停止し既存の表示画面だけの表示に戻す停止手段を備えたことを特徴とする請求項１または２記載の情報処理装置。 The UI component enlarge stopped existing display screen only the information processing apparatus according to claim 1, wherein further comprising a stop means for returning the display.

前記受取手段は、前記ユーザのジェスチャーによって対角線が指定される矩形、前記ユーザのジェスチャーによって頂点が指定される多角形、前記ユーザのジェスチャーによって外形が指定されるアメーバ形、もしくはこれらを回転させた形状を含む領域を受け取ることを特徴とする請求項１から３の何れか一項記載の情報処理装置。 The receiving means is a rectangle whose diagonal is specified by the user's gesture, a polygon whose vertex is specified by the user's gesture, an amoeba shape whose outer shape is specified by the user's gesture, or a shape obtained by rotating these the information processing apparatus according to one of claims 1 to 3, characterized in that receiving a region including the.

マウスポインタで指定した位置でのクリック操作を受け付ける領域であるＵＩ部品を使用した画面を表示させるアプリケーションを実行するステップと、
前記アプリケーションの実行結果を表示するステップと、
表示された前記アプリケーションの実行結果に重畳されたタッチパネルに接触したユーザの指による操作に対応する操作情報を出力するステップと、
前記アプリケーションに入力される前に前記操作情報を受け取って選択領域の拡大表示指示であるか否かを判断するステップと、
前記操作情報が選択領域の拡大表示指示でない場合に、前記操作情報を前記アプリケーションに出力するステップと、
前記操作情報が選択領域の拡大表示指示であり、かつ、前記選択領域に前記ＵＩ部品が含まれる場合に、前記選択領域内における前記ＵＩ部品を拡大し半透明に表示させるステップと、を有する情報処理方法であって、
前記操作情報が選択領域の拡大表示指示であり、かつ、前記選択領域にＵＩ部品が含まれない場合に、前記操作情報を前記アプリケーションに出力することを特徴とする情報処理方法。 Executing an application for displaying a screen using a UI component which is an area for accepting a click operation at a position designated by a mouse pointer;
Displaying an execution result of the application;
Outputting operation information corresponding to an operation by a user's finger touching the touch panel superimposed on the displayed execution result of the application;
Receiving the operation information before being input to the application and determining whether it is an enlarged display instruction of a selected area; and
Outputting the operation information to the application when the operation information is not an enlarged display instruction of a selected area;
And a step of enlarging and displaying the UI part in the selection area in a translucent manner when the operation information is an instruction to enlarge the selection area and the UI area is included in the selection area. A processing method ,
An information processing method comprising: outputting the operation information to the application when the operation information is an instruction to enlarge and display a selection area and the selection area does not include a UI component .