JP2011008830A - Input coordinate processing program, device, system, and method - Google Patents
Input coordinate processing program, device, system, and method Download PDFInfo
- Publication number
- JP2011008830A JP2011008830A JP2010230703A JP2010230703A JP2011008830A JP 2011008830 A JP2011008830 A JP 2011008830A JP 2010230703 A JP2010230703 A JP 2010230703A JP 2010230703 A JP2010230703 A JP 2010230703A JP 2011008830 A JP2011008830 A JP 2011008830A
- Authority
- JP
- Japan
- Prior art keywords
- coordinate
- position indicated
- coordinate information
- input
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 140
- 230000008569 process Effects 0.000 claims description 136
- 238000001514 detection method Methods 0.000 claims description 32
- 238000003672 processing method Methods 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 32
- 241000699666 Mus <mouse, genus> Species 0.000 description 24
- 238000004891 communication Methods 0.000 description 13
- 230000004044 response Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、入力座標処理プログラム、入力座標処理装置、入力座標処理システム、および入力座標処理方法に関し、より特定的には、所定の座標系の座標情報を出力するタッチパネル等のポインティングデバイスから出力される入力座標を用いて、処理を決定する入力座標処理プログラム、入力座標処理装置、入力座標処理システム、および入力座標処理方法に関する。 The present invention relates to an input coordinate processing program, an input coordinate processing device, an input coordinate processing system, and an input coordinate processing method, and more specifically, is output from a pointing device such as a touch panel that outputs coordinate information of a predetermined coordinate system. The present invention relates to an input coordinate processing program, an input coordinate processing device, an input coordinate processing system, and an input coordinate processing method for determining processing using input coordinates.
従来、マウスを操作して入力された座標に基づいて、次に行う予定の処理（以下、次処理と記載する）を決定する技術が知られている。例えば、インターネットのウェブページを閲覧するためのウェブブラウザにおいて、「マウスジェスチャ」と呼ばれる操作を可能にしたものが提案されている（例えば、非特許文献１参照）。 2. Description of the Related Art Conventionally, a technique for determining a process to be performed next (hereinafter referred to as a next process) based on coordinates input by operating a mouse is known. For example, a web browser for browsing web pages on the Internet has been proposed that enables an operation called “mouse gesture” (see, for example, Non-Patent Document 1).
上記非特許文献１に記載のブラウザでは、ウェブページの背景領域でマウスを右クリックした状態でマウスを左に移動した後、右クリックを解除すると、ウェブページを次ページへ進める。一方、ウェブページの背景領域でマウスを右クリックした状態で右に移動した後、右クリックを解除すると、前ページに戻る。また、ウェブページの背景領域でマウスを右クリックした状態でマウスを下に移動した後、右クリックを解除すると、新しいウインドウを開く。さらに、ウェブページの背景領域でマウスを右クリックした状態でマウスを下に移動した後、上に移動して右クリックを解除すると、ウインドウを複製する。
In the browser described in Non-Patent
また、ウェブページのリンク上でマウスを右クリックした後、右クリックした状態でマウスを上に移動した後、右クリックを解除すると、リンク先を新しいウインドウで開く。また、ウェブページのリンク上でマウスを右クリックした後、右クリックした状態でマウスを下に移動した後、上に移動して右クリックを解除すると、リンク先をバックグラウンドで開く。これらは、ウェブページのリンク上でマウスを左クリックした場合に、リンク先を元のウインドウで開くのと比べて、異なった処理となっている。 Also, after right-clicking the mouse on the link of the web page, moving the mouse up in the state of right-clicking and then releasing the right-click, the link destination is opened in a new window. Also, after right-clicking the mouse on a link on a web page, moving the mouse down with the right-click, moving up and releasing the right-click opens the link destination in the background. These are different processes when the left mouse button is clicked on a link on a web page compared to opening the link destination in the original window.
このように、上記非特許文献１で開示されたマウスジェスチャでは、マウスによる入力座標の軌跡を累積的に蓄積した方向、またはそれらの方向の組合せに基づいて、次処理を決定している。これによって、上記マウスジェスチャでは、表示画面上において、ウェブページの周囲に配置されたボタンをわざわざクリックしたり、ツールバーを操作したりする手間を省くことができる。
As described above, in the mouse gesture disclosed in
また、Ｓｌｅｉｐｎｉｒ（スレイプニル）と呼ばれているブラウザ等では、その画面の左側の底部に認識されたジェスチャが表示される。例えば、入力座標の軌跡を累積的に蓄積した方向が「↑」、「↓」、「↑」、および「→」のように順次認識順に表示される。ユーザは、この表示を見ることによって、次処理を予想することができる。 In a browser or the like called “Slipnipir”, a recognized gesture is displayed at the bottom on the left side of the screen. For example, the direction in which the locus of the input coordinates is accumulated is displayed sequentially in the order of recognition such as “↑”, “↓”, “↑”, and “→”. The user can predict the next processing by viewing this display.
しかしながら、上記非特許文献１に記載のブラウザでは、ユーザが１回で適切な軌跡を描けた場合は問題ないが、不適切な軌跡を描いてしまった場合に問題が生じる。即ち、マウスによる入力座標の軌跡が累積されて行く結果、不適切な軌跡を修正するために移動を継続しようとすればするほど意図しない軌跡が累積し、結果的にユーザが望む次処理を行わせることができなくなる。また、ユーザがこの不適切な軌跡を削除するためには、マウスの右クリックを解除してから、もう一度右クリックし直して、再度所望の軌跡を描き直すという煩雑な操作を行う必要があった。
However, in the browser described in
一方、複数の方向を組み合わせずに、マウスによる入力座標の軌跡を累積的に蓄積して得られる１つの方向のみに基づいて、次処理を決定するということも考えられる。しかしながら、次処理を決定するバリエーションが１つの方向で区別できる数となり、次処理を指示する操作ジェスチャが乏しくなる。なお、１つの方向で区別する数を増やす方法もあるが、方向毎に判定するための角度が小さくなるために、ユーザの描こうとした方向とコンピュータ側で認識される方向とが異なることが多くなり、ユーザの操作が困難となる。 On the other hand, it is conceivable that the next process is determined based on only one direction obtained by accumulating the locus of input coordinates by the mouse without combining a plurality of directions. However, the number of variations for determining the next process becomes a number that can be distinguished in one direction, and the operation gesture for instructing the next process becomes poor. Although there is a method of increasing the number of distinctions in one direction, since the angle for determination for each direction becomes small, the direction that the user tried to draw is often different from the direction recognized on the computer side. Thus, the user's operation becomes difficult.
また、上述したように表示画面の左側の底部に認識された操作ジェスチャが表示されるブラウザもある。しかしながら、表示画面の左側の底部という目立ちにくい位置に操作ジェスチャが表示されるため、ユーザに認識されにくい。また、ユーザが認識していたとしても、当該操作ジェスチャ表示を見るためには、ウェブページの閲覧箇所から、逐一、画面の左側の底部に視線を切り換える必要があり、ユーザにとって面倒という問題があった。 In addition, as described above, there is a browser in which the recognized operation gesture is displayed at the bottom on the left side of the display screen. However, since the operation gesture is displayed at a less noticeable position on the left bottom of the display screen, it is difficult for the user to recognize. In addition, even if the user is aware, in order to view the operation gesture display, it is necessary to switch the line of sight from the browsing position of the web page to the bottom part on the left side of the screen, which is troublesome for the user. It was.
それ故に、本発明の目的は、座標入力操作によって指定可能な処理のバリエーション数を保ちながら、不適切な軌跡に対する処理を簡便にして座標入力の操作性を向上させる入力座標処理プログラム、入力座標処理装置、入力座標処理システム、および入力座標処理方法を提供することである。また、本発明の他の目的は、認識された操作ジェスチャをユーザが容易に認識できる入力座標処理プログラム、入力座標処理装置、入力座標処理システム、および入力座標処理方法を提供することである。 SUMMARY OF THE INVENTION Therefore, an object of the present invention is to provide an input coordinate processing program and input coordinate processing that improve the operability of coordinate input by simplifying processing for an inappropriate locus while maintaining the number of processing variations that can be specified by coordinate input operation. An apparatus, an input coordinate processing system, and an input coordinate processing method are provided. Another object of the present invention is to provide an input coordinate processing program, an input coordinate processing device, an input coordinate processing system, and an input coordinate processing method that allow a user to easily recognize a recognized operation gesture.
上記の目的を達成するために、本発明は以下の構成を採用した。なお、括弧内の参照符号やステップ番号（ステップをＳと略称しステップ番号のみを記載する）等は、本発明の理解を助けるために後述する実施形態との対応関係を示したものであって、本発明の範囲を何ら限定するものではない。 In order to achieve the above object, the present invention employs the following configuration. Reference numerals in parentheses, step numbers (steps are abbreviated as S, and only step numbers are described), and the like indicate correspondence with embodiments described later in order to help understanding of the present invention. The scope of the present invention is not limited at all.
第１の発明は、ユーザの操作に応じてポインティングデバイス（１５）から出力される入力座標（接触位置に対応する座標データ）によって操作される装置のコンピュータ（２１）で実行される入力座標処理プログラムである。入力座標処理プログラムは、入力座標検出ステップ（Ｓ４３、Ｓ６３、Ｓ６８、Ｓ７３、Ｓ８４、Ｓ８７、Ｓ９２、Ｓ１０４、Ｓ１０７、Ｓ１１４、Ｓ１２０、Ｓ１３４、Ｓ１３９、Ｓ１４４）、基準座標記憶ステップ（Ｓ４４）、複数領域設定ステップ（図１１）、および処理決定ステップ（Ｓ５０〜Ｓ５２）をコンピュータに実行させる。入力座標検出ステップは、ポインティングデバイスから出力される入力座標に応じて、所定の座標系（画面座標系）に基づいた座標情報（ＤＣ１）を検出する。基準座標記憶ステップは、入力座標検出ステップで検出した一連の座標情報のうち、最初の座標情報に基づいて基準座標（ＤＣ２）を設定してメモリ（２４）に記憶する。複数領域設定ステップは、基準座標を基準として複数の領域（ＡＭ、ＡＴ、ＡＢ、ＡＬ、ＡＲ）を形成し、その基準座標を含む領域を基準領域（ＡＭ）に設定する。処理決定ステップは、入力座標検出ステップで検出した一連の座標情報のうち、最後の座標情報（タッチオフ時の座標）と基準座標とに基づいて処理を決定する。処理決定ステップは、第１処理決定ステップ（Ｓ１１５、Ｓ１３５、Ｓ１４０、Ｓ１４５）および第２処理決定ステップ（Ｓ１２１）を含む。第１処理決定ステップは、最後の座標情報が基準領域以外の領域（ＡＴ、ＡＢ、ＡＬ、ＡＲ）内を示すとき、基準座標からその最後の座標情報で示された領域への方向に基づいて処理を決定する。第２処理決定ステップは、入力座標検出ステップで検出した一連の座標情報のうち、一部の座標情報が基準領域以外の領域内を示した後（ＤＦ８がオン）に最後の座標情報が基準領域内を示すとき、基準座標からその一部の座標情報で示された領域への方向およびその一部の座標情報で示された領域から基準座標への方向の組合せに基づいて処理を決定する。なお、ポインティングデバイスは、画面上での入力位置や座標を指定する入力装置であり、例えば、タッチパネル、マウス、トラックパッド、トラックボールなどで実現される。そして、それぞれの入力装置で用いられる座標系は、タッチパネル座標系や画面座標系である。 The first invention is an input coordinate processing program executed by a computer (21) of an apparatus operated by input coordinates (coordinate data corresponding to a contact position) output from a pointing device (15) in accordance with a user operation. It is. The input coordinate processing program includes an input coordinate detection step (S43, S63, S68, S73, S84, S87, S92, S104, S107, S114, S120, S134, S139, S144), a reference coordinate storage step (S44), and a plurality of areas. The computer is caused to execute the setting step (FIG. 11) and the process determining step (S50 to S52). The input coordinate detection step detects coordinate information (DC1) based on a predetermined coordinate system (screen coordinate system) in accordance with the input coordinates output from the pointing device. The reference coordinate storage step sets the reference coordinate (DC2) based on the first coordinate information out of the series of coordinate information detected in the input coordinate detection step, and stores it in the memory (24). In the multiple area setting step, a plurality of areas (AM, AT, AB, AL, AR) are formed with reference coordinates as a reference, and an area including the reference coordinates is set as a reference area (AM). In the process determination step, the process is determined based on the last coordinate information (coordinate at the time of touch-off) and the reference coordinates among the series of coordinate information detected in the input coordinate detection step. The process determination step includes a first process determination step (S115, S135, S140, S145) and a second process determination step (S121). In the first process determination step, when the last coordinate information indicates an area other than the reference area (AT, AB, AL, AR), based on the direction from the reference coordinate to the area indicated by the last coordinate information. Determine processing. In the second process determination step, the last coordinate information is the reference region after a part of the coordinate information in the series of coordinate information detected in the input coordinate detection step indicates an area other than the reference region (DF8 is on). When the inside is indicated, the processing is determined based on the combination of the direction from the reference coordinate to the region indicated by the partial coordinate information and the direction from the region indicated by the partial coordinate information to the reference coordinate. The pointing device is an input device that specifies an input position and coordinates on the screen, and is realized by, for example, a touch panel, a mouse, a track pad, a track ball, and the like. A coordinate system used in each input device is a touch panel coordinate system or a screen coordinate system.
第２の発明は、上記第１の発明において、処理決定ステップは、フラグ設定ステップ（Ｓ１１２、Ｓ１３２、Ｓ１３７、Ｓ１４２）、第１フラグ更新ステップ（Ｓ１１２、Ｓ１３２、Ｓ１３７、Ｓ１４２）、および第２フラグ更新ステップ（Ｓ１１８）を、さらに含む。フラグ設定ステップは、最後の座標情報が示す位置が基準領域から他の領域へ移動したとき、その他の領域に応じたフラグ（ＤＦ８、ＤＦ１０〜ＤＦ１２）を設定してメモリに記憶する。第１フラグ更新ステップは、フラグ設定ステップでフラグを設定した後、最後の座標情報が示す位置がそのフラグを設定した領域から基準領域とは異なる他の領域へさらに移動したとき、現在設定されているフラグをその最後の座標情報が示す領域に応じたフラグ（ＤＦ８、ＤＦ１０〜ＤＦ１２）に更新してメモリに記憶する。第２フラグ更新ステップは、フラグ設定ステップまたは第１フラグ更新ステップでフラグを設定した後、最後の座標情報が示す位置がそのフラグを設定した領域から基準領域へさらに移動したとき、現在設定されているフラグを基準領域とそのフラグを設定した領域との往復を示すフラグ（ＤＦ９）に更新してメモリに記憶する。コンピュータが実行する第１処理決定ステップは、フラグ設定ステップまたは第１フラグ更新ステップによって設定されたフラグに基づいて処理を決定する。コンピュータが実行する第２処理決定ステップは、第２フラグ更新ステップによって設定されたフラグに基づいて処理を決定する。 In a second aspect based on the first aspect, the process determining step includes a flag setting step (S112, S132, S137, S142), a first flag updating step (S112, S132, S137, S142), and a second flag. An update step (S118) is further included. In the flag setting step, when the position indicated by the last coordinate information moves from the reference area to another area, flags (DF8, DF10 to DF12) corresponding to the other areas are set and stored in the memory. The first flag update step is currently set when the position indicated by the last coordinate information further moves from the region where the flag is set to another region different from the reference region after the flag is set in the flag setting step. Are updated to the flags (DF8, DF10 to DF12) corresponding to the area indicated by the last coordinate information and stored in the memory. The second flag update step is currently set when the position indicated by the last coordinate information further moves from the region where the flag is set to the reference region after setting the flag in the flag setting step or the first flag update step. Is updated to a flag (DF9) indicating a round trip between the reference area and the area where the flag is set, and stored in the memory. The first process determination step executed by the computer determines a process based on the flag set by the flag setting step or the first flag update step. The second process determination step executed by the computer determines the process based on the flag set by the second flag update step.
第３の発明は、上記第１の発明において、表示制御ステップ（Ｓ１１３、Ｓ１１９、Ｓ１３３、Ｓ１３８、Ｓ１４３）をさらにコンピュータに実行させる。表示制御ステップは、第１処理決定ステップで処理を決定した基準座標から最後の座標情報で示された他の領域への方向（上方向、下方向、左方向、右方向）および第２処理決定ステップで処理を決定した組合せの方向（上下方向）を示す指標（Ｍ８〜Ｍ１２）を、それぞれ表示装置（１２）に表示する。 In a third aspect based on the first aspect, the computer is further caused to execute display control steps (S113, S119, S133, S138, S143). In the display control step, the direction (upward, downward, leftward, rightward) from the reference coordinate determined in the first processing determination step to another region indicated by the last coordinate information and the second processing determination Indices (M8 to M12) indicating the direction (up and down direction) of the combination determined to be processed in the step are respectively displayed on the display device (12).
第４の発明は、上記第１の発明において、表示制御ステップをさらにコンピュータに実行させる。表示制御ステップは、複数領域設定ステップで設定する基準領域を示す画像（Ｍ７）を表示装置に表示する。 In a fourth aspect based on the first aspect, the computer further executes a display control step. In the display control step, an image (M7) indicating the reference region set in the multiple region setting step is displayed on the display device.
第５の発明は、上記第１の発明において、表示制御ステップをさらにコンピュータに実行させる。表示制御ステップは、座標系に基づいた画像を表示装置に表示する。コンピュータが実行する複数領域設定ステップは、基準領域を中心とした周辺の画像の領域を複数に分割して複数の領域を形成する。 In a fifth aspect based on the first aspect, the computer further executes a display control step. The display control step displays an image based on the coordinate system on the display device. The multiple region setting step executed by the computer forms a plurality of regions by dividing a peripheral image region centered on the reference region into a plurality of regions.
第６の発明は、ユーザの操作に応じてポインティングデバイスから出力される入力座標によって操作される装置のコンピュータで実行される入力座標処理プログラムである。入力座標処理プログラムは、入力座標検出ステップ、基準座標記憶ステップ、第１処理決定ステップ、第２処理決定ステップ、および表示制御ステップをコンピュータに実行させる。入力座標検出ステップは、ポインティングデバイスから出力される入力座標に応じて、所定の座標系に基づいた座標情報を検出する。基準座標記憶ステップは、入力座標検出ステップで検出した一連の座標情報のうち、最初の座標情報に基づいて基準座標を設定してメモリに記憶する。第１処理決定ステップは、基準座標が示す位置から入力座標検出ステップで検出した一連の座標情報のうち最後の座標情報が示す位置への方向に基づいて処理を決定する。第２処理決定ステップは、基準座標が示す位置から入力座標検出ステップで検出した一連の座標情報のうち途中の座標情報が示す位置への方向およびその途中の座標情報が示す位置から基準座標が示す位置への方向の組合せに基づいて処理を決定する。表示制御ステップは、座標系に基づいた画像を表示装置に表示し、第１処理決定ステップで処理を決定した方向および第２処理決定ステップで処理を決定した組合せの方向を示す指標をそれぞれ最後の座標情報が示す位置近傍のその画像に表示する。ここで、最後の座標情報が示す位置「近傍」には、最後の座標情報が示す位置そのものと、当該位置に隣合う領域とが少なくとも含まれる。 A sixth invention is an input coordinate processing program executed by a computer of an apparatus operated by input coordinates output from a pointing device in response to a user operation. The input coordinate processing program causes the computer to execute an input coordinate detection step, a reference coordinate storage step, a first process determination step, a second process determination step, and a display control step. The input coordinate detection step detects coordinate information based on a predetermined coordinate system according to the input coordinates output from the pointing device. In the reference coordinate storage step, reference coordinates are set based on the first coordinate information in the series of coordinate information detected in the input coordinate detection step, and stored in the memory. In the first process determination step, the process is determined based on the direction from the position indicated by the reference coordinates to the position indicated by the last coordinate information in the series of coordinate information detected by the input coordinate detection step. In the second process determination step, the reference coordinates indicate the direction from the position indicated by the reference coordinates to the position indicated by the intermediate coordinate information in the series of coordinate information detected by the input coordinate detection step and the position indicated by the intermediate coordinate information. Processing is determined based on the combination of directions to positions. In the display control step, an image based on the coordinate system is displayed on the display device, and the index indicating the direction of the process determined in the first process determination step and the direction of the combination determined in the second process determination step is the last. The image is displayed in the vicinity of the position indicated by the coordinate information. Here, the position “vicinity” indicated by the last coordinate information includes at least the position itself indicated by the last coordinate information and a region adjacent to the position.
第７の発明は、ユーザの操作に応じてポインティングデバイスから出力される入力座標によって操作される入力座標処理装置である。入力座標処理装置は、記憶手段（２４）、入力座標検出手段、基準座標記憶処理手段、複数領域設定手段、および処理決定手段を備える。入力座標検出手段は、ポインティングデバイスから出力される入力座標に応じて、所定の座標系に基づいた座標情報を検出する。基準座標記憶処理手段は、入力座標検出手段が検出した一連の座標情報のうち、最初の座標情報に基づいて基準座標を設定して記憶手段に記憶する。複数領域設定手段は、基準座標を基準として複数の領域を形成し、その基準座標を含む領域を基準領域に設定する。処理決定手段は、入力座標検出手段が検出した一連の座標情報のうち、最後の座標情報と基準座標とに基づいて処理を決定する。処理決定手段は、第１処理決定手段および第２処理決定手段を含む。第１処理決定手段は、最後の座標情報が基準領域以外の領域内を示すとき、基準座標からその最後の座標情報で示された領域への方向に基づいて処理を決定する。第２処理決定手段は、入力座標検出手段が検出した一連の座標情報のうち、一部の座標情報が基準領域以外の領域内を示した後に最後の座標情報が基準領域内を示すとき、基準座標からその一部の座標情報で示された領域への方向およびその一部の座標情報で示された領域から基準座標への方向の組合せに基づいて処理を決定する。 A seventh aspect of the present invention is an input coordinate processing apparatus operated by input coordinates output from a pointing device in accordance with a user operation. The input coordinate processing apparatus includes storage means (24), input coordinate detection means, reference coordinate storage processing means, multiple area setting means, and process determination means. The input coordinate detection means detects coordinate information based on a predetermined coordinate system according to the input coordinates output from the pointing device. The reference coordinate storage processing means sets reference coordinates based on the first coordinate information among a series of coordinate information detected by the input coordinate detection means, and stores the reference coordinates in the storage means. The multi-area setting unit forms a plurality of areas with reference to the reference coordinates, and sets the area including the reference coordinates as the reference area. The process determining means determines the process based on the last coordinate information and the reference coordinates in the series of coordinate information detected by the input coordinate detecting means. The process determining unit includes a first process determining unit and a second process determining unit. When the last coordinate information indicates an area other than the reference area, the first process determining means determines the process based on the direction from the reference coordinate to the area indicated by the last coordinate information. The second processing determining unit is configured to perform reference processing when the last coordinate information indicates the inside of the reference region after the partial coordinate information indicates the region other than the reference region in the series of coordinate information detected by the input coordinate detecting unit. The processing is determined based on the combination of the direction from the coordinate to the area indicated by the partial coordinate information and the direction from the area indicated by the partial coordinate information to the reference coordinate.
第８の発明は、ユーザの操作に応じてポインティングデバイスから出力される入力座標によって操作される入力座標処理装置である。入力座標処理装置は、記憶手段、入力座標検出手段、基準座標記憶処理手段、第１処理決定手段、第２処理決定手段、および表示制御手段を備える。入力座標検出手段は、ポインティングデバイスから出力される入力座標に応じて、所定の座標系に基づいた座標情報を検出する。基準座標記憶処理手段は、入力座標検出手段が検出した一連の座標情報のうち、最初の座標情報に基づいて基準座標を設定して記憶手段に記憶する。第１処理決定手段は、基準座標が示す位置から入力座標検出手段が検出した一連の座標情報のうち最後の座標情報が示す位置への方向に基づいて処理を決定する。第２処理決定手段は、基準座標が示す位置から入力座標検出手段が検出した一連の座標情報のうち途中の座標情報が示す位置への方向およびその途中の座標情報が示す位置から基準座標が示す位置への方向の組合せに基づいて処理を決定する。表示制御手段は、座標系に基づいた画像を表示装置に表示し、第１処理決定手段が処理を決定した方向および第２処理決定手段が処理を決定した組合せの方向を示す指標をそれぞれ最後の座標情報が示す位置近傍のその画像に表示する。 An eighth invention is an input coordinate processing apparatus operated by input coordinates output from a pointing device in accordance with a user operation. The input coordinate processing device includes storage means, input coordinate detection means, reference coordinate storage processing means, first process determination means, second process determination means, and display control means. The input coordinate detection means detects coordinate information based on a predetermined coordinate system according to the input coordinates output from the pointing device. The reference coordinate storage processing means sets reference coordinates based on the first coordinate information among a series of coordinate information detected by the input coordinate detection means, and stores the reference coordinates in the storage means. The first process determining means determines the process based on the direction from the position indicated by the reference coordinates to the position indicated by the last coordinate information in the series of coordinate information detected by the input coordinate detecting means. The second processing determining means indicates the direction from the position indicated by the reference coordinates to the position indicated by the intermediate coordinate information in the series of coordinate information detected by the input coordinate detection means and the reference coordinates indicated by the position indicated by the intermediate coordinate information. Processing is determined based on the combination of directions to positions. The display control means displays an image based on the coordinate system on the display device, and the index indicating the direction in which the first process determining means determines the process and the direction of the combination in which the second process determining means determines the process is the last. The image is displayed in the vicinity of the position indicated by the coordinate information.
上記第１の発明によれば、第２処理決定ステップではポインティングデバイスからの入力に応じた複数の操作方向の組合せでユーザのジャスチャーを認識して実行する処理が決定される。したがって、単一の操作方向によってユーザの操作ジェスチャを区別するより、決定可能な処理のバリエーションが多くなる。その一方、第１処理決定ステップでは操作方向によるジェスチャを容易にキャンセルすることが可能であり、基準領域以外の別の領域まで操作するだけで基準座標から当該領域への操作方向のみを有効な操作ジェスチャとして認識することができる。したがって、ユーザが行った操作が不適切なものであった場合、ユーザはその操作を容易にキャンセルすることができ、当該操作と連続した操作で新たな操作指示を与えることができる。つまり、座標入力操作により決定可能な処理のバリエーションを多くしながらも、不適切な軌跡を描いてしまった場合に生じる不都合を少なくして、座標入力の操作性を向上させることができる。 According to the first aspect of the invention, in the second process determination step, a process for recognizing and executing a user gesture with a combination of a plurality of operation directions in accordance with an input from the pointing device is determined. Therefore, there are more process variations that can be determined than distinguishing user operation gestures by a single operation direction. On the other hand, in the first process determination step, it is possible to easily cancel the gesture based on the operation direction, and only the operation direction from the reference coordinate to the area is effective only by operating to another area other than the reference area. It can be recognized as a gesture. Therefore, when an operation performed by the user is inappropriate, the user can easily cancel the operation, and can give a new operation instruction by an operation continuous with the operation. That is, it is possible to improve the operability of coordinate input by reducing the inconvenience caused when an inappropriate trajectory is drawn while increasing the variations of processing that can be determined by the coordinate input operation.
上記第２の発明によれば、複数の領域への出入りをフラグで管理するため、全ての入力座標に基づいた処理よりも簡単にユーザのジェスチャを区別することができる。 According to the second aspect of the invention, since entering and exiting a plurality of areas are managed by flags, it is possible to distinguish user gestures more easily than processing based on all input coordinates.
上記第３の発明によれば、ユーザが入力した座標入力操作によって認識された操作ジェスチャが指標として表示されるため、ユーザは入力した操作ジェスチャや決定される処理を確実に認識することができる。 According to the third aspect, since the operation gesture recognized by the coordinate input operation input by the user is displayed as an index, the user can surely recognize the input operation gesture and the determined process.
上記第４の発明によれば、操作ジェスチャを区別するための基準となる基準領域を表示することによって、ユーザがポインティングデバイスを用いて有効な操作を入力するための目標画像とすることができる。 According to the fourth aspect, by displaying the reference area that serves as a reference for distinguishing the operation gesture, the target image for the user to input an effective operation using the pointing device can be obtained.
上記第５の発明によれば、基準領域を中心とした周辺の領域を分割して操作方向を区別するための複数領域を形成することによって、基準座標を中心とする操作方向を容易に区別することができる。 According to the fifth aspect of the present invention, the operation direction centered on the reference coordinate is easily distinguished by dividing the peripheral region centered on the reference region to form a plurality of regions for distinguishing the operation direction. be able to.
上記第６の発明によれば、ユーザが入力した座標入力操作によって認識された操作ジェスチャが表示された画像に対して現在ユーザが入力操作している位置近傍に指標として表示されるため、ユーザは入力した操作ジェスチャや決定される処理を確実に認識することができる。 According to the sixth aspect, since the operation gesture recognized by the coordinate input operation input by the user is displayed as an index near the position where the user is currently performing the input operation on the displayed image, the user can It is possible to reliably recognize the input operation gesture and the determined process.
また、本発明の入力座標処理装置によれば、上述した入力座標処理プログラムと同様の効果を得ることができる。 Further, according to the input coordinate processing apparatus of the present invention, the same effect as the above-described input coordinate processing program can be obtained.
図面を参照して、本発明の一実施形態に係る入力座標処理プログラムを実行する入力座標処理装置について説明する。本発明の入力座標処理プログラムは、表示装置に表示可能な任意のコンピュータシステムで実行されることによって適用することができるが、情報処理装置（入力座標処理装置）の一例としてゲーム装置１で実行される入力座標処理プログラムを用いて説明する。なお、図１は、本発明の入力座標処理プログラムを実行するゲーム装置１の外観図である。ここでは、ゲーム装置１の一例として、携帯ゲーム装置を示す。
An input coordinate processing apparatus that executes an input coordinate processing program according to an embodiment of the present invention will be described with reference to the drawings. The input coordinate processing program of the present invention can be applied by being executed by an arbitrary computer system that can be displayed on the display device, but is executed by the
図１において、ゲーム装置１は、第１のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）１１および第２のＬＣＤ１２を含む。ハウジング１３は、上側ハウジング１３ａと下側ハウジング１３ｂとによって構成されており、第１のＬＣＤ１１は上側ハウジング１３ａに収納され、第２のＬＣＤ１２は下側ハウジング１３ｂに収納される。第１のＬＣＤ１１および第２のＬＣＤ１２の解像度は、いずれも２５６ｄｏｔ×１９２ｄｏｔである。なお、本実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置等、他の任意の表示装置を利用することができる。また、第１のＬＣＤ１１および第２のＬＣＤ１２は、任意の解像度のものを利用することができる。
In FIG. 1, the
上側ハウジング１３ａには、後述する１対のスピーカ（図２の３０ａ、３０ｂ）からの音を外部に放出するための音抜き孔１８ａ、１８ｂが形成されている。
The
下側ハウジング１３ｂには、入力装置として、十字スイッチ１４ａ、スタートスイッチ１４ｂ、セレクトスイッチ１４ｃ、Ａボタン１４ｄ、Ｂボタン１４ｅ、Ｘボタン１４ｆ、Ｙボタン１４ｇ、電源スイッチ１４ｈ、Ｌボタン１４Ｌ、およびＲボタン１４Ｒが設けられている。また、さらなる入力装置として、第２のＬＣＤ１２の画面上にタッチパネル１５が装着されている。また、下側ハウジング１３ｂには、メモリカード１７やスティック１６を収納するための挿入口も設けられている。
The
タッチパネル１５としては、例えば抵抗膜方式や光学式（赤外線方式）や静電容量結合式等、任意の方式のものを利用することができる。タッチパネル１５は、その表面をスティック１６で触れると、その接触位置に対応する座標データを出力する機能を有するポインティングデバイスの一例である。なお、以下ではプレイヤがタッチパネル１５をスティック１６で操作するものとして説明を行うが、スティック１６の代わりにペン（スタイラスペン）や指でタッチパネル１５を操作することももちろん可能である。本実施形態では、タッチパネル１５として、第２のＬＣＤ１２の解像度と同じく２５６ｄｏｔ×１９２ｄｏｔの解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル１５の解像度と第２のＬＣＤ１２の解像度が一致している必要はない。
As the
メモリカード１７は、入力座標処理プログラム等を記録した記録媒体であり、下部ハウジング１３ｂに設けられた挿入口に着脱自在に装着される。
The
次に、図２を参照して、ゲーム装置１の内部構成を説明する。なお、図２は、ゲーム装置１の内部構成を示すブロック図である。
Next, the internal configuration of the
図２において、ハウジング１３に収納される電子回路基板２０には、ＣＰＵコア２１が実装される。ＣＰＵコア２１には、バス２２を介して、コネクタ２３が接続されるとともに、入出力インターフェース回路（図面ではＩ／Ｆ回路と記す）２５、第１ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２６、第２ＧＰＵ２７、ＲＡＭ２４、ＬＣＤコントローラ３１、およびワイヤレス通信部３３が接続される。コネクタ２３には、メモリカード１７が着脱自在に接続される。メモリカード１７は、入力座標処理プログラムを記憶するＲＯＭ１７ａと、バックアップデータを書き換え可能に記憶するＲＡＭ１７ｂを搭載する。メモリカード１７のＲＯＭ１７ａに記憶された入力座標処理プログラムは、ＲＡＭ２４にロードされ、ＲＡＭ２４にロードされた入力座標処理プログラムがＣＰＵコア２１によって実行される。ＲＡＭ２４には、入力座標処理プログラムの他にも、適宜、ＣＰＵコア２１がプログラムを実行して得られる一時的なデータを生成するためのデータ等が記憶される。Ｉ／Ｆ回路２５には、タッチパネル１５、右スピーカ３０ａ、左スピーカ３０ｂ、および図１の十字スイッチ１４ａやＡボタン１４ｄ等から成る操作スイッチ部１４が接続される。右スピーカ３０ａおよび左スピーカ３０ｂは、音抜き孔１８ａおよび１８ｂの内側にそれぞれ配置される。
In FIG. 2, a
第１ＧＰＵ２６には、第１ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）２８が接続され、第２ＧＰＵ２７には、第２ＶＲＡＭ２９が接続される。第１ＧＰＵ２６は、ＣＰＵコア２１からの指示に応じて、ＲＡＭ２４に記憶されている表示画像を生成するためのデータに基づいて第１の表示画像を生成し、第１ＶＲＡＭ２８に描画する。第２ＧＰＵ２７は、同様にＣＰＵコア２１からの指示に応じて第２の表示画像を生成し、第２ＶＲＡＭ２９に描画する。第１ＶＲＡＭ２８および第２ＶＲＡＭ２９は、ＬＣＤコントローラ３１に接続されている。
A first VRAM (Video RAM) 28 is connected to the
ＬＣＤコントローラ３１は、レジスタ３２を含む。レジスタ３２は、ＣＰＵコア２１からの指示に応じて０または１の値を記憶する。ＬＣＤコントローラ３１は、レジスタ３２の値が０の場合は、第１ＶＲＡＭ２８に描画された第１の表示画像を第１のＬＣＤ１１に出力し、第２ＶＲＡＭ２９に描画された第２の表示画像を第２のＬＣＤ１２に出力する。また、レジスタ３２の値が１の場合は、第１ＶＲＡＭ２８に描画された第１の表示画像を第２のＬＣＤ１２に出力し、第２ＶＲＡＭ２９に描画された第２の表示画像を第１のＬＣＤ１１に出力する。
The
ワイヤレス通信部３３は、他のゲーム装置のワイヤレス通信部３３との間で、ゲーム処理に利用されるデータやその他のデータをやりとりする機能を有しており、一例としてＩＥＥＥ８０２．１１の無線ＬＡＮ規格に則った無線通信機能を提供する。そして、ワイヤレス通信部３３は、受信したデータをＣＰＵコア２１に出力する。また、ワイヤレス通信部３３は、ＣＰＵコア２１から指示されたデータを他のゲーム装置へ送信する。なお、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等のプロトコルや所定のブラウザをワイヤレス通信部３３やゲーム装置１内の記憶部に実装することによって、ゲーム装置１は、ワイヤレス通信部３３を介してインターネット等のネットワークとの接続が可能となる。そして、ゲーム装置１は、ネットワーク上で公開されている文書や画像等のデータを第１のＬＣＤ１１および第２のＬＣＤ１２で閲覧することができる。
The
なお、本発明の入力座標処理プログラムは、メモリカード１７等の外部記憶媒体を通じてコンピュータシステムに供給されるだけでなく、有線または無線の通信回線を通じてコンピュータシステムに供給されてもよい。また、入力座標処理プログラムは、コンピュータシステム内部の不揮発性記憶装置に予め記録されていてもよい。なお、入力座標処理プログラムを記憶する情報記憶媒体としては、上記不揮発性半導体メモリに限らず、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体でもよい。
The input coordinate processing program of the present invention may be supplied not only to the computer system through an external storage medium such as the
次に、図３〜図１２を参照して、ゲーム装置１で実行される入力座標処理プログラムによる具体的な処理動作を説明する前に、当該処理動作によって第１のＬＣＤ１１および第２のＬＣＤ１２に表示される表示形態例について説明する。説明を具体的にするために、ワイヤレス通信部３３を介してインターネット等のネットワークと接続し、当該ネットワーク上で公開されている文書や画像等のデータを第１のＬＣＤ１１および第２のＬＣＤ１２で閲覧する例を用いて説明する。なお、図３は、第１のＬＣＤ１１および第２のＬＣＤ１２に表示される初期段階の画面表示例を示す図である。図４は、第２のＬＣＤ１２に表示されたリンク先上のタッチパネル１５をタップ操作したときに、第１のＬＣＤ１１および第２のＬＣＤ１２に表示される画面表示例を示す図である。図５は、第２のＬＣＤ１２に表示されたリンク先上から上方向へタッチパネル１５をスライド操作したときに、第１のＬＣＤ１１および第２のＬＣＤ１２に表示される画面表示例を示す図である。図６は、第２のＬＣＤ１２に表示されたリンク先上から上方向へタッチパネル１５をスライド操作した後に下方向に往復するスライド操作したときに、第１のＬＣＤ１１および第２のＬＣＤ１２に表示される画面表示例を示す図である。図７は、第２のＬＣＤ１２に表示されたタブ上から下方向へタッチパネル１５をスライド操作したときに、第１のＬＣＤ１１および第２のＬＣＤ１２に表示される画面表示例を示す図である。図８は、第２のＬＣＤ１２に表示されたタブ上から下方向へタッチパネル１５をスライド操作した後に上方向に往復するスライド操作したときに、第１のＬＣＤ１１および第２のＬＣＤ１２に表示される画面表示例を示す図である。図９は、第２のＬＣＤ１２に表示された一部の情報を囲むようにタッチパネル１５をスライド操作したときに、第１のＬＣＤ１１および第２のＬＣＤ１２に表示される画面表示例を示す図である。図１０は、第２のＬＣＤ１２に表示された背景画像上から上方向へタッチパネル１５をスライド操作したときに、第１のＬＣＤ１１および第２のＬＣＤ１２に表示される画面表示例を示す図である。図１１は、第２のＬＣＤ１２に表示された背景画像上のタッチパネル１５をタッチ操作したときに設定される各領域を説明するための図である。図１２は、第２のＬＣＤ１２に表示された背景画像上から上方向へタッチパネル１５をスライド操作した後に下方向に往復するスライド操作したときに、第１のＬＣＤ１１および第２のＬＣＤ１２に表示される画面表示例を示す図である。
Next, with reference to FIG. 3 to FIG. 12, before describing specific processing operations by the input coordinate processing program executed in the
図３において、ワイヤレス通信部３３を介してネットワーク上で公開されている文書や画像等の情報をゲーム装置１で閲覧する場合、初期段階の一例として第２のＬＣＤ１２のみに現在閲覧を選択している情報が表示される。例えば、第２のＬＣＤ１２には、ユーザが選択したホームページ情報が表示される。図３で示した一例では、ホームページ情報内の応答領域として、リンク先を示すテキストリンクおよび画像リンクと、当該ホームページ情報内の他の情報へ閲覧を変更するタブとが表示されている。また、ゲーム装置１におけるネットワーク閲覧用として設定されているアイコンが、第２のＬＣＤ１２の表示画面左端に並設して表示されている。それらアイコンの１つとして、囲みモード用アイコンが設定されている。
In FIG. 3, when browsing information such as documents and images published on the network via the
図４において、第２のＬＣＤ１２に表示されたリンク先上（図４では、画像リンク上）のタッチパネル１５をユーザがスティック１６を用いてタッチ操作したとき、当該タッチ操作した点を中心とした円Ｍ１が表示される（図４左図の状態）。そして、ユーザがタッチパネル１５からスティック１６を離すと、タッチ操作したリンク先のホームページ情報が第２のＬＣＤ１２に表示される（図４右図の状態）。なお、第２のＬＣＤ１２に表示されるホームページ情報がリンク先のホームページ情報に変更されるが、第１のＬＣＤ１１の表示態様は変化しない。以下、上述したようにタッチパネル１５を一瞬タッチ操作して離す操作をタップ操作と記載する。
In FIG. 4, when the user touches the
図５において、第２のＬＣＤ１２に表示されたリンク先上（図５では、テキストリンク上）のタッチパネル１５をユーザがタッチ操作して、タッチパネル１５上から離さずに上方向へスティック１６をスライドする操作をしたとき、現在タッチ操作している点の近傍に上向き矢印Ｍ２が表示される（図５左図の状態）。以下、タッチパネル１５をタッチ操作してタッチパネル１５上から離れずにスライドさせる操作をスライド操作と記載する。具体的には、最初にユーザがタッチパネル１５をタッチしたタッチ入力座標に対応する画面座標を始点座標（ｘ１、ｙ１）として、同じ画面座標系に判定ラインｙ＝ｙ１＋ｃ１を設定する。ここで、ｃ１は、所定の定数である。そして、タッチパネル１５上を上方向へ上記判定ライン上より上の領域までスライド操作したとき（図５におけるタッチ入力座標（ｘｔ、ｙｔ））、上向き矢印Ｍ２が表示される。
In FIG. 5, the user touches the
そして、ユーザが上記スライド操作の後、上記判定ライン上より上の領域でタッチパネル１５からスティック１６を離すと、最初にタッチ操作したリンク先（つまり、始点座標（ｘ１、ｙ１）に対応するリンク先）のホームページ情報が第１のＬＣＤ１１に表示される。そして、第２のＬＣＤ１２は、表示変更なく、そのままのホームページ情報が継続して表示される（図５の右図の状態）。つまり、第２のＬＣＤ１２における表示情報を残しつつ、最初のタッチ操作で指定された情報がユーザのスライド操作方向（上方向）に搭載されている表示画面（第１のＬＣＤ１１）に表示される。
When the user releases the
図６において、第２のＬＣＤ１２に表示されたリンク先上（図６では、テキストリンク上）をユーザがタッチ操作して、タッチパネル１５上から離さずに上方向へタッチパネル１５をスライド操作した後に下方向に往復するスライド操作をしたとき、現在タッチ操作している点の近傍に上下向き矢印Ｍ３が表示される（図６左図の状態）。具体的には、図５と同様に始点座標（ｘ１、ｙ１）および判定ラインｙ＝ｙ１＋ｃ１を設定する。そして、タッチパネル１５上を上方向へ上記判定ライン上より上の領域までスライド操作した後、当該判定ラインより下の領域まで逆の方向へスライド操作したとき（図６におけるタッチ入力座標（ｘｔ、ｙｔ））、上下向き矢印Ｍ３が表示される。
In FIG. 6, the user touches the link destination displayed on the second LCD 12 (on the text link in FIG. 6) and slides the
そして、ユーザが上記上下往復するスライド操作の後、上記判定ラインより下の領域でタッチパネル１５からスティック１６を離すと、最初にタッチ操作したリンク先（つまり、始点座標（ｘ１、ｙ１）に対応するリンク先）のホームページ情報が第２のＬＣＤ１２に表示される。そして、第１のＬＣＤ１１は、それまで第２のＬＣＤ１２に表示されていたホームページ情報が表示される（図６の右図の状態）。つまり、第２のＬＣＤ１２における表示情報が第１のＬＣＤ１１に表示され、最初のタッチ操作で指定された情報が第２のＬＣＤ１２に表示されて、ユーザのスライド操作方向（上下方向）に応じて、上下の表示画面（第１のＬＣＤ１１および第２のＬＣＤ１２）に表示される情報が入れ替わるように表示される。
When the user releases the
図７において、第２のＬＣＤ１２に表示されたタブ上（図７では、タブ「ｘｘｘ」上）のタッチパネル１５をユーザがタッチ操作すると、タブ（つまり、始点座標（ｘ１、ｙ１）に対応するタブ「ｘｘｘ」）に対応する閲覧中のホームページ情報における他の情報が、直ちに第１のＬＣＤ１１に表示される。そして、タッチパネル１５上から離さずに下方向へスティック１６をスライドする操作をしたとき、現在タッチ操作している点の近傍に下向き矢印Ｍ４が表示される（図７左図の状態）。具体的には、最初にユーザがタッチパネル１５をタッチしたタッチ入力座標に対応する画面座標を始点座標（ｘ１、ｙ１）として、同じ画面座標系に判定ラインｙ＝ｙ１−ｃ２を設定する。ここで、ｃ２は、所定の定数である。そして、タッチパネル１５上を下方向へ上記判定ラインより下の領域までスライド操作したとき（図７におけるタッチ入力座標（ｘｔ、ｙｔ））、下向き矢印Ｍ４が表示される。
In FIG. 7, when the user touches the
そして、ユーザが上記スライド操作の後、上記判定ラインより下の領域でタッチパネル１５からスティック１６を離すと、タッチ操作したタブに対応する第１のＬＣＤ１１に表示されていた情報を第２のＬＣＤ１２に表示した状態となる（図７右図の状態）。なお、第２のＬＣＤ１２に表示されるホームページ情報がタブに対応する他の情報に変更されるが、第１のＬＣＤ１１は継続してタブに対応する他の情報が表示される。つまり、第１のＬＣＤ１１における表示情報を残しつつ、最初のタッチ操作で指定された情報がユーザのスライド操作方向（下方向）に搭載されている表示画面（第２のＬＣＤ１２）に表示される。
When the user releases the
図８において、第２のＬＣＤ１２に表示されたタブ上（図８では、タブ「ｘｘｘ」上）をユーザがタッチ操作すると、タブ（つまり、始点座標（ｘ１、ｙ１）に対応するタブ「ｘｘｘ」）に対応する閲覧中のホームページ情報における他の情報が、直ちに第１のＬＣＤ１１に表示される。そして、タッチパネル１５上から離さずに下方向へタッチパネル１５をスライド操作した後に上方向に往復するスライド操作をしたとき、現在タッチ操作している点の近傍に上下向き矢印Ｍ５が表示される（図８左図の状態）。具体的には、図７と同様に始点座標（ｘ１、ｙ１）および判定ラインｙ＝ｙ１−ｃ２を設定する。そして、タッチパネル１５上を下方向へ上記判定ラインより下の領域までスライド操作した後、当該判定ライン上より上の領域まで逆の方向へスライド操作したとき（図８におけるタッチ入力座標（ｘｔ、ｙｔ））、上下向き矢印Ｍ５が表示される。
In FIG. 8, when the user performs a touch operation on a tab displayed on the second LCD 12 (on the tab “xxx” in FIG. 8), the tab “xxx” corresponding to the tab (that is, the start point coordinates (x1, y1)). Other information in the homepage information being browsed corresponding to) is immediately displayed on the
そして、ユーザが上記上下往復するスライド操作の後、上記判定ライン上より上の領域でタッチパネル１５からスティック１６を離すと、タッチ操作したタブに対応する情報が第２のＬＣＤ１２に表示された状態となる。そして、第１のＬＣＤ１１は、それまで第２のＬＣＤ１２に表示されていた元のホームページ情報が表示される（図８の右図の状態）。つまり、第２のＬＣＤ１２における元の表示情報が第１のＬＣＤ１１に表示され、最初のタッチ操作で指定された情報が第２のＬＣＤ１２に表示されて、ユーザのスライド操作方向（上下方向）に応じて、上下の表示画面（第１のＬＣＤ１１および第２のＬＣＤ１２）に表示される情報が入れ替わるように表示される。
When the user releases the
図９において、ユーザが囲みモード用アイコンＩａをタップ操作した際、ゲーム装置１は、囲みモードに移行して動作する。囲みモードにおいて、第２のＬＣＤ１２に表示された一部の情報（図９では、背景画像に記載された文字情報）を囲むようにタッチパネル１５上をユーザがスティック１６を用いてタッチ操作したとき、当該タッチ操作した軌跡に応じて軌跡Ｍ６が表示される（図９左図の状態）。具体的には、最初にユーザがタッチパネル１５をタッチしたタッチ入力座標に対応する画面座標を始点座標（ｘ１、ｙ１）として、同じ画面座標系に当該始点座標（ｘ１、ｙ１）を中心とする始点近傍領域を設定する。そして、タッチパネル１５上を囲むように上記始点近傍領域までスライド操作したとき（図９におけるタッチ入力座標（ｘｔ、ｙｔ））、軌跡Ｍ６が表示される。そして、始点近傍領域内でユーザがタッチパネル１５からスティック１６を離すと、上記軌跡Ｍ６で囲まれた情報を拡大して第１のＬＣＤ１１に表示される。そして、第２のＬＣＤ１２は、表示変更なく、そのままのホームページ情報が継続して表示される（図９右図の状態）。つまり、第２のＬＣＤ１２における表示情報を残しつつ、タッチ操作で囲まれた情報が他の表示画面（第１のＬＣＤ１１）に表示される。
In FIG. 9, when the user taps the enclosure mode icon Ia, the
図１０において、第２のＬＣＤ１２に表示された背景画像上のタッチパネル１５をユーザがタッチ操作して、タッチパネル１５上から離さずに上方向へスライド操作をしたとき、始点座標の近傍にガイド画像Ｍ７および現在タッチ操作している点の近傍に上向き矢印Ｍ８が表示される（図１０左図の状態）。
In FIG. 10, when the user touches the
具体的には、図１１に示すように、最初にユーザがタッチパネル１５をタッチしたタッチ入力座標に対応する画面座標を始点座標（ｘ１、ｙ１）を基準として、同じ画面座標系に複数の領域を設定する。始点座標（ｘ１、ｙ１）の周辺には所定領域ＡＭが設定される。画面座標系（ｘ、ｙ）において、所定領域ＡＭは、ｘ１−ｋ１≦ｘ≦ｘ１＋ｋ１、かつ、ｙ１−ｋ２＜ｙ＜ｙ１＋ｋ２となる領域である。ここで、ｋ１およびｋ２は、それぞれ所定の定数である。そして、所定領域ＡＭの境界にガイド画像Ｍ７が表示される。
Specifically, as shown in FIG. 11, the screen coordinates corresponding to the touch input coordinates with which the user first touched the
所定領域ＡＭの上方には上方領域ＡＴが設定される。画面座標系（ｘ、ｙ）において、上方領域ＡＴは、ｘ１−ｋ１≦ｘ≦ｘ１＋ｋ１、かつ、ｙ≧ｙ１＋ｋ２となる領域である。所定領域ＡＭの下方には下方領域ＡＢが設定される。画面座標系（ｘ、ｙ）において、下方領域ＡＢは、ｘ１−ｋ１≦ｘ≦ｘ１＋ｋ１、かつ、ｙ≦ｙ１−ｋ２となる領域である。所定領域ＡＭの左側には左側領域ＡＬが設定される。画面座標系（ｘ、ｙ）において、左側領域ＡＬは、ｘ＜ｘ１−ｋ１となる領域である。そして、所定領域ＡＭの右側には右側領域ＡＲが設定される。画面座標系（ｘ、ｙ）において、右側領域ＡＲは、ｘ＞ｘ１＋ｋ１となる領域である。そして、図１０に示すように、タッチパネル１５上を上方向へ所定領域ＡＭ（すなわち、ガイド画像Ｍ７で囲まれる領域）上より上の上方領域ＡＴまでスライド操作したとき（図１０におけるタッチ入力座標（ｘｔ、ｙｔ））、上向き矢印Ｍ８が表示される。
An upper area AT is set above the predetermined area AM. In the screen coordinate system (x, y), the upper area AT is an area where x1−k1 ≦ x ≦ x1 + k1 and y ≧ y1 + k2. A lower area AB is set below the predetermined area AM. In the screen coordinate system (x, y), the lower area AB is an area where x1−k1 ≦ x ≦ x1 + k1 and y ≦ y1−k2. A left area AL is set on the left side of the predetermined area AM. In the screen coordinate system (x, y), the left side area AL is an area where x <x1-k1. A right area AR is set on the right side of the predetermined area AM. In the screen coordinate system (x, y), the right area AR is an area where x> x1 + k1. Then, as shown in FIG. 10, when a slide operation is performed upward on the
そして、ユーザが上記スライド操作の後、上方領域ＡＴ内でタッチパネル１５からスティック１６を離すと、第２のＬＣＤ１２で閲覧中のホームページ情報（つまり、始点座標（ｘ１、ｙ１）で指定されたホームページ情報）が第１のＬＣＤ１１に表示される。そして、第２のＬＣＤ１２は、表示変更なく、そのままのホームページ情報が継続して表示される（図１０の右図の状態）。つまり、第２のＬＣＤ１２における表示情報を残しつつ、ユーザのスライド操作方向（上方向）の起点に表示されている情報（最初のタッチ操作で指定された第２のＬＣＤ１２に表示されている情報）が当該スライド操作方向に搭載されている表示画面（第１のＬＣＤ１１）に表示される。
After the slide operation, when the user releases the
図１２において、第２のＬＣＤ１２に表示された背景画像上のタッチパネル１５をユーザがタッチ操作して、タッチパネル１５上から離さずに上方領域ＡＴまで上方向にスライド操作をした後に所定領域ＡＭ内まで下方向に上下往復するスライド操作をしたとき（図１２におけるタッチ入力座標（ｘｔ、ｙｔ））、始点座標の近傍にガイド画像Ｍ７および現在タッチ操作している点の近傍に上下向き矢印Ｍ９が表示される（図１２左図の状態）。このときに設定される各領域は、図１１で説明した領域と同様である。
In FIG. 12, the user touches the
そして、ユーザが上記上下往復するスライド操作の後、所定領域ＡＭ内でタッチパネル１５からスティック１６を離すと、第２のＬＣＤ１２で閲覧中のホームページ情報（つまり、始点座標（ｘ１、ｙ１）で指定されたホームページ情報）が第１のＬＣＤ１１に表示される。そして、第１のＬＣＤ１１で閲覧中のホームページ情報が第２のＬＣＤ１２に表示される（図１２の右図の状態）。つまり、第２のＬＣＤ１２における表示情報が第１のＬＣＤ１１に表示され、第１のＬＣＤ１１における表示情報が第２のＬＣＤ１２に表示されて、ユーザのスライド操作方向（上下方向）に応じて、上下の表示画面（第１のＬＣＤ１１および第２のＬＣＤ１２）に表示される情報が入れ替わるように表示される。
When the user releases the
次に、図１３〜図１９を参照して、ゲーム装置１で実行される入力座標処理プログラムによる具体的な処理動作について説明する。なお、図１３は、当該入力座標処理プログラムを実行することによってゲーム装置１が入力座標処理を行う動作を示すフローチャートである。図１４は、図１３におけるステップ５０のリンク指定処理について詳細な動作を示すサブルーチンである。図１５は、図１３におけるステップ５１のタブ指定処理について詳細な動作を示すサブルーチンである。図１６〜図１８は、図１３におけるステップ５２の背景指定処理について詳細な動作を示すサブルーチンである。図１９は、図１３に基づいた処理動作でＲＡＭ２４に記憶される各種データの一例を示す図である。なお、これらの処理を実行するためのプログラムは、ＲＯＭ１７ａに格納された入力座標処理プログラムに含まれており、ゲーム装置１の電源がオンになったときに、ＲＯＭ１７ａからＲＡＭ２４に読み出されて、ＣＰＵコア２１によって実行される。また、説明を具体的にするために、ワイヤレス通信部３３を介してインターネット等のネットワークと接続し、当該ネットワーク上で公開されている文書や画像等のデータを第１のＬＣＤ１１および第２のＬＣＤ１２で閲覧する例を用いて動作を説明する。
Next, with reference to FIGS. 13 to 19, a specific processing operation by the input coordinate processing program executed by the
まず、ゲーム装置１の電源（図示せず）がＯＮされると、ＣＰＵコア２１によってブートプログラム（図示せず）が実行され、これによりメモリカード１７に格納されている入力座標処理プログラムがＲＡＭ２４にロードされる。当該ロードされた入力座標処理プログラムがＣＰＵコア２１で実行されることによって、図１３に示すステップ（図１３〜図１８では「Ｓ」と略称する）が実行される。
First, when a power source (not shown) of the
図１３において、ＣＰＵコア２１は、ユーザの操作に応じて、指定されたウェブページで公開されている文書や画像等の情報を少なくとも第２のＬＣＤ１２に表示する（ステップ４１；図３参照）。そして、ＣＰＵコア２１は、ＲＡＭ２４に記憶されているタッチ入力フラグＤＦｔをオフに設定して（ステップ４２）、処理を次のステップに進める。なお、上記ステップ４２において、ＣＰＵコア２１は、ＲＡＭ２４に記憶されている第１〜第１２モードフラグＤＦ１〜ＤＦ１２を全てオフに設定する。
In FIG. 13, the
ここで、図１９に示すように、タッチパネル１５から入力する座標データは、適時、タッチパネル１５をタッチしている接触位置に対応する第２のＬＣＤ１２に表示された画像上の座標に変換され、ＲＡＭ２４にタッチ入力座標ＤＣ１として記憶されている。また、ＲＡＭ２４には、画像を生成するための位置データＤＣとして、他に始点座標ＤＣ２および軌跡座標ＤＣ３等が適宜記憶される。また、ＲＡＭ２４には、タッチ入力フラグＤＦｔの他に、次に行う予定の処理（以下、次処理と記載する）を決定するためのフラグデータＤＦとして、第１〜第１２モードフラグＤＦ１〜ＤＦ１２が記憶される。さらに、認識された操作ジェスチャを示す画像を生成するための画像データＤＩとして、指標画像ＤＩ１、軌跡画像ＤＩ２、およびガイド画像ＤＩ３等が適宜記憶される。
Here, as shown in FIG. 19, the coordinate data input from the
図１３に戻り、ＣＰＵコア２１は、ユーザの操作に応じたタッチパネル１５からのタッチ入力があるか否かを判断する（ステップ４３）。そして、タッチ入力がある場合、処理を次のステップ４４に進める。一方、タッチ入力がない場合、現在表示されている情報の閲覧を終了するか否かを判断する（ステップ５３）。次に、ＣＰＵコア２１は、閲覧を継続する場合に上記ステップ４３に戻って処理を繰り返し、閲覧を終了する場合に当該フローチャートによる処理を終了する。
Returning to FIG. 13, the
ステップ４４において、ＣＰＵコア２１は、現在タッチパネル１５をタッチしている接触位置に対応する第２のＬＣＤ１２に表示される画像上の座標（すなわち、現在のタッチ入力座標ＤＣ１）を始点座標ＤＣ２としてＲＡＭ２４に記憶する。次に、ＣＰＵコア２１は、ＲＡＭ２４に記憶されているタッチ入力フラグＤＦｔをオンに設定して（ステップ４５）、処理を次のステップに進める。
In step 44, the
次に、ＣＰＵコア２１は、始点座標ＤＣ２で示される位置に応じた画像がリンクか否か（ステップ４６）、タブか否か（ステップ４７）、および背景画像か否か（ステップ４８）をそれぞれ判断する。そして、始点座標ＤＣ２で示される位置に応じた画像が画像リンクやテキストリンク等のリンクである場合（ステップ４６でＹｅｓ）、ＣＰＵコア２１は、リンク指定処理（ステップ５０）を行って上記ステップ４２に戻って処理を繰り返す。また、始点座標ＤＣ２で示される位置に応じた画像がタブである場合（ステップ４７でＹｅｓ）、ＣＰＵコア２１は、タブ指定処理（ステップ５１）を行って上記ステップ４２に戻って処理を繰り返す。また、始点座標ＤＣ２で示される位置に応じた画像が背景画像である場合（ステップ４８でＹｅｓ）、ＣＰＵコア２１は、背景指定処理（ステップ５２）を行って上記ステップ４２に戻って処理を繰り返す。さらに、始点座標ＤＣ２で示される位置に応じた画像がリンク、タブ、および背景画像の何れでもない場合（ステップ４６〜４８が何れもＮｏ）、ＣＰＵコア２１は、始点座標ＤＣ２が示す位置に応じた処理（ステップ４９）を行って上記ステップ４２に戻って処理を繰り返す。以下、リンク指定処理、タブ指定処理、および背景指定処理の詳細な動作についてそれぞれ説明する。
Next, the
図１４において、上記ステップ５０におけるリンク指定処理の際、まずＣＰＵコア２１は、ＲＡＭ２４に記憶されている第１モードフラグＤＦ１をオンに設定する（ステップ６１）。そして、ＣＰＵコア２１は、指標画像ＤＩ１を用いて現在のタッチ入力座標ＤＣ１を中心とする円Ｍ１を第２のＬＣＤ１２に表示されている情報上に表示し（ステップ６２；図４参照）、ユーザがタッチオフしたか否かを判断する（ステップ６３）。そして、ＣＰＵコア２１は、ユーザがタッチオフした場合に処理を次のステップ６４に進め、タッチ操作を継続している場合に処理をステップ６５に進める。
In FIG. 14, in the link designation process in step 50, first, the
ステップ６４において、ＣＰＵコア２１は、現在オンに設定されている第１モードフラグＤＦ１に基づいて、第１モードを実行して当該サブルーチンによる処理を終了する。ここで、第１モードとは、図４右図を用いて説明した表示を行う処理であり、第１のＬＣＤ１１の表示態様は変化させずに、タップ操作したリンク先のホームページ情報を第２のＬＣＤ１２に表示する処理である。
In step 64, the
ステップ６５において、ＣＰＵコア２１は、現在のタッチ入力座標ＤＣ１が判定ライン上を含む判定ラインより上の画像領域（以下、判定ライン以上の領域と記載する）にあるか否かを判断する。そして、ＣＰＵコア２１は、タッチ入力座標ＤＣ１が判定ライン以上の領域にある場合に処理を次のステップ６６に進め、判定ラインより下の領域にある場合に上記ステップ６２に戻って処理を繰り返す。ここで、ＣＰＵコア２１は、始点座標ＤＣ２（ｘ１、ｙ１）を基準にステップ６５で用いる判定ラインをｙ＝ｙ１＋ｃ１で設定する（ｃ１：定数）。そして、ＣＰＵコア２１は、現在のタッチ入力座標ＤＣ１（ｘｔ、ｙｔ）がｙｔ≧ｙ１＋ｃ１であれば、現在のタッチ入力座標ＤＣ１が上記判定ライン以上の領域にあると判断する。
In
ステップ６６において、ＣＰＵコア２１は、ＲＡＭ２４に記憶されている第２モードフラグＤＦ２をオンに設定し、第１モードフラグＤＦ１および第３モードフラグＤＦ３をオフに設定する。そして、ＣＰＵコア２１は、指標画像ＤＩ１を用いて現在のタッチ入力座標ＤＣ１の近傍に上向き矢印Ｍ２を第２のＬＣＤ１２に表示されている情報上に表示し（ステップ６７；図５参照）、ユーザがタッチオフしたか否かを判断する（ステップ６８）。そして、ＣＰＵコア２１は、ユーザがタッチオフした場合に処理を次のステップ６９に進め、タッチ操作を継続している場合に処理をステップ７０に進める。
In step 66, the
ステップ６９において、ＣＰＵコア２１は、現在オンに設定されている第２モードフラグＤＦ２に基づいて、第２モードを実行して当該サブルーチンによる処理を終了する。ここで、第２モードとは、図５右図を用いて説明した表示を行う処理であり、第２のＬＣＤ１２の表示態様は変化させずに、第１のＬＣＤ１１にリンク先のホームページ情報を表示する処理である。
In
ステップ７０において、ＣＰＵコア２１は、現在のタッチ入力座標ＤＣ１が上記ステップ６５で用いた判定ラインより下の領域にあるか否かを判断する。そして、ＣＰＵコア２１は、タッチ入力座標ＤＣ１が判定ラインより下の領域にある場合、処理を次のステップ７１に進める。一方、ＣＰＵコア２１は、判定ライン以上の領域にある場合、第２モードフラグＤＦ２がオンに設定されていれば上記ステップ６７に戻って処理を繰り返し、第２モードフラグＤＦ２がオフに設定されていれば上記ステップ６６に戻って処理を繰り返す（ステップ７５）。
In step 70, the
ステップ７１において、ＣＰＵコア２１は、ＲＡＭ２４に記憶されている第３モードフラグＤＦ３をオンに設定し、第２モードフラグＤＦ２をオフに設定する。そして、ＣＰＵコア２１は、指標画像ＤＩ１を用いて現在のタッチ入力座標ＤＣ１の近傍に上下向き矢印Ｍ３を第２のＬＣＤ１２に表示されている情報上に表示し（ステップ７２；図６参照）、ユーザがタッチオフしたか否かを判断する（ステップ７３）。そして、ＣＰＵコア２１は、ユーザがタッチオフした場合に処理を次のステップ７４に進め、タッチ操作を継続している場合に上記ステップ７０に戻って処理を繰り返す。
In
ステップ７４において、ＣＰＵコア２１は、現在オンに設定されている第３モードフラグＤＦ３に基づいて、第３モードを実行して当該サブルーチンによる処理を終了する。ここで、第３モードとは、図６右図を用いて説明した表示を行う処理であり、第２のＬＣＤ１２における表示情報を第１のＬＣＤ１１に表示して、リンク先のホームページ情報を第２のＬＣＤ１２に表示する処理である。
In step 74, the
ここで、上記ステップ７１で第３モードフラグＤＦ３がオンに設定された後、上記判定ライン以上の領域までスライド操作すると（つまり、上記ステップ７０でＮｏ）、上記ステップ６６が実行される。したがって、第３モードフラグＤＦ３がオフに設定されて、再び第２モードフラグＤＦ２がオンに設定される。つまり、判定ライン以上の領域から当該判定ラインより下の領域までのタッチパネル１５を用いた下方向のスライド操作のジェスチャがキャンセルされて、始点座標ＤＣ２から当該判定ライン以上の領域まで上方向のスライド操作のみが有効な操作ジェスチャとして認識される。
Here, after the third mode flag DF3 is set to ON in
図１５において、上記ステップ５１におけるタブ指定処理の際、まずＣＰＵコア２１は、ＲＡＭ２４に記憶されている第４モードフラグＤＦ４をオンに設定する（ステップ８１）。次に、ＣＰＵコア２１は、現在オンに設定されている第４モードフラグＤＦ４に基づいて、第４モードを実行して（ステップ８２）、処理を次のステップに進める。ここで、第４モードとは、タッチ操作されたタブ（つまり、始点座標ＤＣ２に対応するタブ）に対応する閲覧中のホームページ情報における他の情報を、直ちに第１のＬＣＤ１１に表示する処理である（例えば、図７左図、図８左図参照）。
In FIG. 15, in the tab designating process in step 51, the
次に、ＣＰＵコア２１は、現在のタッチ入力座標ＤＣ１が判定ライン上を含む判定ラインより下の画像領域（以下、判定ライン以下の領域と記載する）にあるか否かを判断する（ステップ８３）。そして、ＣＰＵコア２１は、タッチ入力座標ＤＣ１が判定ライン以下の領域にある場合、処理を次のステップ８５に進める。一方、ＣＰＵコア２１は、タッチ入力座標ＤＣ１が判定ラインより上の領域にある場合、ユーザがタッチオフしたか否かを判断する（ステップ８４）。そして、ＣＰＵコア２１は、タッチ操作を継続している場合に上記ステップ８３に戻って処理を繰り返し、ユーザがタッチオフした場合に当該サブルーチンによる処理を終了する。ここで、ＣＰＵコア２１は、始点座標ＤＣ２（ｘ１、ｙ１）を基準にステップ８３で用いる判定ラインをｙ＝ｙ１−ｃ２で設定する（ｃ２：定数）。そして、ＣＰＵコア２１は、現在のタッチ入力座標ＤＣ１（ｘｔ、ｙｔ）がｙｔ≦ｙ１−ｃ２であれば、現在のタッチ入力座標ＤＣ１が上記判定ライン以下の領域にあると判断する。
Next, the
ステップ８５において、ＣＰＵコア２１は、ＲＡＭ２４に記憶されている第５モードフラグＤＦ５をオンに設定し、第４モードフラグＤＦ４および第６モードフラグＤＦ６をオフに設定する。そして、ＣＰＵコア２１は、指標画像ＤＩ１を用いて現在のタッチ入力座標ＤＣ１の近傍に下向き矢印Ｍ４を第２のＬＣＤ１２に表示されている情報上に表示し（ステップ８６；図７参照）、ユーザがタッチオフしたか否かを判断する（ステップ８７）。そして、ＣＰＵコア２１は、ユーザがタッチオフした場合に処理を次のステップ８８に進め、タッチ操作を継続している場合に処理をステップ８９に進める。
In step 85, the
ステップ８８において、ＣＰＵコア２１は、現在オンに設定されている第５モードフラグＤＦ５に基づいて、第５モードを実行して当該サブルーチンによる処理を終了する。ここで、第５モードとは、図７右図を用いて説明した表示を行う処理であり、タッチ操作されたタブに対応して第１のＬＣＤ１１に表示されていた他の情報を第２のＬＣＤ１２に表示する処理である。
In
ステップ８９において、ＣＰＵコア２１は、現在のタッチ入力座標ＤＣ１が上記ステップ８３で用いた判定ラインより上の領域にあるか否かを判断する。そして、ＣＰＵコア２１は、タッチ入力座標ＤＣ１が判定ラインより上の領域にある場合、処理を次のステップ９０に進める。一方、ＣＰＵコア２１は、判定ライン以下の領域にある場合、第５モードフラグＤＦ５がオンに設定されていれば上記ステップ８６に戻って処理を繰り返し、第５モードフラグＤＦ５がオフに設定されていれば上記ステップ８５に戻って処理を繰り返す（ステップ９４）。
In
ステップ９０において、ＣＰＵコア２１は、ＲＡＭ２４に記憶されている第６モードフラグＤＦ６をオンに設定し、第５モードフラグＤＦ５をオフに設定する。そして、ＣＰＵコア２１は、指標画像ＤＩ１を用いて現在のタッチ入力座標ＤＣ１の近傍に上下向き矢印Ｍ５を第２のＬＣＤ１２に表示されている情報上に表示し（ステップ９１；図８参照）、ユーザがタッチオフしたか否かを判断する（ステップ９２）。そして、ＣＰＵコア２１は、ユーザがタッチオフした場合に処理を次のステップ９３に進め、タッチ操作を継続している場合に上記ステップ８９に戻って処理を繰り返す。
In
ステップ９３において、ＣＰＵコア２１は、現在オンに設定されている第６モードフラグＤＦ６に基づいて、第６モードを実行して当該サブルーチンによる処理を終了する。ここで、第６モードとは、図８右図を用いて説明した表示を行う処理であり、第２のＬＣＤ１２における元の表示情報を第１のＬＣＤ１１に表示して、タッチ操作されたタブに対応して第１のＬＣＤ１１に表示されていた他の情報を第２のＬＣＤ１２に表示する処理である。
In step 93, the
ここで、上記ステップ９０で第６モードフラグＤＦ６がオンに設定された後、上記判定ライン以下の領域までスライド操作すると（つまり、上記ステップ８９でＮｏ）、上記ステップ８５が実行される。したがって、第６モードフラグＤＦ６がオフに設定されて、再び第５モードフラグＤＦ５がオンに設定される。つまり、判定ライン以下の領域から当該判定ラインより上の領域までのタッチパネル１５を用いた上方向のスライド操作のジェスチャがキャンセルされて、始点座標ＤＣ２から当該判定ライン以下の領域まで下方向のスライド操作のみが有効な操作ジェスチャとして認識される。
Here, after the sixth mode flag DF6 is set to ON in
図１６において、上記ステップ５２における背景指定処理の際、まずＣＰＵコア２１は、現在囲みモードに設定されているか否かを判断する（ステップ１０１）。そして、ＣＰＵコア２１は、囲みモードでない場合、処理を次のステップ１１１（図１７）に進める。一方、ＣＰＵコア２１は、囲みモードの場合、処理を次のステップ１０２に進める。ここで、囲みモードは、図９を用いて説明したように、ユーザが囲みモード用アイコンＩａをタップ操作した際に移行する動作モードである。
In FIG. 16, in the background designating process in step 52, first, the
ステップ１０２において、ＣＰＵコア２１は、現在のタッチ入力座標ＤＣ１が始点近傍領域にあるか否かを判断する。次に、ＣＰＵコア２１は、軌跡座標ＤＣ３をそれぞれ時系列順に接続すると囲み曲線を形成するか否かを判断する（ステップ１０３）。そして、タッチ入力座標ＤＣ１が始点近傍領域にあって軌跡座標ＤＣ３群が囲み曲線を形成している場合（上記ステップ１０２およびステップ１０３が何れもＹｅｓ；図９左図参照）、ＣＰＵコア２１は、処理を次のステップ１０５に進める。一方、タッチ入力座標ＤＣ１が始点近傍領域にない、または軌跡座標ＤＣ３群が囲み曲線を形成していない場合（上記ステップ１０２およびステップ１０３の何れかがＮｏ）、ＣＰＵコア２１は、ユーザがタッチオフしたか否かを判断する（ステップ１０４）。そして、ＣＰＵコア２１は、ユーザがタッチオフした場合、当該サブルーチンによる処理を終了する。一方、ＣＰＵコア２１は、タッチ操作を継続している場合、現在のタッチ入力座標ＤＣ１を軌跡座標ＤＣ３としてＲＡＭ２４に追加して記憶し（ステップ１０９）、上記ステップ１０１に戻って処理を継続する。
In step 102, the
ステップ１０５において、ＣＰＵコア２１は、ＲＡＭ２４に記憶されている第７モードフラグＤＦ７をオンに設定する。そして、ＣＰＵコア２１は、軌跡画像ＤＩ２を用いて現在の軌跡座標ＤＣ３上に沿って軌跡Ｍ６を第２のＬＣＤ１２に表示されている情報上に表示し（ステップ１０６；図９参照）、ユーザがタッチオフしたか否かを判断する（ステップ１０７）。そして、ＣＰＵコア２１は、ユーザがタッチオフした場合に処理を次のステップ１０８に進め、タッチ操作を継続している場合に上記ステップ１０２戻って処理を継続する。
In
ステップ１０８において、ＣＰＵコア２１は、現在オンに設定されている第７モードフラグＤＦ７に基づいて、第７モードを実行して当該サブルーチンによる処理を終了する。なお、ＣＰＵコア２１は、第７モード実行後、ＲＡＭ２４に記憶されている軌跡座標ＤＣ３を全てクリアする。ここで、第７モードとは、図９右図を用いて説明した表示を行う処理であり、第２のＬＣＤ１２の表示態様は変化させずに、軌跡Ｍ６で囲まれた情報を拡大して第１のＬＣＤ１１に表示する処理である。
In
図１７において、上記ステップ５２における背景指定処理で、かつ上記囲みモードでない場合（上記ステップ１０１でＮｏ）、ＣＰＵコア２１は、ステップ１１１を実行する。ステップ１１１において、ＣＰＵコア２１は、現在のタッチ入力座標ＤＣ１が上方領域ＡＴ（図１１参照）にあるか否かを判断する。そして、ＣＰＵコア２１は、タッチ入力座標ＤＣ１が上方領域ＡＴにある場合、処理を次のステップ１１２に進める。一方、ＣＰＵコア２１は、タッチ入力座標ＤＣ１が上方領域ＡＴにない場合、処理を次のステップ１１６に進める。ここで、ＣＰＵコア２１は、始点座標ＤＣ２（ｘ１、ｙ１）を基準にステップ１１１で用いる上方領域ＡＴをｘ１−ｋ１≦ｘ≦ｘ１＋ｋ１、かつ、ｙ≧ｙ１＋ｋ２で設定する（ｋ１、ｋ２：定数）。そして、ＣＰＵコア２１は、現在のタッチ入力座標ＤＣ１（ｘｔ、ｙｔ）がｘ１−ｋ１≦ｘｔ≦ｘ１＋ｋ１、かつ、ｙｔ≧ｙ１＋ｋ２であれば、現在のタッチ入力座標ＤＣ１が上方領域ＡＴにあると判断する。
In FIG. 17, when the background designation process in step 52 is not the enclosed mode (No in step 101), the
ステップ１１２において、ＣＰＵコア２１は、ＲＡＭ２４に記憶されている第８モードフラグＤＦ８をオンに設定し、第９〜第１２モードフラグＤＦ９〜ＤＦ１２をオフに設定する。そして、ＣＰＵコア２１は、指標画像ＤＩ１を用いて現在のタッチ入力座標ＤＣ１の近傍に上向き矢印Ｍ８および始点座標ＤＣ２の周辺にガイド画像Ｍ７を第２のＬＣＤ１２に表示されている情報上に表示し（ステップ１１３；図１０参照）、ユーザがタッチオフしたか否かを判断する（ステップ１１４）。そして、ＣＰＵコア２１は、ユーザがタッチオフした場合に処理を次のステップ１１５に進め、タッチ操作を継続している場合に処理をステップ１１６に進める。
In step 112, the
ステップ１１５において、ＣＰＵコア２１は、現在オンに設定されている第８モードフラグＤＦ８に基づいて、第８モードを実行して当該サブルーチンによる処理を終了する。ここで、第８モードとは、図１０右図を用いて説明した表示を行う処理であり、第２のＬＣＤ１２における表示情報を残しつつ、第２のＬＣＤ１２で表示されている情報を第１のＬＣＤ１１にも表示する処理である。
In step 115, the
ステップ１１６において、ＣＰＵコア２１は、現在のタッチ入力座標ＤＣ１が所定領域ＡＭ（図１１参照）にあるか否かを判断する。そして、ＣＰＵコア２１は、タッチ入力座標ＤＣ１が所定領域ＡＭにない場合、処理を次のステップ１３１（図１８）に進める。一方、ＣＰＵコア２１は、タッチ入力座標ＤＣ１が所定領域ＡＭにある場合、第８モードフラグＤＦ８がオンに設定されていれば処理を次のステップ１１８に進め、第８モードフラグＤＦ８がオフに設定されていれば処理を次のステップ１３１に進める（ステップ１１７）。ここで、ＣＰＵコア２１は、始点座標ＤＣ２（ｘ１、ｙ１）を基準にステップ１１６で用いる所定領域ＡＭをｘ１−ｋ１≦ｘ≦ｘ１＋ｋ１、かつ、ｙ１−ｋ２＜ｙ＜ｙ１＋ｋ２で設定する（ｋ１、ｋ２：定数）。そして、ＣＰＵコア２１は、現在のタッチ入力座標ＤＣ１（ｘｔ、ｙｔ）がｘ１−ｋ１≦ｘｔ≦ｘ１＋ｋ１、かつ、ｙ１−ｋ２＜ｙｔ＜ｙ１＋ｋ２であれば、現在のタッチ入力座標ＤＣ１が所定領域ＡＭにあると判断する。
In step 116, the
ステップ１１８において、ＣＰＵコア２１は、ＲＡＭ２４に記憶されている第９モードフラグＤＦ９をオンに設定し、第８モードフラグＤＦ８をオフに設定する。そして、ＣＰＵコア２１は、指標画像ＤＩ１を用いて現在のタッチ入力座標ＤＣ１の近傍に上下向き矢印Ｍ９および始点座標ＤＣ２の周辺にガイド画像Ｍ７を第２のＬＣＤ１２に表示されている情報上に表示し（ステップ１１９；図１２参照）、ユーザがタッチオフしたか否かを判断する（ステップ１２０）。そして、ＣＰＵコア２１は、ユーザがタッチオフした場合に処理を次のステップ１２１に進め、タッチ操作を継続している場合に処理をステップ１３１（図１８）に進める。
In step 118, the
ステップ１２１において、ＣＰＵコア２１は、現在オンに設定されている第９モードフラグＤＦ９に基づいて、第９モードを実行して当該サブルーチンによる処理を終了する。ここで、第９モードとは、図１２右図を用いて説明した表示を行う処理であり、第１のＬＣＤ１１で表示されている情報と第２のＬＣＤ１２で表示されている情報とを入れ替えて、第１のＬＣＤ１１および第２のＬＣＤ１２に表示する処理である。
In step 121, the
図１８のステップ１３１において、ＣＰＵコア２１は、現在のタッチ入力座標ＤＣ１が下方領域ＡＢ（図１１参照）にあるか否かを判断する。そして、ＣＰＵコア２１は、タッチ入力座標ＤＣ１が下方領域ＡＢにない場合、処理を次のステップ１３６に進める。一方、ＣＰＵコア２１は、タッチ入力座標ＤＣ１が下方領域ＡＢにある場合、処理を次のステップ１３２に進める。ここで、ＣＰＵコア２１は、始点座標ＤＣ２（ｘ１、ｙ１）を基準にステップ１３１で用いる下方領域ＡＢをｘ１−ｋ１≦ｘ≦ｘ１＋ｋ１、かつ、ｙ≦ｙ１−ｋ２で設定する（ｋ１、ｋ２：定数）。そして、ＣＰＵコア２１は、現在のタッチ入力座標ＤＣ１（ｘｔ、ｙｔ）がｘ１−ｋ１≦ｘｔ≦ｘ１＋ｋ１、かつ、ｙｔ≦ｙ１−ｋ２であれば、現在のタッチ入力座標ＤＣ１が下方領域ＡＢにあると判断する。
In step 131 of FIG. 18, the
ステップ１３２において、ＣＰＵコア２１は、ＲＡＭ２４に記憶されている第１０モードフラグＤＦ１０をオンに設定し、第８、第９、第１１、および第１２モードフラグＤＦ８、ＤＦ９、ＤＦ１１、およびＤＦ１２をオフに設定する。そして、ＣＰＵコア２１は、指標画像ＤＩ１を用いて現在のタッチ入力座標ＤＣ１の近傍に下向き矢印Ｍ１０（図示せず）および始点座標ＤＣ２の周辺にガイド画像Ｍ７（図１０参照）を第２のＬＣＤ１２に表示されている情報上に表示し（ステップ１３３）、ユーザがタッチオフしたか否かを判断する（ステップ１３４）。そして、ＣＰＵコア２１は、ユーザがタッチオフした場合に処理を次のステップ１３５に進め、タッチ操作を継続している場合に処理をステップ１３６に進める。
In step 132, the
ステップ１３５において、ＣＰＵコア２１は、現在オンに設定されている第１０モードフラグＤＦ１０に基づいて、第１０モードを実行して当該サブルーチンによる処理を終了する。ここで、第１０モードとは、第１のＬＣＤ１１における表示情報を残しつつ、第１のＬＣＤ１１で表示されている情報を第２のＬＣＤ１２にも表示する処理である。つまり、第１０モードでは、第１のＬＣＤ１１における表示情報を残しつつ、ユーザのスライド操作方向（下方向）の逆方向に表示されている情報（第１のＬＣＤ１１に表示されている情報）が当該スライド操作方向に搭載されている表示画面（第２のＬＣＤ１２）に表示される。
In
ステップ１３６において、ＣＰＵコア２１は、現在のタッチ入力座標ＤＣ１が左側領域ＡＬ（図１１参照）にあるか否かを判断する。そして、ＣＰＵコア２１は、タッチ入力座標ＤＣ１が左側領域ＡＬにない場合、処理を次のステップ１４１に進める。一方、ＣＰＵコア２１は、タッチ入力座標ＤＣ１が左側領域ＡＬにある場合、処理を次のステップ１３７に進める。ここで、ＣＰＵコア２１は、始点座標ＤＣ２（ｘ１、ｙ１）を基準にステップ１３６で用いる左側領域ＡＬをｘ＜ｘ１−ｋ１で設定する（ｋ１：定数）。そして、ＣＰＵコア２１は、現在のタッチ入力座標ＤＣ１（ｘｔ、ｙｔ）がｘｔ＜ｘ１−ｋ１であれば、現在のタッチ入力座標ＤＣ１が左側領域ＡＬにあると判断する。
In
ステップ１３７において、ＣＰＵコア２１は、ＲＡＭ２４に記憶されている第１１モードフラグＤＦ１１をオンに設定し、第８〜第１０モードフラグＤＦ８〜ＤＦ１０および第１２モードフラグＤＦ１２をオフに設定する。そして、ＣＰＵコア２１は、指標画像ＤＩ１を用いて現在のタッチ入力座標ＤＣ１の近傍に左向き矢印Ｍ１１（図示せず）および始点座標ＤＣ２の周辺にガイド画像Ｍ７（図１０参照）を第２のＬＣＤ１２に表示されている情報上に表示し（ステップ１３８）、ユーザがタッチオフしたか否かを判断する（ステップ１３９）。そして、ＣＰＵコア２１は、ユーザがタッチオフした場合に処理を次のステップ１４０に進め、タッチ操作を継続している場合に処理をステップ１４１に進める。
In step 137, the
ステップ１４０において、ＣＰＵコア２１は、現在オンに設定されている第１１モードフラグＤＦ１１に基づいて、第１１モードを実行して当該サブルーチンによる処理を終了する。ここで、第１１モードとは、ユーザの左方向へのスライド操作に応じて、第１のＬＣＤ１１における表示情報を残しつつ、前回の処理で第２のＬＣＤ１２に表示されていた情報や現在第２のＬＣＤ１２に表示されている情報の前ページに相当する情報を第２のＬＣＤ１２に表示する処理である。例えば、第１１モードでは、第２のＬＣＤ１２に表示された情報において、ブラウザのいわゆる「戻る」操作や電子書籍等における前ページを表示する操作が可能となる。なお、電子書籍を第２のＬＣＤ１２に表示する場合、横書きの電子書籍では左方向が一般的に前ページを表示する指示となるが、表示する電子書籍の文書構成（例えば、縦書き、漫画、外国語文書）に応じて次ページを表示する指示を左方向へのスライド操作に設定してもかまわない。
In
ステップ１４１において、ＣＰＵコア２１は、現在のタッチ入力座標ＤＣ１が右側領域ＡＲ（図１１参照）にあるか否かを判断する。そして、ＣＰＵコア２１は、タッチ入力座標ＤＣ１が右側領域ＡＲにない場合、上記ステップ１１１（図１７）に戻って処理を継続する。一方、ＣＰＵコア２１は、タッチ入力座標ＤＣ１が右側領域ＡＲにある場合、処理を次のステップ１４２に進める。ここで、ＣＰＵコア２１は、始点座標ＤＣ２（ｘ１、ｙ１）を基準にステップ１４１で用いる右側領域ＡＲをｘ＞ｘ１＋ｋ１で設定する（ｋ１：定数）。そして、ＣＰＵコア２１は、現在のタッチ入力座標ＤＣ１（ｘｔ、ｙｔ）がｘｔ＞ｘ１＋ｋ１であれば、現在のタッチ入力座標ＤＣ１が右側領域ＡＲにあると判断する。
In step 141, the
ステップ１４２において、ＣＰＵコア２１は、ＲＡＭ２４に記憶されている第１２モードフラグＤＦ１２をオンに設定し、第８〜第１１モードフラグＤＦ８〜ＤＦ１１をオフに設定する。そして、ＣＰＵコア２１は、指標画像ＤＩ１を用いて現在のタッチ入力座標ＤＣ１の近傍に右向き矢印Ｍ１２（図示せず）および始点座標ＤＣ２の周辺にガイド画像Ｍ７（図１０参照）を第２のＬＣＤ１２に表示されている情報上に表示し（ステップ１４３）、ユーザがタッチオフしたか否かを判断する（ステップ１４４）。そして、ＣＰＵコア２１は、ユーザがタッチオフした場合に処理を次のステップ１４５に進め、タッチ操作を継続している場合に処理をステップ１１１に進める。
In step 142, the
ステップ１４５において、ＣＰＵコア２１は、現在オンに設定されている第１２モードフラグＤＦ１２に基づいて、第１２モードを実行して当該サブルーチンによる処理を終了する。ここで、第１２モードとは、ユーザの右方向へのスライド操作に応じて、第１のＬＣＤ１１における表示情報を残しつつ、次の処理として第２のＬＣＤ１２に表示されていた情報や現在第２のＬＣＤ１２に表示されている情報の次ページに相当する情報を第２のＬＣＤ１２に表示する処理である。例えば、第１２モードでは、第２のＬＣＤ１２に表示された情報において、ブラウザのいわゆる「進む」操作や電子書籍等における次ページを表示する操作が可能となる。なお、電子書籍を第２のＬＣＤ１２に表示する場合、横書きの電子書籍では右方向が一般的に次ページを表示する指示となるが、表示する電子書籍の文書構成に応じて前ページを表示する指示を右方向へのスライド操作に設定してもかまわない。
In step 145, the
ここで、囲みモード以外の背景指定処理の際、第８〜第１２モードフラグＤＦ８〜ＤＦ１２の何れかがオンに設定された後、現在タッチしている領域から他の領域にスライド操作すると、オンに設定されていたモードフラグがオフに設定されて、他のモードフラグがオンに設定される。例えば、上記ステップ１１２で第８モードフラグＤＦ８がオンに設定された後に左側領域ＡＬまでスライド操作すると（すなわち、上記ステップ１３６でＹｅｓ）、第８モードフラグＤＦ８がオフに設定されて、第１１モードフラグＤＦ１１がオンに設定される。この場合、始点座標ＤＣ２から上方領域ＡＴまでのタッチパネル１５を用いた上方向のスライド操作のジェスチャがキャンセルされて、始点座標ＤＣ２から左側領域ＡＬまで左方向のスライド操作のみが有効な操作ジェスチャとして認識される。つまり、所定の操作を行うためのスライド操作のジェスチャを容易にキャンセルすることが可能であり、他の領域までスライド操作するだけで始点座標ＤＣ２から当該領域までスライド操作のみを有効な操作ジェスチャとして認識することができる。
Here, in the background designating process other than the enclosing mode, after any of the eighth to twelfth mode flags DF8 to DF12 is set to ON, when the slide operation is performed from the currently touched area to another area, the ON is performed. The mode flag that was set to is set to OFF, and the other mode flags are set to ON. For example, when the eighth mode flag DF8 is set to ON in step 112 and a slide operation is performed to the left area AL (that is, Yes in step 136), the eighth mode flag DF8 is set to OFF and the eleventh mode is set. The flag DF11 is set on. In this case, the upward slide operation gesture using the
なお、上述ではタッチパネル１５を用いた４方向のジャスチャーを認識できるように構成したが、５方向以上の多方向の操作ジェスチャを認識可能にしてもかまわない。所定領域ＡＭを中心とした他の各領域をさらに細分化することによって、タッチパネル１５を用いた５方向以上のジャスチャーが認識可能となる。この場合、ガイド画像Ｍ７は、所定領域ＡＭの境界として矩形図柄で表示されており（図１０参照）、ユーザがタッチパネル１５を用いて有効な操作ジェスチャを認識させるための目標画像としているが、他の形状の図柄で表示してもかまわない。例えば、上述したようなタッチパネル１５を用いた４方向のジャスチャーだけでなく多方向の操作ジェスチャを認識可能にする場合、当該方向区分数に応じた多角形図柄で表示してもかまわない。
In the above description, the gesture in the four directions using the
このように、ゲーム装置１において、ステップ７４の第３モード、ステップ９３の第６モード、ステップ１０８の第７モード、およびステップ１２１の第９モード等では、タッチパネル１５からの入力に応じた複数のスライド操作方向の組合せ（例えば、上下方向）でユーザのジャスチャーを認識して実行する処理が決定される。したがって、単一のスライド操作方向によってユーザの操作ジェスチャを区別するより、次処理のバリエーションが多くなる。その一方、スライド操作のジェスチャを容易にキャンセルすることが可能であり、他の領域までスライド操作するだけで始点座標から当該領域までスライド操作のみを有効な操作ジェスチャとして認識することができる。したがって、ユーザが行ったスライド操作が不適切なものであった場合、ユーザはその操作を容易にキャンセルすることができ、当該操作と連続した操作で新たな操作指示を与えることができる。つまり、本発明によると、座標入力操作により指定可能な次処理のバリエーションを多くしながらも、不適切な軌跡を描いてしまった場合に生じる不都合を少なくして、座標入力の操作性を向上させることができる。また、ユーザが入力した座標入力操作によって認識された操作ジェスチャがタッチ位置近傍に指標として表示されるため、ユーザは入力した操作ジェスチャや次処理を確実に認識することができる。
As described above, in the
なお、上述では、説明を具体的にするために、具体的な操作手順を用いて各入力座標処理を説明したが、これらは一実施例であり、本発明がこれらの操作手順に限定されることはないことは言うまでもない。例えば、タッチパネル１５上の操作ジェスチャとして認識可能なスライド操作を、さらに増やしてもかまわない。
In the above description, each input coordinate process has been described using a specific operation procedure for specific description. However, these are only examples, and the present invention is limited to these operation procedures. It goes without saying that there is nothing. For example, the number of slide operations that can be recognized as operation gestures on the
また、上述では説明を具体的にするために、ネットワーク上で公開されている文書や画像等のデータを第１のＬＣＤ１１および第２のＬＣＤ１２で閲覧する例を用いて説明したが、他の情報や画像を第１のＬＣＤ１１および第２のＬＣＤ１２に表示してもかまわない。例えば、辞書等の書籍をデジタルデータ化して電子媒体に記録したものを、ゲーム装置１で閲覧する電子書籍を第１のＬＣＤ１１および第２のＬＣＤ１２に表示してもかまわない。
Further, in the above description, in order to make the description more specific, description has been made using an example in which data such as documents and images published on the network is browsed on the
また、上述した実施形態では、２画面分の液晶表示部の一例として、物理的に分離された第１のＬＣＤ１１および第２のＬＣＤ１２を互いに上下に配置した場合（上下２画面の場合）を説明した。しかしながら、２画面分の表示画面の構成は、他の構成でもかまわない。例えば、下側ハウジング１３ｂの一方主面に第１のＬＣＤ１１および第２のＬＣＤ１２を左右に配置してもかまわない。また、第２のＬＣＤ１２と横幅が同じで縦の長さが２倍のサイズからなる縦長サイズのＬＣＤ（すなわち、物理的には１つで、表示サイズが縦に２画面分あるＬＣＤ）を下側ハウジング１３ｂの一方主面に配設して、第１および第２の表示画像を上下に表示（すなわち上下の境界部分無しに隣接して表示）するように構成してもよい。また、第２のＬＣＤ１２と縦幅が同じで横の長さが２倍のサイズからなる横長サイズのＬＣＤを下側ハウジング１３ｂの一方主面に配設して、横方向に第１および第２の表示画像を左右に表示（すなわち左右の境界部分無しに隣接して表示）するように構成してもよい。すなわち、物理的に１つの画面を２つに分割して使用することにより第１および第２の表示画像を表示してもかまわない。いずれのゲーム画像の形態に対しても、第２の表示画像が表示される画面上にタッチパネル１５を配設すれば、同様に本発明を実現することができる。また、物理的に１つの画面を２つに分割して使用することにより第１および第２の表示画像を表示する場合、当該画面全面にタッチパネル１５を配設してもかまわない。
In the above-described embodiment, as an example of the liquid crystal display unit for two screens, a case where the
また、上述した実施例では、ゲーム装置１にタッチパネル１５が一体的に設けられているが、ゲーム装置とタッチパネルとを別体にして構成しても、本発明を実現できることは言うまでもない。また、第１のＬＣＤ１１の上面にタッチパネル１５を設けても良い。さらに、上記実施例では表示画面を２つ（第１のＬＣＤ１１、第２のＬＣＤ１２）を設けたが、表示画面は１つであってもかまわない。すなわち、上記実施例において、第１のＬＣＤ１１設けず単に第２のＬＣＤ１２のみを表示画面としてタッチパネル１５を設けるように構成してもよい。また、上記実施例において、第２のＬＣＤ１２を設けず第１のＬＣＤ１１の上面にタッチパネル１５を設けても良い。
In the above-described embodiment, the
また、上記実施例では、ゲーム装置１の入力手段としてタッチパネルを用いたが、他のポインティングデバイスを用いてもかまわない。ここで、ポインティングデバイスは、画面上での入力位置や座標を指定する入力装置であり、例えば、マウス、トラックパッド、トラックボールなどを入力手段として使用し、入力手段から出力される出力値から計算された画面座標系の情報を用いれば、本発明を同様に実現することができる。
Moreover, in the said Example, although the touch panel was used as an input means of the
また、上記実施例では、ゲーム装置１にタッチパネル１５が一体的に設けられているが、タッチパネルを入力手段の１つとする一般的なパーソナルコンピュータなどの情報処理装置（入力座標処理装置）でもかまわない。
In the above embodiment, the
本発明の入力座標処理プログラム、入力座標処理装置、入力座標処理システム、および入力座標処理方法は、ポインティングデバイスを用いて認識可能なユーザの操作ジェスチャを多くしながら、入力した操作ジェスチャのキャンセルを容易に行うことができ、ネットワーク上で公開されている文書や画像等の情報を閲覧したり、電子書籍等の表示情報を表示装置に表示したりするゲーム装置等の情報処理装置やその情報処理装置で実行されるプログラム等として有用である。 The input coordinate processing program, the input coordinate processing device, the input coordinate processing system, and the input coordinate processing method of the present invention facilitate cancellation of an input operation gesture while increasing the number of user operation gestures that can be recognized using a pointing device. Information processing apparatus such as a game apparatus that can browse information such as documents and images published on a network and display display information such as an electronic book on a display apparatus, and the information processing apparatus It is useful as a program executed in
１ ゲーム装置
１１ 第１のＬＣＤ
１２ 第２のＬＣＤ
１３ ハウジング
１３ａ 上側ハウジング
１３ｂ 下側ハウジング
１４ 操作スイッチ部
１４ａ 十字スイッチ
１４ｂ スタートスイッチ
１４ｃ セレクトスイッチ
１４ｄ Ａボタン
１４ｅ Ｂボタン
１４ｆ Ｘボタン
１４ｇ Ｙボタン
１４ｈ 電源スイッチ
１４Ｌ Ｌボタン
１４Ｒ Ｒボタン
１５ タッチパネル
１６ スティック
１７ メモリカード
１７ａ ＲＯＭ
１７ｂ ＲＡＭ
１８ａ、１８ｂ 音抜き孔
２０ 電子回路基板
２１ ＣＰＵコア
２２ バス
２３ コネクタ
２４ ＲＡＭ
２５ Ｉ／Ｆ回路
２６ 第１ＧＰＵ
２７ 第２ＧＰＵ
２８ 第１ＶＲＡＭ
２９ 第２ＶＲＡＭ
３０ａ 右スピーカ
３０ｂ 左スピーカ
３１ ＬＣＤコントローラ
３２ レジスタ
３３ ワイヤレス通信部
1
12 Second LCD
13
17b RAM
18a, 18b
25 I /
27 Second GPU
28 First VRAM
29 Second VRAM
30a Right speaker 30b Left
Claims (4)
前記コンピュータに、
前記ポインティングデバイスから出力される入力座標に応じて、所定の座標系に基づいた座標情報を検出する入力座標検出ステップ、
前記入力座標検出ステップで検出した一連の座標情報のうち、最初の座標情報に基づいて基準座標を設定してメモリに記憶する基準座標記憶ステップ、
前記基準座標が示す位置から前記入力座標検出ステップで検出した一連の座標情報のうち最後の座標情報が示す位置への方向に基づいて処理を決定する第１処理決定ステップ、
前記基準座標が示す位置から前記入力座標検出ステップで検出した一連の座標情報のうち途中の座標情報が示す位置への方向および当該途中の座標情報が示す位置から前記基準座標が示す位置への方向の組合せに基づいて処理を決定する第２処理決定ステップ、および
前記座標系に基づいた画像を表示装置に表示し、前記一連の座標情報のうち現時点で検出されている座標情報によって示される位置が前記基準座標によって示される位置から所定距離以上離れている場合に前記基準座標によって示される位置から当該現時点の座標情報によって示される位置への方向を示す指標を当該現時点の座標情報によって示される位置近傍の当該画像に表示し、前記一連の座標情報のうち途中の座標情報によって示される位置が前記基準座標によって示される位置から所定距離以上離れた後に当該現時点の座標情報によって示される位置が当該所定距離未満の位置に近づいている場合に前記基準座標によって示される位置から当該途中の座標情報によって示される位置への方向および当該途中の座標情報によって示される位置から前記基準座標によって示される位置への方向を組み合わせた指標を当該現時点の座標情報によって示される位置近傍の当該画像に表示する表示制御ステップを実行させる、入力座標処理プログラム。 An input coordinate processing program executed by a computer of an apparatus operated by input coordinates output from a pointing device according to a user operation,
In the computer,
An input coordinate detection step for detecting coordinate information based on a predetermined coordinate system in accordance with input coordinates output from the pointing device;
Of the series of coordinate information detected in the input coordinate detection step, a reference coordinate storage step of setting a reference coordinate based on the first coordinate information and storing it in a memory;
A first process determination step for determining a process based on a direction from a position indicated by the reference coordinates to a position indicated by the last coordinate information in a series of coordinate information detected in the input coordinate detection step;
The direction from the position indicated by the reference coordinates to the position indicated by intermediate coordinate information in the series of coordinate information detected in the input coordinate detection step, and the direction from the position indicated by the intermediate coordinate information to the position indicated by the reference coordinates A second process determining step for determining a process based on a combination of the above, and an image based on the coordinate system is displayed on a display device, and a position indicated by the coordinate information detected at present among the series of coordinate information is In the vicinity of the position indicated by the current coordinate information, an index indicating the direction from the position indicated by the reference coordinate to the position indicated by the current coordinate information when the distance is greater than a predetermined distance from the position indicated by the reference coordinate The position indicated by the coordinate information in the middle of the series of coordinate information is indicated by the reference coordinates. From a position indicated by the reference coordinates to a position indicated by the intermediate coordinate information when the position indicated by the current coordinate information is approaching a position less than the predetermined distance after being separated by a predetermined distance or more A display control step of displaying an index combining a direction from the position indicated by the coordinate information and the position indicated by the reference coordinate information to the position indicated by the reference coordinates on the image in the vicinity of the position indicated by the current coordinate information. Input coordinate processing program.
記憶手段と、
前記ポインティングデバイスから出力される入力座標に応じて、所定の座標系に基づいた座標情報を検出する入力座標検出手段と、
前記入力座標検出手段が検出した一連の座標情報のうち、最初の座標情報に基づいて基準座標を設定して前記記憶手段に記憶する基準座標記憶処理手段と、
前記基準座標が示す位置から前記入力座標検出手段が検出した一連の座標情報のうち最後の座標情報が示す位置への方向に基づいて処理を決定する第１処理決定手段と、
前記基準座標が示す位置から前記入力座標検出手段が検出した一連の座標情報のうち途中の座標情報が示す位置への方向および当該途中の座標情報が示す位置から前記基準座標が示す位置への方向の組合せに基づいて処理を決定する第２処理決定手段と、
前記座標系に基づいた画像を表示装置に表示し、前記一連の座標情報のうち現時点で検出されている座標情報によって示される位置が前記基準座標によって示される位置から所定距離以上離れている場合に前記基準座標によって示される位置から当該現時点の座標情報によって示される位置への方向を示す指標を当該現時点の座標情報によって示される位置近傍の当該画像に表示し、前記一連の座標情報のうち途中の座標情報によって示される位置が前記基準座標によって示される位置から所定距離以上離れた後に当該現時点の座標情報によって示される位置が当該所定距離未満の位置に近づいている場合に前記基準座標によって示される位置から当該途中の座標情報によって示される位置への方向および当該途中の座標情報によって示される位置から前記基準座標によって示される位置への方向を組み合わせた指標を当該現時点の座標情報によって示される位置近傍の当該画像に表示する表示制御手段とを備える、入力座標処理装置。 An input coordinate processing apparatus operated by input coordinates output from a pointing device in accordance with a user operation,
Storage means;
Input coordinate detection means for detecting coordinate information based on a predetermined coordinate system according to input coordinates output from the pointing device;
Among the series of coordinate information detected by the input coordinate detection means, reference coordinate storage processing means for setting reference coordinates based on the first coordinate information and storing them in the storage means;
First processing determining means for determining processing based on a direction from a position indicated by the reference coordinates to a position indicated by the last coordinate information in a series of coordinate information detected by the input coordinate detecting means;
The direction from the position indicated by the reference coordinates to the position indicated by intermediate coordinate information in the series of coordinate information detected by the input coordinate detection means, and the direction from the position indicated by the intermediate coordinate information to the position indicated by the reference coordinates Second process determining means for determining a process based on the combination of:
When an image based on the coordinate system is displayed on a display device, and the position indicated by the coordinate information detected at present in the series of coordinate information is more than a predetermined distance from the position indicated by the reference coordinates An index indicating the direction from the position indicated by the reference coordinates to the position indicated by the current coordinate information is displayed on the image in the vicinity of the position indicated by the current coordinate information. The position indicated by the reference coordinates when the position indicated by the current coordinate information approaches a position less than the predetermined distance after the position indicated by the coordinate information is separated from the position indicated by the reference coordinates by a predetermined distance or more. The direction from the position to the position indicated by the intermediate coordinate information and the intermediate coordinate information An index that combines direction from the position to the position indicated by the reference coordinate and a display control means for displaying the image near a position indicated by the coordinate information of the current input coordinate processor.
記憶手段と、
前記ポインティングデバイスから出力される入力座標に応じて、所定の座標系に基づいた座標情報を検出する入力座標検出手段と、
前記入力座標検出手段が検出した一連の座標情報のうち、最初の座標情報に基づいて基準座標を設定して前記記憶手段に記憶する基準座標記憶処理手段と、
前記基準座標が示す位置から前記入力座標検出手段が検出した一連の座標情報のうち最後の座標情報が示す位置への方向に基づいて処理を決定する第１処理決定手段と、
前記基準座標が示す位置から前記入力座標検出手段が検出した一連の座標情報のうち途中の座標情報が示す位置への方向および当該途中の座標情報が示す位置から前記基準座標が示す位置への方向の組合せに基づいて処理を決定する第２処理決定手段と、
前記座標系に基づいた画像を表示装置に表示し、前記一連の座標情報のうち現時点で検出されている座標情報によって示される位置が前記基準座標によって示される位置から所定距離以上離れている場合に前記基準座標によって示される位置から当該現時点の座標情報によって示される位置への方向を示す指標を当該現時点の座標情報によって示される位置近傍の当該画像に表示し、前記一連の座標情報のうち途中の座標情報によって示される位置が前記基準座標によって示される位置から所定距離以上離れた後に当該現時点の座標情報によって示される位置が当該所定距離未満の位置に近づいている場合に前記基準座標によって示される位置から当該途中の座標情報によって示される位置への方向および当該途中の座標情報によって示される位置から前記基準座標によって示される位置への方向を組み合わせた指標を当該現時点の座標情報によって示される位置近傍の当該画像に表示する表示制御手段とを備える、入力座標処理システム。 An input coordinate processing system operated by input coordinates output from a pointing device in accordance with a user operation,
Storage means;
Input coordinate detection means for detecting coordinate information based on a predetermined coordinate system according to input coordinates output from the pointing device;
Among the series of coordinate information detected by the input coordinate detection means, reference coordinate storage processing means for setting reference coordinates based on the first coordinate information and storing them in the storage means;
First processing determining means for determining processing based on a direction from a position indicated by the reference coordinates to a position indicated by the last coordinate information in a series of coordinate information detected by the input coordinate detecting means;
The direction from the position indicated by the reference coordinates to the position indicated by intermediate coordinate information in the series of coordinate information detected by the input coordinate detection means, and the direction from the position indicated by the intermediate coordinate information to the position indicated by the reference coordinates Second process determining means for determining a process based on the combination of:
When an image based on the coordinate system is displayed on a display device, and the position indicated by the coordinate information detected at present in the series of coordinate information is more than a predetermined distance from the position indicated by the reference coordinates An index indicating the direction from the position indicated by the reference coordinates to the position indicated by the current coordinate information is displayed on the image in the vicinity of the position indicated by the current coordinate information. The position indicated by the reference coordinates when the position indicated by the current coordinate information approaches a position less than the predetermined distance after the position indicated by the coordinate information is separated from the position indicated by the reference coordinates by a predetermined distance or more. The direction from the position to the position indicated by the intermediate coordinate information and the intermediate coordinate information An index that combines direction from the position to the position indicated by the reference coordinate and a display control means for displaying the image near a position indicated by the coordinate information of the current input coordinate processing system.
前記ポインティングデバイスから出力される入力座標に応じて、所定の座標系に基づいた座標情報を検出する入力座標検出ステップ、
前記入力座標検出ステップで検出した一連の座標情報のうち、最初の座標情報に基づいて基準座標を設定してメモリに記憶する基準座標記憶ステップ、
前記基準座標が示す位置から前記入力座標検出ステップで検出した一連の座標情報のうち最後の座標情報が示す位置への方向に基づいて処理を決定する第１処理決定ステップ、
前記基準座標が示す位置から前記入力座標検出ステップで検出した一連の座標情報のうち途中の座標情報が示す位置への方向および当該途中の座標情報が示す位置から前記基準座標が示す位置への方向の組合せに基づいて処理を決定する第２処理決定ステップ、および
前記座標系に基づいた画像を表示装置に表示し、前記一連の座標情報のうち現時点で検出されている座標情報によって示される位置が前記基準座標によって示される位置から所定距離以上離れている場合に前記基準座標によって示される位置から当該現時点の座標情報によって示される位置への方向を示す指標を当該現時点の座標情報によって示される位置近傍の当該画像に表示し、前記一連の座標情報のうち途中の座標情報によって示される位置が前記基準座標によって示される位置から所定距離以上離れた後に当該現時点の座標情報によって示される位置が当該所定距離未満の位置に近づいている場合に前記基準座標によって示される位置から当該途中の座標情報によって示される位置への方向および当該途中の座標情報によって示される位置から前記基準座標によって示される位置への方向を組み合わせた指標を当該現時点の座標情報によって示される位置近傍の当該画像に表示する表示制御ステップを含む、入力座標処理方法。 An input coordinate processing method operated by input coordinates output from a pointing device in accordance with a user operation,
An input coordinate detection step for detecting coordinate information based on a predetermined coordinate system in accordance with input coordinates output from the pointing device;
Of the series of coordinate information detected in the input coordinate detection step, a reference coordinate storage step of setting a reference coordinate based on the first coordinate information and storing it in a memory;
A first process determination step for determining a process based on a direction from a position indicated by the reference coordinates to a position indicated by the last coordinate information in a series of coordinate information detected in the input coordinate detection step;
The direction from the position indicated by the reference coordinates to the position indicated by intermediate coordinate information in the series of coordinate information detected in the input coordinate detection step, and the direction from the position indicated by the intermediate coordinate information to the position indicated by the reference coordinates A second process determining step for determining a process based on a combination of the above, and an image based on the coordinate system is displayed on a display device, and a position indicated by the coordinate information detected at present among the series of coordinate information is In the vicinity of the position indicated by the current coordinate information, an index indicating the direction from the position indicated by the reference coordinate to the position indicated by the current coordinate information when the distance is greater than a predetermined distance from the position indicated by the reference coordinate The position indicated by the coordinate information in the middle of the series of coordinate information is indicated by the reference coordinates. From a position indicated by the reference coordinates to a position indicated by the intermediate coordinate information when the position indicated by the current coordinate information is approaching a position less than the predetermined distance after being separated by a predetermined distance or more A display control step of displaying on the image in the vicinity of the position indicated by the current coordinate information an indicator that combines the direction from the position indicated by the coordinate information and the position indicated by the reference coordinate information to the position indicated by the reference coordinates, Input coordinate processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010230703A JP4884554B2 (en) | 2010-10-13 | 2010-10-13 | Input coordinate processing program, input coordinate processing device, input coordinate processing system, and input coordinate processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010230703A JP4884554B2 (en) | 2010-10-13 | 2010-10-13 | Input coordinate processing program, input coordinate processing device, input coordinate processing system, and input coordinate processing method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005109986A Division JP4719494B2 (en) | 2005-04-06 | 2005-04-06 | Input coordinate processing program and input coordinate processing apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011008830A true JP2011008830A (en) | 2011-01-13 |
| JP4884554B2 JP4884554B2 (en) | 2012-02-29 |
Family
ID=43565306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010230703A Active JP4884554B2 (en) | 2010-10-13 | 2010-10-13 | Input coordinate processing program, input coordinate processing device, input coordinate processing system, and input coordinate processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4884554B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015531917A (en) * | 2012-08-09 | 2015-11-05 | テンセント テクノロジー （シェンジェン） カンパニー リミテッド | Method and apparatus for logging into an application |
| JP2019177001A (en) * | 2018-03-30 | 2019-10-17 | 株式会社コロプラ | Game program, method, and information processing device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003511883A (en) * | 1999-10-07 | 2003-03-25 | インターリンク エレクトロニクス インコーポレイテッド | Home entertainment device remote control |
| JP2003248542A (en) * | 2001-12-20 | 2003-09-05 | Misawa Homes Co Ltd | Keyboard sheet and electronics device |
| JP2004110439A (en) * | 2002-09-18 | 2004-04-08 | Ricoh Co Ltd | Program and display integrated coordinate input device |
-
2010
- 2010-10-13 JP JP2010230703A patent/JP4884554B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003511883A (en) * | 1999-10-07 | 2003-03-25 | インターリンク エレクトロニクス インコーポレイテッド | Home entertainment device remote control |
| JP2003248542A (en) * | 2001-12-20 | 2003-09-05 | Misawa Homes Co Ltd | Keyboard sheet and electronics device |
| JP2004110439A (en) * | 2002-09-18 | 2004-04-08 | Ricoh Co Ltd | Program and display integrated coordinate input device |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015531917A (en) * | 2012-08-09 | 2015-11-05 | テンセント テクノロジー （シェンジェン） カンパニー リミテッド | Method and apparatus for logging into an application |
| JP2019177001A (en) * | 2018-03-30 | 2019-10-17 | 株式会社コロプラ | Game program, method, and information processing device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4884554B2 (en) | 2012-02-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4719494B2 (en) | Input coordinate processing program and input coordinate processing apparatus | |
| EP1912112B1 (en) | Storage medium storing input position processing program, and input position processing device | |
| JP4435011B2 (en) | Input coordinate processing program and input coordinate processing apparatus | |
| US8581938B2 (en) | Information processing apparatus, information processing method and program for magnifying a screen and moving a displayed content | |
| US8098879B2 (en) | Information processing device, image movement instructing method, and information storage medium | |
| US8836649B2 (en) | Information processing apparatus, information processing method, and program | |
| US8589458B2 (en) | Electronic calculator with touch screen | |
| US20090271723A1 (en) | Object display order changing program and apparatus | |
| JP2010250510A (en) | Display control device, display control method and computer program | |
| JP5664147B2 (en) | Information processing apparatus, information processing method, and program | |
| KR101132598B1 (en) | Method and device for controlling screen size of display device | |
| JP2004054589A (en) | Information display input device and method, and information processor | |
| JP2006350669A (en) | Information processing program and information processing device | |
| CN103513878A (en) | Touch input method and device | |
| JP2016206740A (en) | User interface program | |
| JP5440222B2 (en) | Information processing apparatus and program | |
| WO2012086133A1 (en) | Touch panel device | |
| JP2010218286A (en) | Information processor, program, and display method | |
| JP5974657B2 (en) | Information processing apparatus, information processing method, and information processing program | |
| JP2008107865A (en) | Tab browser operation device, tab browser operation method, program, and recording medium | |
| JP4884554B2 (en) | Input coordinate processing program, input coordinate processing device, input coordinate processing system, and input coordinate processing method | |
| JP4484233B2 (en) | Input coordinate processing program and input coordinate processing apparatus | |
| JP2015194729A (en) | musical score display device | |
| KR101412431B1 (en) | User Interface Method for User Command Input by Combination of Multi Touch and Tapping and Electronic Device using the same | |
| JP6089570B2 (en) | Display device, display control method, and display control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101020 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110825 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111003 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111202 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111206 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141216 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4884554 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |