JP2010250455A - Portable terminal device and input device - Google Patents
Portable terminal device and input device Download PDFInfo
- Publication number
- JP2010250455A JP2010250455A JP2009097618A JP2009097618A JP2010250455A JP 2010250455 A JP2010250455 A JP 2010250455A JP 2009097618 A JP2009097618 A JP 2009097618A JP 2009097618 A JP2009097618 A JP 2009097618A JP 2010250455 A JP2010250455 A JP 2010250455A
- Authority
- JP
- Japan
- Prior art keywords
- contact area
- movement
- movement direction
- moving direction
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、入力指示を行うためのタッチパッドを備えた携帯端末装置、及びこのタッチパッドを含む入力装置に関する。 The present invention relates to a mobile terminal device including a touch pad for performing an input instruction, and an input device including the touch pad.
携帯電話端末、携帯情報端末、携帯音楽プレーヤなどの各種携帯型電子機器は、ＰＣ（パーソナルコンピュータ）などと同様に、高性能化、多機能化、小型化が進んでいる。また、このような電子機器の進化に対応するため、入力指示を行う入力装置に関して様々な工夫が施されている。電子機器の入力装置として、最近では、操作面上の任意の位置を触れる操作をすることで入力指示を行うタッチパッドを備えたものが広く用いられつつある。 Various types of portable electronic devices such as mobile phone terminals, portable information terminals, and portable music players have been improved in performance, multifunction, and miniaturization, like PCs (personal computers). Further, in order to cope with the evolution of such electronic devices, various devices have been devised for input devices that issue input instructions. 2. Description of the Related Art Recently, an input device for an electronic device is widely used that includes a touch pad that gives an input instruction by touching an arbitrary position on an operation surface.
タッチパッドを備えた電子機器を操作する場合、操作者はタッチパッドの操作面を指で触れ、そのまま操作面上で指を引きずるように移動させることで、移動に関する入力指示を与える。このような入力指示に対して、電子機器は表示装置の画面上で操作対象箇所を指示するカーソルの表示位置を移動したり、操作対象のアイコンの表示位置を移動したり、画面の表示内容をスクロールするような制御を一般的に実施する。 When operating an electronic device equipped with a touch pad, an operator touches the operation surface of the touch pad with a finger and moves the finger pad on the operation surface as it is, thereby giving an input instruction regarding movement. In response to such an input instruction, the electronic device moves the display position of the cursor that indicates the operation target location on the display device screen, moves the display position of the operation target icon, Control such as scrolling is generally performed.
しかし、タッチパッドを用いて入力操作を行う際には、細かな操作が行いづらく、カーソルなどを所望の位置に動かすことや、所望の位置をタッチ操作することなどが難しい場合があった。特に、携帯電話端末のような携帯型電子機器を操作する場合には、操作者は携帯型電子機器を片手で把持し、携帯型電子機器の表面に配置されたタッチパッドの操作面を同じ手の親指で触れこの親指を移動させながら入力操作を行う場合が多いので、所望の入力操作を行いにくいのが実情である。 However, when performing an input operation using a touch pad, it is difficult to perform a fine operation, and it may be difficult to move a cursor or the like to a desired position or to perform a touch operation on a desired position. In particular, when operating a portable electronic device such as a mobile phone terminal, the operator holds the portable electronic device with one hand and touches the operation surface of the touch pad disposed on the surface of the portable electronic device with the same hand. In many cases, it is difficult to perform a desired input operation because an input operation is often performed while the thumb is touched and moved.
タッチパッドを用いて入力操作を行う際には、電子機器は指の入力操作によって指示された移動方向を特定する必要がある。一般的な電子機器においては、例えば特許文献１に開示されているように、指が接触している領域の状態を繰り返し検出し、領域の代表座標（例えば領域の中心や重心位置）の変化、すなわち移動前の領域の代表座標と移動後の領域の代表座標とに基づいて移動方向を特定している。特許文献１においては、スクロールモードと呼ばれる特定の状態において、最初に指が触れた位置により基準検出領域を決定し、指が接触している領域が前記基準検出領域から他の領域に移動したことを検出した場合に、移動及び移動方向を認識することを提案している。 When performing an input operation using the touch pad, the electronic device needs to specify the moving direction instructed by the finger input operation. In a general electronic device, for example, as disclosed in Patent Document 1, the state of a region in contact with a finger is repeatedly detected, and the representative coordinates of the region (for example, the center of the region and the position of the center of gravity) are changed. That is, the moving direction is specified based on the representative coordinates of the area before the movement and the representative coordinates of the area after the movement. In Patent Document 1, in a specific state called a scroll mode, the reference detection area is determined based on the position where the finger first touches, and the area in which the finger is in contact has moved from the reference detection area to another area. It has been proposed to recognize the movement and the moving direction when detecting.
しかしながら、特許文献１に開示されているような従来の方法でタッチパッドを操作する指の移動方向を検出する場合には、操作者が意図している移動方向と検出される移動方向とが一致しない場合がある。特に、操作者が電子機器を把持している片手の親指一本だけでタッチパッドを操作しようとする場合には、指が動き始める際に実際の指の移動方向と検出される移動方向とが反対になることがある。そのため、画面に表示されるカーソル等の移動対象物が、操作者の意志とは逆方向にぶれて移動する場合があり、良好な操作性が得られない。 However, when detecting the moving direction of the finger that operates the touchpad by a conventional method disclosed in Patent Document 1, the moving direction intended by the operator matches the detected moving direction. May not. In particular, when the operator tries to operate the touchpad with only one thumb of one hand holding the electronic device, when the finger starts to move, the actual finger movement direction and the detected movement direction are different. It may be the opposite. For this reason, a moving object such as a cursor displayed on the screen may move in a direction opposite to the will of the operator, and good operability cannot be obtained.
実際の指の移動方向と検出される移動方向とが反対になる原因は、実際の接触領域の代表座標の変化に移動方向とは反対方向のぶれが生じるためである。例えば、操作者が親指の第１関節を伸ばした状態でタッチパッドに触れ、そのまま親指をタッチパッド上で移動させようとする場合には、親指の第１関節を曲げる以外に操作する方法がないので、親指の動きに大きな制約が生じる（図４参照）。この場合、親指が接触している接触領域の面積が変化するので、この面積変化によって接触領域の代表座標の変位が生じ、代表座標の移動軌跡を追跡すると、例えば最初に上側に移動してから下側に移動するような状態遷移が観測されることがある。 The reason why the actual moving direction of the finger is opposite to the detected moving direction is that the change in the representative coordinates of the actual contact area causes a shake in the direction opposite to the moving direction. For example, when the operator touches the touch pad with the first joint of the thumb extended and tries to move the thumb on the touch pad as it is, there is no way to operate other than bending the first joint of the thumb. Therefore, a big restriction | limiting arises in a motion of thumb (refer FIG. 4). In this case, since the area of the contact area where the thumb is in contact changes, the displacement of the representative coordinates of the contact area occurs due to this area change. A state transition that moves downward may be observed.
したがって、指が接触している領域の代表座標に関する位置の変化から移動方向を検出する場合には、検出される移動方向にぶれが生じるのは避けられない。例えば、指が接触している領域の代表座標に関するサンプリングを数回繰り返し、数回のサンプリングの結果に基づいて正しい移動方向を判定するように制御すれば、検出される移動方向のぶれを抑制することが可能になる。しかし、その場合には正しい移動方向を判定できる状態になるまでに代表座標に関するサンプリングを数回繰り返す必要があるので、時間がかかるという課題がある。つまり、操作者が指を移動しても電子機器はすぐには正しい移動方向を判定できないので、操作者の入力操作に対して電子機器の動作が遅れることになり、応答性が悪化する。 Therefore, in the case where the movement direction is detected from the change in the position related to the representative coordinates of the region in contact with the finger, it is inevitable that the detected movement direction is shaken. For example, if the sampling of the representative coordinates of the region in contact with the finger is repeated several times and the control is performed so as to determine the correct moving direction based on the results of the sampling several times, the fluctuation of the detected moving direction is suppressed. It becomes possible. However, in this case, there is a problem that it takes time because sampling regarding the representative coordinates needs to be repeated several times before the correct moving direction can be determined. That is, even if the operator moves his / her finger, the electronic device cannot immediately determine the correct moving direction, so that the operation of the electronic device is delayed with respect to the input operation of the operator, and the responsiveness deteriorates.
本発明は、上記事情に鑑みてなされたもので、その目的は、動作の応答性を低下させることなく、タッチパッドを操作する操作者の意図を正しく反映した方向の情報を含む入力指示を検出することが可能な携帯端末装置及び入力装置を提供することにある。 The present invention has been made in view of the above circumstances, and its purpose is to detect an input instruction including direction information that correctly reflects the intention of the operator who operates the touchpad without reducing the responsiveness of the operation. An object of the present invention is to provide a portable terminal device and an input device that can be used.
本発明は、タッチパッドを備えた携帯端末装置であって、前記タッチパッド上の接触領域を検出する接触領域検出部と、前記接触領域の位置に関する代表座標を決定する代表座標決定部と、前記代表座標の移動方向を算出する移動方向算出部と、前記接触領域の形状及び大きさの少なくとも一方に関連する特徴量と前記代表座標とに基づいて移動方向を判定する移動方向判定部と、前記移動方向算出部が算出した移動方向と前記移動方向判定部が判定した移動方向とが異なる場合には、前記タッチパッド上での接触操作に対応して出力する操作移動量を補正する移動量補正部と、を備える携帯端末装置を提供する。
上記構成により、検出した代表座標の移動方向にぶれが生じる場合であっても、移動方向算出部において代表座標のサンプリングを複数回行うことなく、操作者の意図を正しく反映した移動方向を検出可能である。
The present invention is a mobile terminal device including a touch pad, a contact area detection unit that detects a contact area on the touch pad, a representative coordinate determination unit that determines a representative coordinate related to a position of the contact area, A movement direction calculation unit that calculates a movement direction of the representative coordinates, a movement direction determination unit that determines a movement direction based on a feature amount related to at least one of the shape and size of the contact area, and the representative coordinates, and When the movement direction calculated by the movement direction calculation unit is different from the movement direction determined by the movement direction determination unit, a movement amount correction that corrects an operation movement amount that is output in response to a touch operation on the touch pad. A portable terminal device.
With the above configuration, even if there is a shake in the direction of movement of the detected representative coordinates, the movement direction calculation unit can detect the movement direction that correctly reflects the operator's intention without sampling the representative coordinates multiple times. It is.
また、本発明は、上記の携帯端末装置であって、前記タッチパッド上には互いに異なる位置に複数の領域が分割領域として予め割り当てられ、前記移動方向判定部は、前記代表座標の属する分割領域の区分と、前記接触領域の特徴量とに基づいて移動方向を判定するものを含む。
上記構成により、操作者の意図を正しく反映した移動方向を検出可能である。例えば、接触領域の特徴量から操作者の親指の第１関節が伸びている状態を認識可能であり、この状態であれば、親指の動きに関する制約があるので、代表座標がいずれの分割領域に属しているのかを区別することにより、操作者が意図している移動方向を判定可能である。
Further, the present invention is the above-described portable terminal device, wherein a plurality of areas are pre-assigned as divided areas at different positions on the touch pad, and the movement direction determination unit is configured to include the divided areas to which the representative coordinates belong. And determining the moving direction based on the feature amount of the contact area.
With the above configuration, it is possible to detect a moving direction that correctly reflects the operator's intention. For example, it is possible to recognize the state in which the first joint of the operator's thumb is extended from the feature amount of the contact area. In this state, there are restrictions on the movement of the thumb, so the representative coordinates are in any divided area. It is possible to determine the moving direction intended by the operator by distinguishing whether or not they belong.
また、本発明は、上記の携帯端末装置であって、前記タッチパッド上には、操作者の視野における上下方向に対応する操作上の上下方向を区分する特定の境界の上側に第１の分割領域が、前記境界の下側に第２の分割領域がそれぞれ予め割り当てられ、前記移動方向判定部は、前記接触領域の特徴量に基づき操作者の指の関節の曲がり具合が所定以下かどうかに相当する状態を把握し、指の関節の曲がりが所定以下の状態で、かつ前記代表座標が前記第１の分割領域に属している場合には、前記上下方向の上から下に向かう方向として前記移動方向を判定するものを含む。
上記構成により、操作者の意図を正しく反映した移動方向を検出可能である。例えば、操作者の視野における上下方向に対応する操作上の上方向又は下方向に向かって親指を動かそうとする場合には、親指の関節の曲がり具合に応じて、親指の動きに制約が生じるので、指の関節の曲がり具合と代表座標がどの分割領域に属しているかによって正しい移動方向の判定が可能である。
Further, the present invention is the above-described mobile terminal device, wherein the first division above the specific boundary that divides the vertical direction of operation corresponding to the vertical direction in the visual field of the operator is provided on the touchpad. A second divided region is assigned in advance to the lower side of the boundary, and the movement direction determination unit determines whether or not the bending degree of the joint of the operator's finger is equal to or less than a predetermined value based on the feature amount of the contact region. When the corresponding state is grasped, the bending of the finger joint is not more than a predetermined value, and the representative coordinates belong to the first divided area, the direction from the top to the bottom in the vertical direction is Includes one that determines the direction of movement.
With the above configuration, it is possible to detect a moving direction that correctly reflects the operator's intention. For example, when trying to move the thumb upward or downward in the operation corresponding to the vertical direction in the operator's field of view, the movement of the thumb is restricted according to the degree of bending of the thumb joint. Therefore, it is possible to determine the correct moving direction depending on the division of the finger joint and the representative coordinate.
また、本発明は、上記の携帯端末装置であって、前記移動量補正部は、前記移動方向算出部が算出した移動方向と前記移動方向判定部が判定した移動方向とが異なる場合には、出力する操作移動量の正負の符号を反転するものを含む。
上記構成により、例えば代表座標の移動方向のぶれによって移動方向算出部が算出した移動方向と移動方向判定部が判定した移動方向とが異なる状態になった場合は、出力する操作移動量の正負の符号を反転することで、操作者か意図している方向に向かうような操作移動量を出力できる。
Further, the present invention is the portable terminal device, wherein the movement amount correction unit, when the movement direction calculated by the movement direction calculation unit and the movement direction determined by the movement direction determination unit is different, Includes those that invert the sign of the operation movement amount to be output.
With the above configuration, for example, when the movement direction calculated by the movement direction calculation unit and the movement direction determined by the movement direction determination unit are different due to fluctuations in the movement direction of the representative coordinates, the operation movement amount to be output is positive or negative. By inverting the sign, it is possible to output an operation movement amount that goes in the direction intended by the operator.
また、本発明は、上記の携帯端末装置であって、前記移動量補正部は、前記移動方向算出部が算出した移動方向と前記移動方向判定部が判定した移動方向とが異なる場合には、出力する操作移動量を無効化するものを含む。
上記構成により、例えば代表座標の移動方向のぶれによって移動方向算出部が算出した移動方向と移動方向判定部が判定した移動方向とが異なる状態になった場合は、出力する操作移動量を無効化することで、操作者が意図している方向の操作移動量のみを出力でき、意図しない方向へのカーソル移動等を防止できる。
Further, the present invention is the portable terminal device, wherein the movement amount correction unit, when the movement direction calculated by the movement direction calculation unit and the movement direction determined by the movement direction determination unit is different, Includes those that invalidate the amount of operation movement to be output.
With the above configuration, for example, when the movement direction calculated by the movement direction calculation unit is different from the movement direction determined by the movement direction determination unit due to the movement of the movement direction of the representative coordinates, the operation movement amount to be output is invalidated. By doing so, only the operation movement amount in the direction intended by the operator can be output, and the cursor movement or the like in the unintended direction can be prevented.
また、本発明は、上記の携帯端末装置であって、前記移動方向判定部は、前記接触領域の面積、前記接触領域の形状が縦長か横長かを区別する情報、前記接触領域の上端から下端までの長さ、前記接触領域の縦方向の長さと横方向の長さとの比率のうちの、少なくとも１つに関連する特徴量と、前記代表座標とに基づいて移動方向を判定するものを含む。
上記構成により、移動方向判定部は、操作者の意図している移動方向を正しく判定することが可能になる。この際、接触領域の面積の大小、接触領域の形状が縦長か横長かの区分、接触領域の上端から下端までの長さの大小、接触領域の縦方向の長さと横方向の長さとの比率の大小などの特徴量に基づき、操作者の親指の関節が伸びている状態か否かを識別可能である。したがって、指の関節の曲がり具合の識別結果とタッチパッド上の代表座標の位置とによって移動方向を正しく判定できる。
Further, the present invention is the above-described mobile terminal device, wherein the moving direction determination unit is configured to identify the area of the contact region, information for distinguishing whether the shape of the contact region is vertically long or horizontally long, and the upper end to the lower end of the contact region. And determining the moving direction based on the feature amount related to at least one of the ratio of the length of the contact area in the vertical direction and the length in the horizontal direction and the representative coordinates. .
With the above configuration, the movement direction determination unit can correctly determine the movement direction intended by the operator. At this time, the size of the area of the contact area, whether the shape of the contact area is vertically long or horizontally long, the size of the length from the top to the bottom of the contact area, the ratio of the vertical length of the contact area to the horizontal length It is possible to identify whether or not the joint of the operator's thumb is extended based on the feature amount such as. Therefore, the moving direction can be correctly determined based on the identification result of the bending state of the finger joint and the position of the representative coordinates on the touch pad.
また、本発明は、タッチパッドを備えた電子機器の入力装置であって、前記タッチパッド上の接触領域を検出する接触領域検出部と、前記接触領域の位置に関する代表座標を決定する代表座標決定部と、前記代表座標の移動方向を算出する移動方向算出部と、前記接触領域の形状及び大きさの少なくとも一方に関連する特徴量と前記代表座標とに基づいて移動方向を判定する移動方向判定部と、前記移動方向算出部が算出した移動方向と前記移動方向判定部が判定した移動方向とが異なる場合には、前記タッチパッド上での接触操作に対応して出力する操作移動量を補正する移動量補正部と、を備える入力装置を提供する。 According to another aspect of the present invention, there is provided an input device for an electronic device including a touch pad, a contact area detecting unit for detecting a contact area on the touch pad, and representative coordinate determination for determining a representative coordinate related to the position of the contact area. A moving direction determination unit that determines a moving direction based on a characteristic amount related to at least one of the shape and size of the contact area and the representative coordinate, a moving direction calculating unit that calculates a moving direction of the representative coordinate, If the movement direction calculated by the movement direction calculation unit and the movement direction determined by the movement direction determination unit are different, the operation movement amount output corresponding to the touch operation on the touchpad is corrected. There is provided an input device including a movement amount correction unit.
本発明によれば、動作の応答性を低下させることなく、タッチパッドを操作する操作者の意図を正しく反映した方向の情報を含む入力指示を検出することが可能な携帯端末装置及び入力装置を提供できる。 According to the present invention, there is provided a portable terminal device and an input device capable of detecting an input instruction including information on a direction that correctly reflects an intention of an operator who operates the touch pad without reducing the responsiveness of the operation. Can be provided.
以下の実施形態では、携帯端末装置及び入力装置の一例として、携帯電話端末等の電子機器に適用した構成例を説明する。なお、本発明に係る携帯端末装置及び入力装置は、携帯電話端末、携帯情報端末、携帯音楽プレーヤ、リモコンなど、種々の電子機器に適用可能である。 In the following embodiments, a configuration example applied to an electronic device such as a mobile phone terminal will be described as an example of a mobile terminal device and an input device. The mobile terminal device and the input device according to the present invention can be applied to various electronic devices such as a mobile phone terminal, a mobile information terminal, a mobile music player, and a remote controller.
図１は本発明の実施形態に係る携帯端末装置の主要部の構成を示すブロック図である。携帯端末装置は、操作入力部１０、データ処理部２０、操作方向判定部３０、制御部４０、表示部４１、通信部４２、音声処理部４３を備えて構成される。
FIG. 1 is a block diagram showing a configuration of a main part of a mobile terminal device according to an embodiment of the present invention. The portable terminal device includes an
操作入力部１０はタッチパッド１１と接触領域検出部１２とを有して構成され、データ処理部２０は接触領域代表座標算出部２１及び接触領域特徴量算出部２２を有して構成され、操作方向判定部３０は移動方向算出部３１、移動方向判定部３２、移動方向補正部３３を有して構成されている。操作者がタッチパッド上で指を動かして入力指示の操作を行う場合、操作入力部１０、データ処理部２０、操作方向判定部３０において、その操作移動量の検出、判定を行い、検出した操作移動量を出力する。
The
タッチパッド１１は、この携帯端末装置を操作しようとするユーザ（操作者）が指で触れることが可能な平面状の操作面を有し、この操作面に対する指の接触の有無及び接触している領域の位置に関する情報を読み取り可能となっている。操作面と指とが接触している領域を検出するために、具体例として静電容量型センサを有する平面状の操作デバイスがタッチパッド１１として用いられる。タッチパッド１１は、接触領域の各位置を表す信号を出力する。接触領域検出部１２は、タッチパッド１１が出力する信号に基づき、操作のためにユーザが触れている接触領域を検出し、検出結果を接触情報として出力する。
The
データ処理部２０の接触領域代表座標算出部２１は、接触領域検出部１２が出力する接触情報に基づき、接触領域の代表座標を算出する。この代表座標はユーザの操作に関する操作点となる指示座標を示すものである。代表座標の具体例としては、接触領域のパターンに関する中心位置あるいは重心位置、放物線近似のピーク位置などを算出して用いることが可能である。
The contact area representative coordinate
データ処理部２０の接触領域特徴量算出部２２は、接触領域検出部１２が出力する接触情報に基づき、接触領域に関する特徴量を算出する。この特徴量は移動方向の予測に利用可能な接触領域の情報である。この特徴量の具体例としては、接触領域の面積の大きさ、形状が縦長か横長かの違いを表す情報、接触領域の縦方向（指の長さ方向）の長さ、接触領域のアスペクト比（縦横の長さの比率）などを算出して用いることが可能である。
The contact area feature
操作方向判定部３０の移動方向算出部３１は、接触領域代表座標算出部２１が出力する代表座標の変化を検出し、この変化から移動方向及び移動量を算出する。一方、操作方向判定部３０の移動方向判定部３２は、接触領域代表座標算出部２１が出力する１つの代表座標（例えば指が最初に触れた位置）と、接触領域特徴量算出部２２が出力する接触領域の特徴量とに基づいて移動方向を判定（予測）する。
The movement
操作方向判定部３０の移動方向補正部３３は、移動方向算出部３１の算出した移動方向と移動方向判定部３２が判定した移動方向との両者に基づいて、正しい移動方向の補正を実施し、移動方向に応じた操作移動量を出力する。
The movement
表示部４１は、例えば液晶表示デバイスのように、平面状の表示面上に画像、文字、図形、カーソルなどの様々な可視情報を表示可能な装置である。
The
制御部４０は、図１に示した携帯端末装置全体の各部の制御を行う制御要素であり、操作入力部１０からの操作情報を入力し、各種信号処理、表示制御、通信制御などを行う。通信部４２は、セルラー通信網などの通信回線に対応した通信処理を行うもので、ＲＦ部、ベースバンド処理部等を有している。なお、通信部４２は、対応する通信手段、通信方式に応じて適宜構成されるものである。音声処理部４３は、通話音声の入力、出力等の音声処理、音楽コンテンツの再生処理等を行うものである。
The
なお、データ処理部２０、操作方向判定部３０及び制御部４０の各処理要素については、マイクロプロセッサや情報を格納するためのメモリ等の回路要素で構成され、予め用意したプログラムをマイクロプロセッサで実行することにより所定の機能を実現している。勿論、それぞれの機能を専用のハードウェアで実現することも可能である。
The processing elements of the
次に、本実施形態の携帯端末装置において、ユーザの入力操作に対して検出する操作点の移動方向について説明する。ここで、理解を容易にするために、まず実際のユーザの親指とタッチパッド１１の操作面との接触状態の具体例について説明する。
Next, the moving direction of the operation point detected in response to the user's input operation in the mobile terminal device of the present embodiment will be described. Here, in order to facilitate understanding, first, a specific example of a contact state between the actual user's thumb and the operation surface of the
図４は操作者の親指の状態及び親指と操作面との接触状況に関する具体例を示す模式図である。携帯電話端末等の携帯型電子機器の代表的な使用状況を想定すると、ユーザは携帯端末装置を片手で把持し、同じ手の親指を操作面に触れた状態で親指を動かしながら入力操作を行うことになる。したがって、タッチパッドの操作面と親指との接触状態及び親指の状態としては図４に示すような複数種類の状態が考えられる。 FIG. 4 is a schematic diagram showing a specific example regarding the state of the operator's thumb and the contact state between the thumb and the operation surface. Assuming typical usage conditions of portable electronic devices such as mobile phone terminals, the user holds the portable terminal device with one hand and performs an input operation while moving the thumb with the thumb of the same hand touching the operation surface. It will be. Therefore, a plurality of types of states as shown in FIG. 4 are conceivable as the contact state between the operation surface of the touchpad and the thumb and the state of the thumb.
図４の左側に示す状態のように、親指６０の第一関節６１及び第二関節６２が伸びている状態では、この親指６０をタッチパッド１１の操作面上で上下方向（矢印ｙ方向及びその逆方向）に移動させるためには第一関節６１を曲げる以外に動かす方法はないという制約がある。また、親指６０の第一関節６１が伸びている状態では接触領域ＴＥの面積が比較的大きくなることが分かる。一方、図４の中央及び右側に示す状態のように、親指６０の第一関節６１がある程度曲がっている状態では、親指６０の第一関節６１を動かすことにより、上方向及び下方向のいずれの方向にも操作面上で親指を移動することができる。また、親指６０の第一関節６１がある程度曲がっている状態では接触領域ＴＥの面積が比較的小さくなることが分かる。
In the state where the first joint 61 and the second joint 62 of the
以下に、接触領域の位置及び状態遷移の具体例として、４種類の異なる状況について図５〜図８にそれぞれ示す。図５〜図８において、それぞれのタイミングの接触領域ＴＥがハッチングを施して示した領域として示されており、タッチパッド１１の操作面上の位置については、横方向をｘ、縦方向をｙとする座標で表されている。ここで、横方向（ｘ）、縦方向（ｙ）は、携帯端末装置を操作するユーザの視野の向きに対する横方向及び縦方向（上下方向）と対応している。
Hereinafter, four different situations are shown in FIGS. 5 to 8 as specific examples of the position of the contact region and the state transition. 5 to 8, the contact areas TE at the respective timings are shown as hatched areas, and the position on the operation surface of the
図５は操作者が親指を操作面上で矢印Ａ１方向に移動する場合の接触領域の状態変化の具体例を示す模式図である。図５に示す例では、図４の左側に示すように親指の第１関節が伸びている状態で、上から下に向かって（矢印Ａ１方向に）親指を移動する状態を想定している。 FIG. 5 is a schematic diagram showing a specific example of the state change of the contact area when the operator moves the thumb on the operation surface in the arrow A1 direction. In the example shown in FIG. 5, it is assumed that the thumb moves from top to bottom (in the direction of arrow A1) with the first joint of the thumb extending as shown on the left side of FIG.
この図５の状態では、最初に親指をタッチパッド１１に接触させた時（時刻ｔ０）に、親指はタッチパッド１１のｙ方向の上端と下端の範囲の中央位置Ｙｃよりも上側の位置にあると考えられる（操作のし易さのため）。また、図５に示すように、接触領域の面積は比較的大きく、接触領域の形状は縦長の楕円形であり、時間の経過に伴って、すなわち親指の移動に伴って接触領域の形状や面積や位置が変化することが分かる。また、注目すべきことに、接触領域の中心座標のｙ方向の位置については、時間の経過に伴いユーザの意図に従って単純に矢印Ａ１方向に移動するのではなく、矢印Ａ１とは逆の方向に一旦移動した後で矢印Ａ１方向に移動する。したがって、接触領域の中心座標の変化から移動方向を検出しようとすれば、検出される移動方向に一時的に上下のぶれが生じることになり、ユーザの意図する操作方向とは逆の移動方向が検出される場合もある。
In the state of FIG. 5, when the thumb is first brought into contact with the touch pad 11 (time t0), the thumb is located above the center position Yc of the upper and lower end ranges of the
図６は操作者が親指を操作面上で矢印Ａ２方向に移動する場合の接触領域の状態変化の具体例を示す模式図である。図６に示す例では、図４の左側に示すように親指の第１関節が伸びている状態で、下から上に向かって（矢印Ａ２方向に）親指を移動する状態を想定している。 FIG. 6 is a schematic diagram showing a specific example of the state change of the contact area when the operator moves the thumb on the operation surface in the arrow A2 direction. In the example shown in FIG. 6, it is assumed that the thumb moves from the bottom to the top (in the direction of arrow A <b> 2) with the first joint of the thumb extending as shown on the left side of FIG. 4.
この図６の状態では、最初に親指をタッチパッド１１に接触させた時（時刻ｔ０）に、親指はタッチパッド１１のｙ方向の上端と下端の範囲の中央位置Ｙｃよりも下側の位置にあると考えられる（操作のし易さのため）。また、図６に示すように、接触領域の面積は比較的大きく、接触領域の形状は縦長の楕円形であり、時間の経過に伴って、すなわち親指の移動に伴って接触領域の形状や面積や位置が変化することが分かる。また、注目すべきことに、接触領域の中心座標のｙ方向の位置については、時間の経過に伴いユーザの意図に従って単純に矢印Ａ２方向に移動するのではなく、矢印Ａ２とは逆の方向に一旦移動した後で矢印Ａ２方向に移動する。したがって、接触領域の中心座標の変化から移動方向を検出しようとすれば、検出される移動方向に一時的に上下のぶれが生じることになり、ユーザの意図する操作方向とは逆の移動方向が検出される場合もある。
In the state of FIG. 6, when the thumb is first brought into contact with the touch pad 11 (time t0), the thumb is positioned below the center position Yc of the upper and lower end ranges of the
図７は操作者が親指を操作面上で矢印Ａ３方向に移動する場合の接触領域の状態変化の具体例を示す模式図である。図７に示す例では、図４の右側に示すように親指の第１関節がある程度曲がっている状態で、下から上に向かって（矢印Ａ３方向に）親指を移動する状態を想定している。 FIG. 7 is a schematic diagram showing a specific example of the state change of the contact area when the operator moves the thumb on the operation surface in the arrow A3 direction. In the example shown in FIG. 7, it is assumed that the thumb moves from the bottom to the top (in the direction of the arrow A <b> 3) while the first joint of the thumb is bent to some extent as shown on the right side of FIG. 4. .
この図７の状態では、最初に親指をタッチパッド１１に接触させた時（時刻ｔ０）に、親指はタッチパッド１１のｙ方向の上端と下端の範囲の中央位置Ｙｃよりも上側の位置にあると考えられる（操作のし易さのため）。また、図７に示すように、接触領域の面積は図５、図６の場合と比べて小さく、接触領域の形状は横長の楕円形であり、時間の経過に伴って、すなわち親指の移動に伴って接触領域の形状や面積や位置が変化することが分かる。また、接触領域の中心座標のｙ方向の位置については、時間の経過に伴いユーザの意図に従って単純に矢印Ａ３方向に移動する。したがって、接触領域の中心座標の変化から移動方向を検出しても、検出される移動方向にぶれは生じない。
In the state of FIG. 7, when the thumb is first brought into contact with the touch pad 11 (time t0), the thumb is located above the center position Yc of the upper and lower end ranges of the
図８は操作者が親指を操作面上で矢印Ａ４方向に移動する場合の接触領域の状態変化の具体例を示す模式図である。図８に示す例では、図４の右側に示すように親指の第１関節がある程度曲がっている状態で、上から下に向かって（矢印Ａ４方向に）親指を移動する状態を想定している。 FIG. 8 is a schematic diagram showing a specific example of the state change of the contact area when the operator moves the thumb on the operation surface in the arrow A4 direction. In the example shown in FIG. 8, it is assumed that the thumb moves from top to bottom (in the direction of arrow A4) with the first joint of the thumb bent to some extent as shown on the right side of FIG. .
この図８の状態では、最初に親指をタッチパッド１１に接触させた時（時刻ｔ０）に、親指はタッチパッド１１のｙ方向の上端と下端の範囲の中央位置Ｙｃよりも下側の位置にあると考えられる（操作のし易さのため）。また、図８に示すように、接触領域の面積は図５、図６の場合と比べて小さく、接触領域の形状は横長の楕円形であり、時間の経過に伴って、すなわち親指の移動に伴って接触領域の形状や面積や位置が変化することが分かる。また、接触領域の中心座標のｙ方向の位置については、時間の経過に伴いユーザの意図に従って単純に矢印Ａ４方向に移動する。したがって、接触領域の中心座標の変化から移動方向を検出しても、検出される移動方向にぶれは生じない。
In the state of FIG. 8, when the thumb is first brought into contact with the touch pad 11 (time t0), the thumb is positioned below the center position Yc of the upper and lower end ranges of the
本実施形態では、上記の図５、図６に示したような状況で検出される移動方向にぶれが生じるのを防止するために、接触領域特徴量算出部２２、移動方向判定部３２、及び移動方向補正部３３を設けてある。
In the present embodiment, in order to prevent the movement direction detected in the situation shown in FIGS. 5 and 6 from being shaken, the contact area feature
ここで、接触領域特徴量算出部２２は、図５、図６に示すような接触領域の特徴と図７、図８に示すような接触領域の特徴とを区別するために利用可能な特徴量を算出する。したがって、接触領域特徴量算出部２２については、接触領域の面積の大きさ、接触領域の形状が縦長か横長かの区別、接触領域の縦方向（指の長さ方向）の長さ、接触領域のアスペクト比（縦横の長さの比率）などのうち少なくとも１つの特徴量を算出する機能を搭載していればよい。
Here, the contact area feature
移動方向判定部３２は、接触領域代表座標算出部２１が出力する１つの代表座標と、接触領域特徴量算出部２２が出力する接触領域の特徴量とに基づいて移動方向を判定（予測）する。例えば、親指が最初にタッチパッド１１に触れた時（時刻ｔ０）の接触領域の位置（領域中心などの代表座標）が図５に示す中央位置Ｙｃよりも上側であり、且つ接触領域の面積が所定以上（図５に示すように大きい）であれば、矢印Ａ１方向すなわち上から下に向かう方向にユーザが親指を移動するものと予測できる。また、例えば親指が最初にタッチパッド１１に触れた時（時刻ｔ０）の接触領域の位置（領域中心などの代表座標）が図６に示す中央位置Ｙｃよりも下側であり、且つ接触領域の面積が所定以上（図６に示すように大きい）であれば、矢印Ａ２方向すなわち下から上に向かう方向にユーザが親指を移動するものと予測できる。
The movement
なお、接触領域の特徴量として、面積の代わりに、接触領域の形状が縦長か横長かの区別、接触領域の縦方向（指の長さ方向）の長さ、接触領域のアスペクト比（縦横の長さの比率）などを利用しても、同様に移動方向を予測できる。また、移動方向判定部３２が参照する代表座標については、親指が最初にタッチパッド１１に触れた時（時刻ｔ０）に検出された接触領域の位置に限らず、接触領域の面積が所定量以上となった時点など、他の時刻に検出された接触領域の位置を表すものであっても良い。
In addition, as the feature amount of the contact area, instead of the area, it is distinguished whether the shape of the contact area is vertically long or horizontally long, the length of the contact area in the vertical direction (finger length direction), the aspect ratio of the contact area (vertical and horizontal) The direction of movement can be predicted in the same manner using the ratio of length). The representative coordinates referred to by the movement
なお、ユーザが携帯端末装置を操作する時の操作方向（端末の筐体をユーザから見て縦長又は横長の状態で使用するなど）が予め固定されている場合には、筐体の向きやタッチパッド１１の向きとユーザが操作する際の視野の向きとの関係が一定なので、筐体の向きやタッチパッド１１の向きと図５、図６に示す上下左右の各軸方向（ｘ，ｙ）とを予め対応付けることができる。もしも、縦長／横長などの使用時の操作方向をユーザが必要に応じて選択できる場合には、例えばジャイロセンサなどを用いて検出した筐体の傾きから操作方向を判別することもできるし、表示装置が表示している可視情報の向きから操作方向を判別することもできる。また、筐体の開閉検出センサによって検出した筐体の開閉方向から操作者が把持している筐体の上下方向を検出し、操作方向を判別することもできる。したがって、ユーザの操作方向や視野の向きと、図５、図６に示す上下左右の各軸方向（ｘ，ｙ）とを対応付けることができる。
Note that if the operation direction when the user operates the mobile terminal device (such as using the terminal casing in a portrait or landscape orientation when viewed from the user) is fixed in advance, the orientation or touch of the chassis Since the relationship between the orientation of the
図２は本実施形態における接触領域の移動方向を判定する処理の手順を示すフローチャートである。この図２では、図１に示した本実施形態の携帯端末装置の構成において、移動方向判定部３２が移動方向を検出、判定するために行う基本的な処理の内容を示している。なお、図２に示す処理の内容は一例であり、前述のような様々な変形が可能である。図２に示す処理は、例えばユーザの指がタッチパッド１１に接触したことを最初に検知した時（図５中の時刻ｔ０）などの適当なタイミングで実施される。
FIG. 2 is a flowchart showing a processing procedure for determining the moving direction of the contact area in the present embodiment. FIG. 2 shows the contents of basic processing performed by the movement
ステップＳ１１では、接触領域検出部１２によって検出された接触領域の情報に基づき、接触領域特徴量算出部２２が特徴量として、接触領域の面積Ｓの大きさを計算する。次のステップＳ１２では、接触領域代表座標算出部２１が代表座標として、現在の接触領域の中心位置の座標（Ｘ０，Ｙ０）を計算する。
In step S11, based on the contact area information detected by the contact
ステップＳ１３では、移動方向判定部３２はステップＳ１１で求められた面積Ｓを予め定めた閾値Ｓｔｈと比較する。例えば図５、図６に示すように接触領域の面積Ｓが閾値Ｓｔｈ以上の場合にはステップＳ１４に進み、図７、図８に示すように接触領域の面積Ｓが閾値Ｓｔｈより小さい場合にはこの処理を終了する。
In step S13, the moving
ステップＳ１４では、移動方向判定部３２はステップＳ１２で求められた接触領域の中心座標（代表座標）のｙ方向の位置を予め定めた閾値Ｙｃと比較する。この際、タッチパッド１１上の分割領域として、例えばタッチパッド１１上の領域を上下方向に分割して得られる第１の分割領域及び第２の分割領域を予め割り当てておく。閾値Ｙｃの具体例としては、例えば、上記２つの分割領域の間の境界位置、つまり図５に示すようにタッチパッド１１のｙ方向の上端から下端までの範囲の中間位置の座標を採用することが考えられる。図５に示す例のように接触領域の中心座標の位置が閾値Ｙｃ以上である（第１の分割領域に属している）場合にはステップＳ１５に進み、図６に示す例のように接触領域の中心座標の位置が閾値Ｙｃより小さい（第２の分割領域に属している）場合はステップＳ１６に進む。
In step S14, the moving
ステップＳ１５では、移動方向判定部３２はユーザが指で指示する移動方向が下方向（図５に示す矢印Ａ１の方向）であるものと判定する。ステップＳ１６では、移動方向判定部３２はユーザが指で指示する移動方向が上方向（図６に示す矢印Ａ２の方向）であるものと判定する。なお、ステップＳ１５、Ｓ１６における判定は、実際に指が動き始める前でも行うことができる。したがって、すばやく方向を判定でき、ユーザの操作に対する応答性の低下を防止できる。
In step S15, the moving
これに対し、移動方向算出部３１の算出した移動方向及び移動量をそのままユーザの操作量として制御部４０が認識する場合を想定する。この場合、例えば図５に示すような状況では、検出される中心座標の位置が、上方向に移動してから下方向に移動することになり、画面に表示されるカーソルなどの位置も上下方向にぶれながら移動することになる。
On the other hand, it is assumed that the
本実施形態では、上記のようなぶれの発生を防止するための機能が移動方向補正部３３に搭載されている。すなわち、移動方向補正部３３は、移動方向算出部３１の算出した移動方向と移動方向判定部３２が判定した移動方向との両者に基づいて、正しい移動方向を判定し、ユーザの操作量として出力すべき操作移動量を正しく補正する。
In the present embodiment, a function for preventing the occurrence of shake as described above is mounted on the movement
移動方向算出部３１が算出した移動方向と移動方向判定部３２が判定した移動方向とが一致する場合には、図５、図６に示すような移動方向のぶれは生じないが、一致しない場合にはぶれが生じる。したがって、移動方向補正部３３は、具体例として、次のような動作を行う。すなわち、移動方向算出部３１が算出した移動方向と移動方向判定部３２が判定した移動方向とを比較し、両者の移動方向が一致する場合には、移動方向算出部３１が算出した移動量をそのまま操作移動量として出力する。また、移動方向が一致しない場合には、移動方向算出部３１が算出した移動量を無効化し、０を操作移動量として出力する。したがって、図５、図６に示すような移動方向のぶれが生じる場合であっても、ユーザが意図している方向と逆の方向には動かないように補正された操作移動量が移動方向補正部３３から出力される。
When the movement direction calculated by the movement
移動方向補正部３３の動作については、次のような変形も考えられる。例えば、移動方向算出部３１が算出した移動方向と移動方向判定部３２が判定した移動方向とを比較し、両者の移動方向が一致する場合には、移動方向算出部３１が算出した移動量をそのまま操作移動量として出力する。また、移動方向が一致しない場合には、移動方向算出部３１が算出した移動方向を逆に変更し、移動方向判定部３２が判定した移動方向に合わせる。つまり、検出した移動方向が一致しない場合は、移動方向算出部３１が算出した移動量の正負の符号（方向）を反転する。
Regarding the operation of the movement
図３は本実施形態における接触領域の操作移動量判定及びカーソル表示に関する処理の手順を示すフローチャートである。この図３では、図１に示した本実施形態の携帯端末装置の構成において、ユーザの入力操作に応じた操作移動量の検出、判定と、その操作移動量に対応してカーソル表示を移動させるために行う処理の内容を示している。図３に示す処理は、タッチパッド１１に対するユーザの入力操作に応じた動作を実現するために必要に応じて繰り返し実行される。
FIG. 3 is a flowchart showing a procedure of processing relating to the determination of the operation movement amount of the contact area and the cursor display in the present embodiment. In FIG. 3, in the configuration of the mobile terminal device of the present embodiment shown in FIG. 1, the operation movement amount is detected and determined according to the user's input operation, and the cursor display is moved in accordance with the operation movement amount. The contents of the processing to be performed for this purpose are shown. The process shown in FIG. 3 is repeatedly executed as necessary in order to realize an operation according to a user input operation on the
ステップＳ２１では、図２のステップＳ１１と同様に、接触領域検出部１２によって検出された接触領域の情報に基づき、接触領域特徴量算出部２２が特徴量として、接触領域の面積Ｓの大きさを計算する。また、ステップＳ２２では、接触領域代表座標算出部２１が代表座標として、現在の接触領域の中心位置の座標（Ｘ０，Ｙ０）を計算する。
In step S21, as in step S11 of FIG. 2, based on the information on the contact area detected by the contact
ステップＳ２３では、所定のフラグの状態を参照することにより方向の判定が終了しているか否かを識別する。判定済みならステップＳ２９に進み、処理を開始した直後のように判定済みでない場合はステップＳ２４に進む。 In step S23, it is identified whether or not the direction determination has ended by referring to the state of a predetermined flag. If it has been determined, the process proceeds to step S29, and if it has not been determined as immediately after starting the process, the process proceeds to step S24.
ステップＳ２４では、移動方向判定部３２はステップＳ２１で求められた面積Ｓを予め定めた閾値Ｓｔｈと比較する。例えば図５、図６に示すように接触領域の面積Ｓが閾値Ｓｔｈ以上の場合にはステップＳ２５に進み、図７、図８に示すように接触領域の面積Ｓが閾値Ｓｔｈより小さい場合にはステップＳ２８に進む。
In step S24, the movement
ステップＳ２５では、移動方向判定部３２はステップＳ２２で求められた接触領域の中心座標（代表座標）のｙ方向の位置を予め定めた閾値Ｙｃと比較する。閾値Ｙｃの具体例としては、例えば図５に示すようにタッチパッド１１のｙ方向の上端から下端までの範囲の中間位置の座標を採用することが考えられる。図５に示す例のように接触領域の中心座標の位置が閾値Ｙｃ以上の場合にはステップＳ２６に進み、図６に示す例のように接触領域の中心座標の位置が閾値Ｙｃより小さい場合はステップＳ２７に進む。
In step S25, the movement
ステップＳ２６では、移動方向判定部３２はユーザが指で指示する移動方向が下方向（図５に示す矢印Ａ１の方向）であるものと判定し、方向判定済みを表すフラグをセットする。ステップＳ２７では、移動方向判定部３２はユーザが指で指示する移動方向が上方向（図６に示す矢印Ａ２の方向）であるものと判定し、方向判定済みを表すフラグをセットする。
In step S26, the movement
ステップＳ２８では、検出された接触領域の座標データの変化方向、すなわち移動方向算出部３１の算出した移動方向を操作上の正しい移動方向として判定し、方向判定済みを表すフラグをセットする。
In step S28, the change direction of the detected coordinate data of the contact area, that is, the movement direction calculated by the movement
つまり、検出された接触領域の面積Ｓが閾値Ｓｔｈ以上の場合には、移動方向として移動方向算出部３１の出力は採用せず、移動方向判定部３２の出力する移動方向を採用する。
That is, when the detected area S of the contact region is equal to or larger than the threshold value Sth, the output of the movement
ステップＳ２６、Ｓ２７、Ｓ２８のいずれかにより方向判定が終了すると、次にステップＳ２３を実行する時には方向判定済みのフラグがセットされているのでステップＳ２９に進む。ステップＳ２９では、移動方向算出部３１が接触領域に関するｘ方向、ｙ方向それぞれの軸方向の移動量ΔＸ、ΔＹを求める。すなわち、周期的に繰り返し検出される接触領域の代表座標のデータが接触領域代表座標算出部２１から順次に出力されるので、前回のサンプリングで得られた代表座標（Ｘ１，Ｙ１）と、今回のサンプリングで得られた代表座標（Ｘ２，Ｙ２）との差分を移動量ΔＸ、ΔＹとして求める。なお、この移動量ΔＸ、ΔＹには数値の符号として方向の情報も含まれている。
When the direction determination is completed in any one of steps S26, S27, and S28, the next time step S23 is executed, the direction determined flag is set, so the process proceeds to step S29. In step S29, the movement
ステップＳ３０では、移動方向判定部３２は最後に検出された接触領域の面積Ｓを予め定めた閾値Ｓａと比較する。なお（Ｓａ＜Ｓｔｈ）であり、閾値Ｓａは例えば図５に示す時刻ｔ４の接触領域の面積と同程度の値に定められる。接触領域の面積Ｓが閾値Ｓａ以上の場合はステップＳ３１に進み、閾値Ｓａ未満の場合はステップＳ３２に進む。
In step S30, the movement
ステップＳ３１では、移動方向補正部３３はステップＳ２６、Ｓ２７、Ｓ２８のいずれかで判定した方向に向かってカーソルを移動するための補正された操作移動量を出力する。例えば、図５に示す時刻ｔ０〜ｔ３の範囲内のような状況では、ステップＳ２９で検出されるｙ方向の移動量ΔＹの方向がユーザの意図している移動方向（Ａ１）と逆になっているので、その場合は方向が反転するように、移動量ΔＹの符号（正負）を反転した結果を操作移動量として出力する。ステップＳ２８で方向を判定した場合には、移動方向算出部３１の算出した移動方向と移動方向判定部３２の判定した移動方向とが一致するので、移動量ΔＹをそのまま操作移動量として出力する。この操作移動量により、移動量ΔＹ又は−ΔＹだけｙ軸方向にカーソルが移動する。
In step S31, the movement
例えば図５に示すような状況であっても、時刻ｔ４以降では接触領域の代表座標の移動方向とユーザの意図する操作の方向とが一致する。また、この時には接触領域の面積が時刻ｔ０と比べてかなり小さくなっている。そこで、接触領域の面積Ｓが閾値Ｓａ未満になると、ステップＳ３０からステップＳ３２に進む。ステップＳ３２では、方向判定済みを表すフラグをクリアする。 For example, even in the situation shown in FIG. 5, the movement direction of the representative coordinates of the contact area matches the direction of the operation intended by the user after time t4. At this time, the area of the contact region is considerably smaller than that at time t0. Therefore, when the area S of the contact region is less than the threshold value Sa, the process proceeds from step S30 to step S32. In step S32, the flag indicating that the direction has been determined is cleared.
ステップＳ３３では、接触領域の代表座標の移動方向とユーザの意図する操作の方向とが一致する状態なので、移動方向補正部３３は移動方向算出部３１の算出した移動量ΔＹをそのまま操作移動量として出力する。したがって、代表座標の移動方向に向かって移動量ΔＹだけカーソルの表示位置が移動する。
In step S33, since the movement direction of the representative coordinates of the contact area matches the direction of the operation intended by the user, the movement
図９は本実施形態の携帯端末装置における接触領域と代表座標との対応関係の状態遷移を示す模式図である。この図９では、上記図３に示した処理を実施する場合における、操作者の親指の接触領域の代表座標と表示部の画面に表示されるカーソルの位置との対応関係に関して、その状態遷移の具体例を示している。 FIG. 9 is a schematic diagram showing the state transition of the correspondence relationship between the contact area and the representative coordinates in the mobile terminal device of this embodiment. In FIG. 9, regarding the correspondence between the representative coordinates of the contact area of the operator's thumb and the position of the cursor displayed on the screen of the display unit when the process shown in FIG. A specific example is shown.
図９に示す例では、図５の例と同様に、最初に（時刻ｔ０で）親指の第１関節が伸びている状態で、下（矢印Ａ１方向）に向かって親指を移動する場合を想定している。したがって、親指の実際の移動に伴って移動方向算出部３１で算出される接触領域の代表座標の変化（移動量ΔＹ）は、時刻ｔ０−ｔ１、ｔ１−ｔ２、ｔ２−ｔ３の範囲でそれぞれ上方向に移動し、その後の時刻ｔ３−ｔ４、ｔ４−ｔ５、ｔ５−ｔ６の範囲でそれぞれ下方向に移動する。
In the example shown in FIG. 9, as in the example of FIG. 5, it is assumed that the thumb is moved downward (in the direction of arrow A <b> 1) while the first joint of the thumb is first extended (at time t <b> 0). is doing. Therefore, the change of the representative coordinates (movement amount ΔY) of the contact area calculated by the movement
図３に示す処理を実施する場合には、時刻ｔ０−ｔ１、ｔ１−ｔ２、ｔ２−ｔ３の範囲で検出される移動量ΔＹについては、移動方向判定部３２が判定した移動方向に合わせるために、ステップＳ３１で符号を反転した移動量（−ΔＹ）をカーソルを移動するための操作移動量として出力する。また、時刻ｔ４以降は（面積Ｓ＜閾値Ｓａ）になるので、時刻ｔ３−ｔ４、ｔ４−ｔ５、ｔ５−ｔ６の範囲で検出される移動量ΔＹについては、移動方向算出部３１が算出した移動方向をそのまま採用し、ステップＳ３３で符号を反転しない移動量（＋ΔＹ）をカーソルを移動するための操作移動量として出力する。
When the processing shown in FIG. 3 is performed, the movement amount ΔY detected in the range of time t0-t1, t1-t2, t2-t3 is set to match the movement direction determined by the movement
したがって、表示されるカーソルの位置Ｐ１〜Ｐ６は、図９に示すように時刻ｔ０からｔ６にかけて、（−ΔＹ）、（−ΔＹ）、（−ΔＹ）、（＋ΔＹ）、（＋ΔＹ）、（＋ΔＹ）だけ順次に移動することになる。このため、上下方向にぶれが発生することがなく、ユーザの入力操作の意図を正しく反映した方向への操作移動量を検出でき、この操作移動量の方向に向かってカーソルを移動させることができる。 Accordingly, the displayed cursor positions P1 to P6 are (−ΔY), (−ΔY), (−ΔY), (+ ΔY), (+ ΔY), (+ ΔY) from time t0 to t6 as shown in FIG. ) Will move sequentially. For this reason, there is no shake in the vertical direction, the amount of operation movement in the direction that correctly reflects the intention of the user's input operation can be detected, and the cursor can be moved in the direction of this amount of operation movement. .
上述したように、本実施形態によれば、入力操作に対する動作の応答性を低下させることなく、タッチパッドを操作する操作者の意図を正しく反映した方向の情報を含む入力指示を検出することができる。例えば、操作者の親指の動きの制約や指の形状等の関係により、検出される代表座標の移動方向にぶれが生じる場合であっても、代表座標のサンプリングを複数回行うなどの処理を必要とせず、操作者の意図を正しく反映した移動方向を検出できる。 As described above, according to the present embodiment, it is possible to detect an input instruction including information on a direction that correctly reflects the intention of the operator who operates the touchpad without reducing the responsiveness of the operation to the input operation. it can. For example, processing such as sampling the representative coordinates multiple times is required even if the detected representative coordinates move in a moving direction due to restrictions on the movement of the thumb of the operator or the shape of the finger. The movement direction that correctly reflects the operator's intention can be detected.
接触領域の特徴量として、例えば接触領域の面積が所定以上の場合には、操作者の親指の第１関節が伸びている状態として認識することが可能である。よって、この状態における親指の動きの制約と接触領域の代表座標の位置とから、指が動き始める前であっても、正しい移動方向を判定して予測することができる。例えば、接触領域の特徴量とともに、代表座標がタッチパッド上のいずれの分割領域に属しているのかを区別することにより、操作者が意図している移動方向を判定可能である。 As the feature amount of the contact area, for example, when the area of the contact area is greater than or equal to a predetermined value, it is possible to recognize that the first joint of the operator's thumb is extended. Therefore, it is possible to determine and predict the correct moving direction even before the finger starts to move from the restriction of the thumb movement in this state and the position of the representative coordinate of the contact area. For example, it is possible to determine the moving direction intended by the operator by distinguishing which divided area on the touchpad the representative coordinate belongs to together with the feature amount of the contact area.
また、操作者の視野における上下方向に対応する操作上の上方向又は下方向に向かって親指を動かそうとする場合には、親指の関節の曲がり具合に応じて、親指の動きに制約が生じるので、指の関節の曲がり具合と代表座標がどの分割領域に属しているかによって移動方向の予測が可能である。つまり、接触領域の特徴量によって判定される指の関節の曲がりが所定以下の状態で、かつ代表座標が第１の分割領域に属している場合には、関節を曲げる動きにより上下方向の上から下に向かう方向にのみ移動するものと判定できる。したがって、入力操作に対する応答性を低下させることなく操作移動量を補正し、操作者が意図している方向にカーソル等を移動することができる。 Further, when trying to move the thumb upward or downward in the operation corresponding to the vertical direction in the operator's field of view, there is a restriction on the movement of the thumb depending on how the thumb joint bends. Therefore, it is possible to predict the moving direction depending on the division region to which the bending state of the finger joint and the representative coordinates belong. That is, when the bending of the finger joint determined by the feature amount of the contact area is equal to or less than a predetermined value and the representative coordinates belong to the first divided area, the upper and lower directions are moved upward by the movement of bending the joint. It can be determined that the object moves only in the downward direction. Therefore, it is possible to correct the operation movement amount without reducing the responsiveness to the input operation and move the cursor or the like in the direction intended by the operator.
なお、本発明は、本発明の趣旨ならびに範囲を逸脱することなく、明細書の記載、並びに周知の技術に基づいて、当業者が様々な変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。 The present invention is intended to be variously modified and applied by those skilled in the art based on the description in the specification and well-known techniques without departing from the spirit and scope of the present invention. Included in the scope for protection.
本発明は、動作の応答性を低下させることなく、タッチパッドを操作する操作者の意図を正しく反映した方向の情報を含む入力指示を検出することが可能となる効果を有し、入力指示を行うためのタッチパッドを備えた携帯端末装置、及びこのタッチパッドを含む入力装置等として有用である。 The present invention has an effect that it is possible to detect an input instruction including information on a direction that correctly reflects the intention of the operator who operates the touchpad without reducing the responsiveness of the operation. It is useful as a portable terminal device provided with a touch pad for performing, an input device including the touch pad, and the like.
１０ 操作入力部
１１ タッチパッド
１２ 接触領域検出部
２０ データ処理部
２１ 接触領域代表座標算出部
２２ 接触領域特徴量算出部
３０ 操作方向判定部
３１ 移動方向算出部
３２ 移動方向判定部
３３ 移動方向補正部
４０ 制御部
４１ 表示部
４２ 通信部
４３ 音声処理部
DESCRIPTION OF
Claims (7)
前記タッチパッド上の接触領域を検出する接触領域検出部と、
前記接触領域の位置に関する代表座標を決定する代表座標決定部と、
前記代表座標の移動方向を算出する移動方向算出部と、
前記接触領域の形状及び大きさの少なくとも一方に関連する特徴量と前記代表座標とに基づいて移動方向を判定する移動方向判定部と、
前記移動方向算出部が算出した移動方向と前記移動方向判定部が判定した移動方向とが異なる場合には、前記タッチパッド上での接触操作に対応して出力する操作移動量を補正する移動量補正部と、
を備える携帯端末装置。 A mobile terminal device having a touchpad,
A contact area detector for detecting a contact area on the touchpad;
A representative coordinate determining unit for determining representative coordinates related to the position of the contact area;
A moving direction calculation unit for calculating a moving direction of the representative coordinates;
A moving direction determination unit that determines a moving direction based on a feature amount related to at least one of the shape and size of the contact area and the representative coordinates;
When the movement direction calculated by the movement direction calculation unit is different from the movement direction determined by the movement direction determination unit, a movement amount that corrects an operation movement amount that is output in response to a touch operation on the touch pad. A correction unit;
A mobile terminal device comprising:
前記タッチパッド上には互いに異なる位置に複数の領域が分割領域として予め割り当てられ、
前記移動方向判定部は、前記代表座標の属する分割領域の区分と、前記接触領域の特徴量とに基づいて移動方向を判定する携帯端末装置。 The mobile terminal device according to claim 1,
On the touchpad, a plurality of areas are pre-assigned as divided areas at different positions,
The moving direction determination unit is a mobile terminal device that determines a moving direction based on a division of a divided region to which the representative coordinate belongs and a feature amount of the contact region.
前記タッチパッド上には、操作者の視野における上下方向に対応する操作上の上下方向を区分する特定の境界の上側に第１の分割領域が、前記境界の下側に第２の分割領域がそれぞれ予め割り当てられ、
前記移動方向判定部は、前記接触領域の特徴量に基づき操作者の指の関節の曲がり具合が所定以下かどうかに相当する状態を把握し、指の関節の曲がりが所定以下の状態で、かつ前記代表座標が前記第１の分割領域に属している場合には、前記上下方向の上から下に向かう方向として前記移動方向を判定する携帯端末装置。 The mobile terminal device according to claim 2,
On the touchpad, there is a first divided region above a specific boundary that divides the vertical direction of operation corresponding to the vertical direction in the visual field of the operator, and a second divided region below the boundary. Each pre-assigned,
The movement direction determination unit grasps a state corresponding to whether or not the bending degree of the finger joint of the operator is equal to or less than a predetermined value based on the feature amount of the contact area, and the bending state of the finger joint is equal to or less than the predetermined value, and A portable terminal device that determines the moving direction as a direction from the top to the bottom in the vertical direction when the representative coordinates belong to the first divided region.
前記移動量補正部は、前記移動方向算出部が算出した移動方向と前記移動方向判定部が判定した移動方向とが異なる場合には、出力する操作移動量の正負の符号を反転する携帯端末装置。 The mobile terminal device according to claim 1,
The movement amount correction unit reverses the sign of the operation movement amount to be output when the movement direction calculated by the movement direction calculation unit is different from the movement direction determined by the movement direction determination unit. .
前記移動量補正部は、前記移動方向算出部が算出した移動方向と前記移動方向判定部が判定した移動方向とが異なる場合には、出力する操作移動量を無効化する携帯端末装置。 The mobile terminal device according to claim 1,
The movement amount correction unit is a portable terminal device that invalidates an operation movement amount to be output when the movement direction calculated by the movement direction calculation unit is different from the movement direction determined by the movement direction determination unit.
前記移動方向判定部は、前記接触領域の面積、前記接触領域の形状が縦長か横長かを区別する情報、前記接触領域の上端から下端までの長さ、前記接触領域の縦方向の長さと横方向の長さとの比率のうちの、少なくとも１つに関連する特徴量と、前記代表座標とに基づいて移動方向を判定する携帯端末装置。 The mobile terminal device according to claim 1,
The moving direction determination unit is configured to distinguish the area of the contact area, whether the shape of the contact area is vertically long or horizontally long, the length from the upper end to the lower end of the contact area, and the vertical length and width of the contact area. The portable terminal device which determines a moving direction based on the feature-value relevant to at least 1 among the ratio with the length of a direction, and the said representative coordinate.
前記タッチパッド上の接触領域を検出する接触領域検出部と、
前記接触領域の位置に関する代表座標を決定する代表座標決定部と、
前記代表座標の移動方向を算出する移動方向算出部と、
前記接触領域の形状及び大きさの少なくとも一方に関連する特徴量と前記代表座標とに基づいて移動方向を判定する移動方向判定部と、
前記移動方向算出部が算出した移動方向と前記移動方向判定部が判定した移動方向とが異なる場合には、前記タッチパッド上での接触操作に対応して出力する操作移動量を補正する移動量補正部と、
を備える入力装置。 An input device for an electronic device equipped with a touchpad,
A contact area detector for detecting a contact area on the touchpad;
A representative coordinate determining unit for determining representative coordinates related to the position of the contact area;
A moving direction calculation unit for calculating a moving direction of the representative coordinates;
A moving direction determination unit that determines a moving direction based on a feature amount related to at least one of the shape and size of the contact area and the representative coordinates;
When the movement direction calculated by the movement direction calculation unit is different from the movement direction determined by the movement direction determination unit, a movement amount that corrects an operation movement amount that is output in response to a touch operation on the touch pad. A correction unit;
An input device comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009097618A JP2010250455A (en) | 2009-04-14 | 2009-04-14 | Portable terminal device and input device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009097618A JP2010250455A (en) | 2009-04-14 | 2009-04-14 | Portable terminal device and input device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010250455A true JP2010250455A (en) | 2010-11-04 |
Family
ID=43312732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009097618A Withdrawn JP2010250455A (en) | 2009-04-14 | 2009-04-14 | Portable terminal device and input device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010250455A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012150599A (en) * | 2011-01-18 | 2012-08-09 | Alps Electric Co Ltd | Input device |
| JP2013156980A (en) * | 2012-01-05 | 2013-08-15 | Panasonic Corp | Input device through touch pad |
| JP2014021556A (en) * | 2012-07-12 | 2014-02-03 | Fujitsu Ltd | Correcting device, correcting program, and correcting method |
| JP2015132906A (en) * | 2014-01-10 | 2015-07-23 | アルパイン株式会社 | Input device, input detection method of multi-touch operation and input detection program thereof |
-
2009
- 2009-04-14 JP JP2009097618A patent/JP2010250455A/en not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012150599A (en) * | 2011-01-18 | 2012-08-09 | Alps Electric Co Ltd | Input device |
| JP2013156980A (en) * | 2012-01-05 | 2013-08-15 | Panasonic Corp | Input device through touch pad |
| JP2014021556A (en) * | 2012-07-12 | 2014-02-03 | Fujitsu Ltd | Correcting device, correcting program, and correcting method |
| JP2015132906A (en) * | 2014-01-10 | 2015-07-23 | アルパイン株式会社 | Input device, input detection method of multi-touch operation and input detection program thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10216407B2 (en) | Display control apparatus, display control method and display control program | |
| JP5269648B2 (en) | Portable terminal device and input device | |
| US9671893B2 (en) | Information processing device having touch screen with varying sensitivity regions | |
| JP5922480B2 (en) | Portable device having display function, program, and control method of portable device having display function | |
| KR101892567B1 (en) | Method and apparatus for moving contents on screen in terminal | |
| US9086800B2 (en) | Apparatus and method for controlling screen displays in touch screen terminal | |
| US8570283B2 (en) | Information processing apparatus, information processing method, and program | |
| KR101311018B1 (en) | Operating touch screen interfaces | |
| US9277045B2 (en) | Touch-panel cellular phone and input operation method | |
| WO2009131089A1 (en) | Portable information terminal, computer readable program and recording medium | |
| JP5716009B2 (en) | Mobile terminal device | |
| US20100289826A1 (en) | Method and apparatus for display speed improvement of image | |
| US20150046866A1 (en) | Image display apparatus, image display method, and computer-readable medium | |
| JP6120731B2 (en) | Electronic device and control method of electronic device | |
| JP5611763B2 (en) | Portable terminal device and processing method | |
| KR20120080202A (en) | Electronic apparatus using touch panel and setting value modification method of same | |
| JP5429627B2 (en) | Mobile terminal, mobile terminal operation method, and mobile terminal operation program | |
| JP2010003307A (en) | Portable information terminal, computer readable program and recording medium | |
| US20120023433A1 (en) | Method and apparatus for inputting character in a portable terminal | |
| US9658714B2 (en) | Electronic device, non-transitory storage medium, and control method for electronic device | |
| JPWO2013128911A1 (en) | Portable terminal device, erroneous operation prevention method, and program | |
| US10048726B2 (en) | Display control apparatus, control method therefor, and storage medium storing control program therefor | |
| JP2011076349A (en) | Portable information terminal and display control method | |
| WO2012086133A1 (en) | Touch panel device | |
| JP2010287121A (en) | Information processor, program, recording medium and display controller |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120703 |