JP2002278694A - Data inputting device based on stroke motion and graphic interface system - Google Patents

Data inputting device based on stroke motion and graphic interface system

Info

Publication number
JP2002278694A
JP2002278694A JP2001081792A JP2001081792A JP2002278694A JP 2002278694 A JP2002278694 A JP 2002278694A JP 2001081792 A JP2001081792 A JP 2001081792A JP 2001081792 A JP2001081792 A JP 2001081792A JP 2002278694 A JP2002278694 A JP 2002278694A
Authority
JP
Japan
Prior art keywords
fingertip
area
menu
items
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001081792A
Other languages
Japanese (ja)
Inventor
Itsuo Kumazawa
逸夫 熊澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2001081792A priority Critical patent/JP2002278694A/en
Priority to KR1020037011651A priority patent/KR100556049B1/en
Priority to PCT/JP2002/002781 priority patent/WO2002077786A1/en
Publication of JP2002278694A publication Critical patent/JP2002278694A/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1622—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with enclosures rotating around an axis perpendicular to the plane they define or with ball-joint coupling, e.g. PDA with display enclosure orientation changeable between portrait and landscape by rotation with respect to a coplanar body enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0234—Character input methods using switches operable in different directions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Set Structure (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a data input device capable of inputting various information at high speed by using the stroke motions of the tip of the digit as a data input and a graphical interface system. SOLUTION: When a series of motions (the stroke motions of the tip of the digit) at the time of lifting up, linearly moving in a short distance, and lowering the tip of the digit are used as the units of motions corresponding to characters or commands to be inputted, the various classifications of character or commands can be designated according to the combination of the positions for lifting up the tip of the digit with the positions for lowering the tip of the digit in a narrow tip of the digit movement range. Also, it is possible to support a beginner by introducing a graphical interface for changing the display contents according to the stroke motions of the tip of the digit. Moreover, a touch impulse to be added to the digit when the area where the tip of the digit is positioned is changed is changed by using the touch impulse as necessary so that which area the tip of the digit is positioned at can be grasped through the touch impulse. Thus, it is possible to realize a blind input.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、情報機器へ文字デ
ータや指令データを能率良く入力するインターフェイス
を備えたデータ入力装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a data input device having an interface for efficiently inputting character data and command data to information equipment.

【０００２】[0002]

【従来の技術】従来の代表的なデータ入力装置の一つで
あるキーボードは、習熟した使用者には能率良いデータ
入力手段となるが、タイピングに広い作業範囲を要する
ため小型の携帯機器へのデータ入力には適していない。
キーボードのＪやＦのキーの表面には突起が設けられて
おり、習熟者はこの突起を手掛かりに指位置を把握し、
ブラインドタイピングによって視線を画面に向けたまま
作業できるが、初心者がブラインドタイピングを習得す
るには相当の訓練が必要である。2. Description of the Related Art A keyboard, which is one of the typical data input devices in the related art, is an efficient data input means for a trained user. Not suitable for data entry.
A projection is provided on the surface of the J or F key of the keyboard, and the skilled person can grasp the finger position using this projection as a clue,
Blind typing allows you to work while keeping your gaze on the screen, but considerable training is required for beginners to learn blind typing.

【０００３】一方、インターネットの閲覧作業等では、
初心者に分かり易いインターフェイスとして、マウス等
ポインティング機器を用いて画面上に表示されるメニュ
ーの項目やボタンやアイコンあるいはリンク先を選択す
ることでコンピュータに指令を入力するグラフィカルイ
ンターフェイスが主流となっている。グラフィカルイン
ターフェイスでは通常一地点のポインティングによって
入力するデータを指定するが、マウスボタンを押しなが
らカーソルを移動するドラッグと呼ばれる操作や一部の
メニュー操作では、マウスボタンを押した位置と離した
位置の組み合わせに基づいて入力するデータが定まる。On the other hand, in browsing the Internet, etc.,
As an interface that is easy for beginners to understand, a graphical interface that inputs commands to a computer by selecting menu items, buttons, icons, or link destinations displayed on a screen using a pointing device such as a mouse has become mainstream. In the graphical interface, data to be input is usually specified by pointing at one point, but for operations called drag that moves the cursor while holding down the mouse button, and for some menu operations, a combination of the position where the mouse button is pressed and the position where it is released The input data is determined based on the.

【０００４】グラフィカルインターフェイスでは視覚を
頼りにマウスカーソルの位置を確認しながら作業を進め
ることになるが、視覚の負担を軽減するため、触覚刺激
を援用する方式が工夫されている。例えば、視覚障害者
のために点字ディスプレイが開発されているが、点字デ
ィスプレイをインターフェイスに応用し、画面上でカー
ソルが目標領域に到達したときに、点字ディスプレイが
指に加える刺激の形態を変化させることによって、操作
者にカーソル位置と領域形状を通知する方式が考案され
ている。同様にカーソル位置を通知する方式としてマウ
スにバイブレータを組み込み、カーソルが目的位置に到
達したときにバイブレータを振動する方式もある。また
ＩＢＭ社ではポインティングに使用するスティックをコ
ンピュータからの指令により能動的に駆動して、その動
きを通じて使用者に情報を通知する方式を開発してい
る。[0004] In the graphical interface, work is performed while confirming the position of the mouse cursor relying on the visual sense. However, in order to reduce the burden on the visual sense, a method using tactile stimulation has been devised. For example, a Braille display has been developed for the visually impaired, and the Braille display is applied to an interface to change the form of stimulation applied to a finger when the cursor reaches a target area on the screen. Accordingly, a method of notifying an operator of a cursor position and a region shape has been devised. Similarly, as a method of notifying the cursor position, there is a method of incorporating a vibrator in a mouse and vibrating the vibrator when the cursor reaches a target position. Further, IBM has developed a method of actively driving a stick used for pointing according to a command from a computer and notifying a user of information through the movement.

【０００５】さらに簡易な方式として、指先を滑りやす
くするように表面加工したパネル上に突起を設けてパネ
ル上で指先を滑らしながら突起によって示されるボタン
位置を把握できるようにした操作パネルや、指先接触部
にボールやボール状突起を複数個設けて、ボール自体の
回転やボール状突起と指の間に介在する柔軟性と低摩擦
性を備えたシートによって、指先がボールやボール状突
起の上を円滑に移動しながらボールやボール状突起の凹
凸を把握し、凹凸位置に対応するように画面上に配置さ
れたメニューの項目を凹凸の触覚情報を手掛かりに選択
する方式も考案されている。As an even simpler method, there is provided an operation panel in which projections are provided on a panel whose surface is processed so as to make the fingertips slippery so that a finger position can be grasped while sliding the fingertips on the panel. A plurality of balls or ball-shaped protrusions are provided at the contact part, and the fingertips are positioned above the ball or ball-shaped protrusions by the rotation of the ball itself or a sheet with flexibility and low friction between the ball-shaped protrusions and fingers. A method has also been devised in which the unevenness of a ball or ball-shaped projection is grasped while smoothly moving the menu, and menu items arranged on the screen corresponding to the unevenness position are selected based on the tactile information of the unevenness.

【０００６】従来のグラフィカルインターフェイスで
は、大きな画面内でマウスカーソルを広範囲に移動して
小さな目標範囲をポインティングして項目選択やドラッ
グ操作するため、作業中に細心の視覚的注意が必要であ
り、操作を短時間に多数回繰り返すことは難しかった。
例えばマイクロソフト社のウィンドウズでは、メニュー
中の項目は１次元的に多数個並んでいる場合が多く、カ
ーソルは初期位置から途中多数の項目を経て目標項目へ
到る。このカーソルの移動に時間を要し、無理に短時間
で操作すると目標の項目を通り過ぎてからマウスボタン
を押す等の誤操作を生じ易かった。In the conventional graphical interface, since the mouse cursor is moved over a wide area on a large screen and a small target area is pointed to select or drag an item, careful visual attention is required during the operation. Was difficult to repeat many times in a short time.
For example, in Microsoft Windows, many items in a menu are often arranged one-dimensionally, and the cursor reaches a target item from an initial position through many items in the middle. It takes time to move the cursor, and if it is forcibly operated in a short time, an erroneous operation such as pressing a mouse button after passing a target item is likely to occur.

【０００７】マウスボタンを押す位置と離す位置の組み
合わせに基づいてメニューの項目を選択する場合にも、
従来方式では、項目間の移動を短時間で行えず、項目の
識別は容易でなく、視覚的に注意しながら項目を選択す
る必要があったため高速にデータ入力することはできな
かった。最初の目標位置でマウスボタンを押し、マウス
を移動し、次の目標位置でマウスボタンを離す運動は、
カーソルを目標位置に合わせようとして注意を注ぐ度に
中断し、連続した一体の運動として一気に遂行すること
はできなかった。このように従来のグラフィカルインタ
ーフェイスは初心者に直感的に分かりやすい反面、旧来
のキーボード入力に比べて入力能率が低く、視覚的負荷
が大きく、誤操作し易いという欠点を持っていた。[0007] When selecting a menu item based on a combination of a position where the mouse button is pressed and a position where the mouse button is released,
In the conventional method, it is not possible to move between items in a short time, it is not easy to identify the items, and it is necessary to select items while paying attention visually, so that data cannot be input at high speed. Pressing the mouse button at the first target position, moving the mouse, and releasing the mouse button at the next target position,
It was interrupted every time the user tried to move the cursor to the target position, and could not be performed at once as a continuous and integral movement. As described above, the conventional graphical interface is intuitive and easy for a beginner to understand, but has disadvantages in that the input efficiency is low, the visual load is large, and erroneous operation is easy as compared with the conventional keyboard input.

【０００８】前述した工夫によって触覚情報を援用して
も、従来の援用法では入力能率は改善しなかった。例え
ば、点字ディスプレイを用いるインターフェイスでは、
触覚情報を頼りに広い探索範囲の中で目標領域を探し出
すまでに長時間を要し、データ入力能率は極めて低かっ
た。また多様な情報を触覚情報のみを手掛かりとして識
別することが困難であったため、入力できる情報の種別
数が限られていた。さらにキーボードの場合と異なり、
習熟しても注意の負荷は軽減せず作業能率が向上しない
ことも問題であった。[0008] Even when the tactile information is used by the above-described device, the input efficiency is not improved by the conventional incorporation method. For example, in an interface using a braille display,
It took a long time to search for a target area within a wide search range based on tactile information, and the data input efficiency was extremely low. Further, since it was difficult to identify various information using only the tactile information as a clue, the number of types of information that could be input was limited. And unlike the keyboard,
There is also a problem that even if the user becomes proficient, the load of attention is not reduced and the work efficiency is not improved.

【０００９】[0009]

【発明が解決しようとする課題】本発明では、従来のデ
ータ入力装置及びグラフィカルインターフェイス方式が
抱える上述の欠点を克服するために、指の動く範囲を狭
く限定し、その狭い範囲内で十分な多様性と識別性を備
えかつ円滑、高速に実行できる指の運動として指先のス
トローク運動をデータ入力に使用し、この指の運動と連
動して表示内容を変えるグラフィカルインターフェイス
を導入し、さらに必要に応じて初心者にも識別しやすい
単純な触覚刺激を手掛かりとして指位置を把握できるよ
うにすることで、データ入力作業における視覚的負荷を
軽減し、初心者がブラインド入力を容易に習得して高速
に多様な情報を入力できるデータ入力装置とグラフィカ
ルインターフェイス方式を与えることを課題とする。SUMMARY OF THE INVENTION In order to overcome the above-mentioned drawbacks of the conventional data input device and the graphical interface system, the present invention restricts the range of movement of the finger to a small extent and provides a sufficient variety within the narrow range. Uses fingertip stroke movements for data input as finger movements that can be performed smoothly and at high speed with identifiability and discrimination, and introduces a graphical interface that changes the display content in conjunction with this finger movement, and if necessary By using simple tactile stimuli that are easy to identify even for beginners to grasp the finger position, the visual load in data entry work is reduced, and beginners can easily learn blind input and quickly It is an object to provide a data input device capable of inputting information and a graphical interface system.

【００１０】[0010]

【発明を解決するための手段】指先を下げて直線的に短
距離移動して上げる一連の運動（指先のストローク運
動）を入力する文字や指令に対応付ける運動の単位とし
て用いると、狭い指先移動範囲内で指先を下げる位置と
上げる位置の組み合わせによって多様な種別を持った文
字や指令を指定できる。また指先移動範囲内に互いに近
接した少数個の区域を２次元的に配置し、指先が含まれ
る区域によって指先位置を識別し、区域内の指先位置の
相違を無視すれば、近接した区域間の指先の移動は短時
間に行われ、各区域内で指先位置のずれが許容されて精
密な位置決めの必要がなくなるため、データ入力の能率
を向上できる。When a series of motions (stroke motion of a fingertip) of lowering a fingertip to linearly move a short distance and raising it is used as a unit of motion corresponding to a character or an instruction to be input, a narrow fingertip movement range is obtained. Characters and commands having various types can be designated according to the combination of the position where the fingertip is lowered and the position where the fingertip is raised. Also, a small number of areas close to each other are two-dimensionally arranged in the fingertip movement range, the fingertip position is identified by the area including the fingertip, and if the difference in the fingertip position in the area is ignored, the distance between the adjacent areas is reduced. The movement of the fingertip is performed in a short time, and the displacement of the fingertip position is allowed in each area, thereby eliminating the need for precise positioning. Therefore, the efficiency of data input can be improved.

【００１１】ここで前記区域の数が少なくても、指先を
下げる時点と上げる時点の指先位置の組み合わせを用い
ることで、区域数の２乗の種別の文字や指令を区別で
き、多様な情報を入力することが可能になる。また指の
運動に連動して表示内容を変えるグラフィカルインター
フェイスを導入することで、画面に視線を向けたまま指
の運動や操作の内容を把握できるようにして初心者を補
助することができる。Here, even if the number of the zones is small, by using the combination of the fingertip positions at the time of lowering and raising the fingertip, it is possible to distinguish characters and instructions of the type of the square of the number of zones, and to obtain various information. It becomes possible to input. In addition, by introducing a graphical interface that changes the display content in conjunction with the movement of the finger, the beginner can be assisted by being able to grasp the details of the movement and operation of the finger while keeping their eyes on the screen.

【００１２】さらに必要に応じて触覚刺激を援用し、指
先が位置する区域が変わるときに指に加わる触覚刺激を
変化させ、指先がどの区域に位置しているかということ
を触覚刺激を通じて把握できるようにすると、ブライン
ド入力が可能となる。また視覚的注意のために作業を中
断することなく触覚刺激を手掛かりとして指先位置を把
握しながら高速、円滑に指先をストローク運動しながら
データ入力することが可能となる。ここで区別する区域
の数が少なければ加える触覚刺激は単純で済み、触覚刺
激の識別が容易となり、初心者は容易にブラインド入力
を習得できる。すなわち指を下げる時点の触覚刺激と上
げる時点の触覚刺激の識別がそれぞれ容易となるので、
その組み合わせによって多種の文字や指令を触覚刺激の
みを手掛かりにして区別できるようになる。Further, if necessary, a tactile stimulus can be used to change the tactile stimulus applied to the finger when the area where the fingertip is located changes, so that it is possible to grasp which area the fingertip is located through the tactile stimulus. Then, blind input becomes possible. In addition, it is possible to input data while moving the fingertip smoothly and smoothly while grasping the fingertip position using the tactile stimulus as a clue without interrupting the work for visual attention. If the number of areas to be distinguished is small, the tactile stimulus to be added is simple, the tactile stimulus can be easily identified, and a beginner can easily learn the blind input. That is, since it becomes easy to distinguish between the tactile stimulus when the finger is lowered and the tactile stimulus when the finger is raised,
By the combination, various characters and commands can be distinguished by using only the tactile stimulus as a clue.

【００１３】[0013]

【実施例】以下、主として手の親指で装置を操作するも
のとし、手の親指の指先を単に指先と呼ぶ。指先を指の
腹の面と垂直な方向に動かす運動を指先の上下運動と言
う。上下運動において特に指先を指の腹側に動かすとき
に指先を下げると言い、指の背側に動かすときに指先を
上げると言う。さらに指先を指の腹の面と平行な方向に
動かすときに指先を移動すると言う。DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, it is assumed that the apparatus is mainly operated with the thumb of the hand, and the fingertip of the thumb of the hand is simply referred to as the fingertip. The movement of moving the fingertip in a direction perpendicular to the surface of the finger pad is called the vertical movement of the fingertip. In vertical movement, lowering the fingertip is particularly referred to as moving the fingertip to the ventral side of the finger, and raising the fingertip when moving the fingertip to the back of the finger. It is also said that the fingertip moves when the fingertip is moved in a direction parallel to the surface of the finger pad.

【００１４】墨を塗った指先で紙の上に一本の短い線分
を描く作業は、指先を紙面に下ろした後、指先を紙に接
したまま直線的に短距離移動し、最後に指先を上げる行
動によって遂行される。このように指先を下げて、直線
的に短距離移動し、そして上げる運動は途切れることな
く滑らかに接続し、一体の行動として短時間に遂行でき
る。本発明では、指先を下げて直線的に短距離移動して
上げる行動（以下この一連の運動を指先のストローク運
動と呼ぶ）をデータ入力操作上の一つの運動単位として
扱い、この運動単位を入力する文字や指令に対応付け
て、指先を下げる位置と上げる位置の組み合わせに基づ
いて入力する文字や指令の種別を決定するデータ入力装
置を与える。なおストローク運動において指先は任意方
向に移動できる。したがって、指先を下げる地点と上げ
る地点として、２次元平面内で接近した２地点を識別可
能な解像度の範囲で任意に選ぶことができ、その組み合
わせは多様になる。To draw one short line segment on paper with an inked fingertip, the user moves the fingertip straight down the paper after moving the fingertip down on the paper. Is carried out by raising the action. In this way, the movements of lowering the fingertip, moving linearly for a short distance, and raising the movement are smoothly connected without interruption, and can be performed in a short time as an integrated action. In the present invention, the action of lowering the fingertip and moving it linearly for a short distance to raise it (hereinafter, this series of motions is referred to as a stroke motion of the fingertip) is treated as one motion unit in the data input operation, and this motion unit is input. A data input device is provided which determines the type of a character or command to be input based on a combination of a position where the fingertip is lowered and a position where the fingertip is raised in association with the character or command to be input. In the stroke motion, the fingertip can move in any direction. Therefore, as the point at which the fingertip is lowered and the point at which the fingertip is raised, two points approaching each other in the two-dimensional plane can be arbitrarily selected within a range of recognizable resolution, and a combination thereof becomes diverse.

【００１５】本発明ではさらに必要に応じて指先位置を
確認するために触覚刺激を指先位置に依存して変化させ
て指に加える仕組を導入し、指先位置を視覚によらずに
触覚によって識別できるようにして、データ入力作業の
能率と信頼性を向上する。装置使用者は触覚情報に基づ
き指先を下げる位置を把握し、第１の目的位置で指先を
下げた後、指を下げたまま触覚情報を頼りに第２の目的
位置まで指先を移動し、指先を上げて、入力する文字や
指令を指定する。装置に入力する文字や指令の種類は第
１の目的位置と第２の目的位置の組み合わせによって決
定する。第１の目的位置から第２の目的位置まで指先が
触覚情報を得ながら高速・円滑に移動できるように、指
先の動きに伴って移動する台やシート、あるいは指先に
接して回転するボールやロールを使用する。あるいは指
先が滑りやすくなるように表面を加工したパネルやシー
トを導入し、その上で指先を滑らせて移動しても良い。
なお第１の目的位置から第２の目的位置まで指先を直線
的に短距離移動して到達できるようにすることと両目的
位置を視覚によらず触覚により把握できるようにするこ
とがデータ入力高速化の鍵となる。The present invention further introduces a mechanism for changing the tactile stimulus depending on the position of the fingertip and adding the fingertip to the finger in order to confirm the position of the fingertip, if necessary. In this way, the efficiency and reliability of the data entry operation are improved. The device user grasps the position of lowering the fingertip based on the tactile information, lowers the fingertip at the first target position, moves the fingertip to the second target position while relying on the tactile information while holding the finger down, To specify the character or command to be input. The type of a character or command to be input to the device is determined by a combination of the first target position and the second target position. A table or a sheet that moves with the movement of the fingertip, or a ball or roll that rotates in contact with the fingertip, so that the fingertip can move at high speed and smoothly from the first destination position to the second destination position while obtaining tactile information. Use Alternatively, a panel or sheet whose surface has been processed so that the fingertip can be easily slipped may be introduced, and then the fingertip may be slid and moved.
It should be noted that the data input high-speed can be achieved by moving the fingertip linearly and shortly from the first target position to the second target position so that the two target positions can be grasped by tactile sensation without visual recognition. Is the key to

【００１６】従来のポインティング装置では画面上のカ
ーソルの相対移動量を指や手の移動量や指や手から加え
られる圧力に応じて定めており、指や手の絶対位置は問
題としなかった。本発明では、指先移動範囲に少数個の
区域を設定し、指先の絶対位置が含まれる区域を識別す
る。指先の絶対位置が少数個の区域のどれに含まれてい
るかということは、装置上の適当な位置に設けられて指
先位置に応じてＯＮ、ＯＦＦする少数個のスイッチによ
って識別できるため、従来のポインティング装置に比べ
て装置のコストを低減できる。なおここで区域という言
葉が説明の便宜上用いられているが、その実体は必ずし
も明示的に定められるわけではない。例えばスイッチの
配置さえ定めれば、スイッチのＯＮ，ＯＦＦの仕方を同
じにする指先位置は同一区域に属すると解釈し、スイッ
チのＯＮ，ＯＦＦの仕方を変える指先位置は異なる区域
に属すると解釈することができる。この場合、区域はス
イッチの配置に応じて暗黙的に定まり、区域の範囲や形
状をあえて明示的に定義する必要はない。スイッチのＯ
Ｎ，ＯＦＦの仕方が変わるときには指に加える触覚刺激
を変化させて指が位置する暗黙上の区域が変わったこと
を通知すればよい。In the conventional pointing device, the relative movement amount of the cursor on the screen is determined according to the movement amount of the finger or hand or the pressure applied from the finger or hand, and the absolute position of the finger or hand does not matter. In the present invention, a small number of areas are set in the fingertip movement range, and an area including the absolute position of the fingertip is identified. In which of the small number of areas the absolute position of the fingertip is included can be identified by a small number of switches provided at appropriate positions on the device and turned on and off according to the fingertip position. The cost of the device can be reduced as compared with the pointing device. Here, the term “area” is used for convenience of explanation, but the substance is not always explicitly defined. For example, if only the arrangement of the switches is determined, it is interpreted that the fingertip positions that make the switch ON and OFF the same belong to the same area, and that the fingertip positions that change the switch ON and OFF manner belong to different areas. be able to. In this case, the area is implicitly determined according to the arrangement of the switches, and it is not necessary to explicitly define the range and shape of the area. Switch O
When the manner of N or OFF changes, the tactile stimulus applied to the finger may be changed to notify that the implicit area where the finger is located has changed.

【００１７】以上の方式において、指先の移動範囲に設
ける区域は数を少なくし、できるだけ多くの区域間に隣
接関係が生じるように２次元的に配置した上で、指先を
下げる時点に指先が位置する区域と指先を上げる時点に
指先が位置する区域の組み合わせに基づいて、入力する
文字または指令の種類を決定するとよい。指先は隣接し
た区域に他の区域を経由せずに直接的に短時間で到達で
きるため、多くの区域間に隣接関係があるとデータ入力
の能率は大きく向上する。また目的区域に到る途中に他
の区域を経由しなければならない場合には、区域の識別
が難しくなり、触覚情報だけからでは指先位置を把握し
切れなくなってしまうが、候補となる区域が少数個でそ
の多くが隣接しあっている場合には目的区域を容易に識
別できる。したがって、少数個の区域を用いるように
し、また各区域ができるだけ多くの他の区域と隣接する
ように区域を２次元的に配置することがデータ入力の能
率向上の鍵となる。In the above-mentioned method, the number of areas provided in the moving range of the fingertip is reduced, the two-dimensional arrangement is made so that an adjacency is generated between as many areas as possible, and the fingertip is positioned when the fingertip is lowered. The type of the character or command to be input may be determined based on a combination of the area to be input and the area where the fingertip is located when the fingertip is raised. Since the fingertip can directly reach an adjacent area without passing through another area in a short time, the adjacency between many areas greatly improves the efficiency of data input. In addition, if it is necessary to pass through another area on the way to the destination area, it becomes difficult to identify the area, and it is difficult to grasp the position of the fingertip only from the tactile information, but the number of candidate areas is small. If many of them are adjacent to each other, the target area can be easily identified. Therefore, using a small number of areas and arranging the areas two-dimensionally so that each area is adjacent to as many other areas as possible is the key to improving the efficiency of data input.

【００１８】区域を２次元的に配置するときに中央区域
を設けてその周囲に複数個の周辺区域を配置するように
すると中央区域からいずれの周辺区域にも直接的に到達
できる。そこで中央区域を指先の標準位置（ホームポジ
ション）として、待機時には指先を中央区域に置くよう
にすると指先を下げる位置（第１の目的位置）がいずれ
の区域であっても標準位置から直接的に到達できるので
データ入力の能率がさらに向上することになる。第２の
目的位置に関しても、第1の目的位置と隣接した区域だ
けを用いるようにすると表現できるデータの種別数は減
るが、入力能率は向上する。When the areas are arranged two-dimensionally, a central area is provided and a plurality of peripheral areas are arranged around the central area, so that any peripheral area can be directly reached from the central area. Therefore, if the central area is set as the standard position of the fingertip (home position) and the fingertip is placed in the central area during standby, the position where the fingertip is lowered (first target position) is directly from the standard position regardless of the area. Since it can be reached, the efficiency of data input is further improved. As for the second target position, the number of data types that can be expressed by using only the area adjacent to the first target position is reduced, but the input efficiency is improved.

【００１９】少数個の区域を個別に文字や指令に対応付
けるのでは、文字や指令の種別を表すのに区域の数が不
足するが、指先を下げた時点に指先が位置する区域と上
げた時点に指先が位置する区域の組み合わせを文字や指
令に対応付けると、表現できる文字や指令の種別は区域
数の２乗となる。例えば３行３列に配列した合計９個の
区域を用いる場合には８１通りの種別を表すことがで
き、アルファベットやひらがなの種類を十分網羅できる
数となる。しかも一つの指先の狭い範囲内の運動でこの
ように多様な情報を指定できる。Since a small number of areas are individually associated with characters and instructions, the number of areas is insufficient to represent the type of character or instruction. However, when the fingertip is lowered, the area where the fingertip is located and when the fingertip is raised When the combination of the areas where the fingertips are located is associated with characters or commands, the type of characters or commands that can be expressed is the square of the number of areas. For example, when a total of nine sections arranged in three rows and three columns are used, 81 types can be represented, and the number can sufficiently cover alphabets and hiragana types. In addition, such a variety of information can be designated by a movement of one fingertip within a narrow range.

【００２０】従来、マイクロソフト社のウィンドウズな
どのグラフィカルインターフェイスではメニューの項目
は縦または横に１次元的に並び、マウスで目標の項目を
選択してきたが、項目数が増えると目標項目にたどり着
くまでに途中多数の無関係な項目を経由しなければなら
ず、到達に時間がかかり、目標項目を正しく選択するた
めに視覚的注意を払わなければならず、面積の小さな目
標区域をクリックする際に誤選択も起こりやすかった。
こうした方式を取る限り、項目選択の能率はキーボード
をタイプする能率に到底及ばなかった。しかしながら、
上述したことから、本発明のデータ入力装置では、少数
個の区域をできるだけ隣接しあうように２次元的に配置
することで区域の識別と区域間の移動を容易にし、また
区域数が文字数や指令数に対して不足する問題を指先の
上げ下げの各時点に指先が位置する区域を組み合わせて
文字や指令に関連付けることで解決し、さらに必要に応
じて触覚刺激を導入して視覚的注意を要さずに指先の運
動を把握できるようにして、従来のグラフィカルインタ
ーフェイス方式の問題点を克服しているわけである。Conventionally, in a graphical interface such as Microsoft's Windows, menu items are arranged one-dimensionally vertically or horizontally, and a target item is selected with a mouse. However, when the number of items increases, it takes until the target item is reached. You have to go through many unrelated items on the way, it takes time to reach, you have to pay visual attention to select the target item correctly, and incorrect selection when clicking on a small target area It was easy to happen.
As far as this method is concerned, the efficiency of item selection was as low as the efficiency of typing a keyboard. However,
As described above, in the data input device of the present invention, identification of areas and movement between areas are facilitated by arranging a small number of areas in a two-dimensional manner so as to be adjacent to each other as much as possible. Insufficient number of commands is solved by associating the area where the fingertip is located at each point of raising and lowering the fingertip and associating it with characters and commands, and requiring visual attention by introducing tactile stimuli as necessary. The problem of the conventional graphical interface method has been overcome by allowing the user to grasp the movement of the fingertip without using it.

【００２１】本発明では、さらに上述した指先の運動に
連動して画面の表示内容を変えるグラフィカルインター
フェイスを導入して、使用者が画面を見ながら自分の操
作を把握できるようにする。指先移動範囲に設けられる
区域の２次元的位置関係と幾何学的に相似した２次元的
位置関係を持つようにメニューの項目やボタンやアイコ
ンあるいはリンク項目等の選択項目を表示画面上に配置
して、幾何学的相似性に基づき区域と選択項目の間に対
応関係を定め、指先が位置する区域と対応する位置にあ
る選択項目を他の選択項目と区別して表示する。以下こ
のように特定の項目を他と区別して表示することを項目
のハイライト化あるいはハイライト表示と呼ぶ。例え
ば、メニュー中で指先位置に対応する位置にある項目を
明るさや色を変えたり、枠で囲んだりする工夫によって
他の項目と区別して表示する。またこのように指先位置
に対応する位置にあり、他の項目と区別して（ハイライ
ト化して）表示されている項目を「指先位置により指示
されている項目」と呼ぶことにする。According to the present invention, a graphical interface for changing the display content of the screen in conjunction with the movement of the fingertip described above is introduced so that the user can grasp his / her own operation while watching the screen. Menu items, buttons, icons, link items, and other selection items are arranged on the display screen so as to have a two-dimensional positional relationship geometrically similar to the two-dimensional positional relationship of the area provided in the fingertip movement range. Then, the correspondence between the area and the selection item is determined based on the geometric similarity, and the selection item located at the position corresponding to the area where the fingertip is located is distinguished from other selection items and displayed. Hereinafter, displaying a specific item separately from others in this manner is referred to as highlighting or highlighting the item. For example, the item at the position corresponding to the fingertip position in the menu is displayed so as to be distinguished from other items by changing the brightness and color or enclosing the item in a frame. Further, an item which is located at a position corresponding to the fingertip position and is displayed in a manner distinguished (highlighted) from other items will be referred to as an "item designated by the fingertip position".

【００２２】メニューは階層的に構成し、始めに指先を
下げる地点に基づき階層の最初のメニュー（以後これを
メインメニューと呼ぶ）から項目（以後これを上位項目
と呼ぶ）を選択する。次にメインメニューで選択した上
位項目に関連付けられた下位の階層のメニュー（以後こ
れをサブメニューと呼ぶ）において、指先を上げる地点
に基づきサブメニュー中の項目（以後これを下位項目と
呼ぶ）を選択する。このように階層化すると各層で選択
候補となる項目数が少なくとも２層にまたがる項目選択
を通じて項目数の２乗に相当する多様な種別の情報を指
定できる。この２層にまたがる項目選択の作業は指先の
ストローク運動によって一括して短時間に実行できる。
なお後に述べる一括メニュー方式によればメニューを階
層構造にしながらメインメニューの中にサブメニューを
入れ子式に組み入れて全てのサブメニューを一括表示す
ることができる。The menu is structured hierarchically, and first, an item (hereinafter referred to as an upper item) is selected from a first menu (hereinafter referred to as a main menu) in the hierarchy based on a point at which a fingertip is lowered. Next, in a menu of a lower hierarchy associated with the upper item selected in the main menu (hereinafter referred to as a submenu), an item (hereinafter referred to as a lower item) in the submenu is determined based on a point at which a fingertip is raised. select. In this way, various types of information corresponding to the square of the number of items can be designated through the item selection in which the number of items to be selected in each layer spans at least two layers. The operation of item selection over the two layers can be collectively executed in a short time by the stroke motion of the fingertip.
According to the collective menu method described later, all the submenus can be displayed collectively by nesting the submenus in the main menu while the menus are arranged in a hierarchical structure.

【００２３】メニューの項目数が少なく２次元的に配列
していると、携帯機器の小型の画面にメニューを収容し
やすくなることも好都合である。さらにメニューは必要
なときにだけポップアップして表示することで通常時に
はメニューを表示せずに画面を最大限内容の表示に使用
できる。ただし習熟度に応じてメニューの表示方法を変
え、使用者が慣れないうちは操作の補助用に画面の一部
をメニュー専用表示領域として確保してそこに常時メニ
ューを表示してもよい。If the number of menu items is small and two-dimensionally arranged, it is also convenient that the menu can be easily stored on a small screen of a portable device. In addition, by popping up the menu only when necessary, the screen can be used to display the maximum contents without displaying the menu in normal times. However, the menu display method may be changed according to the proficiency level, and a part of the screen may be secured as a menu-dedicated display area to assist the operation and the menu is always displayed there before the user is unfamiliar.

【００２４】必要に応じて指に触覚刺激を加える仕組を
導入し、指先の移動によって指示されるメニューの項目
が変わる時に指に加える触覚刺激を変化させると、触覚
刺激を通じて指先が指示している項目を確認できるた
め、項目選択の誤りが起きにくくなる。また視線をメニ
ューに向けなくとも触覚刺激によって指先位置を把握し
ながら作業を継続できるためデータ入力作業の能率を向
上できる。特にストローク運動を瞬時に行い高速にデー
タ入力する場合には、画面上のメニュー表示の変化を逐
一視覚的に追うことは不可能であるため、触覚的な手掛
かりが不可欠となる。If a mechanism for applying a tactile stimulus to a finger is introduced as necessary, and the tactile stimulus to be applied to the finger is changed when the menu item specified by the movement of the fingertip is changed, the fingertip indicates through the tactile stimulus. Since the items can be confirmed, errors in item selection hardly occur. Further, since the work can be continued while grasping the fingertip position by the tactile stimulus without having to look at the menu, the efficiency of the data input work can be improved. In particular, when data is input at a high speed by performing a stroke motion instantaneously, it is impossible to visually follow the change of the menu display on the screen one by one. Therefore, a tactile cue is indispensable.

【００２５】十分に操作に習熟し、指に加わる触覚刺激
と入力する文字や指令の対応関係を記憶できれば、メニ
ューを表示しなくとも、触覚刺激だけを頼りにデータを
入力できる。このように使用者の習熟度に応じて必要な
メニューの内容が変わるので、習熟度に応じてメニュー
の表示方法を変更する仕組が効果的である。If the user is sufficiently familiar with the operation and can store the correspondence between the tactile stimulus applied to the finger and the characters or commands to be input, the data can be input by relying only on the tactile stimulus without displaying a menu. As described above, the contents of the necessary menu change according to the user's skill level, so that a mechanism for changing the menu display method according to the skill level is effective.

【００２６】通常では、指先の上下運動と移動を干渉せ
ずに実行することは難しい。すなわち指先を上下運動す
る最中に知らぬ間に指先が移動して誤入力が生じる場合
がある。しかしながら、触覚刺激を導入し、指先位置が
同一区域に含まれている限り触覚刺激が一定に保たれ、
指先位置が異なる区域に移行するときには触覚刺激が必
ず変わるようにすると、触覚刺激を通じて指先の不測の
移動を確認できる。使用者は指先の上下運動の間に触覚
刺激が一定に保たれるように注意することで上下運動の
間に指先が不測に移動することを防ぎ、誤入力を防止で
きる。Normally, it is difficult to execute the vertical movement and movement of the fingertip without interference. That is, while the fingertip is moving up and down, the fingertip may move unintentionally and an erroneous input may occur. However, tactile stimuli were introduced, and as long as the fingertip position was included in the same area, the tactile stimuli were kept constant,
If the tactile stimulus always changes when the fingertip position is shifted to a different area, unexpected movement of the fingertip can be confirmed through the tactile stimulus. By taking care that the tactile stimulus is kept constant during the vertical movement of the fingertip, the user can prevent the fingertip from unexpectedly moving during the vertical movement and prevent erroneous input.

【００２７】指先は触覚刺激を受ける都合上、装置に長
時間接触し続けることになる。指先を一度装置から離す
と再び置く時に指先が規定位置に来ることを確認するた
め視線を指先に向けなければならない。このような視線
の移動によって作業が中断しデータ入力の能率が低下す
ることを防ぐためにも指先は常時装置に接触しているこ
とが望ましい。しかしながら指先と装置が密着し通気性
が悪いと指先の皮膚は汗をかいて不快となり、装置にも
悪影響を与える。そこで通気性を確保するため、密着部
に多孔性の素材や布地を用いることが有効である。Since the fingertip receives the tactile stimulus, the fingertip keeps in contact with the device for a long time. Once the fingertip is released from the device, the gaze must be pointed at the fingertip to ensure that the fingertip is in the defined position when repositioning. It is desirable that the fingertip is always in contact with the device in order to prevent the work from being interrupted by such a movement of the line of sight and the efficiency of data input from being reduced. However, if the fingertip and the device are in close contact with each other and the air permeability is poor, the skin on the fingertip becomes sweaty and uncomfortable, which adversely affects the device. Therefore, in order to ensure air permeability, it is effective to use a porous material or cloth for the contact portion.

【００２８】なお指先位置と指先の上下運動を視覚的に
確認できるように画面上のカーソルの色や形状を指先位
置と指先の上下運動の検出結果に基づき変化させること
もできる。こうすると触覚刺激を使わなくとも視線をカ
ーソル位置に向けたまま指先の運動を把握できる。ある
いは触覚刺激のみでは指先位置を特定するための情報が
不十分である場合には、この不足を補うように視覚的な
手掛かりを画面に表示することで指先位置を特定できる
ようにしても良い。ただし視覚的手掛かりにより指先位
置を逐一確認していては高速にデータ入力することはで
きない。ストローク運動を中断することなく連続的に遂
行しながら指先位置を把握するためには触覚的手掛かり
を導入することが不可欠である。The color and shape of the cursor on the screen can be changed based on the detection result of the fingertip position and the vertical movement of the fingertip so that the fingertip position and the vertical movement of the fingertip can be visually confirmed. In this way, it is possible to grasp the movement of the fingertip while keeping the line of sight at the cursor position without using tactile stimulation. Alternatively, when the information for specifying the fingertip position is insufficient with only the tactile stimulus, the fingertip position may be specified by displaying a visual clue on the screen so as to compensate for the lack. However, data cannot be input at high speed if the fingertip position is confirmed one by one with visual cues. It is indispensable to introduce a tactile cue to grasp the fingertip position while continuously performing the stroke motion without interruption.

【００２９】ひらがなを入力する場合には、ひらがなを
子音と母音の組み合わせとしてローマ字表記し、子音の
種別を指先を下げる時点の指先位置に基づき決定し、母
音の種別を指先を上げる時点の指先位置に基づき決定す
るようにすると、母音の配置が子音によらず共通に定ま
るので、入力規則を記憶しやすい。英語の場合には子音
が連続し、母音も二重母音となる場合があるが、それで
も子音の後に母音が続く確率は高い。したがって子音と
母音の組やより一般的に頻度の高い音韻の組である音節
（シラブル）を指先の一度のストローク運動で入力でき
るようにすれば、英語入力の能率も向上する。一般に継
続する確率の高い二つの文字や指令あるいは分類をそれ
ぞれ指先を下げる位置と上げる位置に対応付けて一度の
ストローク運動で一括して入力できるようにすることが
有効である。When inputting a hiragana, the hiragana is written in Roman characters as a combination of a consonant and a vowel, the type of the consonant is determined based on the fingertip position when the fingertip is lowered, and the type of the vowel is determined when the fingertip is raised. , The arrangement of vowels is determined in common regardless of consonants, so that input rules can be easily stored. In English, consonants are continuous, and vowels may be diphthongs. However, there is still a high probability that a vowel follows a consonant. Therefore, if a set of consonants and vowels or a syllable, which is a group of phonemes more frequently, can be input by a single stroke motion of the fingertip, the efficiency of English input can be improved. In general, it is effective that two characters, commands or classifications having a high probability of being continued can be collectively input by one stroke movement in association with a position where the fingertip is lowered and a position where the fingertip is raised.

【００３０】アルファベットや記号、指令に関しては視
覚上または聴覚上あるいは機能上の類似性に基づきグル
ープ分けし、指先を下げる時点に指先が位置する区域に
基づきグループを選択し、指先を下げたまま移動した後
で指先を上げる時点に指先が位置する区域に基づき、グ
ループ内のアルファベットや記号、指令の一つを選択す
るようにしてもよい。The alphabets, symbols, and commands are grouped based on visual, auditory, or functional similarity. When the fingertip is lowered, the group is selected based on the area where the fingertip is located, and the fingertip is moved with the fingertip lowered. After that, one of the alphabets, symbols, and commands in the group may be selected based on the area where the fingertip is located when the fingertip is raised.

【００３１】インターネットのリンク先などは表示画像
中に埋め込まれ、アンダーラインや異なる色によって示
される場合が多いが、指先移動範囲に配置される区域の
位置関係と幾何学的に相似した位置関係を持つようにリ
ンク先を画面上に配置するようにして、指先が位置する
区域に対応するリンク先をハイライト表示して指先の上
下運動で選択できるようにするとリンク先を選択する作
業も分かり易くなる。The link destination of the Internet is embedded in the display image and is often indicated by an underline or a different color. However, a positional relationship geometrically similar to the positional relationship of the area arranged in the fingertip movement range is described. By arranging the link destination on the screen so that it has, highlighting the link destination corresponding to the area where the fingertip is located so that it can be selected by moving the fingertip up and down, the task of selecting the link destination is also easy to understand Become.

【００３２】指先移動範囲に導入される区域の一つ（例
えば中央区域）にポインティングモードへ移行する機能
を割り当て、この区域に指先を移動して指先を下げたと
きにポインティングモードに移行するように装置を構成
することもできる。ポインティングモードに移行した
後、指先を下げたまま動かすと指先の動きや位置を詳細
に計測するセンサーが働き、指先の動きに連動してカー
ソルを表示画面上で動かして任意地点をポインティング
できるようにする。また人差し指で押すキー（人差し指
シフトキー）や中指で押すキー（中指シフトキー）を設
置して、ポインティングモードでは人差し指シフトキー
あるいは中指シフトキーがマウス左ボタンあるいはマウ
ス右ボタンと互換の機能を果たすようにする。マウスの
ようにキーボードと別個のポインティング装置を用いる
と、文字入力とポインティングの作業切り替え時に装置
の持ち替えに手間取るため作業能率が落ちるが、上述し
た方式でポインティングモードへ切り替わるようにする
と、同じ指で同じ装置を操作しながら選択する区域の違
いに基づき文字入力とポインティングを切り替えるた
め、文字入力の作業とポインティングの作業を円滑に接
続することができる。A function for shifting to the pointing mode is assigned to one of the areas (for example, the center area) introduced into the fingertip movement range, and the mode is shifted to the pointing mode when the fingertip is moved to this area and the fingertip is lowered. The device can also be configured. After moving to the pointing mode, if you move your finger while keeping it down, a sensor that measures the movement and position of the fingertip in detail works, so that the cursor can be moved on the display screen in conjunction with the movement of the fingertip and you can point to any point I do. In addition, a key to be pressed with the index finger (index finger shift key) and a key to be pressed with the middle finger (middle finger shift key) are provided so that the pointing finger shift key or the middle finger shift key has a function compatible with the left mouse button or the right mouse button in the pointing mode. Using a keyboard and a separate pointing device, such as a mouse, reduces the work efficiency because it takes time to switch the device when switching between character input and pointing work.However, when switching to the pointing mode using the method described above, the same finger can be used. Since the character input and the pointing are switched based on the difference in the area to be selected while operating the device, the character input operation and the pointing operation can be smoothly connected.

【００３３】なおポインティングモードでは、従来通り
画面表示内容を固定して画面内のカーソルを動かしてポ
インティングする方式（カーソル移動方式）と、カーソ
ルを画面中央に固定して画面表示内容を動かす方式（照
準窓移動方式）の２種の方式を使い分けることができ
る。In the pointing mode, a method of moving the cursor in the screen to perform pointing (cursor moving method) while fixing the contents of the screen display as in the past, and a method of moving the screen display contents by fixing the cursor at the center of the screen (aiming) Window moving method).

【００３４】照準窓移動方式は大画面の端末向けにデザ
インされた大きな画像を画面の小さな携帯端末で利用す
る目的に適したスクロール兼ポインティング方式であ
る。この方式では小さな画面をあたかも覗き窓あるいは
照準窓のように用いてスクロールとポインティングを同
時に行う。携帯端末の小さな画面を大画面を覗く窓のよ
うに用いて、この窓を動かしながら（スクロールしなが
ら）大画面全体の内容を把握し、同時に窓中央部の定位
置に設けられた照準を窓と共に移動して目標位置に合わ
せてポインティングするものである。通常のポインティ
ング方式（カーソル移動方式）では固定した窓の中でカ
ーソルを動かして目標位置に合わせるが、照準窓移動方
式ではカーソルの働きをする照準位置は窓に対して常に
定位置にあり、窓そのものが動いて照準位置を窓と共に
動かしてポインティングする。こうするとポインティン
グとスクロールを同一操作で実行できるため、大画面用
にデザインされた表示内容を画面の小さな携帯端末で閲
覧することが容易になる。The aiming window moving method is a scroll / pointing method suitable for the purpose of using a large image designed for a terminal having a large screen on a portable terminal having a small screen. In this method, scrolling and pointing are performed simultaneously using a small screen as if it were a viewing window or an aiming window. Using the small screen of the mobile terminal as a window looking into the large screen, moving (scrolling) this window to grasp the contents of the entire large screen, and at the same time, aiming at the fixed position at the center of the window Together with the camera to perform pointing in accordance with the target position. In the ordinary pointing method (cursor movement method), the cursor is moved in a fixed window to adjust to the target position. In the aiming window movement method, the aiming position acting as the cursor is always at a fixed position with respect to the window. It moves and moves the aiming position with the window to point. In this way, pointing and scrolling can be performed by the same operation, so that it is easy to browse display contents designed for a large screen on a mobile terminal with a small screen.

【００３５】ただし照準窓移動方式では窓を動かす度に
表示情報を更新しなければならないため、大きな通信容
量と高速なメモリ、そして高速な画像処理機能が必要に
なる。そこで将来必要となるデータを予測して予めメモ
リにロードしておくようにすると、通信や計算の負荷が
一時点に集中することを防止し、負荷を時間的に分散し
て通信路とプロセッサの能力を無駄なく活用できる。However, in the aiming window moving method, since the display information must be updated every time the window is moved, a large communication capacity, a high-speed memory, and a high-speed image processing function are required. Therefore, by predicting the data required in the future and loading it in memory in advance, it is possible to prevent the load of communication and calculation from being concentrated at a single point in time, disperse the load over time, and We can utilize ability without waste.

【００３６】以後、指先移動範囲に指先位置を識別する
ための区域を３行３列に配置する場合を例として装置の
具体的構成を示すが、３行３列の配列でなくとも区域の
多くが隣接しあうように２次元的に配置すれば他の配置
形式でも構わない。指先を下げる時点と指先を上げる時
点の各々において３行３列の区域の一つを指定できるか
ら、両者を組み合わせて合計８１種の情報を表現でき
る。Hereinafter, a specific configuration of the apparatus will be described by exemplifying a case in which areas for identifying fingertip positions are arranged in the fingertip movement range in three rows and three columns. May be arranged in another way as long as they are two-dimensionally arranged so that they are adjacent to each other. Since one of the areas of three rows and three columns can be designated at each of the time when the fingertip is lowered and the time when the fingertip is raised, a total of 81 types of information can be expressed by combining the two.

【００３７】メニューの表示方法としては、まずメイン
メニューにおいてサブメニューの内容を表す名称やアイ
コン（絵文字）を上位項目として３行３列に配列して表
示し、このメインメニューから指先を下げる時点の指先
位置に基づき上位項目を選び、選んだ上位項目に関連付
けられたサブメニューの下位項目を３行３列に配列して
メインメニューに代えて表示し、次に指先を上げる時点
の指先位置に基づきこのサブメニューから下位項目の一
つを選択する方式がある。この方式を逐次メニュー方式
と呼ぶことにする。またこれと異なるメニュー表示方式
として、各々が３行３列の下位項目を持つサブメニュー
そのものを上位項目として３行３列に並べて、全体とし
て下位項目を９行９列に配列して一括して表示する方式
がある。この方式を一括メニュー方式と呼ぶことにす
る。一括メニュー方式でも３行３列の項目が配列したサ
ブメニュー部分を一つの大きなアイコンとみなすと、こ
のアイコンを上位項目として３行３列に並べたものが全
体のメニューになっていると解釈できる。このとき全体
のメニューがメインメニューであり、サブメニューはメ
インメニューの中に入れ子式に組み入れられ、メインメ
ニューと同時に表示されていることになる。As a method of displaying the menu, first, names and icons (pictograms) representing the contents of the submenu in the main menu are arranged and displayed as upper items in three rows and three columns, and when the fingertip is lowered from the main menu. The upper item is selected based on the fingertip position, the lower items of the submenu associated with the selected upper item are arranged in three rows and three columns, and displayed instead of the main menu, and based on the fingertip position when the fingertip is next raised. There is a method of selecting one of the lower items from this submenu. This method will be referred to as a sequential menu method. As a different menu display method, the submenus each having lower items of 3 rows and 3 columns are arranged in 3 rows and 3 columns as upper items, and the lower items are arranged in 9 rows and 9 columns as a whole and collectively. There is a display method. This method is called a collective menu method. Even in the collective menu method, if a submenu portion in which items of 3 rows and 3 columns are arranged is regarded as one large icon, it can be interpreted that the icons arranged in 3 rows and 3 columns as upper items are the entire menu. . At this time, the entire menu is the main menu, and the submenus are nested in the main menu and are displayed simultaneously with the main menu.

【００３８】逐次メニュー方式では、メニューはメイン
メニューとサブメニューを逐次的に切り替えて表示す
る。いずれのメニューも３行３列の項目から成るので画
面内にメニューが占める面積は常時小さくて済む。した
がって携帯機器の小型の画面にメニューを表示するのに
適する。メインメニューとサブメニューの大きさは変わ
らないから色等を変えて両者を区別できるようにすると
良い。In the sequential menu system, a menu is displayed by sequentially switching between a main menu and a submenu. Since each menu is composed of items in 3 rows and 3 columns, the area occupied by the menus on the screen can always be small. Therefore, it is suitable for displaying a menu on a small screen of a portable device. Since the size of the main menu and the submenu does not change, it is preferable to change the color or the like so that the two can be distinguished.

【００３９】一括メニュー方式では９行９列の下位項目
を一括して表示しているが、その中で各サブメニューに
該当する３行３列の下位項目を含む各区画を一つの大き
なアイコンとみなし、これを一つの上位項目と考えるこ
とができる。メインメニューにおいては、この大きなア
イコン（３行３列の下位項目を表示している区画）が３
行３列に配列しているが、指先位置によって指示される
区画を色を変えたり、枠で囲んだりして他の区画と区別
して（ハイライト化して）表示する。ハイライト化され
る区画は指先を上げた状態で指先を動かすと指先の動き
に連動して他の区画へと変わる。そして指先を下げる時
点にハイライト化している区画がサブメニューとして選
択される。In the collective menu method, lower-order items of 9 rows and 9 columns are displayed collectively, and each section including the lower-order items of 3 rows and 3 columns corresponding to each submenu is represented by one large icon. Regardless, this can be considered as one high-level item. In the main menu, this large icon (the section displaying lower-level items in 3 rows and 3 columns) is 3
Although arranged in three rows and three columns, the section designated by the fingertip position is displayed in a different color or surrounded by a frame so as to be distinguished (highlighted) from other sections. When the fingertip is moved with the fingertip raised, the section to be highlighted changes to another section in conjunction with the movement of the fingertip. Then, the section highlighted at the time when the fingertip is lowered is selected as a submenu.

【００４０】指先を下げてサブメニューを選択した後で
指先を下げたまま移動すると、今度は選択したサブメニ
ューの３行３列の下位項目の中で、指先位置によって指
示される下位項目がハイライト化して表示される。この
ハイライト化される下位項目は指先を下げたまま移動す
るときに指先の動きに連動してサブメニューの３行３列
の下位項目の中で他の下位項目へと変わり、指先を上げ
る時点にハイライト化している下位項目がサブメニュー
の中で選択されて入力することになる。一括メニュー方
式では、特定のサブメニュー内の下位項目を選択する際
にも他のサブメニュー内の下位項目を併せて表示し、入
力できる全ての情報を常時一覧表示できるので初心者に
分かりやすい。When the fingertip is moved down with the fingertip lowered after lowering the fingertip to select the submenu, the lower item indicated by the fingertip position among the lower row items in the 3rd row and 3rd column of the selected submenu is high. Lighted and displayed. When the lower item to be highlighted is moved while keeping the fingertip down, the lower item changes to another lower item in the 3rd row and 3rd column of the submenu in conjunction with the movement of the fingertip, and the time when the fingertip is raised Will be selected and entered in the submenu. In the collective menu method, even when a sub-item in a specific sub-menu is selected, sub-items in other sub-menus are displayed together, and all information that can be input is always displayed as a list, so that it is easy for a beginner to understand.

【００４１】以上のメニューに関しては、操作内容に応
じて適宜メニューを表示、消去することで、携帯機器の
小さな画面を本来の内容の表示に最大限利用できる。例
えば、指を動かしたとき、止めたとき、特定のメニュー
項目を選択したとき、あるいは特定のボタンを押したと
きに、必要となるメニューが現れ、あるいは不必要とな
るメニューが消失するようにする。またはしばらく操作
しないとメニューが消えるようにしても良い。中央区域
をポインティングモードへの移行用に使用する場合、ポ
インティング時にメニューは邪魔になるだけであるの
で、指先を中央区域に置くときにはメニューを表示しな
いようにして、指先を周辺区域に移動したときにのみメ
ニューを表示するようにしても良い。メニューを表示す
る際には、作業位置（カーソル位置）の近辺にメニュー
をポップアップ表示すると、メニューの内容を見る際の
視点の移動を最小限に抑え、視点を常に作業位置近辺に
維持したまま入力作業を継続できる。カーソルが画面の
隅近くにあるときには、メニューが画面に収まるように
メニューの表示位置を変更するようにする。例えば、カ
ーソルが画面上隅、下隅、左隅、右隅にあるときには、
それぞれメニューをカーソルの下側、上側、右側、左側
に表示すると良い。With respect to the above menus, the small screen of the portable device can be used for displaying the original contents to the maximum by displaying and deleting the menus as appropriate according to the operation contents. For example, when a finger is moved, stopped, a specific menu item is selected, or a specific button is pressed, a required menu appears or an unnecessary menu disappears. . Alternatively, the menu may disappear if no operation is performed for a while. When using the center area for the transition to the pointing mode, the menu only gets in the way when pointing, so do not display the menu when placing the fingertip in the center area, and when moving the fingertip to the surrounding area Only the menu may be displayed. When displaying a menu, pop-up the menu near the work position (cursor position) to minimize the movement of the viewpoint when viewing the contents of the menu, and input while keeping the viewpoint always near the work position Work can be continued. When the cursor is near the corner of the screen, the display position of the menu is changed so that the menu fits on the screen. For example, when the cursor is at the top, bottom, left, or right corner of the screen,
It is preferable to display the menu below, above, right, and left of the cursor, respectively.

【００４２】以後、メインメニューにおいて指先位置に
応じて選択される区画をセクション、サブメニューにお
いて指先位置に応じて選択される区画をサブセクション
と呼ぶことにする。セクションは指先を下げる時点に選
択され、サブセクションは指先を上げる時点に選択され
る。逐次メニュー方式では、メインメニューもサブメニ
ューも３行３列の項目からなる。いずれのメニューでも
指先位置に指示される一つの項目が選択されるので、セ
クションもサブセクションも一つの項目のみを含む区画
となる。Hereinafter, the section selected according to the fingertip position in the main menu is referred to as a section, and the section selected according to the fingertip position in the submenu is referred to as a subsection. The section is selected when the fingertip is lowered, and the subsection is selected when the fingertip is raised. In the sequential menu method, both the main menu and the submenu are composed of three rows and three columns. In each menu, one item indicated at the fingertip position is selected, so that both the section and the subsection are sections containing only one item.

【００４３】一方、一括メニュー方式では、メインメニ
ューは３行３列の項目からなるサブメニューを３行３列
に配列したものであり、全体で９行９列の項目からな
る。メインメニューの９行９列の項目の中で各サブメニ
ューに相当する３行３列の項目を含む区画がセクション
となる。指先を上げたまま移動するときには、指先位置
に連動してハイライト表示されるセクションが変わり、
指先を下げる時点にハイライト表示されているセクショ
ンが選択される。セクション選択後に指先を下げたまま
移動するときには、選択したセクションに含まれる３行
３列の項目の範囲で指先位置に対応した項目がハイライ
ト表示される。最後に指先を上げる時点にハイライト表
示されている項目が選択される。したがってサブセクシ
ョンは一つの項目のみを含む区画である。On the other hand, in the collective menu method, the main menu is a sub-menu consisting of 3 rows and 3 columns, arranged in 3 rows and 3 columns, and has a total of 9 rows and 9 columns. A section including items of 3 rows and 3 columns corresponding to each submenu among items of 9 rows and 9 columns of the main menu is a section. When moving with your fingertips up, the highlighted section changes according to your fingertip position,
The section highlighted when the fingertip is lowered is selected. When moving with the fingertip lowered after the section is selected, the item corresponding to the fingertip position is highlighted in the range of the items of 3 rows and 3 columns included in the selected section. The item highlighted when the fingertip is finally lifted is selected. Thus, a subsection is a section that contains only one item.

【００４４】本発明のデータ入力装置では、このように
メニューを区分して区画を選んで行く作業、すなわちセ
クショニングがインターフェイスの基本になる。一方、
従来のグラフィカルインターフェイスでは、座標点を指
定する作業、すなわちポインティングがインターフェイ
スの基本であった。ポインティングは画面の中から一点
を指定する操作であり、操作を階層化することができな
い。一方、セクショニングでは最初の階層でセクション
を選択し、次の階層では選択したセクションの中のサブ
セクションを選択するというように操作を階層化でき
る。上述した例では、各セクションは３行３列のサブセ
クションを下位の階層に備え、９分木の構造をなす。In the data input device of the present invention, the operation of dividing the menu and selecting the section, that is, sectioning, is the basis of the interface. on the other hand,
In a conventional graphical interface, the operation of designating coordinate points, that is, pointing is the basis of the interface. Pointing is an operation for specifying a point on the screen, and the operation cannot be hierarchized. On the other hand, in sectioning, an operation can be hierarchized such that a section is selected in the first layer, and a subsection in the selected section is selected in the second layer. In the example described above, each section has a subsection of 3 rows and 3 columns at a lower level, and forms a 9-ary tree structure.

【００４５】指先の一度のストローク運動ではメニュー
の階層の２層下までしかアクセスできないが、ストロー
ク運動開始時点の基準層（ホームセクション）を変更で
きるようにすることで、任意の階層数を持つメニューを
扱うことができる。例えば最初のストローク運動で２層
下のメニューにアクセスし、アクセスしたサブセクショ
ンを新たにホームセクションとすれば、次のストローク
運動で更に２層下のメニューにアクセスできる。Although a single stroke movement of the fingertip can access only two layers below the menu layer, a menu having an arbitrary number of layers can be changed by changing the reference layer (home section) at the start of the stroke movement. Can be handled. For example, if the menu below the second layer is accessed by the first stroke motion and the accessed subsection is newly set as the home section, the menu below the next two layers can be accessed by the next stroke motion.

【００４６】本発明のデータ入力装置は上述したメニュ
ーに限らず一般に木構造を成す各種体系を取り扱うのに
適したインターフェイスを与える。そこでディレクトリ
体系やコマンド体系を９分木の構造に階層化し、指先の
一度のストローク運動で階層の２層下まで一度にアクセ
スできる利点を活用してファイル選択やコマンド入力を
能率良く実行できるオペーレーティング・システム（Ｏ
Ｓ）を構成できる。The data input device of the present invention provides an interface suitable for handling not only the above-mentioned menus but also various systems generally having a tree structure. Therefore, the directory system and the command system are hierarchized into a nine-part tree structure, and an operation that can efficiently execute file selection and command input by taking advantage of the advantage of being able to access two layers below the hierarchy at once with a single stroke motion of the fingertip. Rating system (O
S) can be configured.

【００４７】本発明のデータ入力装置及びグラフィカル
インターフェイス方式を各種家庭機器のコントローラと
して利用することもできる。特にテレビ、ビデオ、ゲー
ムなど使用者が通常画面に視線を向ける映像機器で画面
に表示されるメニューの項目をリモコンで選択する際に
有効である。従来のリモコンは多数のボタンの中から目
的のボタンを探して押すときに視点を画面から手元のリ
モコンに移す必要があり、視点の移動の度に映像の鑑賞
が妨げられることになったが、本発明のデータ入力装置
及びグラフィカルインターフェイス方式では最初に指先
を規定位置に置けば、その指先のストローク運動だけで
多様な指令を入力できるので、画面に視線を向けたまま
指位置を把握して目的の指令を入力できる。従来にもメ
ニュー方式のリモコンがあったが、ボタンを選ぶために
操作中に度々手元に視点を向ける必要があり、またメニ
ューの項目を選択する際に視覚と行動のタイミングのず
れによって誤った項目を選択してしまうことがあった。
触覚刺激を通じて指位置を確認できるようにして、触覚
刺激の変化と選択項目の変化を連動させれば、触覚刺激
を通じて確実に選択項目を把握して誤操作を低減でき
る。The data input device and the graphical interface system of the present invention can be used as controllers for various home appliances. In particular, this is effective when a user selects a menu item displayed on a screen with a remote controller in a video device such as a television, a video, a game, etc., in which the user looks directly at the screen. The conventional remote control had to shift the viewpoint from the screen to the remote control at hand when searching for and pressing the desired button from among many buttons, which prevented viewing the image every time the viewpoint moved. In the data input device and the graphical interface method of the present invention, if the fingertip is first placed at a predetermined position, various commands can be input only by the stroke motion of the fingertip. Command can be input. In the past, there was a menu-type remote control, but it was necessary to frequently turn the viewpoint during operation to select a button, and when selecting a menu item, the wrong item due to the difference between the visual and action timings Was sometimes selected.
If the finger position can be confirmed through the tactile stimulus and the change in the tactile stimulus and the change in the selection item are linked, the selection item can be surely grasped through the tactile stimulus and erroneous operations can be reduced.

【００４８】以上に述べてきた方式では、指先を実際に
移動しなくとも指先が移動しようとする力を感圧センサ
ーで検出し、検出した圧力に連動してハイライト表示さ
れるセクションやサブセクションを変更する方式も考え
られる。さらに指先から加えられる圧力に応じて指に加
える触覚刺激を変化させれば、選択されている項目を触
覚刺激によって確認することができる。しかしながら、
こうした感圧方式の操作性は実際に指を移動する方式に
比べて劣る。また触覚刺激を変化させる場合にはその駆
動源としてモータやソレノイドなどを用いる必要があ
り、装置のコストが高くなる。指先を実際に移動する方
式では、こうした駆動源を導入しなくとも指先の移動運
動そのものを駆動源として直接的に利用して触覚刺激を
変えたり、移動先で新しい触覚刺激を受けたりできるた
め、装置のコストを低く抑えることができる。In the method described above, the force of the fingertip moving without actually moving the fingertip is detected by the pressure sensor, and the section or subsection highlighted and displayed in conjunction with the detected pressure. May be changed. Further, by changing the tactile stimulus applied to the finger according to the pressure applied from the fingertip, the selected item can be confirmed by the tactile stimulus. However,
The operability of such a pressure-sensitive method is inferior to the method of actually moving a finger. Further, when changing the tactile stimulus, it is necessary to use a motor, a solenoid, or the like as a driving source, which increases the cost of the apparatus. In the method of actually moving the fingertip, the tactile stimulus can be changed by directly using the movement of the fingertip itself as a drive source without introducing such a drive source, or a new tactile stimulus can be received at the destination, The cost of the device can be kept low.

【００４９】図１には本発明のデータ入力装置で指先を
下げて移動して上げる運動（ストローク運動）を識別す
る仕組の一例を示す。指先は図１（ａ）の１の矢印の方
向に上下運動し、２の矢印の方向に移動する。指先の下
には４つのシーソ状機構を設置する。各シーソ状機構は
回転軸６を支点としてアーム３が力を受ける側に倒れ
る。FIG. 1 shows an example of a mechanism for identifying a motion (stroke motion) of moving down and moving up a fingertip with the data input device of the present invention. The fingertip moves up and down in the direction of the arrow 1 in FIG. 1A and moves in the direction of the arrow 2. Four seesaw-like mechanisms are installed under the fingertip. Each of the seesaw mechanisms falls on the side where the arm 3 receives force with the rotation shaft 6 as a fulcrum.

【００５０】図１（ｂ）（ｃ）（ｄ）の破線７は４つの
アームの板４の間に張られた伸縮性のあるシートを意味
する。このシート７の材質としては例えばストッキング
の布地を用いると良い。指先はシート７に接し、シート
７と共に移動する。シート７は指先と板４や球状部５の
間に介在して板４や球状部５の上を滑り、指先が板や球
状部の上を円滑に移動することを助ける。シート７は着
脱可能とし、古くなり磨耗したときに交換できるように
する。A broken line 7 in FIGS. 1B, 1C and 1D means an elastic sheet stretched between the plates 4 of the four arms. As the material of the sheet 7, for example, a stocking cloth may be used. The fingertip contacts the sheet 7 and moves with the sheet 7. The sheet 7 intervenes between the fingertip and the plate 4 or the spherical portion 5 and slides on the plate 4 or the spherical portion 5 to assist the fingertip to move smoothly on the plate or the spherical portion. The seat 7 is removable so that it can be replaced when it becomes old and worn.

【００５１】アーム３の一方の側には板４が付いていて
この板に指先がぶつかり、回転軸６をシーソの支点とし
てアーム３を外側に倒すと球状部５が立ち上がり指先の
腹を刺激する。この様子を横から見た図を図２に示す。A plate 4 is attached to one side of the arm 3 and a fingertip collides with the plate. When the arm 3 is tilted outward with the rotating shaft 6 as a fulcrum of the seesaw, the spherical portion 5 rises and stimulates the belly of the fingertip. . FIG. 2 is a diagram showing this state viewed from the side.

【００５２】図２の左側には指先を移動するときに、ア
ームが倒れ球状部５が指の腹を刺激する様子を指先の４
つの位置について示す。図２（ｂ）では指先がシート中
央部に位置しており、シートに下向きに力を加えてい
る。このときシーソは内側に倒れ球状部は下に引っ込
み、指を刺激しない。なお図２（ａ）（ｂ）（ｃ）
（ｄ）では特に指先の下降を制限する張り出し部１７を
設けている。（ａ）では球状部は中途まで上がってお
り、あと僅かで指を刺激するが、（ｂ）では球状部は張
り出し部１７の下に完全に収納されて指を刺激しない。
（ｃ）（ｄ）では指先を移動した側のシーソが外側に倒
れ、球状部が張り出し部１７の上に突出して指を刺激す
る。On the left side of FIG. 2, when the fingertip is moved, the state in which the arm falls down and the spherical portion 5 stimulates the belly of the finger is shown by the fingertip 4.
One position is shown. In FIG. 2B, the fingertip is located at the center of the sheet, and a downward force is applied to the sheet. At this time, the seesaw falls inward and the globular part retracts downward without stimulating the finger. 2 (a), 2 (b) and 2 (c)
In (d), an overhanging portion 17 for restricting the downward movement of the fingertip is provided. In (a), the spherical portion is raised halfway and stimulates the finger slightly, but in (b), the spherical portion is completely housed under the overhang 17 and does not stimulate the finger.
In (c) and (d), the seesaw on the side to which the fingertip has been moved falls outward, and the spherical portion projects above the overhanging portion 17 to stimulate the finger.

【００５３】図２の右側の（ｅ）（ｆ）（ｇ）はそれぞ
れ（ｂ）（ｃ）（ｄ）について上から見たときの指の位
置を破線の楕円１６で示している。張り出し部１７を上
から見ると×形状に張り出していることが分かる。指先
は図３で黒に塗りつぶした楕円１９で示す９通りの位置
で更に矢印の側に移動して板４を倒す。それぞれの位置
で指先を矢印の方向へ移動して板４を倒すと、４つの球
状部は指先位置に応じて異なる形態の刺激を指に加え、
使用者はこの刺激を手掛かりとして指先の位置を把握す
ることができる。また装置は４つのシーソの中で倒れて
いるものをスイッチＳＷ１、ＳＷ２、ＳＷ３、ＳＷ４に
より検出して指位置を識別する。In (e), (f), and (g) on the right side of FIG. 2, the positions of the fingers as viewed from above in (b), (c), and (d) are indicated by broken-line ellipses 16. When the overhanging portion 17 is viewed from above, it can be seen that the overhanging portion 17 is overhanging in a X shape. The fingertip moves further in the direction of the arrow at nine positions indicated by an ellipse 19 painted black in FIG. When the fingertip is moved at each position in the direction of the arrow and the plate 4 is tilted, the four spherical portions apply different forms of stimulation to the finger according to the fingertip position,
The user can grasp the position of the fingertip using the stimulus as a clue. In addition, the apparatus detects a falling one of the four seesaws by using the switches SW1, SW2, SW3, and SW4 to identify the finger position.

【００５４】シーソが倒れていることを検出するスイッ
チを図１（ｃ）に示す。ここでアーム３を矢印８に沿っ
て外側に倒すとスイッチ９がＯＮとなる。４つのシーソ
のそれぞれにスイッチ９がついているので図３の上図に
示すように各シーソのスイッチにＳＷ１、ＳＷ２、ＳＷ
３、ＳＷ４と名前を付けて区別することにする。そうす
ると図３の９個の指先位置のそれぞれにおいてスイッチ
のＯＮ、ＯＦＦの仕方が変わってくる。黒の楕円で示さ
れる区域に指先を移動し矢印の方向へ板４を押したとき
にＯＮとなるスイッチを図３の各図の下に示す。FIG. 1C shows a switch for detecting that the seesaw has fallen. Here, when the arm 3 is tilted outward along the arrow 8, the switch 9 is turned on. Since each of the four seesaws has a switch 9, SW1, SW2, and SW are connected to the switches of each seesaw as shown in the upper diagram of FIG.
3, and will be distinguished by giving a name to SW4. Then, the manner of turning on and off the switch changes at each of the nine fingertip positions in FIG. The switches that are turned on when the fingertip is moved to the area indicated by the black ellipse and the plate 4 is pressed in the direction of the arrow are shown below each figure in FIG.

【００５５】このように指先の移動範囲に９個の区域を
想定することができて、指先が位置する区域はＳＷ１、
ＳＷ２、ＳＷ３、ＳＷ４のＯＮ、ＯＦＦの状況によって
識別できる。さらに指先は図１（ａ）に示すように矢印
１に沿って上下運動する。この上下運動を図１（ｃ）の
スイッチ１２で検出する。スイッチ１２は指先が下がる
とＯＮとなり、上がるとＯＦＦになる。In this way, nine areas can be assumed in the moving range of the fingertip, and the area where the fingertip is located is SW1,
It can be identified by the ON / OFF status of SW2, SW3 and SW4. Further, the fingertip moves up and down along arrow 1 as shown in FIG. This vertical movement is detected by the switch 12 in FIG. The switch 12 is turned on when the fingertip is lowered, and is turned off when the fingertip is raised.

【００５６】本発明の趣旨からは親指先の上下運動を検
出すべきであるが、図１（ｄ）の構成ではスイッチ１２
は装置背後で親指と異なる指の指先の上下運動を検出す
る。親指先は静止していても装置背後の指先が上下運動
するときに親指先は装置背後の指先に対して相対的に上
下運動しているとみなすことができる。図１（ｄ）の構
成ではスイッチ１２はこのような親指先の相対的上下運
動を検出する。Although the vertical movement of the thumb tip should be detected for the purpose of the present invention, in the configuration of FIG.
Detects the vertical movement of the fingertip behind the device, different from the thumb. Even when the thumb tip is stationary, when the fingertip behind the device moves up and down, it can be considered that the thumb tip is moving up and down relatively to the fingertip behind the device. In the configuration shown in FIG. 1D, the switch 12 detects such a relative vertical movement of the tip of the thumb.

【００５７】図１（ｃ）の１３、１４はそれぞれ光学方
式ポインティング装置の受光素子と光源である。図２の
張り出し部１７を設ける場合には張り出し部上部に受光
素子と光源を埋め込んで設置すると良い。シート７の裏
面には格子模様が描かれており、ポインティングを行う
モードが選ばれると、受光素子と光源が働き、指先と一
緒に移動するシート裏面の格子模様の動きを検出する。
ここで検出された格子模様の動きに連動して画面中のカ
ーソルが移動し、ポインティングが行われる。Reference numerals 13 and 14 in FIG. 1C denote a light receiving element and a light source of the optical pointing device, respectively. In the case where the overhang portion 17 shown in FIG. 2 is provided, it is preferable that the light receiving element and the light source be buried above the overhang portion. A lattice pattern is drawn on the back surface of the sheet 7, and when the pointing mode is selected, the light receiving element and the light source operate to detect the movement of the lattice pattern on the back surface of the sheet that moves together with the fingertip.
The cursor on the screen moves in conjunction with the movement of the lattice pattern detected here, and pointing is performed.

【００５８】図４には指先位置に応じて異なる触覚刺激
を指に加える仕組を示す。指先を乗せる台２１に乗って
指先は円滑に移動する。指先を刺激する突出部２０の突
出の度合いが指先位置に応じて変わるように構成されて
いる。２３はジョイント接合における球状接合部であ
り、その受け部２４に保持されながら自在に角度を変え
る。２２はジョイント接合の回転軸である。２５は回転
軸２２を中心として回転する突出部２０の底を支持する
枠の断面である。この枠に支持されている間、突出部２
０は指を刺激し続けるが、指先と共に台２１が移動して
突出部２０の底が指示枠２５から外れたときに突出部２
０は回転軸２２を中心に回転して引っ込み、指を刺激し
なくなる。FIG. 4 shows a mechanism for applying different tactile stimuli to the finger according to the fingertip position. The fingertip moves smoothly on the platform 21 on which the fingertip rests. The degree of protrusion of the protrusion 20 for stimulating the fingertip is configured to change according to the fingertip position. Numeral 23 denotes a spherical joint portion in the joint joining, and the angle is freely changed while being held by the receiving portion 24. Reference numeral 22 denotes a rotation axis of the joint. Reference numeral 25 denotes a cross section of the frame that supports the bottom of the protrusion 20 that rotates about the rotation shaft 22. While being supported by this frame, the protrusion 2
0 continuously stimulates the finger, but when the base 21 moves with the fingertip and the bottom of the protrusion 20 comes off the pointing frame 25, the protrusion 2
0 rotates around the rotation shaft 22 and retracts, and the finger is not stimulated.

【００５９】図５にも指先位置に応じて異なる触覚刺激
を指に加える仕組を示す。ここでは球状ジョイントの代
わりにスライド台１８や回転台２６を用いて指先を置く
台２１が円滑に移動するように工夫している。指先を置
く台が上下運動、水平移動した後で標準位置に復帰する
ようにバネ２７を用いている。２８は上下運動のガイド
部である。いずれの仕組においても突起の一端が台にぶ
つかると他端が押し出されて指を刺激する。FIG. 5 also shows a mechanism for applying different tactile stimuli to the finger according to the fingertip position. Here, the slide table 18 or the rotary table 26 is used instead of the spherical joint, and the table 21 on which the fingertip is placed is designed to move smoothly. The spring 27 is used so that the base on which the fingertip is placed moves vertically and horizontally, and then returns to the standard position. Numeral 28 is a guide part for vertical movement. In either mechanism, when one end of the projection hits the table, the other end is pushed out and stimulates the finger.

【００６０】図１５にも指先位置に応じて異なる触覚刺
激を指に加える仕組の構成例を示す。４つのスティック
４６が指４７の両側面の異なる位置を刺激するように設
けられている。（ａ）には指の一方の側面を２本のステ
ィックが動いて刺激する様子を示す。（ｂ）は指先の側
から見た装置の断面でスティック４６の一方の端は指先
５１を囲む壁５０に設けられた穴４９を通過して指５１
の側面を刺激する。スティック４９の反対端には皿４８
がついており、指先を動かし皿４８が外壁５２にぶつか
ると、その反動で外壁５２に押されるスティックの反対
端が指の側面を刺激するように突き出す様子を（ｃ）に
示す。（ｃ）は装置を上から見た図で楕円形の壁５０の
内側に指先を入れて指先と共に壁５０を移動する。各図
には指先の各位置について４つのスティックが指先を楕
円状に囲む壁５０から指側に突き出る様子を示す。FIG. 15 also shows a configuration example of a mechanism for applying different tactile stimuli to the finger according to the fingertip position. Four sticks 46 are provided to stimulate different positions on both sides of the finger 47. (A) shows how two sticks move and stimulate one side of a finger. (B) is a cross section of the device as viewed from the fingertip side, and one end of the stick 46 passes through a hole 49 provided in a wall 50 surrounding the fingertip 51 and the finger 51.
Stimulate the sides. At the other end of the stick 49 is a plate 48
(C) shows that when the fingertip is moved and the plate 48 hits the outer wall 52, the opposite end of the stick pushed by the outer wall 52 by the recoil protrudes to stimulate the side surface of the finger. (C) is a view of the apparatus viewed from above, in which a fingertip is put inside the elliptical wall 50 and the wall 50 is moved together with the fingertip. Each figure shows a state in which four sticks protrude toward the finger side from the wall 50 surrounding the fingertip in an elliptical shape at each position of the fingertip.

【００６１】以上の各種方式の中で図１５の方式は触覚
刺激が指先の移動方向と平行な方向に加わるため、触覚
刺激の反作用と指先の上下運動が直交して干渉しない。
そのため指先の移動と上下運動の独立性が高まり誤入力
を生じにくくなる。しかしながら触覚刺激の識別しやす
さに関しては図１の方式が優れている。Among the various methods described above, in the method shown in FIG. 15, since the tactile stimulus is applied in a direction parallel to the moving direction of the fingertip, the reaction of the tactile stimulus and the vertical movement of the fingertip do not intersect at right angles.
For this reason, the independence between the movement of the fingertip and the up-and-down movement is enhanced, and erroneous input is less likely to occur. However, the method shown in FIG.

【００６２】以上の各図に示す仕組以外にも指に触覚刺
激を与える方式は各種考えられる。簡易な方式として
は、例えば、指先接触部にボールやボール状突起を複数
個設けて、ボール自体の回転やボール状突起と指の間に
介在する柔軟性と低摩擦性を備えたシートによって、指
先がボールやボール状突起の上を円滑に移動しながらボ
ールやボール状突起の凹凸を把握し、凹凸位置に対応す
るように画面上に配置されたメニューの項目を凹凸の触
覚情報を手掛かりに選択する方式がある。ボール状突起
を２行２列に配列すると９個の区域を凹凸パターンの相
違によって識別できる。したがって２行２列に配列した
ボール状突起の上で指先をストローク運動すると区域数
の２乗すなわち８１通りの種別の情報を入力できる。In addition to the mechanisms shown in each of the above figures, various methods for applying a tactile stimulus to a finger can be considered. As a simple method, for example, by providing a plurality of balls or ball-shaped protrusions at the fingertip contact portion, by rotation of the ball itself or a sheet with flexibility and low friction interposed between the ball-shaped protrusions and fingers, The fingertip moves smoothly on the ball or ball-shaped protrusion while grasping the unevenness of the ball or ball-shaped protrusion, and the menu items arranged on the screen corresponding to the unevenness position are used as clues of the tactile information of the unevenness There is a method to choose. When the ball-shaped protrusions are arranged in two rows and two columns, nine areas can be identified by the difference in the concavo-convex pattern. Therefore, when the fingertip makes a stroke motion on the ball-shaped projections arranged in two rows and two columns, the square of the number of areas, that is, 81 types of information can be input.

【００６３】図６には携帯電話を兼ねる携帯端末の構成
例を示す。（ａ）は前面から見た図で表示画面２９、図
１に与えた本発明のデータ入力装置３０、グリップ部３
２、マイク３３、イヤフォン３４から成る。グリップ部
は（ｄ）に示すように折り畳むことができ、矢印３７、
３８のいずれの方向にも回転することができる。グリッ
プを右手で保持して使用する場合には３８の方向へ回転
し、左手で保持して使用する場合には３７の方向へ回転
して使用する。FIG. 6 shows a configuration example of a portable terminal which also serves as a portable telephone. (A) is a view seen from the front, a display screen 29, the data input device 30 of the present invention given in FIG.
2, the microphone 33 and the earphone 34. The grip part can be folded as shown in FIG.
38 can rotate in either direction. When the grip is used by holding it with the right hand, it rotates in the direction of 38, and when it is used by holding it in the left hand, it rotates in the direction of 37.

【００６４】電話機として使用する場合には（ａ）のよ
うにグリップを「く」の字型に開き、ディスプレイ部の
側面に設けられたイヤフォン３４を耳に、グリップ部の
側面に設けられたマイク３３を口に当てる。グリップを
右手で保持する場合と左手で保持する場合とではグリッ
プを逆方向に回転して「く」の字型にして使用するた
め、口と耳に当たる装置の側面が変わってくる。そこで
マイク３３とイヤフォン３４をそれぞれディスプレイ部
とグリップ部の、両側面に設置し、いずれの手で保持し
てもマイクとイヤフォンが口と耳に当たるようにしてい
る。When used as a telephone, the grip is opened in a "-" shape as shown in (a), the earphone 34 provided on the side of the display unit is used as an ear, and the microphone provided on the side surface of the grip unit. Put 33 on your mouth. When the grip is held with the right hand and when held with the left hand, the grip is rotated in the opposite direction and used in the shape of a "ku", so that the side of the device that hits the mouth and ears changes. Therefore, the microphone 33 and the earphone 34 are installed on both sides of the display unit and the grip unit, respectively, so that the microphone and the earphone hit the mouth and the ears regardless of which hand is held.

【００６５】（ｂ）に（ａ）を側方から見た図、（ｃ）
に裏から見た図を示す。人差し指シフトキー３５と中指
シフトキー３６はそれぞれ装置の裏側から人差し指と中
指で押すボタンである。これらのボタンは円筒状回転部
３１に設置され、円筒状回転部３１と共に矢印３９の方
向に回転し、ボタンが人差し指と中指で押しやすい位置
に来るように調整できる。(B) is a view of (a) viewed from the side, (c)
Shows a view from the back. The index finger shift key 35 and the middle finger shift key 36 are buttons pressed by the index finger and the middle finger from the back side of the apparatus, respectively. These buttons are installed on the cylindrical rotary unit 31 and rotate together with the cylindrical rotary unit 31 in the direction of the arrow 39 so that the buttons can be adjusted so that the buttons can be easily pressed by the index finger and the middle finger.

【００６６】携帯端末が携帯電話を兼ねる場合にはグリ
ップ部を保持しながら画面を横長に見やすく配置するデ
ザイン上の工夫が必要である。（ｅ）（ｆ）（ｇ）には
この要求を満たす別の構成例を示す。ディスプレイ部が
グリップ部に対して２軸の自由度で角度を変更できるよ
うに２つの回転軸ジョイントが用いられており、収納時
には（ｅ）のように折畳み，携帯電話として使用する時
に（ｆ）、携帯端末として使用する時に（ｇ）のように
ディスプレイ部を用途に応じて異なる角度に開いて使用
できる。In the case where the portable terminal also serves as a portable telephone, it is necessary to devise a design that arranges the screen in a horizontally long and easy-to-view manner while holding the grip portion. (E), (f), and (g) show other configuration examples that satisfy this requirement. Two rotating shaft joints are used so that the display unit can change the angle with respect to the grip unit with two degrees of freedom. When the unit is stored, it is folded as shown in (e), and when used as a mobile phone, (f). When used as a portable terminal, the display unit can be opened at different angles depending on the application as shown in FIG.

【００６７】図７、図９にそれぞれ一括メニュー方式と
逐次メニュー方式でメニューを表示した例を示す。それ
ぞれの図でストローク運動により指先位置が（ｂ）
（ｅ）（ｈ）のように変わるときにメニューの表示は
（ｃ）（ｆ）（ｉ）または（ｄ）（ｇ）（ｊ）のように
変化する。FIGS. 7 and 9 show examples in which menus are displayed by the collective menu method and the sequential menu method, respectively. In each figure, the position of the fingertip is (b)
When the menu changes as shown in (e) and (h), the menu display changes as shown in (c), (f), (i) or (d), (g), and (j).

【００６８】指先を上げた状態で（ｂ）の破線の楕円１
６の位置から（ｅ）の破線の楕円の位置Ｐ１まで移動
し、位置Ｐ１で指先を下げて、そのまま下げた状態で
（ｈ）の点線の楕円の位置Ｐ２まで移動して、位置Ｐ２
で指先を上げる。指先がこのようにストローク運動する
時に（ｃ）（ｆ）（ｉ）または（ｄ）（ｇ）（ｊ）のメ
ニューの中で指先位置に対応するセクションが太枠４３
で囲まれて他のセクションと区別して表示される。With the fingertip raised, the dashed ellipse 1 in FIG.
6, the fingertip is lowered at the position P1, the fingertip is lowered at the position P1, and the fingertip is moved down to the dotted line ellipse position P2 at the position (h) to move to the position P2.
Raise your fingertip. When the fingertip makes a stroke motion in this way, the section corresponding to the fingertip position in the menu of (c), (f), (i) or (d) (g) (j) is indicated by a thick frame 43.
It is surrounded by and displayed separately from other sections.

【００６９】（ａ）は画面４１に文章４０を途中まで入
力しているところで、指先はメニュー４４の中央セクシ
ョンを指示している。指示されているセクションは太枠
４３で囲まれて他のセクションと区別して表示されてい
る。カーソル４２はアンダーラインで表示され、４５は
システムからのメッセージを表示する行である。FIG. 9A shows a state where a sentence 40 is being input halfway through the screen 41, and the fingertip indicates the center section of the menu 44. The designated section is surrounded by a thick frame 43 and is displayed separately from the other sections. The cursor 42 is displayed as an underline, and 45 is a line for displaying a message from the system.

【００７０】図７には一括メニュー方式のメニュー表示
例を２通り示す。一つの例では指先が（ｂ）（ｅ）
（ｈ）のようにストローク運動するときに表示されるメ
ニューが（ｃ）（ｆ）（ｉ）のように変わる。始めに指
先を上げた状態で（ｂ）の点線の楕円１６の位置に置く
ときは（ｃ）の中央セクションが太枠で表示される。
（ｅ）に示すように指先を上げたままＰ１の位置まで移
動すると指先の移動に連動して太枠で囲まれたセクショ
ンが（ｆ）のように変わる。Ｐ１の位置で指先を下げる
と（ｆ）の太枠で囲まれたセクションが選択され、その
まま指先を下げた状態で指先を（ｈ）のＰ２の位置まで
移動すると、（ｉ）に示されるように、先に選択したセ
クションの中でＰ２に対応する位置にある項目（図中の
Ｒ）が太枠で囲まれて示される。そのまま指先を上げる
とＲが選択されて入力する。FIG. 7 shows two examples of menu display of the collective menu system. In one example, the fingertip is (b) (e)
The menu displayed when performing a stroke motion as in (h) changes as in (c), (f), and (i). When the fingertip is first raised and placed at the position of the dotted ellipse 16 in (b), the central section in (c) is displayed with a thick frame.
As shown in (e), when the fingertip is raised and moved to the position of P1, the section surrounded by the thick frame changes as shown in (f) in conjunction with the movement of the fingertip. When the fingertip is lowered at the position of P1, the section surrounded by the thick frame of (f) is selected, and when the fingertip is moved to the position of P2 of (h) while the fingertip is lowered, as shown in (i). The item (R in the figure) at the position corresponding to P2 in the previously selected section is shown by being surrounded by a thick frame. If the fingertip is lifted as it is, R is selected and input.

【００７１】一括メニュー方式の別のメニュー表示例で
は、指先が（ｂ）（ｅ）（ｈ）のようにストローク運動
するときに表示されるメニューが図７（ｄ）（ｇ）
（ｊ）のように変わる。（ｃ）（ｆ）（ｉ）のメニュー
と異なるのは、（ｇ）と（ｊ）において、選択されたセ
クションの３行３列の項目のみを表示し、その中で指先
位置によって指示されている項目を太枠で囲んで示して
いる点である。In another menu display example of the collective menu system, the menu displayed when the fingertip makes a stroke motion as shown in (b), (e), and (h) is shown in FIGS.
It changes like (j). The difference from the menus of (c), (f) and (i) is that, in (g) and (j), only the items in the 3rd row and 3rd column of the selected section are displayed. This is the point in which the item is indicated with a bold frame.

【００７２】図８（ａ）では一括メニュ―方式において
シフトキーを押したときのメニューを左に、またシフト
キーを押さないときのメニューを右に示す。この例は英
字入力用のメニューであり、９行９列の文字配列とな
る。境界線で仕切られた各区画をセクションと呼ぶ。中
央セクションはポインティングモードへ移行する機能を
担っている。図８（ｂ）の各区画には（ａ）の両メニュ
―の対応位置にあるセクションの内容を表すアイコンを
記入している。ここでは各種文字、記号を次のような方
針でセクションに分類してアイコンを定めている。In FIG. 8A, the menu when the shift key is pressed in the collective menu system is shown on the left, and the menu when the shift key is not pressed is shown on the right. This example is a menu for inputting alphabetic characters, and has a character array of 9 rows and 9 columns. Each section divided by the boundary is called a section. The center section is responsible for transitioning to pointing mode. In each section of FIG. 8B, an icon representing the content of the section at the corresponding position of both menus of FIG. 8A is written. Here, icons are determined by classifying various characters and symbols into sections according to the following policy.

【００７３】垂直・水平ストロークのみからなる文字
（ＦＴＥＩＬＨ）：垂直・水平ストロークを示唆するア
イコン。Character consisting of only vertical / horizontal strokes (FTEILH): icon indicating vertical / horizontal stroke.

【００７４】閉ループを含まず斜線ストロークを持つ文
字（ＷＶＹＫＸＮＭＡＺ）：斜線ストロークを示唆する
アイコン。Character having a diagonal stroke without including a closed loop (WVYKXNMAZ): Icon indicating a diagonal stroke.

【００７５】数字と演算記号：数字と演算記号を示唆す
るアイコン。Numerals and arithmetic symbols: Icons indicating numbers and arithmetic symbols.

【００７６】閉ループを含まず曲線部を持つ文字（ＣＳ
ＧＵＪ）：閉じていない曲線を示唆するアイコン。Characters having a curved portion without including a closed loop (CS
GUJ): Icon indicating an unclosed curve.

【００７７】ポインティングモードへの移行：中心から
上下左右へ向う矢印のアイコン。Shift to pointing mode: An icon with an arrow pointing up, down, left and right from the center.

【００７８】文章中の各種記号：ピリオドと括弧を示唆
するアイコン。Various symbols in the text: icons indicating periods and parentheses.

【００７９】曲線部を持つ閉ループを含む文字（ＰＲＤ
ＯＢＱ）：閉ループを示唆するアイコン。A character (PRD) including a closed loop having a curved portion
OBQ): Icon indicating a closed loop.

【００８０】他記号：＠を示唆するアイコン。Other symbols: An icon indicating ＠.

【００８１】特殊文字・削除（スペース、改行、バック
スペース、タブ等）：文字削除を示唆するアイコン。Special character / deletion (space, line feed, back space, tab, etc.): Icon indicating deletion of character.

【００８２】図９には逐次メニュー方式のメニュー表示
例を２通り示す。一つの例では指先が（ｂ）（ｅ）
（ｈ）のようにストローク運動するときに表示されるメ
ニューが（ｃ）（ｆ）（ｉ）のように変わる。まず指先
を上げた状態で（ｂ）の点線の楕円１６の位置に置くと
きは（ｃ）の中央セクションが太枠で表示される。
（ｅ）に示すように指先を上げたままＰ１の位置まで移
動すると指先の移動に連動して太枠で囲まれたセクショ
ンが（ｆ）のように変わる。Ｐ１の位置で指先を下げる
と（ｆ）の太枠で囲まれたセクションが選択され、この
セクションの内容を示す（ｉ）のサブメニューが（ｆ）
のメインメニューに代わって表示される。そのまま指先
を下げた状態で（ｈ）のＰ２の位置まで指先を移動する
と、（ｉ）に示されるように、サブメニューの中でＰ２
に対応する位置にある（図中のＲ）が太枠で囲まれて示
される。そのまま指先を上げるとＲが選択されて入力す
る。FIG. 9 shows two examples of menu display in the sequential menu system. In one example, the fingertip is (b) (e)
The menu displayed when performing a stroke motion as in (h) changes as in (c), (f), and (i). First, when the user places the fingertip at the position of the dotted ellipse 16 in (b) with the fingertip raised, the central section in (c) is displayed with a thick frame.
As shown in (e), when the fingertip is raised and moved to the position of P1, the section surrounded by the thick frame changes as shown in (f) in conjunction with the movement of the fingertip. When the fingertip is lowered at the position of P1, the section surrounded by the thick frame of (f) is selected, and the submenu of (i) showing the contents of this section is displayed at (f).
Will be displayed instead of the main menu. When the fingertip is moved to the position of P2 in (h) with the fingertip lowered, P2 in the submenu is displayed as shown in (i).
(R in the figure) at the position corresponding to is indicated by a thick frame. If the fingertip is lifted as it is, R is selected and input.

【００８３】逐次メニュー方式の別のメニュー表示例で
は、指先が（ｂ）（ｅ）（ｈ）のようにストローク運動
するときに表示されるメニューが図９（ｄ）（ｇ）
（ｊ）のように変わる。（ｃ）（ｆ）（ｉ）のメニュー
と異なるのは、（ｅ）で指先を下げなくとも指先をＰ１
の位置に移動するだけで（ｇ）に示すようにＰ１の位置
に対応するセクションの内容を示すサブメニューが現れ
る点である。つまり（ｄ）（ｇ）（ｊ）のメニュー表示
例では、メインメニューは指先を上げた状態で中央区域
に置くときだけ現れ、指先を上げた状態で周辺区域に移
動すると、指先位置に対応するサブメニューがメインメ
ニューに代わって表示される。一方、（ｃ）（ｆ）
（ｉ）のメニュー表示例では、指先を下げたときに初め
て指先を下げた位置に対応するサブメニューが現れ、指
先が上がっている限りは常にメインメニューが表示され
る。In another menu display example of the sequential menu system, the menu displayed when the fingertip makes a stroke motion as shown in (b), (e), and (h) is shown in FIGS.
It changes like (j). The difference from the menus of (c), (f) and (i) is that the fingertip is set to P1 without lowering the fingertip in (e).
Is that a submenu indicating the contents of the section corresponding to the position of P1 appears as shown in FIG. In other words, in the menu display examples (d), (g), and (j), the main menu appears only when the user places the fingertip in the center area with the fingertip raised, and when the user moves to the peripheral area with the fingertip raised, the main menu corresponds to the fingertip position. A submenu is displayed instead of the main menu. On the other hand, (c) and (f)
In the menu display example of (i), when the fingertip is lowered, a submenu corresponding to the position where the fingertip is lowered appears first, and the main menu is always displayed as long as the fingertip is raised.

【００８４】図１０、図１１、図１２、図１３には一括
メニュー方式においてメニューの９行９列の項目へ文字
や指令、機能を割り当てた例を示す。これら各図のメニ
ューの９行９列の項目は３行３列毎に境界線で仕切られ
ている。この仕切られた区画の一つ一つがセクションで
ある。９行９列の項目から成る全体のメニューをメイン
メニュー、その中で各セクション内の３行３列の項目か
らなる部分メニューをサブメニューと呼ぶ。指先を下げ
る時点に指先に指示されているセクションを選択し、選
択したセクションの３行３列の項目の中から指先を上げ
る時点に指先に指示されている項目を選択する。FIGS. 10, 11, 12, and 13 show examples in which characters, commands, and functions are assigned to items in 9 rows and 9 columns of the menu in the collective menu system. The items in the 9 rows and 9 columns of the menu in each figure are separated by a boundary line every 3 rows and 3 columns. Each of the partitioned sections is a section. The entire menu consisting of items in 9 rows and 9 columns is called a main menu, and the partial menu consisting of items in 3 rows and 3 columns in each section is called a submenu. The section designated by the fingertip is selected when the fingertip is lowered, and the item designated by the fingertip when the fingertip is raised is selected from the items in the 3 rows and 3 columns of the selected section.

【００８５】この一括メニュー方式において各セクショ
ン内の３行３列の項目を代表する名前やアイコンを導入
し、この名前やアイコンを３行３列に並べてメインメニ
ューを構成し、各セクション内の３行３列の項目を並べ
てサブメニューを構成すると逐次メニュー方式が得られ
る。図１０、図１１、図１２、図１３中の（ａ）はシフ
トキー（図６の人差し指シフトキー３５と中指シフトキ
ー３６）を押していないときに現れるメニューである。
（ｂ）は人差し指シフトキーを押しているときに現れる
メニューである。そして（ｃ）は中指シフトキーを押し
ているときに現れるメニューである。人差し指シフトキ
ーと中指シフトキーを同時に押しながら親指先を上げる
と誤って選択したセクションを解除できる。これらのメ
ニューの項目に使われている各種略号の意味を各図の説
明と併せて以下に示す。なお図１０、図１１、図１２中
の略号は半角英字２文字で表記されているが実際にはこ
れらをアイコンで表示した方が分かりやすい。In this collective menu system, names and icons representing items in 3 rows and 3 columns in each section are introduced, and the names and icons are arranged in 3 rows and 3 columns to constitute a main menu. By arranging the items in the row 3 column to form a submenu, a sequential menu system can be obtained. (A) in FIG. 10, FIG. 11, FIG. 12, and FIG. 13 is a menu that appears when the shift key (the index finger shift key 35 and the middle finger shift key 36 in FIG. 6) is not pressed.
(B) is a menu that appears when the index finger shift key is pressed. (C) is a menu that appears when the middle finger shift key is pressed. Pressing the index finger shift key and the middle finger shift key simultaneously and raising the thumb tip can release the section selected by mistake. The meanings of various abbreviations used for the items of these menus are described below together with the explanation of each figure. The abbreviations in FIGS. 10, 11 and 12 are represented by two single-byte alphabetic characters, but in practice, it is easier to understand if these are displayed as icons.

【００８６】図１０はファイルやウェッブサイトの内容
の表示を主体とした作業におけるメニューで、主にポイ
ンティングとスクロールおよびリンクに関わる機能をメ
ニューに配置している。中心セクションには「ポインテ
ィング互換」と書かれているが、これは中心セクション
で指先を下げるとポインティングモードに移行し、その
まま指を下げた状態で指先を移動すると画面のカーソル
が指先に連動して移動して画面内の任意地点をポインテ
ィングできることを意味する。ポインティングモードで
は人差し指シフトキーと中指シフトキーはそれぞれマウ
ス左ボタン、右ボタンと互換の機能を果たす。FIG. 10 shows a menu in a work mainly for displaying the contents of a file or a web site. Functions mainly related to pointing, scrolling and linking are arranged in the menu. The center section says `` pointing compatible '', but this shifts to pointing mode if you lower your fingertip in the center section, and if you move your fingertip with your finger down as it is, the screen cursor will interlock with your fingertip It means that you can move and point to any point on the screen. In the pointing mode, the index finger shift key and the middle finger shift key perform functions compatible with the left mouse button and the right mouse button, respectively.

【００８７】またリンクやアクセスに関わる次の機能を
利用できる。Ｌ１−Ｌ９：画面中に表示されているウェ
ッブサイトや特定ファイルへのリンク先を９個までメニ
ュー中にリスト化して表示。ｉ1−ｉ9：任意のウェッブ
サイトやファイルをしおり（インデックス）として９個
まで登録・アクセス。ｈ1−ｈ9:過去にアクセスしたウ
ェッブサイトやファイルをヒストリとして９個まで自動
登録・アクセス。ｒｉ:しおり登録モードへの移行。ｄ
ｉ:しおり消去モードへの移行。The following functions related to links and accesses can be used. L1-L9: Up to nine links to websites and specific files displayed on the screen are listed and displayed in the menu. i1-i9: Register and access up to 9 arbitrary websites and files as bookmarks (indexes). h1-h9: Automatically register and access up to 9 web sites and files accessed in the past as history. ri: Shift to bookmark registration mode. d
i: Transition to bookmark erasing mode.

【００８８】他の略号については次の通りである。→←
↑↓：表示画面の行単位のスクロール。＞＜∧∨：表示
画面のページ単位のスクロール。ｓｃ:カーソル移動方
式と照準窓移動方式の切替。同じ機能が割り当てられて
いる区画が複数ある場合にはそのいずれの区画で指先を
上げても同じ機能が入力する。The other abbreviations are as follows. → ←
↑ ↓: Scroll the display screen by line. ><∧∨: Scroll by page of display screen. sc: Switching between the cursor movement method and the aiming window movement method. When there are a plurality of sections to which the same function is assigned, the same function is input even if the fingertip is raised in any of the sections.

【００８９】ポインティングモードで中指シフトボタン
を押すと次の各機能を入力できる。ｃｕ:ｃｕｔ（指定
範囲をクリップボードへ移動）。ｐａ:ｐａｓｔｅ（ク
リップボードから貼り付け）。ｃｐ：ｃｏｐｙ（指定範
囲をクリップボードへコピー）。ｃａ：ｃａｎｃｅｌ
（１つ前の操作を取り消してコマンドバッファにコピ
ー）。ｒｄ：ｒｅｄｏ（コマンドバッファにあるコマン
ドを実行）。ｓｂ：その時点のカーソル位置を範囲指定
の始点にする。ｓｅ： その時点のカーソル位置を範囲
指定の終点にする。これらで指定した範囲はクリップボ
ードにコピーし貼り付けることができる。When the middle finger shift button is pressed in the pointing mode, the following functions can be input. cu: cut (moves the specified range to the clipboard). pa: paste (pasted from the clipboard). cp: copy (copy the specified range to the clipboard). ca: cancel
(Cancel the previous operation and copy it to the command buffer). rd: redo (execute command in command buffer). sb: The cursor position at that time is set as the start point of the range specification. se: The cursor position at that time is set as the end point of the range specification. The specified range can be copied and pasted to the clipboard.

【００９０】ファイル管理に関わる次の機能が用意され
ている。ｓｖ：表示コンテンツをファイルに保存。ｑ
ｔ：終了。ｎｗ：新規ファイルの作成。ｏｐ：ファイル
を開く。ｄｌ：ダウンロード、ｕｌ：アップロード（サ
イトのデータをファイルへダウンロード、ファイルのデ
ータをサイトへアップロード）。The following functions related to file management are provided. sv: Saves display contents to a file. q
t: End. nw: Create new file. op: Open a file. dl: download, ul: upload (download site data to file, upload file data to site).

【００９１】携帯端末のディスプレイは必然的に小型と
なる。小型のディスプレイでは画面のスクロールが頻繁
に行われるから、画面のスクロールと他の操作との連携
が円滑に行われることが重要である。例えば範囲の指定
など他の操作をしている最中にスクロールを自在に行え
るようにする必要がある。そこで以上に述べたメニュー
ではスクロール機能を充実し、ページ単位のスクロール
と行単位のスクロールをポインティングと連携しやすく
なるように工夫している。The display of the portable terminal is necessarily small. Since scrolling of the screen is frequently performed in a small display, it is important that the scrolling of the screen and cooperation with other operations be performed smoothly. For example, it is necessary to be able to scroll freely while performing other operations such as specifying a range. Therefore, in the menu described above, the scroll function has been enhanced, and the scrolling in page units and the scrolling in line units have been devised so as to be easily linked with pointing.

【００９２】図１１、図１２はそれぞれひらがな入力
用、英字入力（またはローマ字入力）用のメニューであ
る。いずれのメニューにおいても特殊文字・消去機能が
次の略号で記載されている。ｓｐ：空白。ｒｔ：改行。
ｂｓ：バックスペース。ｄｌ：デリート。ｔｂ：タブ。FIGS. 11 and 12 show menus for inputting hiragana and for inputting alphabetic characters (or Roman characters), respectively. In each menu, the special character / delete function is described by the following abbreviations. sp: blank. rt: Line feed.
bs: Backspace. dl: delete. tb: tab.

【００９３】また文字種（入力モード）切替の機能が次
の略号で表示されている。ｋｎ：カタカナ入力モード。
ｈｒ：ひらがな入力モード。ｅｎ：英字入力モード。ｓ
ｂ：記号入力モード。ｒｋ：ローマ字かな変換モード。
ｑｗ：ＱＷＥＲＴＹキーボードと互換形式で文字をメニ
ューに配置。ひらがな入力においては、セクションには
同一子音のひらがながグループ化されている。またセク
ション内では各ひらがなが子音に続く母音の種別に応じ
て一定の規則で配置されている。The function of switching the character type (input mode) is indicated by the following abbreviations. kn: Katakana input mode.
hr: Hiragana input mode. en: English character input mode. s
b: Symbol input mode. rk: Roman character kana conversion mode.
qw: Characters are arranged in the menu in a format compatible with the QWERTY keyboard. In the hiragana input, the sections are grouped with the same consonant hiragana. In the section, each hiragana is arranged according to a certain rule according to the type of vowel following the consonant.

【００９４】なお次のｃｖとｑｋは文字入力モードで直
接入力できるように図１１、図１２のメニューの中に用
意されているが、かな漢字変換に関わる機能の略号であ
る。ｃｖ：かな漢字変換の実行（変換結果を画面に表示
し、同時に図１３に示すかな漢字変換モードのメニュー
に移行する）。ｑｋ：かな漢字変換モードへ移行せずに
かなのまま確定する。The following cv and qk are prepared in the menus of FIGS. 11 and 12 so that they can be directly input in the character input mode, but are abbreviations of functions related to kana-kanji conversion. cv: Perform Kana-Kanji conversion (display the conversion result on the screen and simultaneously shift to the Kana-Kanji conversion mode menu shown in FIG. 13). qk: Determined as Kana without shifting to Kana-Kanji conversion mode.

【００９５】ひらがなを漢字に変換するモードでは図１
３のメニューが使用される。ひらがなを入力すると自動
的にかな漢字変換モードに移行し、入力したひらがなは
変換結果が確定するまでかな漢字変換バッファーに保持
される。ひらがなを入力してｃｖを入力すると変換結果
の候補が（ａ）のように３行３列に配列して表示され、
その中から目的の候補が指先のストローク運動によって
選択される。人差し指シフトキーを押すと（ｂ）のメニ
ューが現れ、次の略号で表される各種機能を利用でき
る。ｐｂ：前文節に移動。ｎｂ：次文節に移動。ｅｂ：
文節を拡張。ｒｂ：文節を縮小。ｄａ：全ての文節を同
時に確定。ｂｋ：変換モードをキャンセルして元のひら
がな入力状態へ復帰。ｚｈ：全角ひらがなに変換。ｚ
ｋ：全角カタカナに変換。ｈｋ：半角カタカナに変換。
ｚｅ： 全角英数字に変換。ｈｅ： 半角英数字に変換。
ｎｍ: 次の変換候補メニューに移行。ｐｍ：前の変換候
補メニューに復帰。変換候補が３行３列のメニューで表
示し切れない場合には複数のメニューを用いる。このと
きｎｍとｐｍによってメニューを切り替えて表示する。In the mode for converting hiragana to kanji, FIG.
Menu 3 is used. When a hiragana is input, the mode automatically shifts to a kana-kanji conversion mode, and the input hiragana is held in a kana-kanji conversion buffer until the conversion result is determined. When inputting hiragana and inputting cv, conversion result candidates are arranged and displayed in three rows and three columns as shown in FIG.
Among them, a target candidate is selected by a stroke motion of the fingertip. When the index finger shift key is pressed, a menu shown in (b) appears, and various functions represented by the following abbreviations can be used. pb: Move to previous clause. nb: Move to the next clause. eb:
Extended clause. rb: Reduce a phrase. da: All phrases are determined at the same time. bk: Cancel the conversion mode and return to the original Hiragana input state. zh: Converted to full-width hiragana. z
k: Converted to full-width katakana. hk: Converted to half-width katakana.
ze: Converted to full-width alphanumeric characters. he: Converted to half-width alphanumeric characters.
nm: Move to the next conversion candidate menu. pm: Return to the previous conversion candidate menu. If the conversion candidates cannot be displayed in the menu of three rows and three columns, a plurality of menus are used. At this time, the menu is switched and displayed according to nm and pm.

【００９６】近年、単語先頭の数文字を入れると該当す
る文字を先頭に持つ単語候補の一覧が現れる入力方式が
普及している。そのような方式で候補の単語をメニュー
に表示して選択する際にも図１３（ａ）の形式で候補を
並べると良い。In recent years, an input method in which a list of word candidates having the corresponding character at the beginning when a few characters at the beginning of the word are inserted has been widely used. When displaying candidate words on a menu and selecting the words in such a manner, the candidates may be arranged in the format of FIG.

【００９７】図１４（ｂ）はウェッブページを表示した
際の画面の一例である。リンク先が３行３列に配列して
おり、（ａ）のように指先を移動すると指先位置に対応
するリンク先が枠で囲まれて他のリンク先と区別して表
示される。この状態で指先を下げると枠で囲まれたリン
ク先が選択される。もしもリンク先にさらに３行３列の
項目がある場合には、メニューはその３行３列の項目の
表示に切り替わり、指先を下げたまま移動して目的の項
目を指示して指先を上げると指示した項目が選択され
る。FIG. 14B is an example of a screen when a web page is displayed. The link destinations are arranged in three rows and three columns, and when the fingertip is moved as shown in (a), the link destination corresponding to the fingertip position is surrounded by a frame and displayed separately from other link destinations. When the fingertip is lowered in this state, the link destination surrounded by the frame is selected. If there is an additional item in the 3rd row and 3rd column at the link destination, the menu switches to the display of the 3rd row and 3rd column item, move the fingertip down, point to the target item, and raise the fingertip. The specified item is selected.

【発明の効果】データ入力装置においては、狭い操作範
囲内で円滑、高速に遂行する指先のストローク運動によ
って多様な種別の文字や指令を入力することが可能にな
った。グラフィカルインターフェイス方式においては、
メニューを階層化すると共に項目を２次元的に配置し、
指先の一度のストローク運動でメニューの階層の２層に
渡る項目選択を一括して行えるようになった。ストロー
ク運動中に指先を下げる時点に選択する項目と指先を上
げる時点に選択する項目を組み合わせることで多様な情
報を指定することが可能となった。常時少数個の項目を
逐次的に切り替えて表示する逐次メニュー方式は所要面
積が小さくて済むため携帯機器の小さな画面へ収容し易
い。階層の２層にまたがるメニューを入れ子式に一括表
示する一括メニュー方式は所要面積が大きくなるが初心
者に分かりやすい。選択項目を視覚的に確認する場合に
は確認の都度入力作業を中断することになるが、選択状
況を触覚刺激により把握できるようにすることで、スト
ローク運動を途切れることなく遂行しながら指先位置を
把握し、メニューの階層の２層に渡る項目選択を一気に
実行できるようになった。According to the data input device, it is possible to input various types of characters and commands by performing a smooth and high-speed stroke motion of a fingertip within a narrow operation range. In the graphical interface method,
The menu is hierarchized and the items are arranged two-dimensionally.
With a single stroke of the fingertip, items can be selected at once in two layers of the menu. Various information can be specified by combining an item selected when the fingertip is lowered and an item selected when the fingertip is raised during the stroke motion. The sequential menu system, in which a small number of items are always switched and displayed sequentially, requires a small area and can be easily accommodated in a small screen of a portable device. The collective menu method, which nests and displays menus extending over two levels of the hierarchy, requires a large area but is easy for beginners to understand. When checking the selection items visually, the input operation is interrupted each time the confirmation is made.However, by making it possible to grasp the selection status by tactile stimulation, the fingertip position can be determined while performing the stroke motion without interruption. By grasping, it is possible to execute the item selection over two layers of the menu at a stretch.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明のデータ入力装置において指先のストロ
ーク運動を識別し、指先位置に応じて異なる触覚刺激を
与える仕組である。FIG. 1 shows a mechanism for identifying a stroke motion of a fingertip in a data input device of the present invention and giving different tactile stimuli in accordance with a fingertip position.

【図２】指先位置に応じてシーソ状アームが倒れ球状突
起が指を刺激する様子を示す。FIG. 2 shows how a seesaw-shaped arm falls down according to a fingertip position and a spherical projection stimulates a finger.

【図３】指位置識別用スイッチの配置とそのＯＮ／ＯＦ
Ｆにより指先位置を識別する方法を示す。FIG. 3 shows the arrangement of a finger position identification switch and its ON / OF operation.
A method for identifying a fingertip position by F will be described.

【図４】指先位置に応じて指に異なる触覚刺激を与える
各種方法を示す。FIG. 4 illustrates various methods for providing different tactile stimuli to a finger according to fingertip position.

【図５】指先位置に応じて指に異なる触覚刺激を与える
各種方法を示す。FIG. 5 shows various methods for applying different tactile stimuli to a finger according to the position of the fingertip.

【図６】携帯電話を兼ねる携帯端末の実現例と本発明の
データ入力装置の実装例を示す。FIG. 6 shows an implementation example of a portable terminal also serving as a portable telephone and an implementation example of a data input device of the present invention.

【図７】携帯端末の画面に表示する一括メニュー方式の
例と本発明のデータ入力装置でメニューの項目の一つを
指先のストローク運動で選択する方法を示す。FIG. 7 shows an example of a collective menu method displayed on a screen of a portable terminal and a method of selecting one of menu items by a stroke motion of a fingertip in the data input device of the present invention.

【図８】一括メニュー方式のセクション内の項目をアイ
コンに置き換えて逐次メニュー方式のメインメニューを
構成する方法を示す。FIG. 8 shows a method of constructing a main menu of a sequential menu system by replacing items in a section of a collective menu system with icons.

【図９】携帯端末の画面に表示する逐次メニュー方式の
例と本発明のデータ入力装置でメニューの項目の一つを
指先のストローク運動で選択する方法を示す。FIG. 9 shows an example of a sequential menu system displayed on a screen of a mobile terminal and a method of selecting one of menu items by a stroke motion of a fingertip in the data input device of the present invention.

【図１０】ポインティングモードにおける一括メニュー
方式のメニュー構成例を示す。FIG. 10 shows a menu configuration example of a collective menu system in the pointing mode.

【図１１】ひらがな入力モードにおける一括メニュー方
式のメニュー構成例を示す。FIG. 11 shows a menu configuration example of a collective menu method in a hiragana input mode.

【図１２】英字入力モードにおける一括メニュー方式の
メニュー構成例を示す。FIG. 12 shows an example of a menu configuration of a collective menu system in the alphabet input mode.

【図１３】かな漢字変換モードにおけるメニュー構成例
を示す。FIG. 13 shows a menu configuration example in a kana-kanji conversion mode.

【図１４】ウェッブページのリンク先候補の配列例と指
先のストローク運動によるリンク先選択操作の例を示
す。FIG. 14 shows an example of an arrangement of link destination candidates on a web page and an example of a link destination selection operation by a stroke motion of a fingertip.

【図１５】指先位置に応じて指の側面に異なる触覚刺激
を与える方法を示す。FIG. 15 shows a method of applying different tactile stimuli to the side of the finger according to the position of the fingertip.

【符号の説明】[Explanation of symbols]

１ 指先の上下運動の方向を示す矢印 ２ 指先の移動運動の方向を示す矢印 ３ シーソ状アーム ４ アーム端に取り付けられた板 ５ アーム端の球状部 ６ シーソ状アームの支点となる回転軸 ７ 伸縮性シート ８ アームの回転方向を示す矢印 ９ アームの倒れ方を検出するスイッチ １０ 指先を上下運動するときの台の運動方向を示す
矢印 １１ バネ １２ 指先の上下運動を検出するスイッチ １３ 光学方式ポインティング装置の受光素子 １４ 光学方式ポインティング装置の光源 １５ 上下に可動な台 １６ 指先位置を示す破線の楕円 １７ 指先の下降を制限する張り出し部 １８ スライド台 １９ 指先位置を示す黒塗りの楕円 ２０ 指先を刺激する突出部 ２１ 指先を乗せる台 ２２ ジョイント接合部の回転軸 ２３ ジョイントにおける球状接合部 ２４ ジョイントにおける球状接合部の受け部 ２５ 突出部底を支持する枠の断面 ２６ 回転台 ２７ バネ ２８ 上下運動ガイド部 ２９ 携帯端末の表示画面 ３０ 携帯端末のデータ入力装置 ３１ 円筒状回転部 ３２ グリップ部 ３３ マイク ３４ イヤフォン ３５ 人差し指シフトキー ３６ 中指シフトキー ３７ 左手で保持する場合のグリップの回転方向 ３８ 右手で保持する場合のグリップの回転方向 ３９ 円筒状回転部の回転方向 ４０ 入力途中の文章 ４１ 画面 ４２ カーソル ４３ 指先により指示されているセクション（ハイラ
イト表示されているセクション） ４４ メニュー ４５ システムからのメッセージを表示する行 ４６ 指刺激用スティック ４７ 指 ４８ スティック端の皿 ４９ スティック貫通用穴 ５０ 指先の周囲を楕円状に囲む壁 ５１ 指先 ５２ 外壁1 arrow indicating the direction of the vertical movement of the fingertip 2 arrow indicating the direction of the moving movement of the fingertip 3 seesaw arm 4 plate attached to the arm end 5 spherical portion at the arm end 6 rotation axis serving as the fulcrum of the seesaw arm 7 telescopic Safety sheet 8 arrow indicating the direction of rotation of the arm 9 switch for detecting how the arm falls down 10 arrow indicating the direction of movement of the base when the fingertip moves up and down 11 spring 12 switch for detecting the vertical movement of the fingertip 13 optical pointing device 14 Light source of the optical pointing device 15 Up and down movable base 16 Dotted ellipse indicating fingertip position 17 Overhanging part for restricting lowering of fingertip 18 Slide stand 19 Black ellipse indicating fingertip position 20 Stimulate fingertip Projection 21 Base for putting fingertip 22 Rotation axis of joint joint 23 Spherical joint at joint 24 Receiving part of spherical joint part in joint 25 Cross section of frame supporting bottom of protruding part 26 Turntable 27 Spring 28 Vertical movement guide part 29 Display screen of portable terminal 30 Data input device of portable terminal 31 Cylindrical rotating part 32 Grip part 33 Microphone 34 Earphone 35 Index finger shift key 36 Middle finger shift key 37 Grip rotation direction when holding with left hand 38 Grip rotation direction when holding with right hand 39 Rotation direction of cylindrical rotating part 40 Text being input 41 Screen 42 Cursor 43 Fingertip Section (highlighted section) indicated by ４４ メ ニ ュ ー 行 メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー メ ニ ュ ー. Surrounded by 51 fingers Ahead 52 outer wall

Claims (3)

【特許請求の範囲】[Claims] 【請求項１】 指先を下げて直線的に短距離移動して上
げる運動を連続した一つのストローク運動として実行す
るときに、前記ストローク運動を識別して識別の結果を
文字や指令に関連付ける仕組を備えるデータ入力装置に
おいて、ストローク運動する指先の移動範囲に配置され
る複数個の区域の中で指先が位置する区域を識別する仕
組とストローク運動する指先の上下運動を検出する仕組
と前記区域の中で指先を下げる時点に指先が位置する区
域を第１の区域とし、第１の区域を指定後、指先を下げ
たまま移動して、指先を上げる時点に指先が位置する区
域を第２の区域とするときに、前記第１の区域と前記第
２の区域の組み合わせを文字または指令に関連付ける仕
組とストローク運動中に指先が前記区域間を移動して指
先が位置する区域が変わるときに指に加わる触覚刺激が
変化して指先が位置する区域が変わることを操作者へ通
知する仕組とを備えることを特徴とするデータ入力装
置。1. A mechanism for identifying a stroke motion and associating a result of the identification with a character or a command when executing a motion in which a fingertip is moved down and moved linearly for a short distance as a continuous stroke motion. A data input device provided with a mechanism for identifying an area in which a fingertip is located among a plurality of areas arranged in a movement range of a fingertip performing a stroke movement, and a mechanism for detecting vertical movement of the fingertip performing a stroke movement; The area where the fingertip is located at the time when the fingertip is lowered is defined as the first area, and after specifying the first area, the area where the fingertip is located when the fingertip is moved while the fingertip is raised is the second area. And a mechanism for associating a combination of the first area and the second area with a character or a command and an area where a fingertip moves between the areas during a stroke motion and the fingertip is located A mechanism for notifying an operator that a tactile stimulus applied to the finger when the fingertip changes changes and the area where the fingertip is located changes. 【請求項２】 指先の移動範囲に配置される複数個の区
域の上で指先をストローク運動するときに、前記ストロ
ーク運動に連動して画面の表示内容を変えるグラフィカ
ルインターフェイス方式において、前記区域と同等数の
上位項目を配置するメインメニューと前記区域と同等数
の下位項目を配置するサブメニューとを備え、前記メイ
ンメニュー中の上位項目の各々にサブメニューを関連付
けてメニューを階層的に構築し、前記メインメニューに
おいては前記区域の配置と幾何学的相似関係を持つよう
に前記上位項目を配置し、前記サブメニューにおいては
前記区域の配置と幾何学的相似関係を持つように前記下
位項目を配置し、指先を上げたまま移動する間は、前記
幾何学的相似関係に基づき前記区域と前記上位項目の間
に対応関係を定め、指先を下げる時点に指先が位置する
区域と対応する上位項目を選択し、指先を下げたまま移
動する間は、指先を下げる時点に選択した上位項目に関
連付けられたサブメニューにおいて前記相似関係に基づ
き前記区域と前記下位項目との間に対応関係を定め、指
先を上げる時点に指先が位置する区域と対応する下位項
目を選択することを特徴とするグラフィカルインターフ
ェイス方式。2. A graphical interface system for changing a display content of a screen in conjunction with a stroke motion of a fingertip on a plurality of areas arranged in a movement range of the fingertip, the stroke being equivalent to the area. A main menu for arranging a number of upper items and a submenu for arranging the same number of lower items as the area, and associating a submenu with each of the upper items in the main menu to hierarchically construct a menu; In the main menu, the upper items are arranged so as to have a geometric similarity to the arrangement of the area, and in the submenu, the lower items are arranged so as to have a geometric similarity to the arrangement of the area. And, while moving with the fingertip raised, determine the correspondence between the area and the upper item based on the geometric similarity, The upper item corresponding to the area where the fingertip is located at the time of lowering the fingertip is selected, and while moving with the fingertip lowered, based on the similarity relationship in the submenu associated with the upper item selected at the time of lowering the fingertip A graphical interface method wherein a correspondence is defined between the area and the lower item, and a lower item corresponding to the area where the fingertip is located is selected when the fingertip is raised. 【請求項３】 指先の移動範囲に配置された複数個の区
域の上で指先をストローク運動するときに、指先を下げ
る時点に指先が位置する区域に基づき子音の種別を決定
し、続いて指先を下げたまま指先を移動した後、指先を
上げる時点に指先が位置する区域に基づき母音の種別を
決定し、前記子音の種別と前記母音の種別の組み合わせ
に基づいて入力する文字や音を決定する仕組を備えるこ
とを特徴とする請求項１記載のデータ入力装置または請
求項２記載のグラフィカルインターフェイス方式。3. When performing a stroke motion of the fingertip on a plurality of areas arranged in the movement range of the fingertip, the type of consonant is determined based on the area where the fingertip is located when the fingertip is lowered. After moving the fingertip with the fingertip lowered, determine the type of vowel based on the area where the fingertip is located when the fingertip is raised, and determine the character or sound to be input based on the combination of the consonant type and the vowel type The data input device according to claim 1 or a graphical interface system according to claim 2, further comprising:
JP2001081792A 2001-03-22 2001-03-22 Data inputting device based on stroke motion and graphic interface system Pending JP2002278694A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001081792A JP2002278694A (en) 2001-03-22 2001-03-22 Data inputting device based on stroke motion and graphic interface system
KR1020037011651A KR100556049B1 (en) 2001-03-22 2002-03-22 Information input device
PCT/JP2002/002781 WO2002077786A1 (en) 2001-03-22 2002-03-22 Information input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001081792A JP2002278694A (en) 2001-03-22 2001-03-22 Data inputting device based on stroke motion and graphic interface system

Publications (1)

Publication Number Publication Date
JP2002278694A true JP2002278694A (en) 2002-09-27

Family

ID=18937827

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001081792A Pending JP2002278694A (en) 2001-03-22 2001-03-22 Data inputting device based on stroke motion and graphic interface system

Country Status (3)

Country Link
JP (1) JP2002278694A (en)
KR (1) KR100556049B1 (en)
WO (1) WO2002077786A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348616A (en) * 2003-05-26 2004-12-09 Sony Corp Information processor and method therefor recording medium, and program
JP2005293512A (en) * 2004-04-05 2005-10-20 Itsuo Kumazawa Finger-worn type data input device
JP2008533626A (en) * 2005-03-23 2008-08-21 エヌエイチエヌ コーポレーション Character input device and character input method using the same
JP2009181407A (en) * 2008-01-31 2009-08-13 Fujifilm Corp Operation apparatus and electronic device equipped with the same
JP2010134930A (en) * 2008-12-04 2010-06-17 Research In Motion Ltd Input system for inputting character based upon strokes

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005008468A1 (en) * 2003-07-22 2005-01-27 Itsuo Kumazawa Data input device, information equipment, information equipment control method, and computer program
CN1879075A (en) 2003-11-03 2006-12-13 通用汽车公司 Handwriting input device
WO2005057395A1 (en) * 2003-12-12 2005-06-23 Itsuo Kumazawa Data entering device, information apparatus, and user interface method
WO2005111770A1 (en) * 2004-05-14 2005-11-24 Tung-Chin Lee A lifter structure of a computer's key-press
CN102468075A (en) * 2010-11-03 2012-05-23 常州市福驰电动车辆科技有限公司 Finger profiling button set used for compound button keyboard

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0390922A (en) * 1989-09-01 1991-04-16 Matsushita Electric Ind Co Ltd Input device
JPH0555222U (en) * 1991-12-27 1993-07-23 エスエムケイ株式会社 Keyboard switch method
JPH05257592A (en) * 1992-03-12 1993-10-08 Hitachi Ltd Data input control method
JPH10228344A (en) * 1997-02-17 1998-08-25 Matsushita Electric Ind Co Ltd Character input device
JPH11224161A (en) * 1998-02-04 1999-08-17 Pfu Ltd Character input device and recording medium

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348616A (en) * 2003-05-26 2004-12-09 Sony Corp Information processor and method therefor recording medium, and program
JP2005293512A (en) * 2004-04-05 2005-10-20 Itsuo Kumazawa Finger-worn type data input device
JP2008533626A (en) * 2005-03-23 2008-08-21 エヌエイチエヌ コーポレーション Character input device and character input method using the same
JP4709275B2 (en) * 2005-03-23 2011-06-22 エヌエイチエヌ コーポレーション Character input device and character input method using the same
JP2009181407A (en) * 2008-01-31 2009-08-13 Fujifilm Corp Operation apparatus and electronic device equipped with the same
US8308382B2 (en) 2008-01-31 2012-11-13 Fujifilm Corporation Operation apparatus and electronic device equipped therewith
JP2010134930A (en) * 2008-12-04 2010-06-17 Research In Motion Ltd Input system for inputting character based upon strokes

Also Published As

Publication number Publication date
KR20030081498A (en) 2003-10-17
KR100556049B1 (en) 2006-03-03
WO2002077786A1 (en) 2002-10-03

Similar Documents

Publication Publication Date Title
US10275153B2 (en) Multidirectional button, key, and keyboard
JP4863211B2 (en) Character data input device
WO2011158641A1 (en) Information processing terminal and method for controlling operation thereof
KR100478020B1 (en) On-screen key input device
US8125440B2 (en) Method and device for controlling and inputting data
US9141283B2 (en) Apparatus and method for inputting characters on touch screen of a terminal
CN104704451B (en) There is provided for positioning the touch feedback with data input
EP0464712A2 (en) Display/input control system for software keyboard in information processing apparatus having integral display/input device
US20160132119A1 (en) Multidirectional button, key, and keyboard
KR101636705B1 (en) Method and apparatus for inputting letter in portable terminal having a touch screen
US20110169760A1 (en) Device for control of electronic apparatus by manipulation of graphical objects on a multicontact touch screen
WO2004111812A2 (en) Text entry system and method
KR20130088752A (en) Multidirectional button, key, and keyboard
WO2014023118A1 (en) Keyboard and mouse of cellular phone
WO2010010350A1 (en) Data input system, method and computer program
US20050066291A1 (en) Manual user data entry method and system
Goguey et al. Leveraging finger identification to integrate multi-touch command selection and parameter manipulation
JP2002278694A (en) Data inputting device based on stroke motion and graphic interface system
JPH04195625A (en) Information processor
JP4133523B2 (en) Character input device
JP4203885B2 (en) Data input device and user interface method
JP2006050512A (en) Data input method
JP2013033553A (en) Character data input device
US20100164876A1 (en) Data input device
KR101328554B1 (en) Character input apparatus and character input method