JP2005317041A - Information processor, information processing method, and program - Google Patents

Information processor, information processing method, and program Download PDF

Info

Publication number
JP2005317041A
JP2005317041A JP2005166012A JP2005166012A JP2005317041A JP 2005317041 A JP2005317041 A JP 2005317041A JP 2005166012 A JP2005166012 A JP 2005166012A JP 2005166012 A JP2005166012 A JP 2005166012A JP 2005317041 A JP2005317041 A JP 2005317041A
Authority
JP
Japan
Prior art keywords
contact
button
function
display
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005166012A
Other languages
Japanese (ja)
Inventor
Jiyunichi Rekimoto
純一 暦本
Carsten Schwesig
シュヴェージグ カーステン
Tatsushi Nashida
辰志 梨子田
Haruo Oba
晴夫 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005166012A priority Critical patent/JP2005317041A/en
Publication of JP2005317041A publication Critical patent/JP2005317041A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information processor, an information processing method, and a program improving input operability by allowing selection of a desired function while having a user easily recognize functions assigned to an input means before carrying out input operation. <P>SOLUTION: A finger position sensor detects whether or not fingers of the user are touching a pad (step S1). If the fingers are touching, image plane display is updated in response to positions of the fingers (step S2). A pressure sensor detects whether or not there is a predetermined pressure or more (step S3). If the predetermined pressure or more is detected, it is judged that a finger position detected by the finger position sensor is pressed, input operation is received (step S4), a click feeling is generated by a feeling feedback device (step S5), and the flow is returned to processing of the step S1 again. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、表示画面とキーボード等の入力部とが一体型になった小型且つ可搬型の装置に好適な情報処理装置、情報処理方法、及びプログラムに関する。   The present invention relates to an information processing apparatus, an information processing method, and a program suitable for a small and portable apparatus in which a display screen and an input unit such as a keyboard are integrated.

ユーザは、情報処理装置に情報を入力する場合、釦やキーパッド等(以下、キーパッド等も含めたハードウェアとしての釦を一括して釦と称する)を操作することが多い。   When inputting information to the information processing apparatus, the user often operates buttons, keypads, and the like (hereinafter, buttons as hardware including the keypad are collectively referred to as buttons).

例えば、ユーザは、パーソナルコンピュータ(PC)に情報を入力する場合、複数の釦からなるキーボードを操作したり、携帯電話機に電話番号のみならず様々な情報を入力する場合、複数の機能が割り当てられている数字釦や操作釦を操作したりする。   For example, when a user inputs information to a personal computer (PC), a user operates a keyboard composed of a plurality of buttons, or when a user inputs not only a phone number but also various information, a plurality of functions are assigned. The number buttons and the operation buttons are operated.

このような操作時に、ユーザは、釦の表面に印刷されている記号または文字等のシンボルを視認して、その釦に割り当てられている機能を推定している。   During such an operation, the user visually recognizes a symbol or a symbol such as a character printed on the surface of the button and estimates a function assigned to the button.

従来、このような操作部を有する電子機器として、小型化を達成しつつ操作性の向上を図った手持ち型ゲーム機が下記特許文献1に記載されている。この特許文献1に記載の技術においては、操作内容を多様化するため操作手段を増加させた上で小型化をすると、各操作スイッチ間の間隔寸法が小さくなり操作性が悪くなってしまうため、表示部に表示されるゲーム内容を見つつ、ユーザが左右の親指で接触可能な第1の操作部と、左右の人差し指又は中指で接触可能な第2の操作部とを設け、左右の手で把持した状態を維持しつつ、第1の操作部に親指を接触させる一方、第2の操作部に人差し指又は中指を接触させることで、操作性の向上を図った手持ち型ゲーム機が開示されている。   Conventionally, as an electronic apparatus having such an operation unit, a handheld game machine that achieves improvement in operability while achieving miniaturization is described in Patent Document 1 below. In the technique described in Patent Document 1, if the size is reduced after increasing the operation means in order to diversify the operation contents, the distance between the operation switches is reduced and the operability is deteriorated. While viewing the game content displayed on the display unit, a first operation unit that can be contacted by the user with the left and right thumbs and a second operation unit that can be contacted with the left and right index fingers or the middle finger are provided, and left and right hands There is disclosed a handheld game machine that improves operability by bringing a thumb into contact with the first operation unit while maintaining a gripped state, and bringing an index finger or middle finger into contact with the second operation unit. Yes.

一方、上述のキーボード等の物理的な釦により入力操作する代わりに、付属のペンにより入力操作を行う情報処理装置として、タブレット型コンピュータ、又はペン型コンピュータ等がある。これらの機器は、使用者(ユーザ)が手にとって使える携帯用コンピュータであり、付属のペンで画面に文字を書いて文字認識を行うか、画面上のソフトキーボードから文字をタップして入力することで、文字を入力することができる。   On the other hand, as an information processing apparatus that performs an input operation with an attached pen instead of performing an input operation with the above-described physical buttons such as a keyboard, there is a tablet computer or a pen computer. These devices are portable computers that users (users) can use in their hands. Write characters on the screen with the attached pen for character recognition, or tap characters from the on-screen soft keyboard for input. You can enter characters.

特開2001−212374号公報JP 2001-212374 A

しかしながら、上述の物理的な操作釦により操作を行う装置において、次の(1)乃至(5)に示されるような場合、ユーザは、釦の表面に印刷されているシンボルを視認することが困難である。   However, in the above-described device that operates with the physical operation buttons, in the cases as shown in the following (1) to (5), it is difficult for the user to visually recognize the symbols printed on the surface of the button. It is.

(1) 周囲が暗い場合(ユーザが、夜間、携帯電話機の釦を操作する場合、または、暗い部屋でテレビジョン(TV)受像機のリモートコントローラの釦を操作する場合等)
(2) 1つの釦に複数の機能が割り当てられており、それらの機能に対応する複数のシンボルがその1つの釦の表面にそれぞれ印刷されている場合(モードによって、その釦に対応する機能が変化する場合)
(3) 釦が目視できない位置に配置されている場合(例えば、機器の裏側に釦が設けられている場合)
(4) 釦の上にユーザの指がのせられている状態の場合
(5) 釦に割り当てられた機能を適切に表現するシンボルが、その釦の表面に印刷されていない場合(ユーザにとって視認しにくいシンボルが、その釦の表面に印刷されている場合)
(1) When the surroundings are dark (when the user operates a button on a cellular phone at night, or operates a button on a remote controller of a television (TV) receiver in a dark room)
(2) When a plurality of functions are assigned to one button and a plurality of symbols corresponding to these functions are printed on the surface of the one button, respectively (the function corresponding to the button depends on the mode) When changing)
(3) When the button is arranged at a position where it cannot be seen (for example, when the button is provided on the back side of the device)
(4) When the user's finger is placed on the button (5) When the symbol that appropriately represents the function assigned to the button is not printed on the surface of the button When a difficult symbol is printed on the surface of the button)

従って、このように、釦に割り当てられたシンボルを認識できないような場合、操作釦に割り当てられている機能を推定することができないという問題点がある。即ち、上記特許文献1に記載の技術のように、親指及び人差し指に対応する操作部を設けて操作性を向上させ小型を図ったとしても、周囲が暗い等の理由で操作部が視認できない場合、ユーザは、操作部により操作を行った後でしか、操作部に割り当てられた機能を認識することができず、操作する前に操作部に割り当てられた機能を推定することができないので、誤操作の原因となり、操作性が悪い。   Therefore, there is a problem that when the symbol assigned to the button cannot be recognized as described above, the function assigned to the operation button cannot be estimated. That is, as in the technique described in Patent Document 1, even if an operation unit corresponding to the thumb and index finger is provided to improve operability and reduce the size, the operation unit cannot be visually recognized because the surroundings are dark. The user can recognize the function assigned to the operation unit only after performing an operation with the operation unit, and cannot estimate the function assigned to the operation unit before the operation. The operability is poor.

また、タブレット型コンピュータ、又はペン型コンピュータ等のように、物理的な釦による入力ではなく、ペンで画面上に文字を書いて文字認識させる方法においては、文字入力の間だけ、ペンを本体から取り外して操作する必要があり、手間がかかる、手が疲れる、誤認識する等の問題点があり、また、ソフトキーボードによる入力する方法においては、目視によってキーボードをタップする作業には、注意力が必要で、釦操作による入力に比して疲労感が大きく、操作性が悪いという問題点がある。   In addition, in a method of recognizing characters by writing characters on the screen with a pen instead of inputting with physical buttons, such as a tablet computer or a pen computer, the pen is removed from the main body only during character input. It is necessary to remove and operate, and there are problems such as time consuming, tired hands, misrecognition, etc.In addition, in the method of inputting with a soft keyboard, attention is required when tapping the keyboard visually. There is a problem that the feeling of fatigue is large and the operability is poor as compared with the input by the button operation.

更に、通常のキーボード等の物理的な釦をタブレット型コンピュータに装着すれば、全体のサイズが極めて大きくなってしまうか、又はノート型のPCのように、2つ折の形態をとる必要があり、一体型ディスプレイとしての携帯性を損なう。   Furthermore, if a physical button such as a normal keyboard is attached to a tablet computer, the overall size becomes extremely large, or it is necessary to take a two-fold form like a notebook PC, Impairs portability as an integrated display.

本発明は、このような従来の実情に鑑みて提案されたものであり、入力操作を行う入力手段及びディスプレイを一体型且つ小型としても、入力操作する前に入力手段に割り当てられた機能をユーザに容易に認識させることで入力操作性を向上した情報処理装置、情報処理方法及びプログラムを提供することを目的とする。   The present invention has been proposed in view of such a conventional situation, and even if the input means for performing the input operation and the display are integrated and compact, the functions assigned to the input means before the input operation are performed by the user. It is an object of the present invention to provide an information processing apparatus, an information processing method, and a program in which input operability is improved by making it easily recognized.

上述した目的を達成するために、本発明に係る情報処理装置は、接触位置に応じて、1以上の機能が割り当てられた入力手段と、上記入力手段に対する物理的な接触を検出する接触検出手段と、上記入力手段に割り当てられた1以上の機能に関する機能情報を表示する表示手段と、上記接触検出手段の接触検出結果を上記機能情報の表示に反映させる表示制御手段と、上記物理的な接触の圧力を検出する圧力検出手段とを有し、上記入力手段は、上記接触検出結果が機能情報の表示に反映された状態で上記圧力検出手段が所定の圧力以上で押下されると当該機能を選択することを特徴とする。   In order to achieve the above-described object, an information processing apparatus according to the present invention includes an input unit to which one or more functions are assigned according to a contact position, and a contact detection unit that detects a physical contact with the input unit. Display means for displaying function information relating to one or more functions assigned to the input means, display control means for reflecting the contact detection result of the contact detection means in the display of the function information, and the physical contact Pressure detection means for detecting the pressure of the pressure sensor, and the input means performs the function when the pressure detection means is pressed above a predetermined pressure in a state where the contact detection result is reflected in the display of the function information. It is characterized by selecting.

本発明においては、接触検出手段と入力手段とを有し、入力手段が有する機能を機能情報として画面に表示しておき、接触検出結果をこの機能情報に反映させることで、ユーザは機能を選択する前に、現在触っている機能を確認することができ、所定の圧力以上で押下することにより当該機能を選択して、確実に機能選択することができる。   In the present invention, it has a contact detection means and an input means, the function of the input means is displayed on the screen as function information, and the user selects a function by reflecting the contact detection result in this function information. Before the operation is performed, the currently touched function can be confirmed, and the function can be selected surely by selecting the function by pressing the function at a predetermined pressure or higher.

上記入力手段は、振動発生手段を有し、前記圧力検出手段が所定の圧力以上で押下されると振動を発生させることが好ましい。   Preferably, the input means includes vibration generation means, and generates vibration when the pressure detection means is pressed down above a predetermined pressure.

また、上記入力手段は、上記接触検出手段を有する複数の釦を有し、各釦毎に機能が割り当てられているものとすることができ、小さいスペースであっても、複数の釦を設けて例えばPCに使用されるキーボードと同じキー配列を構成することができる。   The input means may include a plurality of buttons having the contact detection means, and a function may be assigned to each button. Even in a small space, a plurality of buttons may be provided. For example, the same key arrangement as a keyboard used for a PC can be configured.

更に、上記入力手段の上記複数の釦は、1本の指で同時に2以上が接触されるような間隔で配列させることができ、反映された状態で押下しない限り、機能は選択されないので、複数の釦に渡って指が置かれる程度に釦を小さく形成でき、使用者自身の指によって釦が隠れてしまうような場合であっても表示手段の機能情報により機能を認識でき、正確に機能選択することができる。   Further, the plurality of buttons of the input means can be arranged at intervals such that two or more are simultaneously touched with one finger, and the function is not selected unless pressed in the reflected state. The button can be made small enough to place the finger across the button, and even if the button is hidden by the user's own finger, the function can be recognized by the function information of the display means, and the function can be selected accurately can do.

更にまた、上記表示制御手段は、上記接触検出手段により接触が検出されると、当該接触位置に対応する機能に関する情報を他の機能に関する情報より明るく、又は拡大して表示することで、ユーザの接触をフィードバックすることができる。   Furthermore, when a contact is detected by the contact detection means, the display control means displays the information related to the function corresponding to the contact position brighter or enlarged than the information related to other functions, so that the user's Contact can be fed back.

また、使用者が本体の両側部を夫々左右の手で把持した状態でその親指により入力操作可能な位置に分離して設けられてもよく、これにより、両手で把持した状態で操作入力が可能である。   In addition, the user may be provided separately in a position where the user can perform input operation with his / her thumb while holding both sides of the main body with his / her left and right hands. It is.

更に、上記表示手段の表示画面に設けられ、使用者が接触した上記表示画面上の接触位置を検出する画面接触位置検出手段を有し、上記表示手段は、使用者からの操作入力を受け付ける機能に関する操作用情報を表示し、上記画面接触位置検出手段により検出された接触位置に表示された上記操作用情報の表示項目に応じた機能が選択されるものとすることができ、このようなタッチパネル機能と併用することで、更に操作性を向上する。   Furthermore, it has a screen contact position detecting means provided on the display screen of the display means for detecting a contact position on the display screen in contact with the user, and the display means has a function of receiving an operation input from the user. The function according to the display item of the said information for operation displayed on the contact position detected by the said screen contact position detection means can be selected, and the touch panel can be selected. Use in combination with functions further improves operability.

本実施の形態における情報処理方法は、入力手段の接触位置に応じて割り当てられた1以上の機能に関する機能情報を表示画面に表示する表示工程と、上記入力手段に対する物理的な接触を検出する接触検出工程と、上記機能情報の表示に上記接触検出結果を反映させる表示制御工程と、上記物理的な接触の圧力を検出する圧力検出工程と、上記接触検出結果が上記機能情報の表示に反映された状態で上記圧力検出手段が所定の圧力以上で押下されると当該機能を選択する選択工程とを有することを特徴とする。   The information processing method according to the present embodiment includes a display step of displaying function information on one or more functions assigned according to the contact position of the input means on the display screen, and contact for detecting physical contact with the input means. A detection process, a display control process for reflecting the contact detection result in the display of the function information, a pressure detection process for detecting the physical contact pressure, and the contact detection result is reflected in the display of the function information. And a selection step of selecting the function when the pressure detection means is pressed at a predetermined pressure or higher in a state where the pressure is detected.

また、本発明に係るプログラムは、上述した情報処理をコンピュータに実行させるものである。   A program according to the present invention causes a computer to execute the information processing described above.

本発明に係る情報処理装置によれば、接触位置に応じて、1以上の機能が割り当てられた入力手段と、上記入力手段に対する物理的な接触を検出する接触検出手段と、上記入力手段に割り当てられた1以上の機能に関する機能情報を表示する表示手段と、上記接触検出手段の接触検出結果を上記機能情報の表示に反映させる表示制御手段と、上記物理的な接触の圧力を検出する圧力検出手段とを有し、上記入力手段は、上記接触検出結果が機能情報の表示に反映された状態で上記圧力検出手段が所定の圧力以上で押下されると当該機能を選択するので、入力手段に関する情報が画面上に表示されると共に、ユーザの入力手段に対する接触が画面上の表示に反映されるため、ユーザは入力手段を見なくても触ることで入力手段の機能を認識でき、所定の圧力以上で押下することにより当該機能を選択できて入力操作が容易であり、従って、入力手段には機能を示す情報の記載を不要として、入力操作を行う入力手段及びディスプレイを一体型且つ小型とすることができる。   According to the information processing apparatus of the present invention, an input unit to which one or more functions are assigned according to a contact position, a contact detection unit that detects physical contact with the input unit, and an input unit Display means for displaying function information relating to one or more functions, display control means for reflecting the contact detection result of the contact detection means in the display of the function information, and pressure detection for detecting the pressure of the physical contact The input means selects the function when the pressure detection means is pressed above a predetermined pressure in a state where the contact detection result is reflected in the display of the function information. Since information is displayed on the screen and the user's contact with the input means is reflected in the display on the screen, the user can recognize the function of the input means without touching the input means. The function can be selected by pressing the pressure above a predetermined pressure and the input operation is easy. Therefore, the input means does not require the description of the information indicating the function, and the input means for performing the input operation and the display are integrated. It can be made small.

また、本発明に係る情報処理方法によれば、接触位置に応じて異なる機能が割当てられた入力手段におけるユーザの接触位置を検知し、この接触を反映させた表示情報を表示画面に表示し、接触を反映させた状態で入力手段が所定の圧力以上で押下されると当該機能を選択する情報処理方法を提供することができる。更に、本発明に係るプログラムによれば、上述のような情報処理装置のコンピュータに情報処理を実行させることができる。   Further, according to the information processing method of the present invention, the user's contact position in the input means to which different functions are assigned according to the contact position is detected, and the display information reflecting this contact is displayed on the display screen, It is possible to provide an information processing method for selecting the function when the input unit is pressed at a predetermined pressure or higher with the touch reflected. Furthermore, according to the program according to the present invention, the computer of the information processing apparatus as described above can execute information processing.

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を携帯型のディスプレイ・キーボード一体型情報処理装置に適用したものである。   Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. In this embodiment, the present invention is applied to a portable display / keyboard integrated information processing apparatus.

図1は、本実施の形態における情報処理装置を示す模式図である。情報処理装置1は、図1に示すように、略中央に配置される表示画面(ディスプレイ)10と、表示画面の左右に分離して配置された操作入力手段としての左キーボード20L、右キーボード20Rとを有している。   FIG. 1 is a schematic diagram illustrating an information processing apparatus according to the present embodiment. As shown in FIG. 1, the information processing apparatus 1 includes a display screen (display) 10 disposed substantially at the center, and a left keyboard 20L and a right keyboard 20R as operation input means disposed separately on the left and right of the display screen. And have.

左右のキーボード20L/Rは、複数の釦からなる釦群から構成され、各釦21L/R毎に、異なる文字又は数値等を入力するために異なる機能が割り当てられている。そして、これらの釦21L/R毎の機能に関する情報が表示画面10上にソフトキーボード(機能情報)30として表示されている。本実施の形態においては、表示画面10は、機能情報表示部11と、キーボード20L/Rにより入力された文字や数値等の入力結果を表示する入力結果表示部12とを有する。   The left and right keyboards 20L / R are composed of a group of buttons composed of a plurality of buttons, and different functions are assigned to each button 21L / R for inputting different characters or numerical values. Information regarding the function of each button 21L / R is displayed on the display screen 10 as a soft keyboard (function information) 30. In the present embodiment, the display screen 10 includes a function information display unit 11 and an input result display unit 12 that displays input results such as characters and numerical values input by the keyboard 20L / R.

情報処理装置1は、垂直方向が短辺(横長)となる矩形の表示画面10を有し、左キーボード20L及び右キーボードRは、表示画面10を挟んで本体の両側部の中央付近に、それぞれ設けられる。   The information processing apparatus 1 has a rectangular display screen 10 having a short side (landscape) in the vertical direction, and the left keyboard 20L and the right keyboard R are located near the center of both sides of the main body with the display screen 10 in between. Provided.

そして、本実施の形態においては、この左右のキーボード20L/Rは、垂直方向及び水平方向に4×5の20個ずつの釦(入力キー)21L/Rから構成され、各情報処理装置1の本体の両側部をユーザが把持した状態で、該ユーザの左親指40L及び右親指40Rにて夫々接触可能な位置に配列されている。   In the present embodiment, the left and right keyboards 20L / R are composed of 20 buttons (input keys) 21L / R each having 4 × 5 in the vertical direction and the horizontal direction. In a state where both sides of the main body are gripped by the user, the left thumb 40L and the right thumb 40R of the user are arranged so as to be in contact with each other.

この左右のキーボード20L/Rの各釦21L/Rには、生体(指)の物理的な接触を検出する接触検出手段であるタッチセンサ(図示せず)が、内蔵されるなどして設けられており、このタッチセンサにより、ユーザの親指40L/Rの各釦21L/Rのキートップ等に対する接触を検出し、この接触検出結果が表示画面10のソフトキーボード30に反映(フィードバック)される。即ち、ユーザの手(親指)が、20個のうちいずれの釦21L/Rに接触したかを検出し、この釦21L/Rに割り当てられた機能に関する情報に対応するソフト釦31L/Rを、他のソフト釦とは異なる色又は他のソフト釦より高い輝度で発光させて表示(以下、ハイライト表示という。)する。これにより、ユーザは、表示画面10を見ることで、キーボード20L/R(釦21L/R)を見なくても、現在、どの釦21L/Rに自身の指が置かれているか、自身の指が置かれている(接触している)釦21L/Rにはどのような機能が割り当てられているかを知ることができる。   Each button 21L / R of the left and right keyboards 20L / R is provided with a built-in touch sensor (not shown) which is a contact detection means for detecting physical contact of a living body (finger). The touch sensor detects contact of the user's thumb 40L / R with each key 21L / R on the key top and the like, and the contact detection result is reflected (feedback) on the soft keyboard 30 of the display screen 10. That is, the user's hand (thumb) detects which of the 20 buttons 21L / R is touched, and the soft button 31L / R corresponding to the information related to the function assigned to the button 21L / R is selected. Light is displayed with a color different from that of the other soft buttons or higher brightness than the other soft buttons (hereinafter referred to as highlight display). As a result, the user can see which button 21L / R his / her finger is currently placed on without seeing the keyboard 20L / R (button 21L / R) by looking at the display screen 10. It is possible to know what function is assigned to the button 21L / R on which is placed (contacted).

このようなソフトキーボード30の表示、接触によるソフトキーボード30のハイライト表示などは、図示せぬ表示制御部により制御される。   Such display of the soft keyboard 30 and highlight display of the soft keyboard 30 by contact are controlled by a display control unit (not shown).

ここで、キーボード20L/Rを構成する釦群は、両手で把持した状態で、手の位置は変えず、親指のみを動かして全ての釦に接触可能な範囲に配列されており、1本の親指で、複数の釦が隠れる程度、例えば縦横3mm等の間隔で配列される。このように複数の釦群を狭い範囲に密接した状態で配置すると、1つ1つの釦を触ったり、押下したりすることが困難になる場合があるが、例えば2以上の釦の接触を検出した場合は、接触が検出された範囲において、最も中心に近い位置の釦に接触しているとみなす等とし、いずれか1つの釦を選択してその釦の接触を検出するようにする。そして、この選択された1つの釦に割り当てられた機能に関する情報の表示のみをハイライト表示することで、ユーザは、複数の釦上に親指を載せてもいずれか1つの釦に対応する機能情報にのみその接触が反映されるため、全ての釦が親指の動きのみで接触可能な小さい範囲に密接して設けることができる。   Here, the buttons constituting the keyboard 20L / R are arranged in a range in which the buttons are held with both hands, the position of the hand is not changed, and only the thumb can be moved to contact all the buttons. The thumbs are arranged so that a plurality of buttons are hidden, for example, at intervals of 3 mm in length and width. If a plurality of button groups are arranged in close contact with each other in this manner, it may be difficult to touch or press each button individually. For example, contact of two or more buttons is detected. In such a case, it is assumed that the button closest to the center is touched in the range in which contact is detected, and any one button is selected and the touch of the button is detected. Then, by highlighting only the display of information related to the function assigned to the selected one button, the user can select the function information corresponding to any one button even if the user places his thumb on the plurality of buttons. Since the contact is reflected only on the touch panel, all the buttons can be provided in close contact with a small range that can be touched only by the movement of the thumb.

このようなユーザの指の接触検出は、例えば、後述する近接センサ等を各釦21L/Rに内蔵することにより可能となる。   Such contact detection of the user's finger can be performed by, for example, incorporating a proximity sensor described later in each button 21L / R.

そして、このキーボード20L/Rは、ユーザ自身が現在触っている釦21L/Rに割り当てられた機能に該当するソフト釦31L/Rをハイライト表示させた状態で、当該触っている釦21L/Rを押下することで、この釦21L/Rに割り当てられた機能を選択する入力手段として機能する。ここで、キーボード20L/Rを構成する各釦21L/Rは、夫々押下されることにより、そのキートップの位置が上下に変動する等して状態が変化し、上下ストロークのクリック感等により、ユーザが押下したことを体感できるように構成されている。また、上述のように、釦が密に設けられていることで、親指で同時に複数の釦を押下してしまったとしても、接触が表示に反映された状態で押下されなければ、機能が選択されないため、予めハイライト表示させた所望の1つの機能のみを選択することができる。   The keyboard 20L / R is displayed in a state where the soft button 31L / R corresponding to the function assigned to the button 21L / R currently touched by the user is highlighted and the touched button 21L / R is touched. By pressing the button, it functions as an input means for selecting a function assigned to the button 21L / R. Here, each button 21L / R constituting the keyboard 20L / R changes its state when the key top position fluctuates up and down by being pressed, and the click feeling of the up / down stroke, etc. It is configured so that the user can feel that it has been pressed. In addition, as described above, since the buttons are densely arranged, even if a plurality of buttons are simultaneously pressed with the thumb, the function is selected if the touch is not pressed in a state where the touch is reflected in the display. Therefore, only one desired function highlighted in advance can be selected.

次に、本実施の形態の情報処理装置における入力方法について説明する。先ず、ユーザは、両手で情報処理装置1を把持し、左右の親指をキーボード20L/R上に接触させる。表示画面には、キーボード20L/Rの各釦21L/Rに設けられたタッチセンサがユーザによる接触を検出すると自動的にキーボード20L/Lの各釦21L/Rに割り当てられた機能に関する情報であるソフトキーボード30を表示する。なお、ソフトキーボード30を表示させる表示釦等を別に設け、これを操作してソフトキーボード30を表示させるようにしてもよい。   Next, an input method in the information processing apparatus according to the present embodiment will be described. First, the user holds the information processing apparatus 1 with both hands, and touches the left and right thumbs on the keyboard 20L / R. The display screen is information regarding the function automatically assigned to each button 21L / R of the keyboard 20L / L when a touch sensor provided on each button 21L / R of the keyboard 20L / R detects a contact by the user. The soft keyboard 30 is displayed. Note that a display button or the like for displaying the soft keyboard 30 may be provided separately, and this may be operated to display the soft keyboard 30.

その後、ユーザが左右の親指40L/Rの接触位置をキーボード21L/R上で移動させることで、その接触位置、即ち接触を検出する釦が移動し、各釦は、接触を検出するとこれを表示制御部に知らせる。   Thereafter, when the user moves the contact position of the left and right thumbs 40L / R on the keyboard 21L / R, the contact position, that is, the button for detecting contact moves, and each button displays this when it detects contact. Inform the controller.

表示制御部は、接触を検出した釦に対応するソフトキーボードのソフト釦の表示をハイライト表示32に切り替える。ユーザは、このソフトキーボード30のハイライト表示32をみて、自身が触っている釦21L/Rの機能を認識することができる。この時点では、ユーザの接触がソフトキーボード30に反映されるのみで、各釦21L/Rに割り当てられた例えば所定のアルファベットの入力などの機能は選択されない。言い換えれば、釦21L/Rに接触してソフトキーボード30に反映させることで、その釦に割り当てられた文字を仮選択する。   The display control unit switches the display of the soft button of the soft keyboard corresponding to the button that has detected contact to the highlight display 32. The user can recognize the function of the button 21L / R touched by the user by looking at the highlight display 32 of the soft keyboard 30. At this time, the user's contact is only reflected on the soft keyboard 30, and the function assigned to each button 21L / R, such as inputting a predetermined alphabet, is not selected. In other words, the character assigned to the button is temporarily selected by touching the button 21L / R and reflecting it on the soft keyboard 30.

そして、ユーザが釦21L/Rに接触し、操作したい所望の機能をハイライト表示32させた状態で、接触している釦21L/Rを押下すると、当該機能が選択される。すなわち、接触をソフトキーボード30に反映させることで接触している釦21L/Rに割当てられた機能を仮選択し、その状態で釦21L/Rを押下することで機能を本選択することができる。例えば、キーボード20L/Rの各釦には、アルファベット又は数値を入力する機能が割り当てられているような場合、このような操作を繰り返すことにより、ユーザは、キーボード20L/Rを構成する各釦21L/Rを見ずに、「こんにちは。」等の文章等を入力し、表示画面10上の入力結果表示部12に表示させることができる。   Then, when the user touches the button 21L / R and presses the touching button 21L / R in a state where the desired function to be operated is highlighted 32, the function is selected. That is, the function assigned to the touching button 21L / R is temporarily selected by reflecting the touch on the soft keyboard 30, and the function can be selected by pressing the button 21L / R in that state. . For example, when each button of the keyboard 20L / R is assigned a function of inputting an alphabet or a numerical value, the user repeats such an operation so that the user can select each button 21L constituting the keyboard 20L / R. / without looking at the R, "Hello." type a sentence such as, it can be displayed in the input result display unit 12 on the display screen 10.

通常、このように小型で且つ左右に分離したキーボードとすると、キーボード20L/Rの各釦21L/Rのキートップのラベルを視認することが困難になったり、指が複数の釦上を覆うことで、操作しようとする釦のラベルが見えなくなったり、左右に2つ操作入力部を設けると視線が往復してキーボード20の各釦21L/Rに割り当てられた機能を認識することが困難になったりする。これに対して、本実施の形態においては、ユーザがキーボード20L/Rを見なくても、キーボード20L/Rの各機能に関する情報を認識可能とするため、ソフトキーボード30として表示画面10上に表示し、ユーザによる接触を検出してこれをソフトキーボード30の表示に反映させることで、ユーザは、キーボードが小型であっても、左右に分離して配置されていても、各釦21L/Rに割り当てられた機能を、接触検出した釦に対応してハイライト表示32としたソフトキーボード30により認識することができる。   Normally, with such a small and separated left and right keyboard, it becomes difficult to visually recognize the key top label of each button 21L / R of the keyboard 20L / R, or the finger covers a plurality of buttons. Thus, it becomes difficult to recognize the function assigned to each button 21L / R of the keyboard 20 by reciprocating the line of sight when the label of the button to be operated becomes invisible or two operation input portions are provided on the left and right. Or On the other hand, in the present embodiment, the software keyboard 30 is displayed on the display screen 10 in order to make it possible to recognize information regarding each function of the keyboard 20L / R without the user looking at the keyboard 20L / R. Then, by detecting contact by the user and reflecting this on the display of the soft keyboard 30, the user can apply the button 21L / R to each button 21L / R regardless of whether the keyboard is small or left and right. The assigned function can be recognized by the soft keyboard 30 that has the highlighted display 32 corresponding to the button whose contact has been detected.

このことにより、ユーザはキーボード20L/Rに指を置く等して触るのみでその機能を把握することができるので、キーボード20L/Rを表示画面10と共に一体型に構成して携帯用の小型の情報処理装置とすることができる。そして、例えば本実施の形態のような左右分離小型化キーボード20L/Rを使用すれば、両手で装置を把持した状態を維持しつつ親指2本の入力操作が可能になると共に、接触した釦をハイライト表示することで周囲が暗くてもその機能を容易に認識することができる。   As a result, the user can grasp the function only by placing a finger on the keyboard 20L / R and touching the keyboard 20L / R. Therefore, the keyboard 20L / R is integrated with the display screen 10 so as to be compact and portable. An information processing apparatus can be used. For example, if the left / right separated miniaturized keyboard 20L / R as in the present embodiment is used, an input operation of two thumbs can be performed while the device is held with both hands, and the touched button is pressed. By highlighting, the function can be easily recognized even when the surroundings are dark.

次に、本実施の形態の変形例について説明する。図2(a)及び(b)は、第1の実施の形態の変形例における情報処理装置を示す模式図である。上述したように、左右のキーボードに配置可能な釦の数には、釦の大きさ又は情報処理装置の大きさなどに応じて制約がある場合がある。そこで、本変形例においては、左右の釦操作を組み合わせることで、例えば文字入力の場合であれば、釦の数より多数の文字種を入力可能とする釦操作の組み合わせの一例を示す。   Next, a modification of the present embodiment will be described. 2A and 2B are schematic diagrams illustrating an information processing apparatus according to a modification of the first embodiment. As described above, the number of buttons that can be arranged on the left and right keyboards may be restricted depending on the size of the buttons or the size of the information processing apparatus. Therefore, in the present modification, an example of a combination of button operations that can input a larger number of character types than the number of buttons by combining left and right button operations, for example, in the case of character input.

従来、少ない釦数で、文字を入力するための種々のキーボード又はキーパッドが開発されており、複数の釦の組み合わせにより文字を入力するものもある。例えばTAGTYPE(リーディング・エッジ・デザインが開発した両手親指高速日本語入力方式)では、左右5個ずつの合計10個の釦を用意し、五十音の行と段とを交互に押すことで日本語を入力するものである。すなわち、1回目の入力で「行」の選択を行うが、このとき10個の釦には、「あ」から「わ」までの各行が割り付けられ、所望の「行」を選択することができる。2回目の入力では、「段」の選択を行って文字入力を行うものであり、このとき、左右いずれにも、「あ」から「お」までの各段が割り付けられ、左右のどちらの釦を押しても同じ文字を入力することができる。しかしながら、この種のキーボードは、ユーザが釦配列を習得する必要がある。   Conventionally, various keyboards or keypads for inputting characters with a small number of buttons have been developed, and some input characters by combining a plurality of buttons. For example, in TAGTYPE (a high-speed Japanese input system for both thumbs developed by Reading Edge Design), a total of 10 buttons, 5 left and right, are prepared, and Japan is pressed by alternately pressing the line and step of the Japanese syllabary. Enter words. That is, “row” is selected by the first input, and at this time, each row from “a” to “wa” is allocated to the ten buttons, and a desired “row” can be selected. . In the second input, the character input is performed by selecting “dan”, and at this time, each stage from “a” to “o” is assigned to both left and right, and either button on the left or right is selected. You can also enter the same character by pressing. However, this type of keyboard requires the user to learn the button layout.

これに対し、本発明においては、キーボード(各釦)がユーザの接触を検出し、この接触を表示に反映させるため、釦が示すコマンド内容をユーザが事前に知ることができ、釦配列を覚える必要がないものとなっている。   On the other hand, in the present invention, the keyboard (each button) detects the user's contact and reflects this contact on the display, so that the user can know the command content indicated by the button in advance and learn the button arrangement. It is not necessary.

図2(a)に示すように、本変形例における情報処理装置51は、その中央に設けられた表示画面60と、表示画面60の左右に分離して配置された左キーボード70L及び右キーボード70Rとを有し、左右のキーボード70L/Rは、2行4列の各8個、合計16個の釦71L/R(タッチセンサ付きキーパッド)からなる。   As shown in FIG. 2A, the information processing apparatus 51 in the present modification includes a display screen 60 provided in the center thereof, and a left keyboard 70L and a right keyboard 70R that are arranged separately on the left and right of the display screen 60. The left and right keyboards 70L / R are each composed of 8 buttons in 2 rows and 4 columns, a total of 16 buttons 71L / R (keypad with touch sensor).

左右のキーボード70L/Rは、例えば親指など、ユーザの指40L/Rがどの釦に触れているかの状態、及びいずれの釦にも触れていない状態の9状態を検出することができる。従って、8個の右釦71Rを押下する場合に、左キーボード70Lの触れ方(9種類の状態)により、8×9=72通り、また、8個の左釦71Lを押下する場合に、右キーボード70Rの触れ方(9状態)により72通りを識別することができ、合計144通りの入力状態を識別することができる。一般的に、左右夫々、N個の釦があった場合に、入力できる種類は、(N+1)×N×2となる。   The left and right keyboards 70L / R can detect nine states, for example, the state of which button the user's finger 40L / R is touching, such as the thumb, and the state where no button is touched. Therefore, when pressing the eight right buttons 71R, depending on how the left keyboard 70L is touched (9 kinds of states), 8 × 9 = 72 ways, and when pressing the eight left buttons 71L, 72 ways can be identified by touching the keyboard 70R (9 states), and a total of 144 input states can be identified. Generally, when there are N buttons on the left and right, the types that can be input are (N + 1) × N × 2.

本情報処理装置51は、上述した如く、釦を押下する前に表示画面60において、釦の接触を表示に反映させ、その釦にどのような機能が割り当てられているかをユーザが認識することができる。例えば、図2(b)に示すように、左キーボード70Lにおいて、左の親指40Lが例えば左下隅の1つの釦71Lに触れている場合、これにより、表示画面60右側に、ソフトキーボード80Rが表示されているものとする。この右用ソフトキーボード80Rは、8つのソフト釦81Rからなり、左釦71L毎に右釦71Rに割当てられる機能情報(コマンド)が切り替り、これに合わせて右用ソフトキーボード80Rの表示も切り替る。   As described above, the information processing apparatus 51 reflects the touch of the button on the display screen 60 on the display screen 60 before pressing the button, and the user can recognize what function is assigned to the button. it can. For example, as shown in FIG. 2B, when the left thumb 40L touches, for example, one button 71L in the lower left corner on the left keyboard 70L, a soft keyboard 80R is displayed on the right side of the display screen 60. It is assumed that The right soft keyboard 80R includes eight soft buttons 81R, and the function information (command) assigned to the right button 71R is switched for each left button 71L, and the display of the right soft keyboard 80R is switched accordingly. .

図2(b)においては、右用ソフトキーボード80Rとして「A」〜「H」の8つのソフト釦81Rが表示され、この状態で例えば右下から2番目の右釦71Rに接触するとソフト釦81R(「G」)がハイライト表示され、この状態で上記右釦71Rを押下すると「G」が入力される。そして左側の指40Lをずらして、左釦71Lの接触位置を変更することで、表示画面60に表示されるソフトキーボード80Rの表示が切り替り、他の文字を入力することができる。同様に、右の釦71Rに触れている位置に応じて、表示画面60の左側に異なる左用ソフトキーボード80Lが表示される。   In FIG. 2B, eight soft buttons 81R “A” to “H” are displayed as the right soft keyboard 80R, and when the second right button 71R is touched in this state, for example, the soft button 81R is touched. (“G”) is highlighted, and when the right button 71R is pressed in this state, “G” is input. Then, by shifting the left finger 40L and changing the contact position of the left button 71L, the display of the soft keyboard 80R displayed on the display screen 60 is switched, and other characters can be input. Similarly, a different left soft keyboard 80L is displayed on the left side of the display screen 60 in accordance with the position where the right button 71R is touched.

本変形例においては、例えば右釦71Rの接触が検出された場合、表示画面60に左キーボード70Lに現在割当てられている機能情報が左用ソフトキーボード80Lとして表示されると共に、左釦71Lに対するユーザの接触が検出され、当該釦71Lを押下する前に、現在ユーザの指40Lが触っている釦に割当てられた機能情報がハイライト表示されるため、ユーザが実際に釦71L/Rを押下する前に、どの釦にどの文字(機能)が割当てられているかを事前に知ることができ、釦配列を学習していないような初心者であっても、指を釦上で動かすことでキー配列を表示画面に表示されたソフトキーボードにより見ることができ、極めて操作性が高い。また、キー配列を学習したユーザは、画面表示に頼らず高速に文字入力を行うことも可能となる。   In this modification, for example, when contact with the right button 71R is detected, the function information currently assigned to the left keyboard 70L is displayed on the display screen 60 as the left soft keyboard 80L, and the user's action on the left button 71L is displayed. Before contact is detected and the function information assigned to the button currently touched by the user's finger 40L is highlighted before the button 71L is pressed, before the user actually presses the button 71L / R. In addition, it is possible to know in advance which character (function) is assigned to which button, and even a beginner who has not learned the button layout can display the key layout by moving the finger on the button. It can be viewed with the soft keyboard displayed on the screen, and it is extremely easy to operate. Further, a user who has learned the key arrangement can input characters at high speed without relying on screen display.

また、このような画面上のソフトキーボード80L/Rの表示は、指が釦に触れていない状態が一定時間以上続いた場合には、自動的に消えるように設定することができる。これにより、特別な切り替えコマンドなしに、文字入力中のみ自動的にキー表示ができるような画面インターフェースを構成することができ、この情報処理装置を他のアプリケーションと混在して利用する際に便利である。   The display of the soft keyboard 80L / R on the screen can be set to automatically disappear when a finger is not touching the button for a predetermined time or longer. This makes it possible to configure a screen interface that can automatically display keys only during character input without a special switching command, which is convenient when using this information processing device in combination with other applications. is there.

次に、本発明の第2の実施の形態について説明する。図3は、本実施の形態における情報処理装置を示す模式図である。図3に示すように、本実施の形態における情報処理装置101においても、第1の実施の形態と同様に、表示画面110と、これを挟んで左右に分離された位置に配置される小型キーボード120L/Rとを有し、キーボード120L/Rは、夫々ユーザの指40L/Rの接触を検出するタッチセンサが内蔵された複数の釦121L/Rから構成されている。   Next, a second embodiment of the present invention will be described. FIG. 3 is a schematic diagram showing the information processing apparatus according to the present embodiment. As shown in FIG. 3, also in the information processing apparatus 101 according to the present embodiment, as in the first embodiment, the display screen 110 and a small keyboard arranged at positions separated from each other across the display screen 110 120L / R, and the keyboard 120L / R includes a plurality of buttons 121L / R each having a built-in touch sensor that detects contact of the user's finger 40L / R.

ここで、本実施の形態における情報処理装置101は、複数の機能モード(メニュー)を有し、図1に示すような、テキストを入力するテキスト入力モードの他に、テレビ受像機のリモートコマンダ(以下、リモコンという。)として使用するリモコンモード等を有する。機能モードをリモコンモードとした場合、例えば左キーボード120Lの各釦121Lに割り当てられたチャンネルを選択する機能に関する情報が、表示画面110にソフトキーボード130として表示され、左キーボード120Lの各釦121Lによって、チャンネルを選択することができる。なお、チャンネルに相当する数の釦以外の釦に触っても何も表示されないものとする。   Here, the information processing apparatus 101 according to the present embodiment has a plurality of function modes (menus). In addition to the text input mode for inputting text as shown in FIG. Hereinafter, it has a remote control mode used as a remote control. When the function mode is the remote control mode, for example, information regarding a function for selecting a channel assigned to each button 121L of the left keyboard 120L is displayed as a soft keyboard 130 on the display screen 110, and each button 121L of the left keyboard 120L A channel can be selected. It is assumed that nothing is displayed even if a button other than the number of buttons corresponding to the channel is touched.

このような場合、釦121Lに触ると、ソフトキーボード130の該当するチャンネル131aがハイライト表示され、ハイライト表示された状態で該当する釦121Lを押下することで当該チャンネルを選択することができる。   In such a case, when the button 121L is touched, the corresponding channel 131a of the soft keyboard 130 is highlighted, and the channel can be selected by pressing the corresponding button 121L in the highlighted state.

ここで、本実施の形態においては、接触が検出された釦121Lに該当する機能に関する情報としてチャンネル131aがハイライト表示されるだけでなく、画面110上に、機能情報内容表示ウィンド131bを設け、ここに接触された釦に割り当てられた機能内容、例えば、この機能を説明する文字情報又は画像を、ソフトキーボード130における表示よりも詳細に表示することができる。具体的には、本実施の形態のように、チャンネル選択機能が割り当てられている場合は、放送局の説明を示す文字情報を表示したり、そのチャンネルで現在放映されている映像を一時的に表示したりすることができる。   Here, in the present embodiment, not only the channel 131a is highlighted as information related to the function corresponding to the button 121L for which contact is detected, but a function information content display window 131b is provided on the screen 110, The function content assigned to the button touched here, for example, character information or an image explaining this function, can be displayed in more detail than the display on the soft keyboard 130. Specifically, when the channel selection function is assigned as in this embodiment, character information indicating the explanation of the broadcasting station is displayed, or the video currently being broadcast on the channel is temporarily displayed. Can be displayed.

また、例えば、機能モードを切り替えて携帯電話として使用する場合、釦は、電話番号を入力する機能となるため、このような場合には、機能情報内容表示ウィンド131bには、接触を検出した釦に対応する数値を単に拡大して表示したりしてもよい。このように、釦に、モード毎に異なる機能が割り当てられ、釦に動的に機能が貼り付けられている場合においても、ユーザは、釦が所望の機能(コマンド)に対応しているか否かを、釦を押下する前、即ち機能を選択実行する前に認識することができる。   In addition, for example, when the function mode is switched and used as a mobile phone, the button has a function of inputting a telephone number. In such a case, the function information content display window 131b includes a button that detects contact. The numerical value corresponding to may be simply enlarged and displayed. In this way, even when different functions are assigned to the buttons for each mode and the functions are dynamically attached to the buttons, the user can check whether the buttons correspond to the desired functions (commands). Can be recognized before the button is pressed, that is, before the function is selected and executed.

本実施の形態においては、第1の実施の形態と同様に、タッチセンサ付きの釦からなる左右分離型のキーボードを搭載し、キーボードの各釦に対応する機能を画面上に表示して、釦の接触を検知し、これを画面上のソフトキーボードの該当する部分をハイライト表示することで、キーボードの接触をユーザにフィードバックするため、ユーザはこれから押す釦に対してどのような機能が割り当てられているかを認識することができる。これにより、各釦にどのような機能であるかをシンボル等で表示する必要がなく、キーボード(各釦)の大きさを小さくすることができ、小型の携帯型情報処理装置に搭載することができる。更に、本実施の形態においては、釦に対して動的に機能情報を貼り付けて、接触している釦に関する詳細な機能表示を行うことで、更に操作性を向上することができる。   In the present embodiment, as in the first embodiment, a left-right separated keyboard composed of buttons with touch sensors is mounted, functions corresponding to the buttons of the keyboard are displayed on the screen, and the buttons In order to feed back the keyboard contact to the user by highlighting the corresponding part of the soft keyboard on the screen, the user will be assigned what function to press the button. Can recognize. Accordingly, it is not necessary to display the function of each button with a symbol or the like, the size of the keyboard (each button) can be reduced, and the function can be mounted on a small portable information processing apparatus. it can. Furthermore, in the present embodiment, operability can be further improved by dynamically pasting function information to the buttons and displaying detailed functions related to the buttons in contact.

次に、本発明の第3の実施の形態について説明する。本実施の形態は、第1及び第2の実施の形態と同様に小型キーボードを搭載すると共に、更に、表示画面上にタッチパネルを供えることで、更に操作性の向上を図ったものである。   Next, a third embodiment of the present invention will be described. In this embodiment, a small keyboard is mounted as in the first and second embodiments, and a touch panel is provided on the display screen to further improve operability.

図4(a)及び(b)は、本発明の第3の実施の形態における情報処理装置を示す情報処理装置を示す模式図である。図4(a)に示すように、情報処理装置201は、表示画面210に、上述の第1及び第2の実施の形態と同様、機能情報表示画部211を有し、キーボードに割り当てられた機能に関する情報としてソフトキーボード230が表示されると共に、この機能情報表示画部211はユーザからの操作を受け付けるタッチパネル240L/Rとして機能する。従って、表示画面210のソフトキーボード230と重ならない位置にユーザからの操作入力を受け付けるための操作用情報が表示される。タッチパネル240L/Rには、ユーザが接触するようにした表示画面210上の接触位置を検出する画面接触位置検出手段(図示せず)が設けられ、この画面接触位置検出手段により、検出される表示画面210上の接触位置に表示されている操作用情報の表示項目に応じた機能を選択することができる。   FIGS. 4A and 4B are schematic diagrams showing an information processing apparatus showing the information processing apparatus according to the third embodiment of the present invention. As shown in FIG. 4A, the information processing apparatus 201 has the function information display image unit 211 on the display screen 210 as in the first and second embodiments described above, and is assigned to the keyboard. A software keyboard 230 is displayed as information related to the function, and the function information display image unit 211 functions as a touch panel 240L / R that receives an operation from the user. Accordingly, operation information for accepting an operation input from the user is displayed at a position that does not overlap the soft keyboard 230 of the display screen 210. The touch panel 240L / R is provided with screen contact position detection means (not shown) for detecting a contact position on the display screen 210 that the user touches, and the display detected by the screen contact position detection means. A function corresponding to the display item of the operation information displayed at the contact position on the screen 210 can be selected.

図4(a)に示す例では、左右キーボード220L/Rの各釦221L/Rには、数値及びアルファベット等を入力する機能が割り当てられ、この機能を示すソフトキーボード230が画面210上に表示される。また、タッチパネル240L/Rは、画面210の左右の親指で接触可能な位置に分割して設けられ、このタッチパネル240L/Rには、ひらがなから漢字に変換する際等の変換機能部241a、入力した情報を削除する削除機能部241b等の機能を選択するための表示項目が複数備えられている。   In the example shown in FIG. 4A, the buttons 221L / R of the left and right keyboards 220L / R are assigned functions for inputting numerical values and alphabets, and a soft keyboard 230 indicating these functions is displayed on the screen 210. The In addition, the touch panel 240L / R is divided and provided at positions that can be touched by the left and right thumbs of the screen 210. The touch panel 240L / R is input with a conversion function unit 241a for converting hiragana to kanji. A plurality of display items are provided for selecting a function such as a deletion function unit 241b for deleting information.

そして、ユーザは、キーボード220L/Rの各釦221L/Rからの入力と、タッチパネル240L/Rからの入力とを組み合わせることができ、釦221L/Rにより入力した情報に対し、タッチパネル240L/Rの表示項目をタッチすることで、変換候補やコマンド等を表示させ、該当する変換候補やコマンドを選択することが可能となる。   The user can combine the input from each button 221L / R of the keyboard 220L / R and the input from the touch panel 240L / R. By touching a display item, conversion candidates, commands, and the like can be displayed, and the corresponding conversion candidates and commands can be selected.

また、図4(b)に示すように、左キーボード320Lの各釦321Lに割り当てられた機能に関する情報をソフトキーボード330として表示し、タッチパネルとして、右親指で接触可能な位置に、各釦321Lにて選択されている機能に関するパラメータを調節するスクロールバー340を表示することができる。   Also, as shown in FIG. 4B, information related to the function assigned to each button 321L of the left keyboard 320L is displayed as a soft keyboard 330, and the touch panel can be touched with the right thumb as a touch panel. A scroll bar 340 for adjusting parameters related to the selected function can be displayed.

例えば、左キーボード320Lの釦321Lに対し、ボリューム、チャンネル等の異なる機能を割り当てる。そして、例えば、左キーボード320Lを操作し、ボリューム機能に該当する画面上のソフト釦をハイライト表示331aとした状態で、釦321Lを押下することでボリューム機能が選択されると、スクロールバー340は、ボリュームを調節する機能に切り替り、スクロールバー340上にて右親指40Rを摺動することで、ボリュームの大小を調整することができる。また、例えば、キーボードの釦に触って、テレビリモコン機能に該当するソフト釦をハイライト表示させた状態で、釦を押下することでチャンネル機能が選択されると、スクロールバーは、チャンネルを変更する機能に切り替り、スクロールバー上で指を接触させながら移動させることで、チャンネルを切り替えることがきる。   For example, different functions such as volume and channel are assigned to the button 321L of the left keyboard 320L. For example, when the volume function is selected by operating the left keyboard 320L and pressing the button 321L while the soft button on the screen corresponding to the volume function is highlighted 331a, the scroll bar 340 is displayed. By switching to the function of adjusting the volume and sliding the right thumb 40R on the scroll bar 340, the size of the volume can be adjusted. Also, for example, when a channel function is selected by pressing a button while touching a button on the keyboard and highlighting a soft button corresponding to the TV remote control function, the scroll bar changes the channel. By switching to the function and moving the finger while touching the scroll bar, the channel can be switched.

また、本実施の形態においても、接触を検出した釦に割り当てられた機能に関する情報部分をハイライト表示するだけでなく、文字情報331bとして表示したり、拡大して表示したりしてもよい。   Also in the present embodiment, not only the information portion related to the function assigned to the button that detected contact may be highlighted, but also displayed as character information 331b or enlarged.

次に、本発明の第4の実施の形態について説明する。本実施の形態においては、情報処理装置に対するユーザの接触を検出し、これによりキーボードの機能モードを自動的に切り替えるものである。上述した図1に示す情報処理装置1のソフトキーボード30の表示と、図3に示す情報処理装置101のソフトキーボード130の表示との切り替え、又は図4(a)のキーボード表示と、図4(b)の機能及びパラメータ調節表示との切り替えは、切り替え釦を用意してこれにより表示切替をしてもよいが、本実施の形態のように、自動的なモード切り替えにより行うことができる。   Next, a fourth embodiment of the present invention will be described. In this embodiment, the user's contact with the information processing apparatus is detected, and the function mode of the keyboard is automatically switched accordingly. Switching between the display of the soft keyboard 30 of the information processing apparatus 1 shown in FIG. 1 and the display of the soft keyboard 130 of the information processing apparatus 101 shown in FIG. 3, or the keyboard display of FIG. The switching between the function and parameter adjustment display in b) may be performed by preparing a switching button and switching the display by this, but can be performed by automatic mode switching as in the present embodiment.

即ち、両手が装置に触れてない場合、左右いずれか一方の手が装置に触れている場合、左右いずれの手も装置に触れている場合等により、機能モードを切り替えることで、左右の入力手段に割り当てる機能を切り替え、表示画面上に表示する機能情報(ソフトキーボード)、及び画面上から入力操作を行うための操作用情報(タッチパネル)の表示を切り替える。   That is, when both hands are not touching the device, either the left or right hand is touching the device, the left or right hand is touching the device, etc. The function to be assigned to is switched, and display of function information (soft keyboard) displayed on the display screen and operation information (touch panel) for performing an input operation from the screen is switched.

例えば、図5(a)に示すように、左右のキーボード410L/Rのいずれにも、ユーザの手又は親指40L/Rが接触していない場合、表示画面410には、何も表示しないものとしたり、図5(b)に示すように、左右のキーボード420L/Rのいずれにおいても、ユーザの手(親指)40L/Rの接触が検出された場合、テキスト入力モードと判断し、画面410上には、第1の実施の形態と同様なソフトキーボード430aを表示し、左右のキーボード420L/Rにより入力操作を行ったりすることができる。   For example, as shown in FIG. 5A, when the user's hand or thumb 40L / R is not in contact with any of the left and right keyboards 410L / R, nothing is displayed on the display screen 410. As shown in FIG. 5 (b), when contact with the user's hand (thumb) 40L / R is detected on either of the left and right keyboards 420L / R, it is determined as the text input mode, and the screen 410 The same soft keyboard 430a as in the first embodiment can be displayed, and an input operation can be performed using the left and right keyboards 420L / R.

また、図5(b)に示すように、左手(左親指)40Lのみの接触が検出され、右手(右親指)40Rの接触が検出されない場合、及び図5(c)に示すように、右手(右親指)40Rのみの接触が検出され、左手(左親指)40Lの接触が検出されない場合は、夫々メニュー選択モード1及びメニュー選択モード2とし、モード別のソフトキーボード430b,430cを表示してもよい。   Further, as shown in FIG. 5 (b), the contact of only the left hand (left thumb) 40L is detected, and the contact of the right hand (right thumb) 40R is not detected, and as shown in FIG. 5 (c), the right hand When contact with only the right hand 40R is detected and contact with the left hand (left thumb) 40L is not detected, the menu selection mode 1 and the menu selection mode 2 are set, respectively, and the soft keyboards 430b and 430c for each mode are displayed. Also good.

これらの機能モード切替は、指が触れていないまま一定時間経過すると、自動的に、予め設定された通常モードに戻るようにし、指が触れると自動的にモードが切り替るようになされる。そして、図5(b)のように、両側のキーボードにユーザの親指が触れている状態、又は図5(c)及び(d)のように、片側のキーボードのみにユーザの親指が触れている状態を検知して、モード切替を自動的に行うことができる。このように、接触によりモードを切り替えることで、テキスト入力モード等を指定するための特別なモード切替コマンドが不要となる。   In these function mode switching, when a predetermined time elapses without the finger being touched, the mode is automatically returned to the preset normal mode, and the mode is automatically switched when the finger is touched. Then, the user's thumb is touching the keyboard on both sides as shown in FIG. 5B, or the user's thumb is touching only the keyboard on one side as shown in FIGS. 5 (c) and 5 (d). The mode can be automatically switched by detecting the state. Thus, by switching the mode by contact, a special mode switching command for designating the text input mode or the like becomes unnecessary.

次に、本発明の第5の実施の形態について説明する。本実施の形態は、キーボード上又はタッチパネル上のユーザの特徴的な指の動きを検出して、この指の動き(移動パターン)に対しても機能を割り当て、更に操作性を向上するものである。   Next, a fifth embodiment of the present invention will be described. In the present embodiment, a characteristic finger movement of the user on the keyboard or touch panel is detected, a function is assigned to the movement (movement pattern) of the finger, and the operability is further improved. .

図6に示すように、情報処理装置501は、複数のタッチセンサ内蔵釦から構成されるキーボード520L/Rを左右の親指が接触可能な位置に備え、このキーボード520L/Rの割り当てられた機能に関する情報を画面510上にソフトキーボード530として表示すると共に、キーボード520L/Rに対するユーザの接触を画面510上のソフトキーボード530にフィードバックさせる。この状態で、キーボード520L/Rの釦521L/Rを押下することで、機能を選択することができる。また、画面上にてユーザの操作を受け付けるためのタッチパネル540L/Rを有し、更に多様な操作を可能とする。   As shown in FIG. 6, the information processing apparatus 501 includes a keyboard 520L / R composed of a plurality of buttons with a built-in touch sensor at a position where the left and right thumbs can touch, and relates to functions assigned to the keyboard 520L / R. Information is displayed as a soft keyboard 530 on the screen 510, and the user's contact with the keyboard 520L / R is fed back to the soft keyboard 530 on the screen 510. In this state, a function can be selected by pressing the button 521L / R of the keyboard 520L / R. In addition, a touch panel 540L / R for accepting user operations on the screen is provided, and various operations can be performed.

そして、本実施の形態においては、更に、親指をキーボード520L/Rのキートップに接触させた状態で、例えば紙面上下方向、左右方向、斜め方向に移動させる等の移動パターンを特徴的な動きとして検出する。キーボード520L/Rを構成する各釦には、夫々タッチセンサが内蔵されているので、このようなユーザの動きを検出することができる。この際、このような各動きに対して、所望の機能を割り当てておくことで、上記指を上下に動かす等の特徴的な動きをジェスチャコマンドとして認識し、これらのコマンドに割り当てられた機能を選択することができる。また、この機能に関する情報を画面上に表示するようにしてもよい。   In the present embodiment, the movement pattern such as moving in the vertical direction, left-right direction, and diagonal direction on the paper surface, for example, with the thumb in contact with the key top of the keyboard 520L / R is a characteristic movement. To detect. Since each button constituting the keyboard 520L / R has a built-in touch sensor, such user movement can be detected. At this time, by assigning a desired function to each of such movements, a characteristic movement such as moving the finger up and down is recognized as a gesture command, and the functions assigned to these commands are assigned. You can choose. Further, information regarding this function may be displayed on the screen.

同様に、キーボード上の指の特徴的な動きだけでなく、タッチパネル540L/Rは、画面上の接触位置を検出する接触位置検出手段を有しているため、このタッチパネル540L/Rに指を接触させながら上下、左右、斜め等に動かすと、これを特徴的な動きとして検出し、これをジェスチャコマンドとして認識させて、同様に機能選択を行うことができる。   Similarly, since the touch panel 540L / R has not only the characteristic movement of the finger on the keyboard but also the touch position detection means for detecting the touch position on the screen, the finger touches the touch panel 540L / R. If it is moved up and down, left and right, diagonally, etc., this is detected as a characteristic movement, and this is recognized as a gesture command, and the function can be selected in the same manner.

また、一方のキーボードに、このような動きに対してマウスのカーソルの移動に対する機能を割り当てておき、他方のキーボードの所定釦に、右クリック及び左クリックに対応する機能を割り当てておき、一方のキーボードにより、画面上に表示させたマウスのカーソルをユーザの手の軌跡に沿って移動させながら、他方のキーボードを押下することにより、マウスの右クリック及び左クリックに対応する機能を選択するようにしてもよい。この場合も、右クリック及び左クリックの機能を実行する前に、接触した釦の機能を示す情報を画面上にハイライト表示させることで、ユーザは、自身が触っている釦の機能を選択する前に認識することができる。   Also, a function for moving the mouse cursor is assigned to one keyboard for such movement, a function corresponding to right click and left click is assigned to a predetermined button of the other keyboard, The function corresponding to the right click and left click of the mouse is selected by pressing the other keyboard while moving the cursor of the mouse displayed on the screen along the locus of the user's hand with the keyboard. May be. Also in this case, the user selects the function of the button that the user is touching by highlighting the information indicating the function of the touched button on the screen before executing the right-click and left-click functions. Can be recognized before.

次に、本発明の第6の実施の形態について説明する。上述の第1乃至第5の実施の形態においては、複数の釦からなるキーボードを左右に配置するものとしたが、1つの釦上に位置センサなどを設けることで、この1つの釦をキーボードとして使用するこができる。図7は、本実施の形態におけるキーパッドを模式的に示す斜視図である。図7に示すように、キーボード(キーパッド)820は、ユーザにクリック感を伝えるための振動生成手段としての触感フィードバック発生装置(ピエゾアクチュエータ又は振動アクチュエータ)821と、圧力センサ822と、指位置センサ823とからなる3層構造になされている。   Next, a sixth embodiment of the present invention will be described. In the first to fifth embodiments described above, a keyboard composed of a plurality of buttons is arranged on the left and right. However, by providing a position sensor or the like on one button, this one button is used as a keyboard. Can be used. FIG. 7 is a perspective view schematically showing a keypad in the present embodiment. As shown in FIG. 7, a keyboard (keypad) 820 includes a tactile feedback generator (piezo actuator or vibration actuator) 821 as vibration generating means for transmitting a click feeling to a user, a pressure sensor 822, and a finger position sensor. 823 and a three-layer structure.

本実施の形態における入力手段としてのキーパッド820は、指位置センサ823により、ユーザの接触位置を検出する。従って、この接触位置に基づき異なる機能(コマンド)を割り当てることができ、コマンド毎に複数の釦を設ける必要がない。圧力センサ822は、ユーザの指の接触位置が検出されている状態で、所定の圧力以上で押下されているか否かを検出し、これを入力操作に反映させる。ユーザは、自身の指がどの位置に接触しているか、その接触位置に割当てられた機能が何かを表示画面上に表示されるソフトキーボードにより認識することができ、上述の実施の形態と同様に、キーパッド820に対する接触が表示に反映されるため、ユーザはキーパッド820のどの位置にどの機能が割り当てられているかを認識していなくても、表示画面の表示により、所望の機能を選択することができる。   The keypad 820 as an input unit in the present embodiment detects the contact position of the user by the finger position sensor 823. Accordingly, different functions (commands) can be assigned based on the contact position, and there is no need to provide a plurality of buttons for each command. The pressure sensor 822 detects whether or not the contact position of the user's finger is detected and is pressed down at a predetermined pressure or higher, and reflects this in the input operation. The user can recognize which position his / her finger is in contact with and the function assigned to the contact position with the soft keyboard displayed on the display screen, as in the above-described embodiment. In addition, since the touch on the keypad 820 is reflected on the display, even if the user does not recognize which function is assigned to which position on the keypad 820, the user can select a desired function by displaying the display screen. can do.

図8は、このようなキーパッド820の動作を示すフローチャートである。図8に示すように、指位置センサ823がユーザの指がパッドに触れているか否かを検出し(ステップS1)、指が触れている場合、指の位置に応じて画面表示を更新する(ステップS2)。そして、圧力センサ822が、所定の圧力以上であるか否かを検出し(ステップS3)、所定の圧力以上の圧力を検出した場合は、指位置センサ823が検出している指位置が押下されたと判断して入力操作を受け付け(ステップS4)、触感フィードバック装置821によりクリック感を生成し(ステップS5)、再びステップS1の処理に戻る。   FIG. 8 is a flowchart showing the operation of the keypad 820. As shown in FIG. 8, the finger position sensor 823 detects whether or not the user's finger is touching the pad (step S1), and when the finger is touching, the screen display is updated according to the finger position ( Step S2). Then, the pressure sensor 822 detects whether or not the pressure is equal to or higher than the predetermined pressure (step S3), and when the pressure higher than the predetermined pressure is detected, the finger position detected by the finger position sensor 823 is pressed. The tactile feedback device 821 generates a click feeling (step S5), and the process returns to step S1 again.

ここで、このように、キーパッド820の指位置センサ823が、N個の領域を検出することができるものとすると、接触しているのが1本の指のみであり、他の指がキーパッドに触れていない場合、N種類の入力が可能となる。そして、指位置センサ823が複数の接触位置を同時に検出できるようなものとすれば、1本の指をキーパッドのいずれかの位置に接触させ、更に他の指でその他の位置のいずれかに接触することで、N×(N−1)種類の状態を識別可能となる。従って、合計で、N+N×(N−1)=N2通りの入力が可能となる。   Here, when the finger position sensor 823 of the keypad 820 can detect N areas as described above, only one finger is in contact with the other finger and the other finger is the key. When the pad is not touched, N types of inputs are possible. If the finger position sensor 823 can detect a plurality of contact positions at the same time, one finger is brought into contact with any position on the keypad, and another finger is moved to any other position. By contacting, N × (N−1) types of states can be identified. Therefore, a total of N + N × (N−1) = N2 types of input is possible.

ここで、本実施の形態のように、位置センサにより接触位置を検出するようなキーパッド820であっても、図1に示すように、複数の釦21L/Rからなるキーボード20L/Rであっても、同様に、1つの接触のみならず、複数の接触を検出して入力状態を識別することができる。例えば、図9(a)に示すように、標準的な携帯電話等のキーパッド(キーボード)870は、3×4の12の釦871からなり、各釦871にタッチセンサを設けるか、又は各釦871の領域(12箇所)に対する接触を個別に検出する位置センサを設けることで、144種類の文字を入力することができる。即ち、英字(大文字及び小文字)、数字、及び記号の全てを入力することが可能となる。   Here, even in the case of the keypad 820 that detects the contact position by the position sensor as in the present embodiment, as shown in FIG. 1, the keyboard 20L / R is composed of a plurality of buttons 21L / R. However, similarly, not only one contact but also a plurality of contacts can be detected to identify the input state. For example, as shown in FIG. 9A, a keypad (keyboard) 870 of a standard cellular phone or the like includes 3 × 4 12 buttons 871, and each button 871 is provided with a touch sensor, or each By providing a position sensor that individually detects contact with the region (12 locations) of the button 871, 144 types of characters can be input. That is, it is possible to input all alphabetic characters (uppercase and lowercase), numbers, and symbols.

その際、表示画面上に、各釦に割当てられた入力可能な機能情報を示す例えば図9(b)に示すようなソフトキーパッド880が表示されるため、ユーザは予め全ての組み合わせを習熟する必要は全くなく、このソフトキーパッド880をガイドとして、入力すべき文字を選定することができる。また、位置の組み合わせを習熟するに従い、このようなソフトキーパッド880をガイドとせずに使用することもできる。   At this time, since a soft keypad 880 as shown in FIG. 9B, for example, showing function information that can be entered assigned to each button is displayed on the display screen, the user is familiar with all combinations in advance. There is no need at all, and a character to be input can be selected using the soft keypad 880 as a guide. In addition, as the combination of positions is learned, such a soft keypad 880 can be used without being a guide.

図9(b)に示すソフトキーパッド880の例では、夫々図9(a)において指を「6」位置の釦8716及び「7」の位置の釦8717に置いた場合に入力できる文字を、夫々左文字881L/右文字881Rとして示している。例えば指40Rを「6」の位置の釦8716に置くと、図9(b)に示すソフトキーパッド880の各ソフト釦881には、入力可能な文字として左文字881Lが表示され、この状態で例えば指40Lを「7」の位置の釦8717に接触させると、この接触が表示に反映され、釦8717に割当てられた文字「M」がハイライト表示される。そして、文字「M」がハイライト表示された状態で釦8716を押下すると文字「M」を入力することができる。また、同様に、指40Lを「7」の位置の釦8717に置くと、ソフトキーパッド880の各ソフト釦881には、右文字881Rが表示され、この状態で例えば指40Rを「6」の位置の釦8716に接触させると、釦8716に割当てられた文字「L」がハイライト表示され、この状態で、釦8716を押下すると文字「L」を入力することができる。   In the example of the soft keypad 880 shown in FIG. 9B, characters that can be input when the finger is placed on the button 8716 at the “6” position and the button 8717 at the “7” position in FIG. They are shown as left character 881L / right character 881R, respectively. For example, when the finger 40R is placed on the button 8716 at the position “6”, the left character 881L is displayed as an inputable character on each soft button 881 of the soft keypad 880 shown in FIG. 9B. For example, when the finger 40L is brought into contact with the button 8717 at the position “7”, this contact is reflected in the display, and the letter “M” assigned to the button 8717 is highlighted. If the button 8716 is pressed while the character “M” is highlighted, the character “M” can be input. Similarly, when the finger 40L is placed on the button 8717 at the position “7”, the right character 881R is displayed on each soft button 881 of the soft keypad 880. In this state, for example, the finger 40R is set to “6”. When touching the button 8716 at the position, the letter “L” assigned to the button 8716 is highlighted, and when the button 8716 is pressed in this state, the letter “L” can be input.

また、上述の図1に示すように、キーボード20L/Rが複数の釦21L/Rからなる場合であっても、図7に示すように、位置センサ823を設けて指の接触位置を検出するようなキーパッド820であっても、指が接触している釦又は位置の判定は、1つの釦又は位置に接触しているか否かのみでなく、複数の釦又は位置に同時にふれているか否かによっても、異なる状態として検出することができる。例えば、図10(a)及び(b)に示すように、2×3の6つの釦からなるキーパッド920の場合、各釦921に接触した状態と、隣接した2つの釦921a、921bに同時に接触した状態とを異なる状態と判断する場合、ABCDEFの6つの状態と、AB、CD、EF、AC、BD、CE、DFの7つの状態との合計13の状態を認識し、入力可能となる。これにより、各機能に割り当てる釦又は位置の個数が少なくても、多くの種類の入力が可能となる。   Further, as shown in FIG. 1 described above, even when the keyboard 20L / R is composed of a plurality of buttons 21L / R, as shown in FIG. 7, a position sensor 823 is provided to detect the contact position of the finger. Even with such a keypad 820, the determination of the button or position with which the finger is in contact is not only whether or not the button or position is touching, but also whether or not a plurality of buttons or positions are touched simultaneously. Depending on the situation, it can be detected as a different state. For example, as shown in FIGS. 10A and 10B, in the case of a keypad 920 composed of six 2 × 3 buttons, a state in which each button 921 is touched and two adjacent buttons 921a and 921b are simultaneously When it is determined that the touched state is different, a total of 13 states including 6 states of ABCDEF and 7 states of AB, CD, EF, AC, BD, CE, and DF can be recognized and inputted. . Thereby, even if the number of buttons or positions assigned to each function is small, many types of inputs are possible.

次に、本発明の第7の実施の形態について説明する。従来、液晶タッチパネルと、その液晶タッチパネルの上面に装着されるキーパッドとから構成される情報処理装置の入力装置がある。本実施の形態においては、このような入力装置に対して本発明を適用するものである。図11(a)は、本実施の形態における情報処理装置を示す模式図、図11(c)は、キーパッドにおける操作釦部分を模式的に示す断面図である。   Next, a seventh embodiment of the present invention will be described. 2. Description of the Related Art Conventionally, there is an information processing apparatus input device that includes a liquid crystal touch panel and a keypad attached to the upper surface of the liquid crystal touch panel. In the present embodiment, the present invention is applied to such an input device. FIG. 11A is a schematic diagram illustrating the information processing apparatus according to the present embodiment, and FIG. 11C is a cross-sectional view schematically illustrating the operation button portion of the keypad.

図11(a)に示すように、情報処理装置951は、その表示画面960の液晶タッチパネル(操作用情報の表示項目)990上に、着脱可能な入力手段としてのキーパッド970が装着され、このキーパッド970に設けられた操作釦971を押下することで入力操作することができる。キーパッド970の操作釦971を押すと、その下に配置されるタッチパネル990において、操作位置信号が発生し、その操作位置に対応する区間に割当てられた操作釦コードが出力される。即ち、キーパッド970の操作釦971は、表示画面960上に表示されるタッチパネル990に対応した位置にて表示画面960を押し操作ができるよう配置され、その表示項目が示す機能が割り当てられたものとなっている。そして、ユーザの操作釦971に対する接触を検出し、この接触検出結果を、表示項目を示す機能情報の表示としてソフトキーパッド980に反映させる。そして、操作釦971に対する接触検出結果がソフトキーパッド980の表示に反映された状態で、当該操作釦971を押し操作すると、操作釦971が表示画面に接触し、当該接触位置に対応した位置の表示項目に応じた機能が選択されるものである。   As shown in FIG. 11A, the information processing apparatus 951 has a keypad 970 as a detachable input means mounted on a liquid crystal touch panel (operation information display item) 990 on the display screen 960. An input operation can be performed by pressing an operation button 971 provided on the keypad 970. When the operation button 971 on the keypad 970 is pressed, an operation position signal is generated on the touch panel 990 disposed below the operation button 971, and an operation button code assigned to a section corresponding to the operation position is output. That is, the operation button 971 of the keypad 970 is arranged so that the display screen 960 can be pushed and operated at a position corresponding to the touch panel 990 displayed on the display screen 960, and the function indicated by the display item is assigned. It has become. Then, contact with the user's operation button 971 is detected, and the contact detection result is reflected on the soft keypad 980 as a display of function information indicating display items. Then, when the operation button 971 is pressed while the contact detection result for the operation button 971 is reflected on the display of the soft keypad 980, the operation button 971 comes into contact with the display screen and the position corresponding to the contact position is displayed. The function corresponding to the display item is selected.

このようなキーパッド970において、通常は、図11(b)に示すように、ユーザがそのキートップ973を押す操作により、操作釦が液晶タッチパネル面に対して垂直方向に上下し、液晶タッチパネル990を押し作用するよう、キートップ973の一部分のみが支持されたり、キートップ973がバネにより液晶タッチパネル990とは離隔する方向に付勢されたりする等して構成されている。このような従来のキーパッド970に対し、本実施の形態においては、図11(c)に示すように、その操作釦971のキートップ973に、ユーザの接触を検出するタッチセンサ用の電極972を取り付けることにより、タッチンセンス機能を有するキーパッド970を構成することができる。これにより、ユーザの指がキーパッド970のどの操作釦971に接触しているかを各操作釦971に独立のタッチセンサで認識することができる。   In such a keypad 970, normally, as shown in FIG. 11B, when the user presses the key top 973, the operation button moves up and down in the direction perpendicular to the liquid crystal touch panel surface, and the liquid crystal touch panel 990 is displayed. For example, only a part of the key top 973 is supported, or the key top 973 is biased in a direction away from the liquid crystal touch panel 990 by a spring. In contrast to such a conventional keypad 970, in the present embodiment, as shown in FIG. 11C, an electrode 972 for a touch sensor that detects a user's contact with the key top 973 of the operation button 971. By attaching the keypad 970, a keypad 970 having a touch-on sense function can be formed. Thereby, it is possible to recognize which operation button 971 of the keypad 970 is touched by the user's finger with each touch button 971 by an independent touch sensor.

このキーパッド970を、例えば光透過性材料から形成すれば、表示画面960がキーパッド970で覆われていた場合であっても、接触を検出した操作釦971に割当てられた機能をハイライト表示した場合にこれを視認することができ、ユーザは、操作釦971を押下する前に操作釦971に割当てられた機能を認識することができる。   If the keypad 970 is made of a light-transmitting material, for example, even if the display screen 960 is covered with the keypad 970, the function assigned to the operation button 971 that detects contact is highlighted. In this case, this can be visually recognized, and the user can recognize the function assigned to the operation button 971 before pressing the operation button 971.

また、キーパッド970が装着される領域以外、即ち、液晶タッチパネル990以外の領域の表示画面960に、第1の実施の形態等と同様に、キーパッド990に対応する機能を表示するソフトキーパッド980を表示するようし、このソフトキーパッド980がキーパッド970の操作釦971に対する接触を反映するようにしてもよい。   Also, a soft keypad that displays functions corresponding to the keypad 990 on the display screen 960 in a region other than the region where the keypad 970 is attached, that is, in a region other than the liquid crystal touch panel 990, as in the first embodiment. 980 may be displayed, and the soft keypad 980 may reflect the contact of the keypad 970 with the operation button 971.

更に、このような入力装置からの入力を受けつける表示画面を有する処理装置を用意し、キーパッド970の操作釦971の接触を該処理装置の表示画面に表示するようにしてもよい。即ち、キーパット部分がディスプレイから分離していてもよい。いずれの場合においても、操作釦971に対するユーザの接触を検出し、この検出結果が表示に反映されている状態で、操作釦971を押下することで、入力操作が可能となるよう構成される。   Further, a processing device having a display screen for receiving input from such an input device may be prepared, and the touch of the operation button 971 of the keypad 970 may be displayed on the display screen of the processing device. That is, the keypad portion may be separated from the display. In any case, the user's contact with the operation button 971 is detected, and when the detection result is reflected on the display, the operation button 971 is pressed to make an input operation possible.

例えば、リビングルームのテレビモニタに対して、チャンネル等を変更操作する入力装置として、この分離型のキーパッドを使用することができる。この場合、キーパッドにユーザの指が触れた時点で、テレビモニタにテレビチャンネル等を示すソフト釦群からなるソフトキーボードが表示され、ユーザの指がキーパッドの釦(キートップ)に接触すると該当するソフト釦が例えばハイライト表示される等、テレビモニタ上にユーザの接触が反映されるような表示がなされるように構成することができる。ユーザは、このキーパッドを手で保持し、キーバッドに指を接触させ、所望のソフト釦をハイライト表示させた状態で、釦を押下することにより機能を選択することができ、手元のキーパッドを目視することなく、従ってテレビモニタから視線をそらすことなく、キーパッドにより所望の機能を選択する操作が可能となる。   For example, this separated keypad can be used as an input device for changing the channel or the like for a television monitor in a living room. In this case, when the user's finger touches the keypad, a soft keyboard composed of a group of soft buttons indicating a TV channel or the like is displayed on the TV monitor, and the user's finger touches the keypad button (key top). For example, the soft button may be displayed so that the touch of the user is reflected on the television monitor, for example, the soft button is highlighted. The user can select the function by holding the keypad by hand, touching the keypad with a finger, and pressing the button with the desired soft button highlighted. The user can select a desired function with the keypad without looking at the screen, and thus without diverting the line of sight from the television monitor.

また、上述した実施の形態は、本発明の要旨を逸脱しない範囲において種々の変更が可能である。例えば、上述の第1の実施の形態においては、キーボードは、複数の釦を2次元配列して構成するものとして記載したが、ユーザの接触を画面にフィードバックすることで、ユーザがキーボードを見なくても入力操作を可能とすればよく、従って、1列又は1行の1次元配列としてもよい。即ち、図12に示すように、キーボード620を複数の釦621の列としてもよい。また、キーボードは、左右の親指接触可能な範囲に設けられる2箇所のキーボードに限らず、例えば、1箇所でも、上下に設けてもよく、また、上下左右4箇所に設けて縦型・横型を併用する等してもよい。   The above-described embodiment can be variously modified without departing from the gist of the present invention. For example, in the first embodiment described above, the keyboard is described as being configured by two-dimensionally arranging a plurality of buttons. However, the user does not look at the keyboard by feeding back the user's contact to the screen. However, it is only necessary to allow input operation, and therefore, a one-dimensional array of one column or one row may be used. That is, as shown in FIG. 12, the keyboard 620 may be a row of a plurality of buttons 621. Further, the keyboard is not limited to two keyboards provided in the range where the left and right thumbs can be touched. For example, one keyboard may be provided at the top and bottom, and four keyboards may be provided at the top, bottom, left and right. You may use together.

また、図13に示すように、1つ釦621aを中心に、同心円状に他の釦621bを配置してもよく、これにより、文字入力操作の際の指の動きを小さくすることができ、更に操作性が向上する。   Further, as shown in FIG. 13, another button 621b may be arranged concentrically around the one button 621a, thereby reducing the movement of the finger during the character input operation, Furthermore, operability is improved.

更に、キーボードには、文字若しくは数、電話番号、又はチャンネル等を入力する機能を割り当てるものとして説明したが、例えば、釦ではなく、押下及び回転自在なジョグダイアルを表面からわずかに突出した状態で設けてもよい。この場合も、ジョグダイアルに複数の機能を割り当て、そのジョグダイアルに接触すると、これらの機能に関する情報を表示画面に表示し、ジョグダイアルを回転して、選択したい機能をハイライト表示しておき、この状態でジョグダイアルを押下して選択するようにすればよい。   Furthermore, the keyboard has been described as being assigned a function for inputting characters or numbers, telephone numbers, channels, etc. For example, instead of a button, a jog dial that can be pressed and rotated slightly protrudes from the surface. May be. In this case as well, when multiple functions are assigned to the jog dial and the jog dial is touched, information about these functions is displayed on the display screen, and the jog dial is rotated to highlight the function to be selected. It is only necessary to select by pressing the jog dial.

次に、本発明の第8の実施の形態について説明する。本実施の形態は、上述の第6の実施の形態におけるキーパッドに、ジョグダイアルのような回転操作を受け付ける操作部を設ける。従来の携帯電話又は携帯音楽プレーヤなどの携帯型情報処理装置では、入力手段として十字キー、釦、ジョグダイアルなどが使用されている。これらは機械部品であるので耐久性、重量及びサイズなどの点で課題がある。また、機械部品であると予め使用の用途が決められてしまうため、例えば釦をジョグダイアルの代用にしたり、ジョグダイアルを釦の代用にしたりできない。   Next, an eighth embodiment of the present invention will be described. In this embodiment, the keypad in the sixth embodiment described above is provided with an operation unit that receives a rotation operation such as a jog dial. In a portable information processing apparatus such as a conventional cellular phone or portable music player, a cross key, a button, a jog dial, or the like is used as an input means. Since these are mechanical parts, there are problems in terms of durability, weight and size. Further, since the use of a mechanical part is determined in advance, for example, the button cannot be used as a substitute for a jog dial, or the jog dial cannot be used as a substitute for a button.

これに対して、上述した例えばキーパッド820、920は、指の接触及びその接触位置を静電位置センサにより検知し、ユーザの指による「押し込み」又は「押下」操作を圧力センサによって検知する。そして、押し込み操作が発生したとき、振動生成手段としての振動アクチュエータを駆動することで、あたかも機械的な釦を押したかのようなクリック感を生成することができる。本実施の形態においては、このようなキーパッドの接触位置に応じて仮想的な釦を設けるのと同様、仮想的に、ジョグダイアルのような回転操作(以下、接触操作という。)が可能な操作部(以下、回転操作部という。)を設け、これらの接触位置及び/接触操作に対して機能を割当て、これをタッチパネルに一体的に形成することで操作性を向上したものである。   On the other hand, for example, the keypads 820 and 920 described above detect the finger contact and the contact position by the electrostatic position sensor, and detect the “push” or “press” operation by the user's finger by the pressure sensor. When a push-in operation occurs, a click feeling as if a mechanical button has been pressed can be generated by driving a vibration actuator as a vibration generating means. In the present embodiment, as in the case where virtual buttons are provided according to the contact position of the keypad, an operation that can be virtually rotated like a jog dial (hereinafter referred to as a contact operation). A portion (hereinafter referred to as a rotation operation portion) is provided, functions are assigned to these contact positions and / or contact operations, and these are integrally formed on the touch panel to improve operability.

ここで、押し込み検知は、装置全体で1つの事象として認識するが、静電位置センサにより検知するユーザの指の接触は、接触位置を組み合わせることで仮想的に複数の釦を構成することができ、また、接触操作を検知することで仮想的なジョグダイアル(回転操作部)を構成することができる。この場合、釦及び回転操作部として、静電位置センサ表面に指で触って確認できる形状、例えば凹部又は凸部などを形成しておけば、ユーザの釦、ジョグダイアルの位置確認を支援することができる。   Here, although the push detection is recognized as one event in the entire apparatus, the touch of the user's finger detected by the electrostatic position sensor can virtually constitute a plurality of buttons by combining the contact positions. In addition, a virtual jog dial (rotation operation unit) can be configured by detecting a contact operation. In this case, if a shape that can be confirmed by touching the surface of the electrostatic position sensor with a finger, for example, a concave portion or a convex portion, is formed as the button and the rotation operation portion, the position confirmation of the user's button or jog dial can be supported. it can.

図14(a)は、釦と回転操作部とを一体化させて形成したキーパッドとしての入力部を拡大して示す模式図であって、図14(b)〜図14(d)はその操作方法を説明するための模式図である。例えば、図14(a)に示すように、入力部1020は、上面視が円形状の釦1021aを中心にして、同じく上面視が円形状の4つの釦1021b〜1021eが同心円状に配置され、その外周に沿う形で円環状の回転操作部1030が設けられて構成される。ここで、図14(a)〜図14(d)において、釦1021a〜1021e及び回転操作部1030は、ユーザが接触して確認できるよう、他より凸形状に形成されているものとする。なお、本実施の形態においては、釦及び回転操作部は、凸形状に形成されているものとして説明するが、凹部としてもよく、また、静電位置センサは、凹凸形状に関わらずユーザの接触位置を検出できるものとする。また、操作部は、ユーザの接触位置及び接触方向などの接触操作を検知できるような形状であればよく、円形、矩形、又は棒状であってもよい。   FIG. 14A is a schematic diagram showing an enlarged input portion as a keypad formed by integrating a button and a rotation operation portion, and FIGS. It is a schematic diagram for demonstrating the operation method. For example, as shown in FIG. 14 (a), the input unit 1020 has four buttons 1021b to 1021e arranged in a concentric manner, centered on a button 1021a having a circular shape when viewed from above. An annular rotation operation unit 1030 is provided along the outer periphery. Here, in FIGS. 14A to 14D, the buttons 1021a to 1021e and the rotation operation unit 1030 are assumed to be formed in a more convex shape than others so that the user can check by contact. In this embodiment, the button and the rotation operation unit are described as being formed in a convex shape, but may be a concave portion, and the electrostatic position sensor may be touched by the user regardless of the concave and convex shape. Assume that the position can be detected. Moreover, the operation part should just be a shape which can detect contact operations, such as a user's contact position and contact direction, and may be circular, a rectangle, or rod shape.

そして、これらの釦1021a〜1021e及び回転操作部1030には、異なる機能が割り当てられるものとする。接触検出手段としての静電位置センサ(図示せず)は、釦1021a〜1021eに対する接触、すなわち入力部1020に対する接触位置を検出し、表示制御手段(図示せず)は、この検出結果を、接触した釦に割り当てられた機能に関する機能情報の表示に反映させる。   Further, different functions are assigned to these buttons 1021a to 1021e and the rotation operation unit 1030. An electrostatic position sensor (not shown) as a contact detection means detects a contact with the buttons 1021a to 1021e, that is, a contact position with respect to the input unit 1020, and a display control means (not shown) The function information related to the function assigned to the selected button is reflected in the display.

すなわち、各釦1021a〜1021eの操作方法としては、図14(b)に示すように、例えば指を例えば釦1021cの位置に接触させ、この位置、すなわち、釦1021cに割当てられた機能を表示画面(図示せず)上の機能情報の表示に反映させ、仮選択した状態にし、この状態で押し込み操作を行う。これにより該当する釦に割当てられた機能を本選択することができる。   That is, as an operation method of each button 1021a to 1021e, as shown in FIG. 14B, for example, a finger is brought into contact with, for example, the position of the button 1021c, and the function assigned to this position, that is, the button 1021c is displayed on the display screen. It is reflected in the display of the function information (not shown), is temporarily selected, and the push-in operation is performed in this state. As a result, the function assigned to the corresponding button can be selected.

また、静電位置センサは、回転操作部1030の周方向に沿って指を滑らせるなどの接触操作及び/又は接触位置を検出し、表示制御手段は、接触方向や、どの位置からどの程度、指を滑らせたかなどの接触検出結果を表示画面(図示せず)上の回転操作部1030に割当てられた機能に関する機能情報に反映させる。   Further, the electrostatic position sensor detects a contact operation and / or a contact position such as sliding a finger along the circumferential direction of the rotation operation unit 1030, and the display control means detects the contact direction and how much from what position. The contact detection result such as whether the finger is slid is reflected in the function information regarding the function assigned to the rotation operation unit 1030 on the display screen (not shown).

すなわち、回転操作部1030の操作方法としては、図14(c)に示すように、回転操作部を示すリング上のガイドに従って指を滑らせる。この場合も、静電位置センサは、ユーザの回転操作部1030上での接触操作を検知し、表示制御手段がその接触検出結果を機能情報の表示に反映させ、仮選択された状態とする。具体的には、表示制御手段は、回転操作部1030の接触位置検出結果に応じて、予め回転操作部1030に設定された、例えば音量調整を行う音量調節モード又は複数のタイトルから所望のタイトル選択するためのタイトル選曲モードなどの機能モードを選択し、回転操作部1030上で指を滑らせた量などの接触操作検出結果に応じてタイトル一覧から選択可能なタイトルを選択したり、指を滑らした量及び方向などの接触操作検出結果に応じて現在の音量からの上げ幅又は下げ幅を選択したりすることで、所定の機能モードにおけるパラメータを設定又は調整する機能(以下、選択機能という。)を選択する。そして、選択した結果を機能情報の表示に反映させる。すなわち、タイトル選曲モードであれば、タイトルを上記滑らした量に応じてスクロールさせて順次表示したり、音量調整モードであれば、上記選択した音量レベルを表示したりすることで、接触操作検出結果を機能情報に反映させる。そして、機能モード及び選択機能が表示に反映されている状態で回転操作部1030を押下すると、所望のタイトルや所望の音量レベルを本選択することができる。なお、回転操作部1030に対して1つの機能モードのみが割当てられている場合は、回転操作部1030のいずれの位置に接触しても、接触がその機能モードに関する機能情報の表示に反映されるものとする。   That is, as an operation method of the rotation operation unit 1030, as shown in FIG. 14C, a finger is slid according to a guide on a ring indicating the rotation operation unit. Also in this case, the electrostatic position sensor detects a contact operation on the rotation operation unit 1030 by the user, and the display control unit reflects the contact detection result on the display of the function information to make a temporarily selected state. Specifically, the display control unit selects a desired title from a volume adjustment mode for performing volume adjustment, for example, or a plurality of titles set in advance in the rotation operation unit 1030 according to the contact position detection result of the rotation operation unit 1030. Select a function mode such as a title music selection mode, select a selectable title from the title list according to the contact operation detection result such as the amount of sliding the finger on the rotation operation unit 1030, or slide the finger. A function for setting or adjusting a parameter in a predetermined function mode by selecting a range of increase or decrease from the current volume according to the contact operation detection result such as the amount and direction (hereinafter referred to as a selection function). Select. Then, the selected result is reflected on the display of the function information. That is, in the title music selection mode, the title is scrolled according to the amount of sliding, and sequentially displayed. In the volume adjustment mode, the selected volume level is displayed. Is reflected in the function information. When the rotation operation unit 1030 is pressed in a state where the function mode and the selection function are reflected in the display, a desired title and a desired volume level can be selected. When only one function mode is assigned to the rotation operation unit 1030, the contact is reflected in the display of the function information regarding the function mode regardless of the position of the rotation operation unit 1030. Shall.

また、本実施の形態においては、回転操作部1030の接触を機能情報の表示に反映させた状態で押下することで機能モード及び選択機能を選択することができるものとしたが、図4(b)に示すように、このような選択機能(所定の機能モードに関するパラメータを選択又は調整する機能)を有するスクロールバーを表示画面上に表示させるなどして行ってもよい。   Further, in the present embodiment, the function mode and the selection function can be selected by pressing the rotation operation unit 1030 while reflecting the contact on the display of the function information. ), A scroll bar having such a selection function (a function for selecting or adjusting a parameter relating to a predetermined function mode) may be displayed on the display screen.

また、回転操作部1030に対しては、接触位置に応じて異なる機能又は機能モードを割当てておくことができる。例えば、図14(d)に示すように、同心円状に配置される1021b〜1021eの外周に沿って形成された円環状の回転操作部1030を4分割して、その接触位置に応じて4つの機能モードを割当てておくことができる。例えば釦1021c近傍の右側部分の回転操作部1030には、音量調整を行う機能モードを割り当て、釦1021d近傍の下側部分の回転操作部1030には、タイトル選曲を行う機能モードを割り当てるなど、接触位置に応じて機能モードを切り替えることが可能である。各機能モードにおけるパラメータの調整又は選択をするための機能(選択機能)は、回転操作部の接触操作に応じて選択できるようにしてもよく、選択機能を選択するための釦を他に設けてもよい。   In addition, different functions or function modes can be assigned to the rotation operation unit 1030 according to the contact position. For example, as shown in FIG. 14 (d), an annular rotation operation unit 1030 formed along the outer periphery of 1021b to 1021e arranged concentrically is divided into four parts, and four parts are arranged according to the contact position. Function modes can be assigned. For example, a function mode for performing volume adjustment is assigned to the rotation operation unit 1030 in the right portion near the button 1021c, and a function mode for performing title selection is assigned to the rotation operation unit 1030 in the lower portion near the button 1021d. The function mode can be switched according to the position. The function (selection function) for adjusting or selecting the parameter in each function mode may be selected according to the contact operation of the rotation operation unit, and another button for selecting the selection function is provided. Also good.

このような入力部により、ユーザは手元も見なくても、現在接触している回転操作部1030にどのような機能が割り当てられているかを認識することができる。そしてこのように仮選択された状態で、回転操作部1030に対して押し込み操作を行うことで、回転操作部1030の釦プレス(押し込み操作)が検知され、機能を選択することができる。また、回転操作部1030に対する指の移動に伴って振動アクチュエータを駆動することによって、回転操作部がジョグダイアルのように、実際に回転している感じを演出することができる。   With such an input unit, the user can recognize what function is assigned to the rotation operation unit 1030 that is currently in contact without looking at the hand. In such a temporarily selected state, a push operation is performed on the rotation operation unit 1030 to detect a button press (push operation) of the rotation operation unit 1030 and select a function. Further, by driving the vibration actuator in accordance with the movement of the finger with respect to the rotation operation unit 1030, it is possible to produce a feeling that the rotation operation unit is actually rotating like a jog dial.

また、釦1021a〜1021eには、上述した如く、異なる機能を設定することができることに加え、釦1021a〜1021eのうち1つに接触するか、2つ同時に接触するかなどの接触方法により、異なる機能を設定しておいてもよい。これら多種の機能は、接触すると、その接触結果が表示画面上の機能情報に反映されるため、ユーザは手元を見たり、どの釦にどの機能が割当てられているかを記憶したりする必要がない。   In addition to being able to set different functions for the buttons 1021a to 1021e as described above, the buttons 1021a to 1021e differ depending on the contact method such as touching one of the buttons 1021a to 1021e or touching two of them simultaneously. A function may be set. When these various functions are touched, the contact result is reflected in the function information on the display screen, so the user does not need to look at the hand or memorize which function is assigned to which button. .

また、回転操作部の他の例を図15に示す。図15は、入力部1100が、釦1121a及びこれを中心にして同心円状に配置された4つの釦1121b〜1121eと、この4つの釦1121b〜1121eと同じ半径位置に設けられた円環状の仮想的な回転操作部1130とを有する。すなわち、4つの釦1121b〜1121eは、回転操作部1130の周上に配置されている。回転操作部1130上に、釦1121b〜1121eが配置されているため、更に入力部1100の小型化が可能となる。この回転操作部1130上に形成された釦1121b〜1121eにおいても、釦上に接触している場合は、その接触が機能情報に反映され、反映された状態で釦を押下することで当該機能を選択することができる。また、回転操作部1130上で指を滑らせ、その接触動作が機能情報に反映されている場合には、回転操作部1130を押下することで、当該接触動作に割当てられた機能を選択することができる。   Another example of the rotation operation unit is shown in FIG. In FIG. 15, the input unit 1100 includes a button 1121a and four buttons 1121b to 1121e arranged concentrically around the button 1121a, and an annular virtual imaginary provided at the same radial position as the four buttons 1121b to 1121e. A rotation operation unit 1130. That is, the four buttons 1121b to 1121e are arranged on the circumference of the rotation operation unit 1130. Since the buttons 1121b to 1121e are arranged on the rotation operation unit 1130, the input unit 1100 can be further downsized. Also in the buttons 1121b to 1121e formed on the rotation operation unit 1130, when the buttons 1121b to 1121e are in contact with the buttons, the contact is reflected in the function information, and the function is performed by pressing the button in the reflected state. You can choose. Further, when a finger is slid on the rotation operation unit 1130 and the contact operation is reflected in the function information, the function assigned to the contact operation is selected by pressing the rotation operation unit 1130. Can do.

このように、タッチパネル上に仮想的な釦及び回転操作部を形成し、タッチパネルの接触位置、接触操作に対して異なる機能、又は機能モード及び選択機能を割当てておき、接触を検知するとその接触位置及び/又は接触操作に対して割当てられた機能の機能情報に反映させ、その状態でタッチパネルを押下することで機能を選択できるように構成することで、入力部の操作性及び機能選択性を向上することができる。また、タッチパネル上に凹部又は凸部を形成して仮想的な釦及び回転操作部とすることでユーザ操作を支援することができる。   As described above, when a virtual button and a rotation operation unit are formed on the touch panel, different functions or function modes and selection functions are assigned to the touch position and the touch operation of the touch panel, and the touch position is detected when the touch is detected. And, by reflecting the function information of the function assigned to the touch operation and selecting the function by pressing the touch panel in that state, the operability and function selectivity of the input unit are improved. can do. Further, a user operation can be supported by forming a concave portion or a convex portion on the touch panel to form a virtual button and a rotation operation portion.

次に、上述の実施の形態において説明した入力手段であるキーボードを構成する釦の一例について説明し、更にこの釦を使用した具体例について説明する。上述したように、ユーザの親指がキートップに接触した状態を検出可能な釦としては、本願発明者等が先に出願した特願2002−023700に記載された情報入力装置を適用することができる。   Next, an example of a button constituting the keyboard which is the input means described in the above embodiment will be described, and a specific example using this button will be described. As described above, the information input device described in Japanese Patent Application No. 2002-023700 filed earlier by the inventors of the present application can be applied as a button capable of detecting a state in which the user's thumb is in contact with the key top. .

図16は、本発明が適用される情報入力装置701の構成例を示す断面図である。情報入力装置701は、釦711と近接センサ712とから構成されている。   FIG. 16 is a cross-sectional view showing a configuration example of an information input device 701 to which the present invention is applied. The information input device 701 includes a button 711 and a proximity sensor 712.

釦711には、生体(ユーザの指等)により押下される(操作される)押下部711aが、ケース711b内に、図中上下方向にスライド自在に、設けられている。   The button 711 is provided with a pressing portion 711a that is pressed (operated) by a living body (user's finger or the like) in the case 711b so as to be slidable in the vertical direction in the figure.

この押下部711aとケース711bとの間に、バネ711cが設けられており、また、押下部711aの下方のケース711b内に、接点711dが設けられている。   A spring 711c is provided between the pressing portion 711a and the case 711b, and a contact 711d is provided in the case 711b below the pressing portion 711a.

ユーザの指等が押下部711aに接触していない場合(初期状態の場合)、図16に示されるように、バネ711cにより押下部711aは図中上方向に付勢されており、その下端部は接点711dと離れた状態に位置する。即ち、このとき、接点711dはOFF状態となる。   When the user's finger or the like is not in contact with the pressing portion 711a (in the initial state), as shown in FIG. 16, the pressing portion 711a is urged upward in the figure by the spring 711c, and its lower end portion Is located away from the contact 711d. That is, at this time, the contact 711d is turned off.

いま、ユーザが、バネ711cの付勢力に抗して、その指で押下部711aを押下したものとすると、接点711dはON状態となり、その後、ユーザが、その指を押下部711aより離すと、押下部711aは、バネ711cの復元力により上方向に押し上げられて、元の位置に戻り(初期状態に戻り)、接点711dはOFF状態となる。   Now, assuming that the user presses the pressing portion 711a with the finger against the urging force of the spring 711c, the contact 711d is turned on, and then the user releases the finger from the pressing portion 711a. The pressing portion 711a is pushed upward by the restoring force of the spring 711c, returns to the original position (returns to the initial state), and the contact 711d is turned off.

このように、釦711は、ユーザによる手動入力を、接点711dのON状態を表す情報として情報処理装置に供給する。換言すると、釦711は、生体の物理的な接触に基づく入力を(ユーザが、その指等で押下部711aを押下する操作を)、接点711dのON状態として検出する。   As described above, the button 711 supplies a manual input by the user to the information processing apparatus as information indicating the ON state of the contact 711d. In other words, the button 711 detects an input based on a physical contact of the living body (an operation in which the user presses the pressing portion 711a with his / her finger or the like) as an ON state of the contact 711d.

なお、この例においては、釦711の押下部711aが押下された場合、接点711dはON状態となり、押下部711aが元の位置(初期状態)に戻された場合、接点711dはOFF状態となるように釦711は構成されているが、押下部711aの位置と接点711dのON又はOFF状態との関係は、特に限定されず、例えば、押下部711aが押下された場合、接点711dはOFF状態となり、押下部711aが元の位置(初期状態)に戻された場合、接点711dはON状態となるように釦711は構成されてもよい。   In this example, when the pressing portion 711a of the button 711 is pressed, the contact 711d is turned on, and when the pressing portion 711a is returned to the original position (initial state), the contact 711d is turned off. The button 711 is configured as described above, but the relationship between the position of the pressing portion 711a and the ON or OFF state of the contact 711d is not particularly limited. For example, when the pressing portion 711a is pressed, the contact 711d is in the OFF state. Thus, the button 711 may be configured so that the contact 711d is turned on when the pressing unit 711a is returned to the original position (initial state).

この場合、釦711は、生体の物理的な接触に基づく入力を(ユーザが、その指等で押下部711aを押下する操作を)、接点711dのOFF状態として検出する。   In this case, the button 711 detects an input based on a physical contact of the living body (an operation in which the user presses the pressing portion 711a with his / her finger or the like) as an OFF state of the contact 711d.

近接センサ712は、押下部711aの平板部711eとバネ711cとの間に配置されており、生体(ユーザの指等)が押下部711aに接触する、又は、近接センサ712に充分接近すると、それを、その生体の近接に基づく入力として検出し接近したその生体を検出する接触検出手段として機能するものであり、それに対する検出信号(以下、接近情報と称する)を生成して、情報処理装置に供給する。   The proximity sensor 712 is disposed between the flat plate portion 711e of the pressing portion 711a and the spring 711c. When a living body (such as a user's finger) comes into contact with the pressing portion 711a or approaches the proximity sensor 712 sufficiently, Is detected as an input based on the proximity of the living body and functions as a contact detection means for detecting the approaching biological body, and a detection signal (hereinafter referred to as approach information) is generated to the information processing apparatus. Supply.

近接センサ712は、それに接近した生体を検知でき、かつ釦711(押下部711a)の近傍に配置されることができるものであれば、その構成は限定されないが、この例においては、例えば、図17に示されるような構成(特願2001−151499号において本願出願人により開示された構成)であるものとする。   The configuration of the proximity sensor 712 is not limited as long as the proximity sensor 712 can detect a living body approaching the proximity sensor 712 and can be disposed in the vicinity of the button 711 (the pressing unit 711a). In this example, for example, FIG. 17 (configuration disclosed by the applicant of the present application in Japanese Patent Application No. 2001-151499).

即ち、図17は、近接センサ712の構成例を示すブロック図である。近接センサ712は、線状の送信電極722−1乃至722−3、これらに送信用の所定の局波数(例えば100Hz)の交流電流をそれぞれ供給する発振器721、静電作用によって送信電極722−1乃至722−3より交流電流を受信する線状の受信電極723−1乃至723−4、受信電極723−1乃至723−4を流れる交流電流を受信する受信器724、並びに、発振器721の出力、受信電極723−1乃至723−4の出力、及び受信器724の出力を入力するプロセッサ725から構成されている。   That is, FIG. 17 is a block diagram illustrating a configuration example of the proximity sensor 712. The proximity sensor 712 includes linear transmission electrodes 722-1 to 722-3, an oscillator 721 that supplies an alternating current of a predetermined local wave number (for example, 100 Hz) for transmission to each of these, and the transmission electrode 722-1 by electrostatic action. Through 722-3, linear receiver electrodes 723-1 through 723-4 that receive an alternating current, receiver 724 that receives the alternating current through the receiver electrodes 723-1 through 723-4, and the output of the oscillator 721, It comprises a processor 725 for inputting the outputs of the receiving electrodes 723-1 to 723-4 and the output of the receiver 724.

近接センサ712にはまた、必要に応じて、発振器721と各送信電極722―1乃至722−3との間に、スイッチ726―1乃至726−3がそれぞれ設けられ、また、各受信電極723−1乃至723−4と受信器724との間にスイッチ727−1乃至727−4がそれぞれ設けられる。これらのスイッチ726−1乃至726―3、及び、スイッチ727−1乃至727−4は、所定のタイミング(例えば、発振器721が交流電流を出力するタイミング)でそのスイッチをON状態にする。 受信器724は、所定の周波数帯域の交流電流のみを通過させるバンド・パス・フィルタ(BPF)724a、増幅器724b、及び検波器724cからなるAM変調器、並びに、そのAM変調器からの検波出力をアナログーデジタル変換(A/D変換)するA/D変換器724dから構成されている。   The proximity sensor 712 is also provided with switches 726-1 to 726-3, respectively, between the oscillator 721 and the transmission electrodes 722-1 to 722-3 as necessary, and each reception electrode 723- Switches 727-1 to 727-4 are provided between 1 to 723-4 and the receiver 724, respectively. The switches 726-1 to 726-3 and the switches 727-1 to 727-4 are turned on at a predetermined timing (for example, the timing at which the oscillator 721 outputs an alternating current). The receiver 724 includes an AM modulator including a band-pass filter (BPF) 724a, an amplifier 724b, and a detector 724c that allows only an alternating current of a predetermined frequency band to pass therethrough, and a detection output from the AM modulator. An A / D converter 724d that performs analog-digital conversion (A / D conversion) is included.

受信電極723−1乃至723−4は、送信電極722―1乃至722−3に対して略直交するように配置されており、それぞれ交差点を持つが、これらの交差点においては、これらの電極が接触していない。   The reception electrodes 723-1 to 723-4 are arranged so as to be substantially orthogonal to the transmission electrodes 722-1 to 722-3, and each has an intersection, but at these intersections, these electrodes are in contact with each other. Not done.

換言すると、図18に示されるように、送信電極722と受信電極723との交差点では、電荷を蓄積するコンデンサCaと等価な回路が実質上形成されている。   In other words, as shown in FIG. 18, a circuit equivalent to the capacitor Ca for accumulating charges is substantially formed at the intersection of the transmission electrode 722 and the reception electrode 723.

従って、発振器721により発振され、出力された交流電流が送信電極722に供給されると、これに対向する受信電極723には、静電誘導によって、その交差点(コンデンサCa)を介して交流電流が流れる。   Therefore, when the alternating current oscillated and output by the oscillator 721 is supplied to the transmission electrode 722, the alternating current is applied to the receiving electrode 723 opposite thereto via the intersection (capacitor Ca) by electrostatic induction. Flowing.

即ち、発振器721が送信電極722に交流電圧を印加すると、送信電極722と受信電極723の間のコンデンサCaの静電容量による容量結合に基づいて、受信電極723に交流電流が発生し、受信器724に供給される。   That is, when the oscillator 721 applies an alternating voltage to the transmission electrode 722, an alternating current is generated in the reception electrode 723 based on the capacitive coupling of the capacitor Ca between the transmission electrode 722 and the reception electrode 723, and the receiver 724.

受信器724は、供給された交流電流(コンデンサCaを介して入力された交流電流)の強度をデジタルデータ(受信信号)としてプロセッサ725に供給するが、このコンデンサCaを介して受信器724に入力された交流電流の強度は、コンデンサCaの静電容量のみに依存する。また、このコンデンサCaの静電容量は、送信電極722又は受信電極723の変形等がない限り、静的で固定値を保つ。従って、送信電極722に同一の交流電圧が印加される限り、コンデンサCaを介して受信器724に入力される交流電流の強度は一定の値となる。   The receiver 724 supplies the intensity of the supplied alternating current (alternating current input through the capacitor Ca) to the processor 725 as digital data (reception signal), and the input to the receiver 724 through the capacitor Ca. The intensity of the alternating current that is generated depends only on the capacitance of the capacitor Ca. Further, the capacitance of the capacitor Ca is static and maintains a fixed value unless the transmission electrode 722 or the reception electrode 723 is deformed. Therefore, as long as the same AC voltage is applied to the transmission electrode 722, the intensity of the AC current input to the receiver 724 via the capacitor Ca becomes a constant value.

ところが、生体(ユーザの指先等)がこの送信電極722と受信電極723との交差点に接近すると、その交差点における等価回路は図19に示されるようになる。   However, when a living body (such as a user's fingertip) approaches the intersection of the transmission electrode 722 and the reception electrode 723, an equivalent circuit at the intersection is as shown in FIG.

即ち、生体は仮想的な接地点(アース)とみなされるので、等価回路は、送信電極722と受信電極723の間に形成される上述したコンデンサCaに対して、生体と送信電極722の間に形成されるコンデンサCb1と、生体と受信電極723の間に形成される仮想的なコンデンサCb2が直列的に接続された直列回路が、並列的に接続された構成となる。   That is, since the living body is regarded as a virtual ground point (earth), the equivalent circuit is arranged between the living body and the transmission electrode 722 with respect to the above-described capacitor Ca formed between the transmission electrode 722 and the reception electrode 723. A series circuit in which the formed capacitor Cb1 and a virtual capacitor Cb2 formed between the living body and the receiving electrode 723 are connected in series is connected in parallel.

従って、送信電極722側に交流電圧が印加された場合、コンデンサCaを介して受信電極723により受信され、受信器724に供給される交流電流の強度は、コンデンサCb1を介してアース(生体)に流れ込む電流の分だけ弱まる。   Therefore, when an AC voltage is applied to the transmission electrode 722 side, the intensity of the AC current received by the reception electrode 723 via the capacitor Ca and supplied to the receiver 724 is grounded (living body) via the capacitor Cb1. It weakens by the amount of current that flows.

コンデンサCaの静電容量は、上述したように、送信電極722又は受信電極723の変形等がない限り静的で固定値を保つが、コンデンサCb1及びCb2の静電容量は、生体が送信電極722と受信電極723に接近するに従って小さくなる。   As described above, the capacitance of the capacitor Ca is static and maintains a fixed value as long as there is no deformation of the transmission electrode 722 or the reception electrode 723. However, the capacitance of the capacitors Cb1 and Cb2 is the same as that of the living body. And decreases as the receiving electrode 723 is approached.

このような現象を利用して、プロセッサ725は、受信器724のAM変調器(BPF724a、増幅器724b、及び検波器724c)でAM変調され、さらにA/D変換器724dでデジタル信号に変換された受信信号を用いて、電極間の交差点に生体が接近しているか否かを判定したり、あるいは、生体がどの程度接近しているか(生体と交差点の間の距離)を計測する。   Using such a phenomenon, the processor 725 is AM-modulated by the AM modulator (BPF 724a, amplifier 724b, and detector 724c) of the receiver 724, and further converted into a digital signal by the A / D converter 724d. Using the received signal, it is determined whether or not the living body is approaching the intersection between the electrodes, or how close the living body is (the distance between the living body and the intersection).

従って、図17に示されるように、マトリックス状に配置された複数の釦711−1乃至711―12のそれぞれが、各交差点のうちの1つの交差点の上にそれぞれ配置された場合、釦711―i(iは、1乃至12の値のうち任意の値)にユーザの指が接触されると、プロセッサ725は、釦711−i(その下に位置する交差点)に生体が接近していると判定し(生体が接近していることを検出し)、そのことを表す接近情報(検出信号)を情報処理装置に供給する。   Accordingly, as shown in FIG. 17, when each of the plurality of buttons 711-1 to 711-12 arranged in a matrix is arranged on one of the intersections, the button 711- When the user's finger is touched by i (i is an arbitrary value of 1 to 12), the processor 725 indicates that the living body is approaching the button 711-i (intersection located therebelow). It judges (detects that the living body is approaching) and supplies approach information (detection signal) indicating that to the information processing apparatus.

なお、図17の例では、釦711−1乃至711−12が、4行3列のマトリックス状に配置されているため、4本の受信電極723−1乃至723−4と、3本の送信電極722−1乃至722−3が配置されているが、送信電極722及び受信電極723の本数は限定されない。ただし、送信電極722及び受信電極723は、後述するように、各釦の下に1つの交差点が必ず配列されるようにするのが好ましい。   In the example of FIG. 17, since buttons 711-1 to 711-12 are arranged in a matrix of 4 rows and 3 columns, four reception electrodes 723-1 to 723-4 and three transmissions are provided. Although the electrodes 722-1 to 722-3 are arranged, the number of the transmission electrodes 722 and the reception electrodes 723 is not limited. However, it is preferable that the transmission electrode 722 and the reception electrode 723 always have one intersection arranged under each button, as will be described later.

また、図17の例では、交差点における送信電極722と受信電極723とのなす角度は略90°とされているが、この角度は限定されない。即ち、送信電極722と受信電極723は、相互に接触せず、かつ交差点が形成されるように配置されれば、その配置方法は限定されない。   In the example of FIG. 17, the angle formed by the transmission electrode 722 and the reception electrode 723 at the intersection is approximately 90 °, but this angle is not limited. That is, the arrangement method of the transmission electrode 722 and the reception electrode 723 is not limited as long as the transmission electrode 722 and the reception electrode 723 are arranged so as not to contact each other and to form an intersection.

次に、情報入力装置1が適用された情報処理装置の動作例の概略を説明する。なお、その動作例の詳細については、後述する図20Aの情報処理装置731の動作例として説明する。   Next, an outline of an operation example of the information processing apparatus to which the information input device 1 is applied will be described. The details of the operation example will be described as an operation example of the information processing apparatus 731 in FIG.

情報入力装置701は、上述したように、生体の物理的な接触に基づく入力を、接点711dのON伏態(又はOFF状態)として検出する釦711、及び、釦711に対する生体(ユーザの指等)の近接に基づく入力(生体の接近)を検出する近接センサ712を設けている。   As described above, the information input device 701 detects the input based on the physical contact of the living body as the ON depression (or the OFF state) of the contact 711d, and the living body (user's finger or the like) with respect to the button 711 ) Proximity sensor 712 for detecting an input based on the proximity of the living body (approach of the living body).

これにより、ユーザは、情報入力装置1が適用された情報処理装置を用いて、マウスのインターフェースとして使用されている「ツールチップ」と称される技法を、物理的な(ハードウェアとしての)釦に関して利用することができる。   As a result, the user can use the information processing apparatus to which the information input apparatus 1 is applied and apply a technique called “tool chip” used as a mouse interface to a physical (hardware) button. Can be used with respect to.

即ち、「ツールチップ」は、次の(a)乃至(c)の動作が可能な技法であり、ユーザは、この「ツールチップ」を利用することにより、画面上のソフト釦やアイコンに割り当てられている機能を情報処理装置に実行させる前に、これらの機能に関する情報を取得することができる。   That is, the “tool tip” is a technique capable of the following operations (a) to (c), and the user is assigned to a soft button or icon on the screen by using the “tool tip”. It is possible to acquire information regarding these functions before causing the information processing apparatus to execute the functions being performed.

(a)
ユーザが、マウスを操作して、マウスの力―ソルを画面上のソフト釦又はアイコンの上に配置させた場合、情報処理装置は、そのソフト釦又はアイコンに割り当てられている機能に関する情報(例えば、機能の名称等)が表示されたツールチップを画面上にポップアップ表示させる。
(A)
When the user operates the mouse to place the mouse force-sol on a soft button or icon on the screen, the information processing apparatus displays information on the function assigned to the soft button or icon (for example, , A tooltip on which a function name, etc.) is displayed is popped up on the screen.

(b)
ユーザが、マウスの釦を押した場合(左クリックした場合)、情報処理装置は、そのソフト釦又はアイコンに割り当てられている機能を実行する。
(B)
When the user presses the mouse button (left click), the information processing apparatus executes a function assigned to the soft button or icon.

(c)
ユーザが、マウスの釦を押さず(左クリックせず)、マウスを操作して、マウスカーソルを別の位置に移動させた場合、情報処理装置は、そのソフト釦又はアイコンに割り当てられている機能を実行しない。
(C)
When the user operates the mouse without moving the mouse button (without left-clicking) and moves the mouse cursor to another position, the information processing apparatus has a function assigned to the soft button or icon. Do not execute.

そして、情報入力装置701が適用された情報処理装置は、これら(a)乃至(c)に対応する動作、例えば、次の(A)乃至(C)の動作を実行することができる。   The information processing apparatus to which the information input device 701 is applied can execute operations corresponding to (a) to (c), for example, the following operations (A) to (C).

(A)
ユーザが、その指を釦711の押下部711aに載せた場合(接触させた場合)、近接センサ712は、その接触を検出して、接近情報を情報処理装置に入力する。情報処理装置は、入力された接近情報に基づいて、釦711に割り当てられている機能に関する情報(例えば、機能の名称等)が表示されたツールチップを画面上にポップアップ表示させる。
(A)
When the user places his / her finger on the pressing portion 711a of the button 711 (when touched), the proximity sensor 712 detects the contact and inputs the approach information to the information processing apparatus. Based on the input approach information, the information processing apparatus pops up a tool tip on which information related to the function assigned to the button 711 (for example, the name of the function) is displayed.

(B)
ユーザが、その指で押下部711aを押下した場合(釦711を操作した場合)、情報処理装置は、その釦711に割り当てられている機能を実行する。
(B)
When the user presses the pressing portion 711a with his / her finger (when the button 711 is operated), the information processing apparatus executes a function assigned to the button 711.

(C)
ユーザが、押下部711aを押下せず(釦711を操作せず)、その指を押下部711aより離した場合(別の位置に移動させた場合)、情報処理装置は、その釦711に割り当てられている機能を実行しない。
(C)
When the user does not press down the pressing unit 711 a (without operating the button 711) and releases his finger from the pressing unit 711 a (when moved to another position), the information processing apparatus assigns the button 711 Do not perform the specified function.

次に、本発明の情報処理装置の具体例を説明する。図20Aは、本具体例における情報処理装置731の構成例を示すブロック図である。   Next, a specific example of the information processing apparatus of the present invention will be described. FIG. 20A is a block diagram illustrating a configuration example of the information processing device 731 in the present specific example.

CPU(Central Processing Unit)741は、ROM(Read Only Memory)742に記億されているプログラム、又は記憶部748からRAM(Random Access Memory)743にロードされたプログラムに従って各種の処理を実行する。   A CPU (Central Processing Unit) 741 executes various processes according to a program stored in a ROM (Read Only Memory) 742 or a program loaded from a storage unit 748 to a RAM (Random Access Memory) 743.

RAM743にはまた、CPU741が各種の処理を実行する上において必要なデータなども適宜記憶される。   The RAM 743 also appropriately stores data necessary for the CPU 741 to execute various processes.

CPU741、ROM742、及びRAM743は、バス744を介して相互に接続されている。このバス744にはまた、入出カインタフェース745も接続されている。   The CPU 741, ROM 742, and RAM 743 are connected to each other via a bus 744. An input / output interface 745 is also connected to the bus 744.

入出カインタフェース745には、入力部として上述した図16の情報入力装置1が接続されている。即ち、入出カインタフェース745には、釦711、及び、釦711の近傍に配置され釦711に対するユーザの接触を検出する近接センサ712が接続されている。   The input / output interface 745 is connected to the above-described information input device 1 of FIG. 16 as an input unit. In other words, the input / output interface 745 is connected to a button 711 and a proximity sensor 712 that is disposed in the vicinity of the button 711 and detects a user's contact with the button 711.

入出カインタフェース745にはまた、ディスプレイなどよりなる出力部747、ハードディスクなどより構成される記憶部748、モデム、ターミナルアダプタなどより構成される通信部749が接続されている。通信部749は、ネットワークを介しての通信、又は無線通信等の通信処理を行う。なお記憶部748は、必要に応じて省略されてもよい。   Also connected to the input / output interface 745 are an output unit 747 formed of a display, a storage unit 748 configured of a hard disk, and a communication unit 749 configured of a modem, a terminal adapter, and the like. The communication unit 749 performs communication processing such as communication via a network or wireless communication. Note that the storage unit 748 may be omitted as necessary.

さらに、入出カインタフェース745には、必要に応じてドライブ750が接続され、磁気ディスク761、光ディスク762、光磁気ディスク763、或いは半導体メモリ764などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部748にインストールされる。   Further, a drive 750 is connected to the input / output interface 745 as necessary, and a magnetic disk 761, an optical disk 762, a magneto-optical disk 763, a semiconductor memory 764, or the like is appropriately mounted, and a computer program read from these is loaded. If necessary, it is installed in the storage unit 748.

なお、図示はしないが、情報処理装置731には、上述したブロック以外にも、様々な機能例えば、携帯電話機の電話通信機能等を実行するブロックが必要に応じて設けられる。   Although not shown, the information processing apparatus 731 is provided with blocks for performing various functions, for example, a telephone communication function of a mobile phone, as necessary, in addition to the blocks described above.

また、キーパット部分がディスプレイ(表示装置)から分離したもの(リモコン)として使用する場合は、図20Bのように構成される。すなわち、図20Bに示すように、情報処理装置751は、情報入力装置752と、表示装置753とが分離されたものとなる。そして、情報入力装置752には、所定の機能が割り当てられた釦711、及び釦711に対するユーザの接触を検出する近接センサ712からの出力データを受け取り、これを表示装置753に対して送信する送信部713を有する。また、表示装置752は、情報入力装置752の送信部713から送信される接触検出結果などのデータを受信する受信部750を有し、例えばCPU741などがこの受信したデータに基づき出力部747の出力を制御する表示制御手段として機能する。すなわち、上述したように、近接センサ712がその接触を検出した接触検出信号などを受信部750が受け取り、CPU741がこの接触検出信号に基づき接触された釦711の機能を表示情報に反映させ、その状態で釦711の押下が検出され、これを通知する信号を受信部750が受け取った場合には、CPU741がその機能を選択するよう制御する。その他の構成は、図20Aに示す情報入力装置と表示装置が一体型の情報処理装置と同様である。   Further, when the keypad portion is used as a device (remote control) separated from the display (display device), it is configured as shown in FIG. 20B. That is, as illustrated in FIG. 20B, the information processing device 751 is obtained by separating the information input device 752 and the display device 753. The information input device 752 receives a button 711 to which a predetermined function is assigned, and output data from the proximity sensor 712 that detects a user's contact with the button 711, and transmits this to the display device 753. Part 713. In addition, the display device 752 includes a receiving unit 750 that receives data such as a contact detection result transmitted from the transmitting unit 713 of the information input device 752, and the CPU 741 or the like, for example, outputs the output of the output unit 747 based on the received data. Functions as a display control means for controlling. That is, as described above, the receiving unit 750 receives a contact detection signal or the like detected by the proximity sensor 712, and the CPU 741 reflects the function of the button 711 touched based on the contact detection signal in the display information. In the state, when the pressing of the button 711 is detected and the receiving unit 750 receives a signal notifying this, the CPU 741 controls to select the function. Other configurations are the same as those of the information processing apparatus in which the information input device and the display device illustrated in FIG. 20A are integrated.

次に図21のフローチャートを参照して、情報処理装置731の機能実行処理例について説明する。   Next, a function execution process example of the information processing apparatus 731 will be described with reference to the flowchart of FIG.

いま、情報処理装置731の電源がオンされており(CPU741等が立ち上げられており)、ディスプレイ(出力部747)には所定の初期画面が表示されているものとする。   Now, it is assumed that the information processing apparatus 731 is powered on (CPU 741 and the like are started up), and a predetermined initial screen is displayed on the display (output unit 747).

このとき、ステップS11において、CPU741は、図23に示されるような生体(指771)が釦711に接触している(接近している)第1の状態であるか否かを判定する。   At this time, in step S11, the CPU 741 determines whether or not the living body (finger 771) is in contact with (approaching) the button 711 as shown in FIG.

いま、図22に示されるように、ユーザがその指771を釦711に接触させていないものとすると、近接センサ712は生体を検出しないので(接近情報を出力しないので)、ステップS11において、CPUS41は、第1の状態ではないと判定(認識)し、ステップS11に戻り、第1の状態であるか否かを再度判定する。即ち、CPU741は、生体が釦711に接触したか否かを常時監視しており、生体が釦711に接触するまで(近接センサ12が生体を検出するまで)その処理を繰り返す。   Now, as shown in FIG. 22, if the user does not touch his / her finger 771 to the button 711, the proximity sensor 712 does not detect a living body (since it does not output approach information), so in step S11, the CPU S41 Determines (recognizes) that it is not in the first state, returns to step S11, and determines again whether or not it is in the first state. That is, the CPU 741 constantly monitors whether or not the living body has touched the button 711 and repeats the process until the living body contacts the button 711 (until the proximity sensor 12 detects the living body).

その後、図23に示されるように、ユーザがその指771を釦711に載せると、近接センサ712は、生体(指771)を検出して、接近情報(検出信号)を入出カインタフェース745に入力してくる。   Thereafter, as shown in FIG. 23, when the user places his finger 771 on the button 711, the proximity sensor 712 detects the living body (finger 771) and inputs approach information (detection signal) to the input / output interface 745. Come on.

そこで、CPU741は、ステップS11において、バス744を介してこの接近情報を取得し、これにより、第1の状態であると判定(認識)し、ステップS12において、釦711に割り当てられた機能に関する情報を、バス744及び入出力インターフェース745を介してディスプレイ(出力部747)に表示させる。   Therefore, the CPU 741 acquires this approach information via the bus 744 in step S11, thereby determining (recognizing) that it is in the first state, and in step S12, information regarding the function assigned to the button 711. Are displayed on the display (output unit 747) via the bus 744 and the input / output interface 745.

ステップS13において、CPU741は、図24に示されるような生体(指771)が釦711を操作した(押下した)第2の状態であるか否かを判定し、第2の状態ではないと判定した場合、ステップS11に戻りそれ以降の処理を繰り返す。   In step S13, the CPU 741 determines whether or not the living body (finger 771) is in the second state in which the button 711 is operated (pressed) as shown in FIG. 24, and is not in the second state. If so, the process returns to step S11 and the subsequent processing is repeated.

例えば、ユーザがその指771を釦711から離せば(図22の状態に戻せば)、CPU741は、釦711に割り当てられた機能に関する情報の表示を消去し、指771が再度釦711に載せられるまで(ユーザが、図23の第1の状態にするまで)、その処理を継続する。   For example, if the user releases his / her finger 771 from the button 711 (returns to the state shown in FIG. 22), the CPU 741 deletes the display of the information related to the function assigned to the button 711 and the finger 771 is placed on the button 711 again. (Until the user enters the first state of FIG. 23), the process is continued.

また、図23の第1の状態のままであれば、CPU741は、ステップS11乃至S13の処理を繰り返す。即ち、CPU741は、釦711に割り当てられた機能に関する情報をディスプレイに表示させたままにする。   If the first state of FIG. 23 is maintained, the CPU 741 repeats the processes of steps S11 to S13. That is, the CPU 741 keeps information on the function assigned to the button 711 displayed on the display.

いま、図24に示されるように、ユーザが、その指771で釦711を押下したものとすると、釦711は、その押下操作に対応する信号(接点711dがON状態であることを表す情報)を入出カインタフェース745に入力してくる。   Now, as shown in FIG. 24, when the user presses the button 711 with his / her finger 771, the button 711 displays a signal corresponding to the pressing operation (information indicating that the contact 711d is in the ON state). Is input to the input / output interface 745.

そこで、CPU741は、ステップS13において、この信号(接点711dがON状態であることを表す情報)をバス744を介して取得し、これにより、第2の状態であると判定(認識)し、ステップS14において、釦711に割り当てられた機能を実行する。   Therefore, in step S13, the CPU 741 obtains this signal (information indicating that the contact point 711d is in the ON state) via the bus 744, thereby determining (recognizing) that it is in the second state. In S14, the function assigned to the button 711 is executed.

ステップS15において、CPU741は、情報処理装置の電源がオフされたか否かを判定し、オフされたと判定した場合、その処理を終了し、一方、オフされていないと判定した場合、ステップS11に戻り、それ以降の処理を繰り返す。   In step S15, the CPU 741 determines whether or not the information processing apparatus is turned off. If it is determined that the information processing apparatus is turned off, the CPU 741 terminates the process. On the other hand, if it is determined that the information processing apparatus is not turned off, the CPU 741 returns to step S11. Repeat the subsequent processing.

このように、ユーザは、情報処理装置731を利用することで、マウスを利用しなくても上述した「ツールチップ」に相当する技法を利用することができる。   In this way, the user can use the technique corresponding to the “tool tip” described above without using the mouse by using the information processing apparatus 731.

また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。   In the above-described embodiment, the hardware configuration has been described. However, the present invention is not limited to this, and arbitrary processing may be realized by causing a CPU (Central Processing Unit) to execute a computer program. Is possible. In this case, the computer program can be provided by being recorded on a recording medium, or can be provided by being transmitted via the Internet or another transmission medium.

本発明の第1の実施の形態における情報処理装置を示す模式図である。It is a schematic diagram which shows the information processing apparatus in the 1st Embodiment of this invention. (a)及び(b)は、本発明の第1の実施の形態の変形例における情報処理装置を示す模式図である。(A) And (b) is a schematic diagram which shows the information processing apparatus in the modification of the 1st Embodiment of this invention. 本発明の第2の実施の形態における情報処理装置を示す模式図である。It is a schematic diagram which shows the information processing apparatus in the 2nd Embodiment of this invention. (a)及び(b)は、本発明の第3の実施の形態における情報処理装置を示す模式図である。(A) And (b) is a schematic diagram which shows the information processing apparatus in the 3rd Embodiment of this invention. 本発明の第4の実施の形態における情報処理装置を示す模式図である。It is a schematic diagram which shows the information processing apparatus in the 4th Embodiment of this invention. 本発明の第5の実施の形態における情報処理装置を示す模式図である。It is a schematic diagram which shows the information processing apparatus in the 5th Embodiment of this invention. 本発明の第6の実施の形態におけるキーパッドを模式的に示す斜視図である。It is a perspective view which shows typically the keypad in the 6th Embodiment of this invention. 上記キーパッドにおける入力動作を示すフローチャートである。It is a flowchart which shows the input operation in the said keypad. (a)は、キーパッドの入力方法を説明する模式図、(b)は、ソフトキーボードの表示例を示す模式図である。(A) is a schematic diagram explaining the input method of a keypad, (b) is a schematic diagram which shows the example of a display of a soft keyboard. キーパッドの接触位置又はキーボードの釦による入力方法の他の例を説明する模式図である。It is a schematic diagram explaining the other example of the input method by the contact position of a keypad, or the button of a keyboard. (a)は、本発明の第7の実施の形態における情報処理装置を示す模式図、(c)は、その操作釦部分を模式的に示す断面図、(b)は、従来の操作釦部分を模式的に示す断面図である。(A) is a schematic diagram showing an information processing apparatus according to a seventh embodiment of the present invention, (c) is a cross-sectional view schematically showing an operation button part thereof, and (b) is a conventional operation button part. It is sectional drawing which shows this typically. 本発明の実施の形態における情報処理装置の入力手段の変形例を示す模式図である。It is a schematic diagram which shows the modification of the input means of the information processing apparatus in embodiment of this invention. 本発明の実施の形態における情報処理装置の入力手段の他の変形例を示す模式図である。It is a schematic diagram which shows the other modification of the input means of the information processing apparatus in embodiment of this invention. (a)は、釦と回転操作部とを一体化させて形成した入力部を拡大して示す模式図であって、(b)〜(d)はその操作方法を説明するための模式図である。(A) is the schematic diagram which expands and shows the input part formed by integrating a button and a rotation operation part, (b)-(d) is a schematic diagram for demonstrating the operation method. is there. 釦と回転操作部とを一体化させて形成した入力部を拡大して示す図であって、図14とは異なる入力部を示す模式図である。It is a figure which expands and shows the input part formed by integrating a button and a rotation operation part, Comprising: It is a schematic diagram which shows the input part different from FIG. 本発明が適用される情報処理装置の入力手段の具体例を模式的に示す断面図である。It is sectional drawing which shows typically the specific example of the input means of the information processing apparatus to which this invention is applied. 本発明の具体例における近接センサを示すブロック図である。It is a block diagram which shows the proximity sensor in the specific example of this invention. 図15に示す近接センサの送信電極と受信電極との交差点における等価回路図である。FIG. 16 is an equivalent circuit diagram at an intersection between a transmission electrode and a reception electrode of the proximity sensor illustrated in FIG. 15. 図15に示す近接センサの送信電極と受信電極との交差点に生体が近接した場合の該交差点における等価回路図である。FIG. 16 is an equivalent circuit diagram at an intersection when a living body approaches the intersection between the transmission electrode and the reception electrode of the proximity sensor illustrated in FIG. 15. 本発明の具体例における情報処理装置を示すブロック図である。It is a block diagram which shows the information processing apparatus in the specific example of this invention. 本発明の具体例における他の情報処理装置を示すブロック図である。It is a block diagram which shows the other information processing apparatus in the specific example of this invention. 本発明の具体例における情報処理装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the information processing apparatus in the specific example of this invention. 本発明の具体例における情報処理装置の釦の初期状態を示す模式図である。It is a schematic diagram which shows the initial state of the button of the information processing apparatus in the specific example of this invention. 本発明の具体例における情報処理装置の釦の第1の状態を示す模式図である。It is a schematic diagram which shows the 1st state of the button of the information processing apparatus in the specific example of this invention. 本発明の具体例における情報処理装置の釦の第2の状態を示す模式図である。It is a schematic diagram which shows the 2nd state of the button of the information processing apparatus in the specific example of this invention.

符号の説明Explanation of symbols

1,51,101,201,301,401,501,901 情報処理装置、10,60,110,210,310,410,510,610 表示画面、11,111,211 機能情報表示部、12,212 入力結果表示部、20L/R,70L/R,120L/R,220L/R,320L/R,420,520L/R,620 キーボード、21L/R,71L/R,121L/R,221L/R,321L/R,521L/R 釦、30,80L/R,130,230,330,430,930 ソフトキーボード、31L/R,81L/R,131L/R,231L/R,331L/R,431L/R ソフト釦、40L/R 親指、240,340,540,940 タッチパネル 1, 51, 101, 201, 301, 401, 501, 901 Information processing device 10, 60, 110, 210, 310, 410, 510, 610 Display screen, 11, 111, 211 Function information display unit, 12, 212 Input result display section, 20L / R, 70L / R, 120L / R, 220L / R, 320L / R, 420, 520L / R, 620 keyboard, 21L / R, 71L / R, 121L / R, 221L / R, 321L / R, 521L / R button, 30, 80L / R, 130, 230, 330, 430, 930 Soft keyboard, 31L / R, 81L / R, 131L / R, 231L / R, 331L / R, 431L / R Soft button, 40L / R thumb, 240, 340, 540, 940 Touch panel

Claims (11)

接触位置に応じて、1以上の機能が割り当てられた入力手段と、
上記入力手段に対する物理的な接触を検出する接触検出手段と、
上記入力手段に割り当てられた1以上の機能に関する機能情報を表示する表示手段と、
上記接触検出手段の接触検出結果を上記機能情報の表示に反映させる表示制御手段と、
上記物理的な接触の圧力を検出する圧力検出手段とを有し、
上記入力手段は、上記接触検出結果が機能情報の表示に反映された状態で上記圧力検出手段が所定の圧力以上で押下されると当該機能を選択する
ことを特徴とする情報処理装置。
An input means to which one or more functions are assigned according to the contact position;
Contact detection means for detecting physical contact with the input means;
Display means for displaying function information relating to one or more functions assigned to the input means;
Display control means for reflecting the contact detection result of the contact detection means in the display of the function information;
Pressure detecting means for detecting the pressure of the physical contact,
The information processing apparatus according to claim 1, wherein the input unit selects the function when the pressure detection unit is pressed at a predetermined pressure or higher in a state where the contact detection result is reflected in the display of the function information.
上記入力手段は、振動発生手段を有し、前記圧力検出手段が所定の圧力以上で押下されると振動を発生させることを特徴とする請求項1記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the input unit includes a vibration generation unit, and generates a vibration when the pressure detection unit is pressed at a predetermined pressure or higher. 上記入力手段は、上記接触検出手段を有する複数の釦を有し、各釦毎に機能が割り当てられていることを特徴とする請求項1記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the input unit includes a plurality of buttons having the contact detection unit, and a function is assigned to each button. 上記入力手段の上記複数の釦は、1本の指で同時に2以上が接触されるような間隔で配列されることを特徴とする請求項3記載の情報処理装置。   4. The information processing apparatus according to claim 3, wherein the plurality of buttons of the input means are arranged at intervals such that two or more buttons are touched simultaneously with one finger. 上記表示制御手段は、上記接触検出手段により複数の接触位置が検出された場合に、当該接触位置の組み合わせに応じた異なる上記機能情報を表示に反映させることを特徴とする請求項1記載の情報処理装置。   2. The information according to claim 1, wherein the display control unit causes the display to reflect different function information according to a combination of the contact positions when a plurality of contact positions are detected by the contact detection unit. Processing equipment. 上記表示制御手段は、上記接触検出手段により接触が検出されると、当該接触位置に対応する機能に関する情報を他の機能に関する情報より明るく表示する
ことを特徴とする請求項1記載の情報処理装置。
2. The information processing apparatus according to claim 1, wherein when the contact is detected by the contact detection unit, the display control unit displays information regarding a function corresponding to the contact position brighter than information regarding other functions. .
上記表示制御手段は、上記接触検出手段により接触が検出されると、当該接触位置に対応する機能に関する情報を他の機能に関する情報より拡大して表示する
ことを特徴とする請求項1記載の情報処理装置。
2. The information according to claim 1, wherein when a contact is detected by the contact detection unit, the display control unit displays information related to the function corresponding to the contact position in an enlarged manner than information related to other functions. Processing equipment.
可搬型であって、上記入力手段は、使用者が本体の両側部を夫々左右の手で把持した状態でその親指により入力操作可能な位置に分離して設けられていることを特徴とする請求項1記載の情報処理装置。   It is portable, and the input means is provided separately at a position where the user can perform an input operation with his / her thumb while holding both sides of the main body with left and right hands, respectively. Item 6. The information processing apparatus according to Item 1. 上記入力手段に使用者の左右の親指のいずれか一方のみが接触した状態、又は両方が接触した状態を検出してモードを切り替えるモード切替手段を有する
ことを特徴とする請求項7記載の情報処理装置。
8. The information processing apparatus according to claim 7, further comprising a mode switching unit that detects a state in which only one of the left and right thumbs of the user is in contact with the input unit or a state in which both of the thumbs are in contact to switch modes. apparatus.
入力手段の接触位置に応じて割り当てられた1以上の機能に関する機能情報を表示画面に表示する表示工程と、
上記入力手段に対する物理的な接触を検出する接触検出工程と、
上記機能情報の表示に上記接触検出結果を反映させる表示制御工程と、
上記物理的な接触の圧力を検出する圧力検出工程と、
上記接触検出結果が上記機能情報の表示に反映された状態で上記圧力検出手段が所定の圧力以上で押下されると当該機能を選択する選択工程とを有する
ことを特徴とする情報処理方法。
A display step of displaying function information on one or more functions assigned according to the contact position of the input means on the display screen;
A contact detection step of detecting physical contact with the input means;
A display control step of reflecting the contact detection result in the display of the function information;
A pressure detecting step for detecting the pressure of the physical contact;
An information processing method comprising: a selection step of selecting the function when the pressure detection unit is pressed at a predetermined pressure or higher in a state where the contact detection result is reflected in the display of the function information.
所定の動作をコンピュータに実行させるためのプログラムであって、
入力手段の接触位置に応じて割り当てられた1以上の機能に関する機能情報を表示画面に表示する表示工程と、
上記入力手段に対する物理的な接触を検出する接触検出工程と、
上記機能情報の表示に上記接触検出結果を反映させる表示制御工程と、
上記物理的な接触の圧力を検出する圧力検出工程と、
上記接触検出結果が上記機能情報の表示に反映された状態で上記圧力検出手段が所定の圧力以上で押下されると当該機能を選択する選択工程とを有する
ことを特徴とするプログラム。
A program for causing a computer to execute a predetermined operation,
A display step of displaying function information on one or more functions assigned according to the contact position of the input means on the display screen;
A contact detection step of detecting physical contact with the input means;
A display control step of reflecting the contact detection result in the display of the function information;
A pressure detecting step for detecting the pressure of the physical contact;
And a selection step of selecting the function when the pressure detection means is pressed above a predetermined pressure in a state where the contact detection result is reflected in the display of the function information.
JP2005166012A 2003-02-14 2005-06-06 Information processor, information processing method, and program Pending JP2005317041A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005166012A JP2005317041A (en) 2003-02-14 2005-06-06 Information processor, information processing method, and program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003037370 2003-02-14
JP2003127408 2003-05-02
JP2005166012A JP2005317041A (en) 2003-02-14 2005-06-06 Information processor, information processing method, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2004029872A Division JP2004355606A (en) 2003-02-14 2004-02-05 Information processor, information processing method, and program

Publications (1)

Publication Number Publication Date
JP2005317041A true JP2005317041A (en) 2005-11-10

Family

ID=35444314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005166012A Pending JP2005317041A (en) 2003-02-14 2005-06-06 Information processor, information processing method, and program

Country Status (1)

Country Link
JP (1) JP2005317041A (en)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007140717A (en) * 2005-11-16 2007-06-07 Kyocera Mita Corp Input device
JP2007193388A (en) * 2006-01-17 2007-08-02 Nec Corp Information processor, data input method, and program
JP2007200241A (en) * 2006-01-30 2007-08-09 Kyocera Corp Display device, cellular telephone and character size change method
JP2007228454A (en) * 2006-02-27 2007-09-06 Sharp Corp Remote controller
JP2008033408A (en) * 2006-07-26 2008-02-14 Tokai Rika Co Ltd Switch device
JP2008090753A (en) * 2006-10-04 2008-04-17 Eastman Kodak Co User interface device and digital camera
JP2008166972A (en) * 2006-12-27 2008-07-17 Toshiba Corp Information processing apparatus
JP2008204402A (en) * 2007-02-22 2008-09-04 Eastman Kodak Co User interface device
JP2009025881A (en) * 2007-07-17 2009-02-05 Sharp Corp Touch sensor and remote controller
EP2075683A1 (en) 2007-12-19 2009-07-01 Sony Corporation Information processing apparatus, information processing method, and program
JP2009536385A (en) * 2006-05-09 2009-10-08 ノキア コーポレイション Multi-function key with scroll
JP2010067260A (en) * 2008-08-11 2010-03-25 Sony Corp Information processing apparatus, method, and program
JP2011181092A (en) * 2006-08-25 2011-09-15 Kyocera Corp Portable electronic apparatus, and method for controlling the same
JP2012059240A (en) * 2010-08-11 2012-03-22 Kyocera Corp Tactile presentation apparatus and control method of tactile presentation apparatus
JP2012073785A (en) * 2010-09-28 2012-04-12 Kyocera Corp Input device and input device control method
DE102011054844A1 (en) 2010-10-29 2012-05-03 Minebea Co., Ltd. Input unit for an electronic module and method for controlling the input
WO2012147520A1 (en) * 2011-04-25 2012-11-01 ソニー株式会社 Display control device, display control method, and program
JP2013511763A (en) * 2009-11-24 2013-04-04 サムスン エレクトロニクス カンパニー リミテッド GUI providing method for guiding start position of user operation and digital device to which the method is applied
US8416184B2 (en) 2006-06-30 2013-04-09 Sony Corporation Information processing apparatus, information processing method and program
JP2013513981A (en) * 2009-12-11 2013-04-22 アイデント・テクノロジー・アーゲー Multi-functional contact and / or proximity sensor
JP2013164652A (en) * 2012-02-09 2013-08-22 Oki Electric Ind Co Ltd Customer operation type terminal device and screen display method thereof
KR20180049186A (en) * 2009-07-22 2018-05-10 임머숀 코퍼레이션 System and method for providing complex haptic stimulation during input of control gestures, and relating to control of virtual equipment
US11010027B2 (en) 2012-05-09 2021-05-18 Apple Inc. Device, method, and graphical user interface for manipulating framed graphical objects
US11023116B2 (en) 2012-05-09 2021-06-01 Apple Inc. Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
US11054990B2 (en) 2015-03-19 2021-07-06 Apple Inc. Touch input cursor manipulation
US11068153B2 (en) 2012-05-09 2021-07-20 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
CN113287084A (en) * 2018-12-28 2021-08-20 株式会社日本显示器 Operation assisting device
US11112957B2 (en) 2015-03-08 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US11182017B2 (en) 2015-08-10 2021-11-23 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US11221675B2 (en) 2012-05-09 2022-01-11 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US11231831B2 (en) 2015-06-07 2022-01-25 Apple Inc. Devices and methods for content preview based on touch input intensity
US11240424B2 (en) 2015-06-07 2022-02-01 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11314407B2 (en) 2012-05-09 2022-04-26 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US11327648B2 (en) 2015-08-10 2022-05-10 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US11354033B2 (en) 2012-05-09 2022-06-07 Apple Inc. Device, method, and graphical user interface for managing icons in a user interface region
US11921975B2 (en) 2015-03-08 2024-03-05 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007140717A (en) * 2005-11-16 2007-06-07 Kyocera Mita Corp Input device
JP2007193388A (en) * 2006-01-17 2007-08-02 Nec Corp Information processor, data input method, and program
JP2007200241A (en) * 2006-01-30 2007-08-09 Kyocera Corp Display device, cellular telephone and character size change method
JP2007228454A (en) * 2006-02-27 2007-09-06 Sharp Corp Remote controller
JP2009536385A (en) * 2006-05-09 2009-10-08 ノキア コーポレイション Multi-function key with scroll
US8416184B2 (en) 2006-06-30 2013-04-09 Sony Corporation Information processing apparatus, information processing method and program
US9769229B2 (en) 2006-06-30 2017-09-19 Sony Corporation Information processing apparatus, information processing method and program
US10511647B2 (en) 2006-06-30 2019-12-17 Sony Corporation Information processing apparatus, information processing method and program
JP2008033408A (en) * 2006-07-26 2008-02-14 Tokai Rika Co Ltd Switch device
JP2011181092A (en) * 2006-08-25 2011-09-15 Kyocera Corp Portable electronic apparatus, and method for controlling the same
JP2008090753A (en) * 2006-10-04 2008-04-17 Eastman Kodak Co User interface device and digital camera
JP2008166972A (en) * 2006-12-27 2008-07-17 Toshiba Corp Information processing apparatus
JP2008204402A (en) * 2007-02-22 2008-09-04 Eastman Kodak Co User interface device
JP2009025881A (en) * 2007-07-17 2009-02-05 Sharp Corp Touch sensor and remote controller
EP2075683A1 (en) 2007-12-19 2009-07-01 Sony Corporation Information processing apparatus, information processing method, and program
JP2010067260A (en) * 2008-08-11 2010-03-25 Sony Corp Information processing apparatus, method, and program
KR101962081B1 (en) * 2009-07-22 2019-03-25 임머숀 코퍼레이션 System and method for providing complex haptic stimulation during input of control gestures, and relating to control of virtual equipment
KR20180049186A (en) * 2009-07-22 2018-05-10 임머숀 코퍼레이션 System and method for providing complex haptic stimulation during input of control gestures, and relating to control of virtual equipment
JP2013511763A (en) * 2009-11-24 2013-04-04 サムスン エレクトロニクス カンパニー リミテッド GUI providing method for guiding start position of user operation and digital device to which the method is applied
US9525416B2 (en) 2009-12-11 2016-12-20 Microchip Technology Germany Gmbh Multifunctional touch and/or proximity sensor
JP2013513981A (en) * 2009-12-11 2013-04-22 アイデント・テクノロジー・アーゲー Multi-functional contact and / or proximity sensor
JP2012059240A (en) * 2010-08-11 2012-03-22 Kyocera Corp Tactile presentation apparatus and control method of tactile presentation apparatus
US9035897B2 (en) 2010-09-28 2015-05-19 Kyocera Corporation Input apparatus and control method of input apparatus
JP2012073785A (en) * 2010-09-28 2012-04-12 Kyocera Corp Input device and input device control method
US8786573B2 (en) 2010-10-29 2014-07-22 Minebea Co., Ltd. Data input device of electronic device and input control method
DE102011054844A1 (en) 2010-10-29 2012-05-03 Minebea Co., Ltd. Input unit for an electronic module and method for controlling the input
US9524095B2 (en) 2011-04-25 2016-12-20 Sony Corporation Display control device, display control method, and program
WO2012147520A1 (en) * 2011-04-25 2012-11-01 ソニー株式会社 Display control device, display control method, and program
JP2013164652A (en) * 2012-02-09 2013-08-22 Oki Electric Ind Co Ltd Customer operation type terminal device and screen display method thereof
US11354033B2 (en) 2012-05-09 2022-06-07 Apple Inc. Device, method, and graphical user interface for managing icons in a user interface region
US11314407B2 (en) 2012-05-09 2022-04-26 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US11010027B2 (en) 2012-05-09 2021-05-18 Apple Inc. Device, method, and graphical user interface for manipulating framed graphical objects
US11068153B2 (en) 2012-05-09 2021-07-20 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US11023116B2 (en) 2012-05-09 2021-06-01 Apple Inc. Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
US11221675B2 (en) 2012-05-09 2022-01-11 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US11947724B2 (en) 2012-05-09 2024-04-02 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US11112957B2 (en) 2015-03-08 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US11977726B2 (en) 2015-03-08 2024-05-07 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US11921975B2 (en) 2015-03-08 2024-03-05 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US11054990B2 (en) 2015-03-19 2021-07-06 Apple Inc. Touch input cursor manipulation
US11550471B2 (en) 2015-03-19 2023-01-10 Apple Inc. Touch input cursor manipulation
US11231831B2 (en) 2015-06-07 2022-01-25 Apple Inc. Devices and methods for content preview based on touch input intensity
US11240424B2 (en) 2015-06-07 2022-02-01 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11835985B2 (en) 2015-06-07 2023-12-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11681429B2 (en) 2015-06-07 2023-06-20 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11327648B2 (en) 2015-08-10 2022-05-10 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US11740785B2 (en) 2015-08-10 2023-08-29 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US11182017B2 (en) 2015-08-10 2021-11-23 Apple Inc. Devices and methods for processing touch inputs based on their intensities
CN113287084B (en) * 2018-12-28 2023-07-14 株式会社日本显示器 Operation assisting device
CN113287084A (en) * 2018-12-28 2021-08-20 株式会社日本显示器 Operation assisting device

Similar Documents

Publication Publication Date Title
JP2005317041A (en) Information processor, information processing method, and program
JP2004355606A (en) Information processor, information processing method, and program
EP1183590B1 (en) Communication system and method
EP1536316B1 (en) Information display input device and information display input method, and information processing device
US9122318B2 (en) Methods of and systems for reducing keyboard data entry errors
JP6245788B2 (en) Information input device
US20060082540A1 (en) Data input system
EP3190482B1 (en) Electronic device, character input module and method for selecting characters thereof
KR100842547B1 (en) Mobile handset having touch sensitive keypad and user interface method
US20130339851A1 (en) User-Friendly Process for Interacting with Informational Content on Touchscreen Devices
US20070263015A1 (en) Multi-function key with scrolling
US20150212591A1 (en) Portable electronic apparatus, and a method of controlling a user interface thereof
CN101419526A (en) Text selection using a touch sensitive screen of a handheld mobile communication device
CN102163120A (en) Prominent selection cues for icons
WO2010089740A1 (en) Data entry system
KR20070091531A (en) Method of navigation on a mobile handset and the mobile handset
JP2006148536A (en) Portable terminal, and character inputting method and program
US20070188460A1 (en) Adjustable on-screen cursor sensitivity on a handheld communication device having a full alphabetic keyboard
CN101329614A (en) Method and apparatus for allocating improved hand-written input interface
JP2019522855A (en) Adaptive user interface for handheld electronic devices
EP1818782A1 (en) Adjustable on-screen cursor sensitivity on a handheld communication device having a reduced alphabetic keyboard
KR20150132896A (en) A remote controller consisting of a single touchpad and its usage
KR20150071597A (en) Device for data execution
JP2011164953A (en) Mobile electronic device and display control method
KR200329499Y1 (en) Apparatus for inputting character and numeral on communication device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080717

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081029

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081107

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090605