JP2006301994A - Operation reaction output device - Google Patents

Operation reaction output device Download PDF

Info

Publication number
JP2006301994A
JP2006301994A JP2005123239A JP2005123239A JP2006301994A JP 2006301994 A JP2006301994 A JP 2006301994A JP 2005123239 A JP2005123239 A JP 2005123239A JP 2005123239 A JP2005123239 A JP 2005123239A JP 2006301994 A JP2006301994 A JP 2006301994A
Authority
JP
Japan
Prior art keywords
operation input
operation reaction
input
reaction
notification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005123239A
Other languages
Japanese (ja)
Inventor
Koji Hatano
浩司 幡野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2005123239A priority Critical patent/JP2006301994A/en
Publication of JP2006301994A publication Critical patent/JP2006301994A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a mobile phone terminal which gives an operation reaction according to the mode of an input operation to a user on the basis of a conventional operation input device having no function of detecting the strength and speed of an operation. <P>SOLUTION: The mobile phone terminal 1 includes an operation reaction output means 4 which accepts an operation input report 20 based on an operation input and a display change report 50 showing a display change in an application execution means 5 for displaying information on the basis of the operation input report 20 and outputs an operation reaction indication 40 indicating an operation reaction to the operation input, and the operation reaction output means 4 determines the operation reaction indication 40 on the basis of time intervals of the operation input report 20 and a display variation shown by the display change report 50. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、利用者の操作入力に対して操作反応を出力する装置に関する。   The present invention relates to an apparatus that outputs an operation response to a user's operation input.

携帯電話端末は近年高機能化してきており、様々なアプリケーションを携帯電話端末上で実行することができるものが主流となっている。携帯電話端末上で実行できるアプリケーションには、例えばｗｅｂブラウザやメールアプリのように、テンキー等の操作子を介して利用者と携帯電話端末との間で対話的に処理を進めていくものが含まれる。現在普及している携帯電話端末のテンキー操作においては、キー押下時にビープ音等の音が操作のスピード等の態様によらず単調に出力されるのみであり、変化に乏しいものである。利用者と携帯電話端末との対話において、利用者による入力操作の態様に応じて携帯電話端末がリアルなフィードバックを利用者に与えることができれば、アプリケーション利用における娯楽性が現在よりも高まる。   In recent years, mobile phone terminals have become highly functional, and those that can execute various applications on the mobile phone terminal have become mainstream. Applications that can be executed on a mobile phone terminal include, for example, web browsers and e-mail applications that perform interactive processing between a user and a mobile phone terminal via an operator such as a numeric keypad. It is. In the numeric keypad operation of a mobile phone terminal that is currently popularized, only a sound such as a beep sound is output monotonously regardless of the operation speed or the like when the key is pressed, and the change is poor. In the interaction between the user and the mobile phone terminal, if the mobile phone terminal can give the user realistic feedback according to the mode of the input operation by the user, the amusement in using the application is higher than the present.

従来より、情報機器と利用者とが対話する際、利用者の入力操作の態様に応じたフィードバックを与えるために音などによる操作反応を出力する装置が提案されてきた。   2. Description of the Related Art Conventionally, when an information device and a user interact, an apparatus that outputs an operation response by sound or the like has been proposed in order to give feedback according to the mode of input operation of the user.

たとえば特許文献１に開示された操作反応音生成装置は、操作の強度や操作の速度から操作パラメータを取得し、それらに基づいて操作反応音を出力するものである。この発明によれば、たとえば利用者がキーを押下するときの強さや速度の違いに応じて操作反応を変化させることができる。   For example, the operation reaction sound generation device disclosed in Patent Document 1 acquires operation parameters from the intensity of operation and the speed of operation, and outputs an operation reaction sound based on them. According to this invention, for example, the operation response can be changed according to the difference in strength and speed when the user presses the key.

また、特許文献２に開示されたキーボードは、キーの押し下げ圧力、押し下げ速度、押し下げ深さを複数段階に感知するセンサを備えたものである。この発明によれば、利用者がキーを押下するときの強さや速度や深さを操作パラメータとして出力することができるので、たとえば特許文献１に開示された操作反応音生成装置の入力装置として用いることにより、利用者がキーを押下するときの強さや速度や深さの違いに応じて操作反応を変化させることができる。
特開２００１−５１７５９公報 特開平９−３０５２８６公報 Further, the keyboard disclosed in Patent Document 2 includes a sensor that senses a key pressing pressure, a pressing speed, and a pressing depth in a plurality of stages. According to the present invention, the strength, speed, and depth when the user presses the key can be output as the operation parameter, so that it is used, for example, as an input device of the operation reaction sound generating device disclosed in Patent Document 1. Thus, the operation response can be changed according to the difference in strength, speed, and depth when the user presses the key.
JP 2001-51759 A Japanese Patent Laid-Open No. 9-305286

しかしながら、特許文献１に開示された装置においては、操作の強度または速度を検出する機能を有する入力装置が必要であるが、現在の携帯電話が備えるテンキー等の操作入力装置はそのような機能をもたないという問題があった。また、特許文献２に開示されたキーボードは、従来の携帯電話のテンキーよりも機構が複雑であるため、このキーボードを操作入力装置として利用すると端末全体の重量やコストの増加を招いてしまうという問題があった。   However, in the device disclosed in Patent Document 1, an input device having a function of detecting the intensity or speed of the operation is required, but the operation input device such as a numeric keypad provided in the current mobile phone has such a function. There was a problem of having no money. Further, since the keyboard disclosed in Patent Document 2 has a more complicated mechanism than the conventional numeric keypad of a mobile phone, the use of this keyboard as an operation input device increases the weight and cost of the entire terminal. was there.

本発明は、上記従来の課題を解決するものであり、操作入力の強度や速度を検知する機能を備えない従来の操作入力装置の出力に基づいて、入力操作の態様に応じた操作反応を与えることのできる操作反応出力装置を提供することを目的とする。   The present invention solves the above-described conventional problems, and gives an operation response according to the mode of the input operation based on the output of a conventional operation input device that does not have a function of detecting the intensity or speed of the operation input. It is an object of the present invention to provide an operational reaction output device that can handle the above.

前記従来の課題を解決するために、本発明の操作反応出力装置は、操作入力に基づく操作入力通知を受け付けて、前記操作入力に対する反応を指示する操作反応指示を出力する操作反応出力手段を具備し、前回の前記操作入力通知と今回の前記操作入力通知との時間間隔に基づいて前記操作入力通知ごとに前記操作反応指示を決定することを特徴とする。   In order to solve the conventional problem, the operation reaction output device of the present invention includes an operation reaction output unit that receives an operation input notification based on an operation input and outputs an operation reaction instruction that instructs a reaction to the operation input. The operation reaction instruction is determined for each operation input notification based on a time interval between the previous operation input notification and the current operation input notification.

上記構成によれば、操作入力の時間間隔に基づいて操作反応を変化させることができるので、操作入力の強度や速度を検知する機能を備えない従来の操作入力装置を用いて、入力操作の態様に応じた操作反応を与えることができる。   According to the above configuration, since the operation response can be changed based on the time interval of the operation input, the mode of the input operation using a conventional operation input device that does not have a function of detecting the intensity or speed of the operation input. It is possible to give an operational reaction according to the above.

また本発明の操作反応出力装置は、前記操作入力通知に基づいて情報を表示するアプリケーション実行手段における表示変化を示す表示変化通知を受け付け、前記表示変化通知に基づいて前記操作反応指示を決定することを特徴とする。   Further, the operation reaction output device of the present invention receives a display change notification indicating a display change in the application execution means for displaying information based on the operation input notification, and determines the operation reaction instruction based on the display change notification. It is characterized by.

上記構成によれば、操作入力に基づいて利用者に提示される表示の変化に応じて操作反応を変化させることができるので、操作入力の強度や速度を検知する機能を備えない従来の操作入力装置を用いて、入力操作の態様に応じた、よりリアルな操作反応を与えることができる。   According to the above configuration, since the operation response can be changed according to the change of the display presented to the user based on the operation input, the conventional operation input that does not have the function of detecting the intensity and speed of the operation input. By using the apparatus, a more realistic operation response according to the mode of the input operation can be given.

また本発明の操作反応出力装置と、操作入力通知の時間を計測する計時手段と、時間間隔と操作反応指示との対応関係を記憶する記憶素子を具備する情報端末を構成する。   Further, an information terminal including the operation reaction output device of the present invention, a time measuring unit for measuring the time of operation input notification, and a storage element for storing the correspondence between the time interval and the operation reaction instruction is configured.

上記構成によれば、操作入力の強度や速度を検知する機能を備えない従来の操作入力装置を用いて、入力操作の態様に応じた操作反応を与えることができる情報端末を提供することができる。   According to the above configuration, it is possible to provide an information terminal that can provide an operation response according to the mode of input operation using a conventional operation input device that does not have a function of detecting the intensity and speed of operation input. .

また本発明の操作反応出力装置と、操作入力通知の時間を計測する計時手段と、時間間隔と操作反応指示との対応関係を記憶する記憶素子と、操作入力を受け付ける操作入力装置と、操作反応指示に基づいて表示を行う表示装置とを具備する携帯型情報端末を構成する。   Also, the operation reaction output device of the present invention, a time measuring means for measuring the time of operation input notification, a storage element for storing a correspondence relationship between a time interval and an operation reaction instruction, an operation input device for receiving operation input, and an operation reaction A portable information terminal including a display device that performs display based on an instruction is configured.

上記構成によれば、操作入力の強度や速度を検知する機能を備えない従来の操作入力装置を用いて、入力操作の態様に応じた操作反応を与えることができる携帯型情報端末を提供することができる。   According to the above configuration, it is possible to provide a portable information terminal capable of giving an operation response according to an input operation mode using a conventional operation input device that does not have a function of detecting the intensity and speed of an operation input. Can do.

また、本発明の操作反応出力装置と、操作入力通知の時間を計測する計時手段と、時間間隔と操作反応指示との対応関係を記憶する記憶素子と、操作入力を受け付ける操作入力装置および音声入力装置と、操作反応指示に基づいて表示を行う表示装置と、操作反応指示に基づいて音声を出力する音声出力装置と、操作反応指示に基づいて振動するバイブレータとを具備する携帯電話端末を構成する。   Further, the operation reaction output device of the present invention, a time measuring means for measuring the time of operation input notification, a storage element for storing the correspondence between the time interval and the operation reaction instruction, an operation input device for receiving operation input, and voice input A mobile phone terminal is provided that includes a device, a display device that performs display based on an operation reaction instruction, a sound output device that outputs sound based on the operation reaction instruction, and a vibrator that vibrates based on the operation reaction instruction. .

上記構成によれば、操作入力の強度や速度を検知する機能を備えない従来の操作入力装置を用いて、入力操作の態様に応じた操作反応を与えることができる携帯型情報端末を提供することができる。   According to the above configuration, it is possible to provide a portable information terminal capable of giving an operation response according to an input operation mode using a conventional operation input device that does not have a function of detecting the intensity and speed of an operation input. Can do.

本発明によれば、操作入力の時間間隔に基づいて操作反応指示を決定するので、操作入力の強度や速度を検知する機能を備えない従来の操作入力装置を用いて、入力操作の態様に応じた操作反応を与えることができる。   According to the present invention, since the operation reaction instruction is determined based on the time interval of the operation input, the conventional operation input device that does not have the function of detecting the intensity or speed of the operation input is used according to the mode of the input operation. Can give an operational response.

本発明の操作反応出力装置は、ユーザーが入力操作装置を操作した時間間隔と、アプリケーションによって変化した表示状態に基づいて、音やＬＥＤ、バイブレーションなどによって、ユーザーに操作反応を返すものである。   The operation response output device of the present invention returns an operation response to the user by sound, LED, vibration or the like based on the time interval when the user operates the input operation device and the display state changed by the application.

以下本発明を実施するための最良の形態について、図面を参照しながら説明する。なお、実施の形態を説明するための全図において、同一の構成要素には同一符号を付与し、重複する説明は省略する。   The best mode for carrying out the present invention will be described below with reference to the drawings. Note that in all the drawings for explaining the embodiments, the same reference numerals are given to the same components, and duplicate explanations are omitted.

図１は、本発明の実施の形態における操作反応出力装置１０の概略構成図である。図１において、操作反応出力装置１０は操作反応出力手段４、アプリケーション実行手段５を備え、操作入力装置２、出力装置６が接続されている。本発明の実施の形態における操作反応出力装置１０は携帯電話端末１の一部を構成する。   FIG. 1 is a schematic configuration diagram of an operation reaction output device 10 according to an embodiment of the present invention. In FIG. 1, an operation reaction output device 10 includes an operation reaction output means 4 and an application execution means 5, and an operation input device 2 and an output device 6 are connected thereto. The operation reaction output device 10 in the embodiment of the present invention constitutes a part of the mobile phone terminal 1.

アプリケーション実行手段５は、操作入力に基づく操作入力通知２０を受け付けて情報を表示するアプリケーションを実行し、表示の変化を示す表示変化通知５０を出力する。アプリケーション実行手段５が実行するアプリケーションには、メール、チャット、ｗｅｂブラウザ等の対話的に処理を進めていくアプリケーションが含まれる。   The application execution means 5 receives an operation input notification 20 based on an operation input, executes an application for displaying information, and outputs a display change notification 50 indicating a display change. Applications executed by the application execution means 5 include applications that proceed interactively, such as mail, chat, and web browsers.

操作反応出力手段４は、操作入力通知２０と表示変化通知５０に基づいて操作入力に対する操作反応を指示する操作反応指示４０を出力する。このとき操作反応出力手段４は、操作入力通知２０の時間間隔、および表示変化通知５０に基づいて操作反応を決定する。   The operation reaction output means 4 outputs an operation reaction instruction 40 for instructing an operation reaction to the operation input based on the operation input notification 20 and the display change notification 50. At this time, the operation response output unit 4 determines the operation response based on the time interval of the operation input notification 20 and the display change notification 50.

操作入力装置２はキーやボタン、マイクなどから構成され、ユーザーの操作入力を受け付け、操作入力通知２０を操作反応出力手段４に通知する。   The operation input device 2 includes keys, buttons, a microphone, and the like, receives a user operation input, and notifies an operation input notification 20 to the operation reaction output means 4.

出力装置６はスピーカーなどの音声出力装置、バイブレーターなどの振動子、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの表示装置で構成され、操作反応指示４０に基づいて、音、光、画像、振動などを出力する。   The output device 6 includes a sound output device such as a speaker, a vibrator such as a vibrator, and a display device such as an LED (Light Emitting Diode), and outputs sound, light, an image, vibration, and the like based on an operation reaction instruction 40. .

なお、本発明の実施の形態において「操作入力」とは、キーやボタン等の操作子の押下または離反を指す。また、本発明の実施の形態において「操作反応」とは、操作入力に対する反応として操作入力ごとに出力される音、光、振動を指す。また、本発明の実施の形態において「操作反応を決定する」という記述は、操作反応の内容を決定することと、操作反応を出力するかしないかを決定すること、の両方の意味を持つものとする。   In the embodiment of the present invention, “operation input” refers to pressing or releasing of an operator such as a key or a button. In the embodiment of the present invention, “operation response” refers to sound, light, and vibration output for each operation input as a response to the operation input. In the embodiment of the present invention, the description “determining the operation response” has both the meaning of determining the content of the operation response and determining whether or not to output the operation response. And

図２は、本発明の実施の形態の操作反応出力装置１０を搭載した携帯電話端末１の構成図である。図２において携帯電話端末１は入力デバイス管理部２１、十字キー２２、テンキー２３、マイク２４、計時手段３、操作反応パターン蓄積手段４１、ウインドウ管理部５１、メールアプリ５２、出力デバイス管理部６１、スピーカー６２、バイブレータ６３、第１ＬＥＤ６４、第２ＬＥＤ６５、表示デバイス管理部７１、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）７２、無線通信部８を備える。   FIG. 2 is a configuration diagram of the mobile phone terminal 1 equipped with the operation reaction output device 10 according to the embodiment of the present invention. In FIG. 2, the mobile phone terminal 1 includes an input device management unit 21, a cross key 22, a numeric keypad 23, a microphone 24, a timing unit 3, an operation reaction pattern storage unit 41, a window management unit 51, a mail application 52, an output device management unit 61, A speaker 62, a vibrator 63, a first LED 64, a second LED 65, a display device management unit 71, an LCD (Liquid Crystal Display) 72, and a wireless communication unit 8 are provided.

十字キー２２は、上下左右方向の操作入力を受け付けて入力デバイス管理部２１へ通知する操作入力装置である。テンキー２３は、押下または離反の操作入力を受け付けて入力デバイス管理部２１へ通知する操作入力装置である。マイク２４は、音声を受け付けて電気信号に変換し音声信号として出力する音声入力装置である。   The cross key 22 is an operation input device that receives an operation input in the vertical and horizontal directions and notifies the input device management unit 21 of the input. The numeric keypad 23 is an operation input device that accepts a press or release operation input and notifies the input device management unit 21 of the input. The microphone 24 is a voice input device that receives voice, converts it into an electrical signal, and outputs it as a voice signal.

入力デバイス管理部２１は、十字キー２２、テンキー２３、マイク２４を管理する部分である。入力デバイス管理部２１は、十字キー２２およびテンキー２３が通知した操作入力の内容を受け付けて操作入力通知２０を出力する。また、入力デバイス管理部２１は、マイク２４から音声信号を受け付けて送話信号２４０を出力する。入力デバイス管理部２１は、ＣＰＵ（図示せず）上で動作するデバイスドライバ等で構成される。   The input device management unit 21 is a part that manages the cross key 22, the numeric keypad 23, and the microphone 24. The input device management unit 21 receives the contents of the operation input notified by the cross key 22 and the numeric keypad 23 and outputs the operation input notification 20. Further, the input device management unit 21 receives an audio signal from the microphone 24 and outputs a transmission signal 240. The input device management unit 21 includes a device driver that operates on a CPU (not shown).

計時手段３は、時間を計測して現在時刻を示す時間情報３０を出力する。操作反応パターン蓄積手段４１は操作反応を決定するための情報を記憶素子（図示せず）上に蓄積する。操作反応出力手段４は、操作反応パターン蓄積手段４１の蓄積内容および時間情報３０に基づいて操作反応指示４０を出力する。操作反応出力手段４は、ＣＰＵ（図示せず）上で動作するソフトウエアで構成される。操作反応パターン蓄積手段４１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記憶素子で構成される。   The time measuring means 3 measures time and outputs time information 30 indicating the current time. The operation response pattern storage means 41 stores information for determining an operation response on a storage element (not shown). The operation reaction output means 4 outputs an operation reaction instruction 40 based on the accumulated content of the operation reaction pattern accumulation means 41 and the time information 30. The operation reaction output means 4 is composed of software that operates on a CPU (not shown). The operation reaction pattern storage means 41 is configured by a storage element such as a ROM (Read Only Memory).

ウインドウ管理部５１は、ウインドウの表示およびウインドウに対する操作入力イベントを管理する部分である。ウインドウ管理部５１は、アプリケーションの表示内容５２０を表示装置のための表示データ７０に変換して出力する。また、ウインドウ管理部５１は、操作入力通知２０を受け付けて文字列に変換し、入力文字列５１０をアプリケーションへ渡す。さらに、ウインドウ管理部５１は、表示データ７０の変化に基づいて表示変化通知５０を出力する。ウインドウ管理部５１は、ＣＰＵ（図示せず）上で動作するウインドウライブラリやウインドウマネージャ、文字入力のフロントエンドプロセッサ等で構成される。   The window management unit 51 is a part that manages window display and operation input events for the window. The window management unit 51 converts the display content 520 of the application into display data 70 for the display device and outputs it. In addition, the window management unit 51 receives the operation input notification 20 and converts it into a character string, and passes the input character string 510 to the application. Further, the window management unit 51 outputs a display change notification 50 based on the change in the display data 70. The window management unit 51 includes a window library and window manager that operate on a CPU (not shown), a character input front-end processor, and the like.

メールアプリ５２は、電子メールの作成と送受信を対話的に行うためのアプリケーションである。メールアプリ５２は、入力文字列５１０を受け付けてメールデータを作成し、作成した内容を表示内容５２０として出力する。またメールアプリ５２は、作成完了したメールデータを送信メール８０１として出力する。またメールアプリ５２は、受信メール８０２の内容を表示内容５２０として出力する。   The mail application 52 is an application for interactively creating and transmitting / receiving electronic mail. The mail application 52 receives the input character string 510 and creates mail data, and outputs the created contents as display contents 520. Further, the mail application 52 outputs the mail data that has been created as a transmission mail 801. The mail application 52 outputs the contents of the received mail 802 as display contents 520.

なお、ウインドウ管理部５１、メールアプリ５２は、図１におけるアプリケーション実行手段５に相当する。   Note that the window management unit 51 and the mail application 52 correspond to the application execution unit 5 in FIG.

スピーカー６２は、出力デバイス管理部６１が出力する音声信号を空気振動に変換して提示する音声出力装置である。バイブレータ６３は出力デバイス管理部６１の指示に基づいて振動を提示する。第１ＬＥＤ６４、第２ＬＥＤ６５は、出力デバイス管理部６１の指示に基づいて光の提示を行う。   The speaker 62 is an audio output device that converts an audio signal output from the output device management unit 61 into air vibration and presents it. The vibrator 63 presents vibration based on an instruction from the output device management unit 61. The first LED 64 and the second LED 65 present light based on an instruction from the output device management unit 61.

出力デバイス管理部６１は、操作反応指示４０に基づいてバイブレータ６３、第１ＬＥＤ６４、第２ＬＥＤ６５に動作の指示を与える。また、出力デバイス管理部６１は、受話信号６２０を音声信号としてスピーカー６２へ出力する。さらに出力デバイス管理部６１は、スピーカー６２へ出力する音信号に残響等の特殊効果を付与する機能を備える。出力デバイス管理部６１は、ＣＰＵ（図示せず）上で動作するデバイスドライバやサウンドカード等で構成される。   The output device management unit 61 gives an operation instruction to the vibrator 63, the first LED 64, and the second LED 65 based on the operation reaction instruction 40. Further, the output device management unit 61 outputs the received signal 620 to the speaker 62 as an audio signal. Further, the output device management unit 61 has a function of adding a special effect such as reverberation to the sound signal output to the speaker 62. The output device management unit 61 includes a device driver, a sound card, and the like that operate on a CPU (not shown).

ＬＣＤ７２は、表示デバイス管理部７１の指示に基づいて表示データ７０を視認可能に提示する表示装置である。表示デバイス管理部７１は、表示データ７０を受け付け、ＬＣＤ７２に表示の指示を与える。表示デバイス管理部７１は、ＶＲＡＭ等の記憶素子とＣＰＵ（図示せず）上で動作するデバイスドライバ等で構成される。   The LCD 72 is a display device that presents the display data 70 in a visible manner based on an instruction from the display device management unit 71. The display device management unit 71 receives the display data 70 and gives a display instruction to the LCD 72. The display device management unit 71 includes a storage element such as a VRAM and a device driver that operates on a CPU (not shown).

無線通信部８は、携帯電話端末１を無線通信回線（図示せず）と接続して通信を行う部分である。無線通信部８は、送信メール８０１を受け付けて無線通信回線へ送信し、無線通信回線から受信した受信メール８０２を出力する。また無線通信部８は、送話信号２４０を受け付けて無線通信回線へ送信し、無線通信回線から受信した受話信号６２０を出力する。   The wireless communication unit 8 is a part that performs communication by connecting the mobile phone terminal 1 to a wireless communication line (not shown). The wireless communication unit 8 receives the transmission mail 801, transmits it to the wireless communication line, and outputs the received mail 802 received from the wireless communication line. Further, the wireless communication unit 8 receives the transmission signal 240 and transmits it to the wireless communication line, and outputs the received signal 620 received from the wireless communication line.

図３は、本発明の実施の形態における携帯電話端末１の外観を示す図である。ＬＣＤ７２は、表示データ７０を構成するウインドウ７０１、スクロールバー７０２を表示する。またＬＣＤ７２は、ウインドウ７０１内に、送信メール８０１または受信メール８０２の内容である表示内容５２０を表示する。利用者はテンキー２３を操作することにより、送信メール８０１を作成することができるようになっている。また、利用者は十字キー２２を操作することにより、受信メール８０２をスクロールさせながら閲覧することができるようになっている。   FIG. 3 is a diagram showing an appearance of the mobile phone terminal 1 according to the embodiment of the present invention. The LCD 72 displays a window 701 and a scroll bar 702 that constitute the display data 70. The LCD 72 also displays a display content 520 that is the content of the outgoing mail 801 or the incoming mail 802 in the window 701. The user can create the outgoing mail 801 by operating the numeric keypad 23. In addition, the user can browse the received mail 802 while scrolling by operating the cross key 22.

図４は、本発明の実施の形態における携帯電話端末１の、操作反応パターン蓄積手段４１が保持している操作反応パターン表Ｔ４１０の内容を示す図である。操作反応パターン表Ｔ４１０は、操作反応出力手段４が操作反応を決定するために参照する情報である。操作反応パターン表Ｔ４１０は、操作入力通知２０の時間間隔ｔの条件（Ｆ１１０、Ｆ１２０、Ｆ１３０）と、表示変化通知５０に含まれる表示変化量Ｎの条件（Ｆ１０１、Ｆ１０２）との組合せごとに、出力すべき操作反応指示４０の内容（Ｆ１１１、Ｆ１２１、Ｆ１３１、Ｆ１１２、Ｆ１２２、Ｆ１３２）を格納した表形式のデータである。   FIG. 4 is a diagram showing the contents of the operation response pattern table T410 held by the operation response pattern storage means 41 of the mobile phone terminal 1 according to the embodiment of the present invention. The operation response pattern table T410 is information that the operation response output unit 4 refers to in order to determine the operation response. The operation reaction pattern table T410 includes, for each combination of the condition (F110, F120, F130) of the time interval t of the operation input notification 20 and the condition (F101, F102) of the display change amount N included in the display change notification 50. This is tabular data that stores the contents (F111, F121, F131, F112, F122, F132) of the operation reaction instruction 40 to be output.

図５は、本発明の実施の形態における携帯電話端末１の、操作反応出力手段４が操作入力通知２０または表示変化通知５０を受け取った時の処理手順を表すフローチャートである。   FIG. 5 is a flowchart showing a processing procedure when the operation reaction output unit 4 of the mobile phone terminal 1 according to the embodiment of the present invention receives the operation input notification 20 or the display change notification 50.

図５において、操作反応出力手段４はステップＳ１００１において、受信した通知が操作入力手段からの操作入力通知２０であった場合はステップＳ１００２へ進み、ウィンドウ管理部からの表示変化通知５０であった場合はステップＳ１００４に進む。操作入力通知２０を受信した操作反応出力手段４は、ステップＳ１００２において、計時手段より時間情報３０を取得する。ステップＳ１００３において、操作反応出力手段４は前回取得した時間情報３０と今回取得した時間情報との差分より、操作入力通知の時間間隔を計算する。   In FIG. 5, if the received notification is the operation input notification 20 from the operation input means in step S1001, the operation reaction output means 4 proceeds to step S1002, and if it is the display change notification 50 from the window management unit. Advances to step S1004. The operation reaction output unit 4 that has received the operation input notification 20 acquires the time information 30 from the time measuring unit in step S1002. In step S1003, the operation reaction output means 4 calculates the time interval of the operation input notification from the difference between the time information 30 acquired last time and the time information acquired this time.

表示変化通知５０を受信した操作反応出力手段４は、ステップＳ１００４において、表示変化通知５０から表示変化量を取得し、ステップＳ１００５に進む。ステップＳ１００５において、ステップＳ１００４で取得した表示変化量と、操作入力通知２０を受信したときにステップＳ１００３にて計算した操作入力通知の時間間隔を基に、図４の操作反応パターン表Ｔ４１０を参照して、操作反応指示を選択する。その後、操作反応出力手段４は選択した操作反応指示を出力手段６に出力する。   The operation reaction output means 4 that has received the display change notification 50 acquires the display change amount from the display change notification 50 in step S1004, and proceeds to step S1005. In step S1005, based on the display change amount acquired in step S1004 and the time interval of the operation input notification calculated in step S1003 when the operation input notification 20 is received, the operation response pattern table T410 of FIG. 4 is referred to. To select the operation reaction instruction. Thereafter, the operation reaction output means 4 outputs the selected operation reaction instruction to the output means 6.

図６は、本発明の実施の形態における携帯電話端末１の、テンキー２３から文字を入力した際のウインドウ７０１の表示例を示す図である。ウインドウ７０１は、カーソル７０３を備え、操作入力によって入力された文字列をカーソル７０３の位置に順次表示するようになっている。   FIG. 6 is a diagram showing a display example of the window 701 when characters are input from the numeric keypad 23 of the mobile phone terminal 1 according to the embodiment of the present invention. The window 701 includes a cursor 703, and character strings input by operation input are sequentially displayed at the position of the cursor 703.

図７は、本発明の実施の形態における携帯電話端末１の、テンキー２３から文字を入力した際の操作反応出力例を説明する図である。図７（ａ）は、操作入力の例を示す図であり、テンキー２３の押下による操作入力（Ｋ２０１〜Ｋ２０９）と、入力デバイス管理部２１が出力する操作入力通知２０（Ｄ２０１〜Ｄ２０９）を示している。図７（ａ）の操作入力（Ｋ２０１〜Ｋ２０９）には、テンキー２３の表面に印刷されている文字を記してあり、押下されたキーとの対応がわかるようにしてある。横軸は計時手段３が出力する時間情報３０が示す時刻（ｔ３００〜ｔ３０９）を示している。   FIG. 7 is a diagram illustrating an example of an operation response output when a character is input from the numeric keypad 23 of the cellular phone terminal 1 according to the embodiment of the present invention. FIG. 7A is a diagram showing an example of operation input, showing operation input (K201 to K209) by pressing the numeric keypad 23 and operation input notification 20 (D201 to D209) output by the input device management unit 21. ing. In the operation input (K201 to K209) in FIG. 7A, characters printed on the surface of the numeric keypad 23 are written so that the correspondence with the pressed key can be understood. The horizontal axis indicates the time (t300 to t309) indicated by the time information 30 output by the time measuring means 3.

図７（ｂ）は、図７（ａ）に示す操作入力に基づいてＬＣＤ７２がカーソル７０３の位置に表示する文字（Ｋ５０１〜Ｋ５０９）と、表示変化通知５０（Ｄ５０１〜Ｄ５０９）を示す図である。ここで、表示変化通知５０（Ｄ５０１〜Ｄ５０９）の縦方向の長さは表示変化量Ｎを表している。   FIG. 7B is a diagram showing characters (K501 to K509) that the LCD 72 displays at the position of the cursor 703 and display change notifications 50 (D501 to D509) based on the operation input shown in FIG. 7A. . Here, the length of the display change notification 50 (D501 to D509) in the vertical direction represents the display change amount N.

図７（ｃ）は、図７（ａ）に示す操作入力に対する操作反応として、スピーカー６２が提示する音出力（Ａ２０１〜Ａ２０９）、第１ＬＥＤ６４の点灯状態（Ｌ２０４〜Ｌ２０８）、第２ＬＥＤ６５の点灯状態（Ｍ２０４〜Ｍ２０９）、バイブレータ６３が提示する振動（Ｖ２０４〜Ｖ２０７）を示す図である。ここで、音出力（Ａ２０１〜Ａ２０９）に記されたアルファベット「ｄ」、「ｍ」、「ｐ」、「ｂ」は、出力される音の種類を表している。また、ＬＥＤの点灯状態（Ｌ２０４〜Ｌ２０８、Ｍ２０４〜Ｍ２０９）に記されたアルファベット「ｇ」、「ｒ」は光の色がそれぞれ緑、赤であることを表している。また、振動（Ｖ２０４〜Ｖ２０７）に記されたアルファベット「ｖ」はバイブレータがオンになっていることを表している。   FIG. 7C shows the sound output (A201 to A209) presented by the speaker 62, the lighting state of the first LED 64 (L204 to L208), and the lighting state of the second LED 65 as an operation response to the operation input shown in FIG. (M204 to M209) is a diagram illustrating vibrations (V204 to V207) presented by the vibrator 63. FIG. Here, the alphabets “d”, “m”, “p”, and “b” written in the sound outputs (A201 to A209) represent the types of sounds to be output. In addition, alphabets “g” and “r” written in LED lighting states (L204 to L208, M204 to M209) indicate that the colors of light are green and red, respectively. Further, the alphabet “v” written in the vibration (V204 to V207) represents that the vibrator is turned on.

以下、図２、図４〜７を用いて本発明の実施の形態における携帯電話端末１において、「たまごは」とユーザーが入力を行った際の動作を詳細に説明する。   Hereinafter, in the mobile phone terminal 1 according to the embodiment of the present invention, an operation when the user inputs “Tamago” will be described in detail with reference to FIGS. 2 and 4 to 7.

図６（ａ）に示す表示状態において、テンキー２３の「た」が押下されたとすると（図７（ａ）Ｋ２０１）、入力デバイス管理部２１はキー「た」が押下されたことを示す操作入力通知Ｄ２０１を時刻ｔ３０１において出力する。ウインドウ管理部５１は操作入力通知Ｄ２０１を受け付けて、カーソル７０３の位置に文字「た」を表示するために表示データ７０を出力する（図７（ｂ）Ｋ５０１）。またウインドウ管理部５１は、１文字分の表示が変化したので、時刻ｔ３０１’において表示変化量Ｎ＝１を示す表示変化通知Ｄ５０１を出力する。   In the display state shown in FIG. 6A, if the “key” of the numeric keypad 23 is pressed (FIG. 7A) K201, the input device management unit 21 performs an operation input indicating that the key “TA” is pressed. Notification D201 is output at time t301. The window management unit 51 receives the operation input notification D201 and outputs the display data 70 in order to display the character “ta” at the position of the cursor 703 (FIG. 7 (b) K501). Further, since the display for one character has changed, the window management unit 51 outputs a display change notification D501 indicating the display change amount N = 1 at time t301 '.

操作反応出力手段４は、まず時刻ｔ３０１において操作入力通知Ｄ２０１を受け付けて図５に示すフローチャートの処理を開始する。ステップＳ１００１の判断では、通知の種別が操作入力通知であることからステップＳ１００２へ進む。ステップＳ１００２で操作反応出力手段４は計時手段３から時間情報３０を取得し、時刻ｔ３０１を得る。ステップＳ１００３で、操作反応出力手段４は前回取得した時間情報（時刻ｔ３００）と今回取得した時間情報（時刻ｔ３０１）との差から操作入力通知の時間間隔ｔ＝２．０秒を得る。   The operation reaction output means 4 first receives an operation input notification D201 at time t301 and starts the processing of the flowchart shown in FIG. In the determination in step S1001, since the notification type is an operation input notification, the process proceeds to step S1002. In step S1002, the operation reaction output unit 4 acquires the time information 30 from the time measuring unit 3 and obtains time t301. In step S1003, the operation reaction output means 4 obtains the time interval t = 2.0 seconds for the operation input notification from the difference between the previously acquired time information (time t300) and the currently acquired time information (time t301).

操作反応出力手段４は、次に時刻ｔ３０１’において表示変化通知Ｄ５０１を受け付けて再び図５に示すフローチャートの処理を開始する。ステップＳ１００１の判断では、通知の種別が表示変化通知であることからステップＳ１００４へ進む。操作反応出力手段４はステップＳ１００４において、表示変化通知Ｄ５０１から表示変化量Ｎを取得し、ステップＳ１００５に進む。操作反応出力手段４は、ステップＳ１００５において操作反応パターン表Ｔ４１０（図４）を参照し、時間間隔ｔ＝２．０および表示変化量Ｎ＝１に合致する操作反応指示４０の内容を選択する。ｔ≧１．０（Ｆ１１０）とＮ＜１０（Ｆ１０１）がそれぞれに合致するので、操作反応出力手段４は「ＳＯＵＮＤ：ｄｅｆａｕｌｔ，ＳＦＸ：ｏｆｆ，ＬＥＤ：ｏｆｆ，ＶＩＢＲＡＴＯＲ：ｏｆｆ」（Ｆ１１１）を選択し、ステップＳ１００６でこれを操作反応指示４０として出力する。   Next, the operation reaction output unit 4 receives the display change notification D501 at time t301 'and starts the process of the flowchart shown in FIG. 5 again. In the determination in step S1001, since the notification type is a display change notification, the process proceeds to step S1004. In step S1004, the operation reaction output unit 4 acquires the display change amount N from the display change notification D501, and proceeds to step S1005. In step S1005, the operation response output unit 4 refers to the operation response pattern table T410 (FIG. 4) and selects the content of the operation response instruction 40 that matches the time interval t = 2.0 and the display change amount N = 1. Since t ≧ 1.0 (F110) and N <10 (F101) match each other, the operation reaction output means 4 selects “SOUND: default, SFX: off, LED: off, VIBRATOR: off” (F111). In step S1006, this is output as the operation reaction instruction 40.

出力デバイス管理部６１は、操作反応出力Ｆ１１１を受け付け、操作反応出力Ｆ１１１に従ってスピーカー６２、バイブレータ６３、第１ＬＥＤ６４、第２ＬＥＤ６５を制御する。まず、音出力内容を表す記述「ＳＯＵＮＤ」の右辺が「ｄｅｆａｕｌｔ」であることから、出力デバイス管理部６１はスピーカー６２へデフォルトの操作音（Ａ２０１）を出力する。ここで言う「デフォルトの操作音」とは、あらかじめ利用者が設定メニュー等を用いて選択した操作音（たとえば０．１秒間鳴動する２ｋＨｚの正弦波によるビープ音）を意味する。   The output device management unit 61 receives the operation reaction output F111 and controls the speaker 62, the vibrator 63, the first LED 64, and the second LED 65 according to the operation reaction output F111. First, since the right side of the description “SOUND” representing the sound output content is “default”, the output device management unit 61 outputs a default operation sound (A201) to the speaker 62. The “default operation sound” mentioned here means an operation sound (for example, a 2 kHz sine wave beep sound that sounds for 0.1 seconds) selected by a user in advance using a setting menu or the like.

また出力デバイス管理部６１は、特殊効果の付与を表す記述「ＳＦＸ」の右辺が「ｏｆｆ」であることから、出力音に特殊効果を与えずにそのまま出力する。また出力デバイス管理部６１は、ＬＥＤの点灯を表す「ＬＥＤ」の右辺が「ｏｆｆ」であることから第１ＬＥＤ６４、第２ＬＥＤ６５ともに点灯しない。また出力デバイス管理部６１は、バイブレータの振動を表す「ＶＩＢＲＡＴＯＲ」の右辺が「ｏｆｆ」であることから、バイブレータ６３の駆動を行わない。   Further, since the right side of the description “SFX” representing the application of the special effect is “off”, the output device management unit 61 outputs the output sound as it is without giving the special effect. In addition, the output device management unit 61 does not light both the first LED 64 and the second LED 65 because the right side of “LED” representing the lighting of the LED is “off”. Further, the output device management unit 61 does not drive the vibrator 63 because the right side of “VIBRATOR” representing the vibration of the vibrator is “off”.

同様の処理により、携帯電話端末１は、操作入力Ｋ２０２〜Ｋ２０３に対してデフォルトの操作音Ａ２０２〜Ａ２０３のみを操作反応として出力する。   Through similar processing, the cellular phone terminal 1 outputs only the default operation sounds A202 to A203 as operation responses to the operation inputs K202 to K203.

操作入力Ｋ２０４〜Ｋ２０７は、文字「こ」を表示するためにテンキー２３「か」が連打されている部分である。操作入力Ｋ２０４〜Ｋ２０７において、操作入力によって生じる表示変化Ｄ５０４〜Ｄ５０７は、「か」から「き」、「き」から「く」、「く」から「け」、「け」から「こ」という１文字ずつの変化である。したがって、操作入力Ｋ２０４〜Ｋ２０７に基づく表示変化Ｄ５０４〜Ｄ５０７における表示変化量Ｎの値は、操作入力Ｋ２０１〜Ｋ２０３に基づくそれぞれの表示変化Ｄ５０１〜Ｄ５０３の場合と同じく１である。しかしながら、操作入力Ｋ２０４〜Ｋ２０７の時間間隔が操作入力Ｋ２０１〜Ｋ２０３とは異なり、ｔ＝０．２秒となっている。したがって、図５のステップＳ１００５の処理において操作反応出力手段４は操作反応パターン表Ｔ４１０に基づいて操作反応指示の内容「ＳＯＵＮＤ：ｍａｃｈｉｎｅｇｕｎ．ｗａｖ，ＳＦＸ：ｏｆｆ，ＬＥＤ：ａｌｔｅｒｎａｔｅ，ＶＩＢＲＡＴＯＲ：ｏｎ」（Ｆ１３１）を選択し、ステップＳ１００６でこれを操作反応指示４０として出力する。   The operation inputs K204 to K207 are portions where the numeric keypad 23 “ka” is repeatedly hit to display the character “ko”. In the operation inputs K204 to K207, the display changes D504 to D507 caused by the operation input are “ka” to “ki”, “ki” to “ku”, “ku” to “ke”, “ke” to “ko”. It is a change by one character. Therefore, the value of the display change amount N in the display changes D504 to D507 based on the operation inputs K204 to K207 is 1 as in the case of the respective display changes D501 to D503 based on the operation inputs K201 to K203. However, the time intervals of the operation inputs K204 to K207 are different from the operation inputs K201 to K203, and t = 0.2 seconds. Therefore, in the process of step S1005 in FIG. 5, the operation response output means 4 performs the operation response instruction content “SOUND: machinegun.wav, SFX: off, LED: alternate, VIBRATOR: on” (F131) based on the operation response pattern table T410. ) Is selected, and this is output as an operation reaction instruction 40 in step S1006.

ここで、「ｍａｃｈｉｎｅｇｕｎ．ｗａｖ」は機関銃の銃声の波形を格納したファイルの名称である。また、「ＬＥＤ：ａｌｔｅｒｎａｔｅ」は、第１ＬＥＤ６４、第２ＬＥＤ６５の発光色を交互に切り替えることを表している。また、「ＶＩＢＲＡＴＯＲ：ｏｎ」はバイブレータ６３を駆動することを表している。   Here, “machinegun.wav” is the name of the file storing the gunshot waveform of the machine gun. “LED: alternate” indicates that the emission colors of the first LED 64 and the second LED 65 are switched alternately. “VIBRATOR: on” indicates that the vibrator 63 is driven.

以上の操作反応指示４０の出力により、操作反応としてスピーカー６２が機関銃の銃声を出力し（Ａ２０４〜Ａ２０７）、第１ＬＥＤ６４と第２ＬＥＤ６５が緑と赤に交互に点灯し（Ｌ２０４〜Ｌ２０７、Ｍ２０４〜Ｍ２０７）、バイブレータ６３が振動する（Ｖ２０４〜Ｖ２０７）。   As a result of the output of the operation response instruction 40, the speaker 62 outputs the gunshot of the machine gun as an operation response (A204 to A207), and the first LED 64 and the second LED 65 are alternately lit in green and red (L204 to L207, M204 to M207), the vibrator 63 vibrates (V204 to V207).

操作入力Ｋ２０８は、文字「こ」に濁点「゛」を付与するためにテンキー２３「゛」が押下されている部分である。操作入力Ｋ２０８において、操作入力よって生じる表示変化Ｄ５０８は「こ」から「ご」への１文字の変化である。したがって、操作入力Ｋ２０８に基づく表示変化Ｋ５０８における表示変化量Ｎの値は、操作入力Ｋ２０１〜Ｋ２０７に基づく表示変化Ｄ５０１〜Ｄ５０７の場合と同じく１であるが、操作入力の時間間隔はｔ＝０．７秒となっている。したがって、図５のステップＳ１００５の処理において操作反応出力手段４は操作反応パターン表Ｔ４１０に基づいて操作反応指示の内容「ＳＯＵＮＤ：ｐｉｓｔｏｌ．ｗａｖ，ＳＦＸ：ｏｆｆ，ＬＥＤ：ＬＥＤ１＝ｇｒｅｅｎ，ＶＩＢＲＡＴＯＲ：ｏｆｆ」（Ｆ１２１）を選択し、ステップＳ１００６でこれを操作反応指示４０として出力する。   The operation input K208 is a portion where the numeric keypad 23 "" "is pressed in order to give a dakuten" "" to the character "KO". In the operation input K208, the display change D508 caused by the operation input is a change of one character from “ko” to “go”. Therefore, the value of the display change amount N in the display change K508 based on the operation input K208 is 1 as in the case of the display changes D501 to D507 based on the operation inputs K201 to K207, but the time interval of the operation input is t = 0. 7 seconds. Therefore, in the process of step S1005 of FIG. 5, the operation reaction output means 4 is based on the operation reaction pattern table T410, and the contents of the operation reaction instruction “SOUND: pistol.wav, SFX: off, LED: LED1 = green, VIBRATOR: off”. (F121) is selected, and this is output as the operation reaction instruction 40 in step S1006.

ここで、「ｐｉｓｔｏｌ．ｗａｖ」はピストルの銃声の波形を格納したファイルの名称である。また、「ＬＥＤ：ＬＥＤ１＝ｇｒｅｅｎ」は、第１ＬＥＤ６４を緑色に点灯することを表している。そして操作反応として、スピーカー６２がピストルの銃声を出力し（Ａ２０８）、第１ＬＥＤ６４が緑色に点灯する（Ｌ２０８）。   Here, “pistol.wav” is the name of the file storing the gunshot waveform of the pistol. “LED: LED1 = green” indicates that the first LED 64 is lit in green. Then, as an operation response, the speaker 62 outputs a gunshot of a pistol (A208), and the first LED 64 lights in green (L208).

以上の操作入力（Ｋ２０１〜Ｋ２０８）の結果、図６（ｂ）に示すように、ウインドウ７０１内には文字列「たまご」（７０４）が表示され、カーソル７０３は最下行の右端に移動する。   As a result of the above operation inputs (K201 to K208), as shown in FIG. 6B, the character string “egg” (704) is displayed in the window 701, and the cursor 703 moves to the right end of the bottom line.

ここで文字「は」を入力するための操作入力「Ｋ２０９」が行われると、図６（ｃ）に示すように、ウインドウ７０１の右端に文字「は」（７０５）が表示されるとともに表示全体が上方向へスクロールし、カーソル７０３が最下行の左端へ移動する。文字「は」（７０５）の表示とスクロールにより、表示データ７０にはウインドウ７０１全体にわたる６２文字分の表示変化が生じたので、ウインドウ管理部５１は図７（ｂ）の表示変化通知Ｄ５０９において表示変化量Ｎの値を６２と通知する。操作入力Ｋ２０９の時間間隔は操作入力Ｋ２０８の時間間隔と同じくｔ＝０．７秒であるが、表示変化通知Ｄ５０９の表示変化量Ｎ＝６２が表示変化通知Ｄ５０８の表示変化量Ｎ＝１と異なるため、操作反応出力手段４は操作入力Ｋ２０８に基づく操作反応とは異なる操作反応を決定する。すなわち、図５のステップＳ１００５の処理において操作反応出力手段４は操作反応パターン表Ｔ４１０に基づいて操作反応指示の内容「ＳＯＵＮＤ：ｂｕｌｌｅｔ．ｗａｖ，ＳＦＸ：ｒｅｖｅｒｂ，ＬＥＤ：ＬＥＤ２＝ｒｅｄ，ＶＩＢＲＡＴＯＲ：ｏｆｆ」（Ｆ１２２）を選択し、ステップＳ１００６でこれを操作反応指示４０として出力する。   Here, when the operation input “K209” for inputting the character “ha” is performed, the character “ha” (705) is displayed at the right end of the window 701 as shown in FIG. Scrolls upward, and the cursor 703 moves to the left end of the bottom line. The display change of 62 characters over the entire window 701 has occurred in the display data 70 due to the display and scrolling of the character “ha” (705), so the window management unit 51 displays the display change notification D509 in FIG. 7B. The value of the change amount N is notified as 62. The time interval of the operation input K209 is t = 0.7 seconds like the time interval of the operation input K208, but the display change amount N = 62 of the display change notification D509 is different from the display change amount N = 1 of the display change notification D508. Therefore, the operation response output means 4 determines an operation response different from the operation response based on the operation input K208. That is, in the process of step S1005 of FIG. 5, the operation response output means 4 performs the operation response instruction content “SOUND: bullet.wav, SFX: reverb, LED: LED2 = red, VIBRATOR: off” based on the operation response pattern table T410. (F122) is selected, and this is output as the operation reaction instruction 40 in step S1006.

ここで、「ｂｕｌｌｅｔ．ｗａｖ」は銃弾がかすめたときの音（擬音「バキューン」の「キューン」に相当する部分）の波形を格納したファイルの名称である。また、「ＳＦＸ：ｒｅｖｅｒｂ」は出力音に残響の特殊効果を付与することを表している。また、「ＬＥＤ：ＬＥＤ２＝ｒｅｄ」は、第２ＬＥＤ６５を赤色に点灯することを表している。そして操作反応として、銃弾がかすめたときの音（Ａ２０９）に残響（斜線部分）が付与された音をスピーカー６２が出力し、第２ＬＥＤ６５が赤色に点灯する（Ｍ２０９）。   Here, “bullet.wav” is the name of the file that stores the waveform of the sound when the bullet is squeezed (the portion corresponding to “Koon” of the pseudo sound “Bakun”). “SFX: reverb” represents that a special effect of reverberation is added to the output sound. “LED: LED2 = red” represents that the second LED 65 is lit red. Then, as an operational response, the speaker 62 outputs a sound in which reverberation (shaded portion) is added to the sound (A209) when the bullet is glazed, and the second LED 65 lights red (M209).

なお、仮に操作入力Ｋ２０９の時間間隔（時刻ｔ３０９とｔ３０８との差）がもっと短く、たとえば０．２秒であった場合には、操作反応出力手段４は操作反応パターン表Ｔ４１０に基づいて「ＳＯＵＮＤ：ｅｘｐｌｏｓｉｏｎ．ｗａｖ，ＳＦＸ：ｒｅｖｅｒｂ＋ｐａｎ，ＬＥＤ：ＬＥＤ２＝ｒｅｄ，ＶＩＢＲＡＴＯＲ：ｏｎ」（Ｆ１３２）を選択することになる。この場合、スピーカー６２が爆発音（ｅｘｐｌｏｓｉｏｎ．ｗａｖ）に残響（ｒｅｖｅｒｂ）と、三次元音響における仮想スピーカーの定位位置をウインドウ７０１のスクロール方向である上方向へ移動させる特殊効果（ｐａｎ）を付与した音を出力し、バイブレータ６３が振動する（ＶＩＢＲＡＴＯＲ：ｏｎ）ことになる。   If the time interval of the operation input K209 (difference between the times t309 and t308) is shorter, for example, 0.2 seconds, the operation response output means 4 determines “SOUND based on the operation response pattern table T410. : Explosion.wav, SFX: reverb + pan, LED: LED2 = red, VIBRATOR: on "(F132). In this case, a special effect (pan) for moving the virtual speaker's localization position in the three-dimensional sound in the upward direction, which is the scroll direction of the window 701, is given to the explosion 62 (exposure.wav) by the speaker 62. Sound is output and the vibrator 63 vibrates (VIBRATOR: on).

以上説明したとおり、本発明の実施の形態における操作反応出力装置１０を搭載した携帯電話端末１は、操作入力に基づく操作入力通知２０の時間間隔が長い場合と短い場合とで、音、光、振動による操作反応が変化する。また、本発明の実施の形態における形態電話端末１は、操作入力に基づく操作入力通知２０の時間間隔が同じであっても、操作入力に基づく表示変化が多い場合と少ない場合とで、操作反応が変化する。   As described above, the mobile phone terminal 1 equipped with the operation reaction output device 10 according to the embodiment of the present invention has a sound, light, The operational response due to vibration changes. In addition, the telephone terminal 1 according to the embodiment of the present invention operates the operation response depending on whether the display change based on the operation input is large or small even if the time interval of the operation input notification 20 based on the operation input is the same. Changes.

以上の説明から明らかなように、本発明の実施の形態における携帯電話端末は、操作入力の時間間隔、および操作入力に基づいて利用者に提示される表示の変化に応じて操作反応が変化するので、操作入力の強度や速度を検知する機能を備えない従来の操作入力装置を用いて、入力操作の態様に応じた操作反応を与えることができる。   As is clear from the above description, in the mobile phone terminal according to the embodiment of the present invention, the operation response changes according to the time interval of the operation input and the change of the display presented to the user based on the operation input. Therefore, the operation response according to the mode of input operation can be given using the conventional operation input device which does not have the function to detect the intensity and speed of operation input.

なお、本発明の実施の形態において操作入力はテンキーの押下または離反によるものであるとしたが、操作を検知する入力装置を利用した操作入力であれば何であってもよく、たとえばキーの押下や離反、ボタンの押下や離反、鍵盤の押下や離反であってもよいし、スイッチやジョイスティックやデジタイザの操作であってもよいし、マウスの移動やドラッグやマウスボタンの押下やマウスボタンの離反やシングルクリックやダブルクリックやトリプルクリックであってもよいし、ジョグダイヤルやハンドルやつまみ等の回転操作子の操作であってもよいし、タッチパネル等の接触検出による操作であってもよいし、タブレット上での位置指定操作やペンのポイント操作や移動操作であってもよいし、発声の検出や音声認識を利用した操作であってもよいし、画像認識や筋電位検出や磁界検出や静電容量検出やデータスーツやデータグローブ等による身体の部分の変位による操作であってもよいし、可視光や赤外線や紫外線等の電磁波の照射や遮断による操作であってもよいし、可聴音や超音波や超低周波等の空気の振動の照射や遮断による操作であってもよいし、固体の振動による操作であってもよいし、呼気の吹付けによる操作であってもよいし、上顎と下顎の相対位置の変化による操作であってもよい。   In the embodiment of the present invention, the operation input is made by pressing or releasing the numeric keypad. However, any operation input using an input device that detects an operation may be used. Release, button press or release, keyboard press or release, switch, joystick or digitizer operation, mouse movement or drag, mouse button press or mouse button release or Single-click, double-click, triple-click, operation of rotary controls such as jog dial, handle, knob, etc., operation by touch detection on touch panel, etc. You can use a position designation operation, a pen point operation, or a movement operation, or an operation that uses voice detection or voice recognition. It may be image recognition, myoelectric potential detection, magnetic field detection, capacitance detection, operation by displacement of the body part by data suit, data glove, etc., visible light, infrared rays, ultraviolet rays, etc. Operation by irradiation or blocking of electromagnetic wave, operation by irradiation or blocking of air vibration such as audible sound, ultrasonic wave or ultra low frequency, or operation by solid vibration It may be an operation by blowing exhalation or an operation by changing the relative positions of the upper jaw and the lower jaw.

なお、本発明の実施の形態において、音出力内容の違い、音出力に特殊効果を付与するか付与しないかの違い、点灯するＬＥＤの個数、ＬＥＤの色や点滅パターンの違い、によって操作反応を変化させるとしたが、これに限るものではなく、たとえば音量、音質、バランスの違いによって変化させてもよいし、音出力の立ち上がり時間や減衰時間や音の大きさを変化させてもよい。また、出力タイミングを変化させてもよいし、ＬＥＤの輝度や点滅周期を変化させてもよいし、輝度や色の変化スピードを変化させてもよい。特に操作入力の時間間隔が短い場合に音の大きさを小さくすると、ユーザーに煩わしさを感じさせることなく快適な操作感を与えることが出来、反対に入力の時間間隔が短い場合に音の大きさを大きくすると、ユーザの緊迫感の高まり具合に呼応した、より娯楽性のある操作感を与えることができる。   In the embodiment of the present invention, the operation reaction is caused by the difference in the sound output content, the difference in whether or not to give a special effect to the sound output, the number of LEDs to be lit, the color of the LEDs and the difference in the blinking pattern, and the like. However, the present invention is not limited to this, and it may be changed depending on, for example, the volume, sound quality, and balance, or the sound output rise time, attenuation time, and sound volume may be changed. Also, the output timing may be changed, the luminance or blinking cycle of the LED may be changed, or the luminance or color change speed may be changed. In particular, if the sound volume is reduced when the operation input time interval is short, a comfortable operation feeling can be given without causing the user to feel bothersome. On the contrary, if the input time interval is short, the sound volume is loud. When the height is increased, it is possible to provide a more entertaining operational feeling corresponding to the heightened feeling of urgency of the user.

なお、本発明の実施の形態における操作反応は音または光または振動であるとしたが、認知可能な方法による提示であれば何であってもよく、たとえば動画等の画像による提示であってもよいし、身体の一部の圧迫や伸張や接触によるものであってもよいし、身体の表面に電流を流すものであってもよいし、風圧によるものであってもよいし、熱によるものであってもよい。   Although the operation response in the embodiment of the present invention is sound, light, or vibration, it may be any presentation as long as it is presented in a recognizable manner, for example, presentation by an image such as a moving image. However, it may be due to compression, stretching, or contact of a part of the body, current may flow through the surface of the body, it may be due to wind pressure, or it may be due to heat. There may be.

なお、本発明の実施の形態における操作入力の時間間隔はキー押下の時間間隔であるとしたが、これに限るものではなく、キー押下から離反までの時間間隔であってもよいし、キー離反からキー押下までの時間間隔であってもよいし、前回のキー離反から今回のキー離反までの時間間隔であってもよいし、Ｎ回前（Ｎ＞１）のキー押下またはＮ回前（Ｎ＞１）のキー離反から今回のキー押下までの時間間隔であってもよいし、Ｎ回前（Ｎ＞１）のキー押下またはＮ回前（Ｎ＞１）のキー離反から今回のキー離反までの時間間隔であってもよい。   In the embodiment of the present invention, the time interval of the operation input is the time interval of the key press, but is not limited to this, and may be the time interval from the key press to the release or the key release. May be a time interval from the key release to the key press, may be a time interval from the previous key release to the current key release, or may be N times before (N> 1) key press or N times before ( N> 1) may be a time interval from the release of the key to the current key press, or may be from the key press N times before (N> 1) or the key release N times before (N> 1) to the current key. It may be a time interval until separation.

なお、本発明の実施の形態において、操作入力の時間間隔は前回および今回の操作入力時の時刻を時間情報から取得してその差から求めるとしたが、これに限るものではなく、たとえば所定の時間間隔で出力される信号や通知をカウントすることにより操作入力の時間間隔を求めてもよい。   In the embodiment of the present invention, the time interval between operation inputs is obtained from the time information obtained from the time information of the previous and current operation inputs, but is not limited to this. You may obtain | require the time interval of operation input by counting the signal and notification output at a time interval.

なお、本発明の実施の形態において、操作反応出力手段はソフトウエアであるとしたが、これに限るものではなく、たとえば電子回路や光素子等で構成されるハードウエアやファームウエアであってもよい。   In the embodiment of the present invention, the operation reaction output means is software. However, the operation reaction output means is not limited to this. For example, hardware or firmware composed of an electronic circuit, an optical element, or the like may be used. Good.

なお、本発明の実施の形態において、操作反応出力手段は図５に示すフローチャートに基づいて動作するとしたが、これに限るものではない。   In the embodiment of the present invention, the operation reaction output means is operated based on the flowchart shown in FIG. 5, but is not limited thereto.

なお、本発明の実施の形態において、操作反応出力手段は図４に示す操作反応パターン表を参照して操作反応を決定するとしたが、これに限るものではなく、表以外のデータを参照して操作反応を決定してもよいし、操作反応の決定動作を記述したプログラムの実行によって操作反応を決定するようにしてもよい。   In the embodiment of the present invention, the operation response output means determines the operation response with reference to the operation response pattern table shown in FIG. 4, but is not limited to this, and refers to data other than the table. The operation response may be determined, or the operation response may be determined by executing a program describing the operation response determination operation.

なお、本発明の実施の形態において、表示変化の量は文字数であるとしたが、これに限るものではなく、たとえば画素数であってもよいし、表示されるオブジェクトの数であってもよいし、明度または彩度または色相の変化量であってもよいし、ＲＧＢ値の変化量であってもよいし、それらを組み合わせたものであってもよい。   In the embodiment of the present invention, the amount of display change is the number of characters, but is not limited thereto, and may be the number of pixels or the number of objects to be displayed. Then, it may be the amount of change in lightness or saturation or hue, the amount of change in RGB values, or a combination thereof.

なお、本発明の実施の形態において、表示変化は文字の入力やスクロールによって生じる表示変化であるとしたが、これに限るものではなく、たとえば図形描画による表示変化であってもよいし、ＸＭＬやＨＴＭＬやスクリプト言語等で記述されたコンテンツに対するリンクやボタン選択等の操作による表示変化であってもよいし、画像や動画を含むコンテンツの再生操作による表示変化であってもよいし、ウインドウのサイズや形状の変化であってもよいし、ウインドウの個数変化であってもよい。   In the embodiment of the present invention, the display change is a display change caused by character input or scrolling. However, the display change is not limited to this. For example, the display change may be a graphic change, XML, It may be a display change due to an operation such as a link or button selection for content described in HTML or a script language, or may be a display change due to a reproduction operation of content including an image or a moving image, or a window size. It may be a change in shape or shape, or a change in the number of windows.

本発明の操作反応出力装置は、操作入力の強度や速度を検知する機能を備えない従来の操作入力装置を用いて入力操作の態様に応じた操作反応を与えることができるという効果を有し、利用者による入力操作に基づいて対話的に情報処理を行う情報機器に有用である。   The operation reaction output device of the present invention has the effect of being able to give an operation response according to the mode of input operation using a conventional operation input device that does not have a function of detecting the intensity and speed of operation input, This is useful for information equipment that interactively performs information processing based on an input operation by a user.

本発明の実施の形態における携帯電話端末の概略構成図Schematic configuration diagram of a mobile phone terminal in an embodiment of the present invention 本発明の実施の形態における携帯電話端末の詳細構成図Detailed configuration diagram of a mobile phone terminal according to an embodiment of the present invention 本発明の実施の形態における携帯電話端末の外観図External view of a mobile phone terminal according to an embodiment of the present invention 本発明の実施の形態における携帯電話端末の操作反応パターン表を示す図The figure which shows the operation reaction pattern table | surface of the mobile telephone terminal in embodiment of this invention 本発明の実施の形態における携帯電話端末の操作反応出力手段のフローチャートThe flowchart of the operation reaction output means of the mobile phone terminal in the embodiment of the present invention （ａ）本発明の実施の形態における携帯電話端末の第１の画面表示例の図（ｂ）本発明の実施の形態における携帯電話端末の第２の画面表示例の図（ｃ）本発明の実施の形態における携帯電話端末の第３の画面表示例の図(A) Diagram of a first screen display example of a mobile phone terminal in an embodiment of the present invention (b) Diagram of a second screen display example of a mobile phone terminal in an embodiment of the present invention (c) The figure of the 3rd example of a screen display of the mobile telephone terminal in embodiment （ａ）本発明の実施の形態における携帯電話端末の第１の操作反応出力の図（ｂ）本発明の実施の形態における携帯電話端末の第２の操作反応出力例の図（ｃ）本発明の実施の形態における携帯電話端末の第３の操作反応出力例の図(A) Diagram of the first operation response output of the mobile phone terminal in the embodiment of the present invention (b) Diagram of the second operation response output example of the mobile phone terminal in the embodiment of the present invention (c) The present invention Of the 3rd operation reaction output example of the mobile telephone terminal in embodiment of this invention

符号の説明Explanation of symbols

１ 携帯電話端末
１０ 操作反応出力装置
２ 入力装置
２０ 操作入力通知
２１ 入力デバイス管理部
２２ 十字キー
２３ テンキー
２４ マイク
２４０ 送話信号
３ 計時手段
３０ 時間情報
４ 操作反応出力手段
４０ 操作反応指示
４１ 操作反応パターン蓄積手段
５ アプリケーション実行手段
５０ 表示変化通知
５１ ウインドウ管理部
５１０ 入力文字列
５２ メールアプリ
５２０ 表示内容
６ 出力手段
６１ 出力デバイス管理部
６２ スピーカー
６２０ 受話信号
６３ バイブレータ
６４ 第１ＬＥＤ
６５ 第２ＬＥＤ
７０ 表示データ
７０１ ウインドウ
７０２ スクロールバー
７０３ カーソル
７１ 表示デバイス管理部
７２ ＬＣＤ
８ 無線通信部
８０１ 送信メール
８０２ 受信メール
Ｔ４１０ 操作反応パターン表 DESCRIPTION OF SYMBOLS 1 Cellular phone terminal 10 Operation reaction output device 2 Input device 20 Operation input notification 21 Input device management part 22 Cross key 23 Numeric keypad 24 Microphone 240 Transmission signal 3 Time measuring means 30 Time information 4 Operation reaction output means 40 Operation reaction instruction 41 Operation reaction Pattern storage means 5 Application execution means 50 Display change notification 51 Window management section 510 Input character string 52 Mail application 520 Display content 6 Output means 61 Output device management section 62 Speaker 620 Reception signal 63 Vibrator 64 First LED
65 Second LED
70 Display Data 701 Window 702 Scroll Bar 703 Cursor 71 Display Device Manager 72 LCD
8 Wireless communication unit 801 Transmission mail 802 Reception mail T410 Operation reaction pattern table

Claims (5)

操作入力に基づく操作入力通知を受け付けて、前記操作入力に対する反応を指示する操作反応指示を出力する操作反応出力手段、を具備する操作反応出力装置において、
前記操作反応出力手段は、前回の前記操作入力通知と今回の前記操作入力通知との時間間隔に基づいて前記操作入力通知ごとに前記操作反応指示を決定することを特徴とする操作反応出力装置。 In an operation reaction output device comprising an operation reaction output means for receiving an operation input notification based on an operation input and outputting an operation reaction instruction for instructing a reaction to the operation input.
The operation reaction output device determines the operation reaction instruction for each operation input notification based on a time interval between the previous operation input notification and the current operation input notification. 請求項１記載の操作反応出力装置であって、
前記操作反応出力手段は、前記操作入力通知に基づいて情報を表示するアプリケーション実行手段における表示変化を示す表示変化通知を受け付け、
前記操作反応出力手段は、前記表示変化通知に基づいて前記操作反応指示を決定することを特徴とする操作反応出力装置。 The operation reaction output device according to claim 1,
The operation reaction output means accepts a display change notification indicating a display change in the application execution means for displaying information based on the operation input notification,
The operation reaction output device, wherein the operation reaction output means determines the operation reaction instruction based on the display change notification. 請求項１ないし２のいずれか一項記載の操作反応出力装置と、前記操作入力通知の時間を計測する計時手段と、前記時間間隔と前記操作反応指示との対応関係を記憶する記憶素子を具備する情報端末。   The operation reaction output device according to claim 1, a time measuring unit that measures a time of the operation input notification, and a storage element that stores a correspondence relationship between the time interval and the operation reaction instruction. Information terminal. 請求項１ないし２のいずれか一項記載の操作反応出力装置と、前記操作入力通知の時間を計測する計時手段と、前記時間間隔と前記操作反応指示との対応関係を記憶する記憶素子と、前記操作入力を受け付ける操作入力装置と、前記操作反応指示に基づいて表示を行う表示装置とを具備する携帯型情報端末。   The operation reaction output device according to any one of claims 1 to 2, a time measuring unit that measures a time of the operation input notification, a storage element that stores a correspondence relationship between the time interval and the operation reaction instruction, A portable information terminal comprising: an operation input device that receives the operation input; and a display device that performs display based on the operation reaction instruction. 請求項１ないし２のいずれか一項記載の操作反応出力装置と、前記操作入力通知の時間を計測する計時手段と、前記時間間隔と前記操作反応指示との対応関係を記憶する記憶素子と、前記操作入力を受け付ける操作入力装置および音声入力装置と、前記操作反応指示に基づいて表示を行う表示装置と、前記操作反応指示に基づいて音声を出力する音声出力装置と、前記操作反応指示に基づいて振動するバイブレータとを具備する携帯型情報端末。
The operation reaction output device according to any one of claims 1 to 2, a time measuring unit that measures a time of the operation input notification, a storage element that stores a correspondence relationship between the time interval and the operation reaction instruction, An operation input device and a voice input device that receive the operation input, a display device that performs display based on the operation reaction instruction, a sound output device that outputs sound based on the operation reaction instruction, and the operation reaction instruction A portable information terminal comprising a vibrator that vibrates.
JP2005123239A 2005-04-21 2005-04-21 Operation reaction output device Pending JP2006301994A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005123239A JP2006301994A (en) 2005-04-21 2005-04-21 Operation reaction output device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005123239A JP2006301994A (en) 2005-04-21 2005-04-21 Operation reaction output device

Publications (1)

Publication Number Publication Date
JP2006301994A true JP2006301994A (en) 2006-11-02

Family

ID=37470200

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005123239A Pending JP2006301994A (en) 2005-04-21 2005-04-21 Operation reaction output device

Country Status (1)

Country Link
JP (1) JP2006301994A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5563153B2 (en) * 2011-03-30 2014-07-30 本田技研工業株式会社 Operating device
CN117608410A (en) * 2024-01-17 2024-02-27 山东五纬数字科技有限公司 3D virtual digital person interaction system and method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5563153B2 (en) * 2011-03-30 2014-07-30 本田技研工業株式会社 Operating device
CN117608410A (en) * 2024-01-17 2024-02-27 山东五纬数字科技有限公司 3D virtual digital person interaction system and method
CN117608410B (en) * 2024-01-17 2024-05-31 山东五纬数字科技有限公司 3D virtual digital person interaction system and method

Similar Documents

Publication Publication Date Title
US8929949B2 (en) Mobile terminal and transmission processing method thereof
JP5635274B2 (en) Tactile sensation presentation apparatus and tactile sensation presentation method
JP5658113B2 (en) Portable information terminal
CN104914987B (en) Systems and methods for a haptically-enabled projected user interface
US8519955B2 (en) Character input device, character input device control method, and information storage medium
EP2245612B1 (en) Device and method for providing tactile information
RU2414087C2 (en) Method and apparatus for menu navigation in mobile communication device
JPH1185400A (en) Display
JP2003271301A (en) Portable terminal equipment
JP5766398B2 (en) Tactile presentation device
JP2006012184A (en) Display device, information processor and its control method
JP2006301994A (en) Operation reaction output device
US20080111764A1 (en) Assistive device for people with communication difficulties
CN108536653A (en) A kind of input method, device and the device for input
CN107148604A (en) Electronic installation and feedback offer method
KR100875512B1 (en) Method and apparatus for improving functions for display unit of portable device
KR100675089B1 (en) Character input method by movement of mobile terminal
KR100662425B1 (en) A mobile telecommunication device having an event indication function and an event setup, indication, and processing method thereof
JP2017134713A (en) Electronic apparatus, control program of electronic apparatus
KR20240110602A (en) Direction system, presentation control device, and presentation device
JP2011070600A (en) Input device
JP2005323048A (en) Input device
CN117978768A (en) Method, device and system for processing instant communication message of order receiving equipment
JP2005235020A (en) Ten-key board system
KR20050041740A (en) Method for inputting color key-pad and device for color key-pad