JP2010205018A - Interface device and program - Google Patents
Interface device and program Download PDFInfo
- Publication number
- JP2010205018A JP2010205018A JP2009050441A JP2009050441A JP2010205018A JP 2010205018 A JP2010205018 A JP 2010205018A JP 2009050441 A JP2009050441 A JP 2009050441A JP 2009050441 A JP2009050441 A JP 2009050441A JP 2010205018 A JP2010205018 A JP 2010205018A
- Authority
- JP
- Japan
- Prior art keywords
- item
- intermittent
- sound
- pointer
- items
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、コンピュータをインターフェース手段として機能させるプログラムおよびインターフェース装置に関する。 The present invention relates to a program and an interface device that cause a computer to function as interface means.
近年のコンピュータでは、ＧＵＩ（Graphical User Interface）が多く採用されている。また、視覚障害者のユーザがＧＵＩを使用する際に、ＧＵＩの可用性を向上させるための技術が開示されている。例えば、コンピュータの表示装置に表示されるポインタの位置に応じて、複合可聴信号を生成する。ユーザは、この複合可聴信号を用いて、表示装置に表示されている選択オブジェクトを探し出す。 In recent computers, GUI (Graphical User Interface) is often used. In addition, a technique for improving the availability of a GUI when a visually impaired user uses the GUI is disclosed. For example, a composite audible signal is generated according to the position of the pointer displayed on the display device of the computer. The user searches for the selected object displayed on the display device using the composite audible signal.
しかし、視覚障害者を対象とした場合、上記技術にあっても視覚障害者に十分な操作性を提供するものではない。また、健常者を対象とした場合にあっても、常時画面を見ることが難しい使用形態にあっては、同様の問題が生じる。本明細書では、より高い操作性を有するインターフェース手段を提供することができる技術を提供する。 However, when the target is a visually impaired person, even the above-described technology does not provide sufficient operability to the visually impaired person. In addition, even when the subject is a healthy person, the same problem occurs in a usage pattern in which it is difficult to always see the screen. The present specification provides a technique capable of providing an interface unit having higher operability.
本発明に係るコンピュータおよびインターフェース装置は、アイテム表示手段と、ポインタ表示手段とを備える。アイテム表示手段は、画面上に表示される複数種類のアイテムの画面上の表示位置を表すアイテム位置情報を、記憶手段に記憶する。アイテムの一例としては、ＯＫボタン、ＣＡＮＣＥＬボタンなどが挙げられる。また、アイテムの表示位置の一例としては、アイテムの画面上における座標が挙げられる。また、アイテム表示手段は、アイテム位置情報に応じた表示位置を有するアイテムを、画面上に表示する。ポインタ表示手段は、ポインティングデバイスから、ポインタの移動方向や移動量を表すポインタ位置情報を受信する。ポインティングデバイスの一例としては、マウスや、ペンタブレットなどが挙げられる。ポインタの一例としては、画面上に表示される矢印などが挙げられる。また、ポインタ表示手段は、ポインタ位置情報に応じて、画面上に移動可能なポインタを表示する。 The computer and the interface device according to the present invention include item display means and pointer display means. The item display means stores, in the storage means, item position information representing display positions on the screen of a plurality of types of items displayed on the screen. Examples of items include an OK button and a CANCEL button. Moreover, as an example of the display position of an item, the coordinate on the screen of an item is mentioned. The item display means displays an item having a display position corresponding to the item position information on the screen. The pointer display means receives pointer position information indicating the movement direction and movement amount of the pointer from the pointing device. Examples of pointing devices include a mouse and a pen tablet. An example of the pointer is an arrow displayed on the screen. The pointer display means displays a movable pointer on the screen according to the pointer position information.
また、本発明に係るプログラムは、コンピュータを、第１記憶制御手段と、第１音出力手段と、同期判断手段と、ポインタ移動手段と、して機能させる。また、本発明に係るインターフェース装置は、第１記憶制御手段と、第１音出力手段と、同期判断手段と、ポインタ移動手段と、を備える。第１記憶制御手段は、アイテムごとに固有の断続周期を有する断続音を、アイテムの各々に対応付けて記憶する。断続周期を有する断続音とは、周期性を有して途切れ途切れに発生する音である。また、断続周期は、音と音との間隔時間である。第１音出力手段は、画面上に表示されるアイテムに対応付けられた断続音を出力する。同期判断手段は、ポインティングデバイスから複数回入力されるクリック信号の信号周期と断続周期とが同期するか否かを判断する。クリック信号の一例としては、マウスのクリックボタンを押すことによって入力される信号や、ペン先をタブレットに短時間接触させることによって入力される信号などが挙げられる。また、同期とは、断続音の発生タイミングと、クリック信号の入力タイミングとが一致することである。ポインタ移動手段は、同期判断手段によって同期する旨の判断結果が得られた場合に、ポインタの表示位置を同期した断続音に対応するアイテムの表示位置に一致させる。 The program according to the present invention causes the computer to function as first storage control means, first sound output means, synchronization determination means, and pointer movement means. The interface device according to the present invention includes first storage control means, first sound output means, synchronization determination means, and pointer movement means. The first storage control means stores an intermittent sound having a specific intermittent period for each item in association with each item. An intermittent sound having an intermittent period is a sound that is generated intermittently with periodicity. The intermittent period is a time interval between sounds. The first sound output means outputs an intermittent sound associated with the item displayed on the screen. The synchronization determination unit determines whether or not the signal period and the intermittent period of the click signal input from the pointing device a plurality of times are synchronized. Examples of the click signal include a signal input by pressing a click button of a mouse and a signal input by bringing a pen tip into contact with a tablet for a short time. In addition, the synchronization means that the generation timing of the intermittent sound coincides with the input timing of the click signal. The pointer moving means matches the display position of the pointer to the display position of the item corresponding to the synchronized intermittent sound when the synchronization determination means obtains the result of synchronization.
これにより、ユーザは、断続音の種類によってアイテムの種類を識別し、選択を所望するアイテムを見つけ出すことが可能となる。そして、選択を所望するアイテムに対応付けられた断続音の断続周期と同期するように、ポインティングデバイスからクリック信号を入力することで、所望するアイテム上にポインタを移動させることができる。よって、所望するアイテムをポインタで選択する動作を、聴覚のみを用いて行うことが可能となる。これにより、視覚障害者のＧＵＩの操作性を高めることが可能となる。 Thereby, the user can identify the item type by the type of the intermittent sound, and find the item desired to be selected. And a pointer can be moved on a desired item by inputting a click signal from a pointing device so that it may synchronize with the intermittent period of the intermittent sound matched with the item which desires selection. Therefore, the operation of selecting a desired item with the pointer can be performed using only auditory sense. Thereby, it becomes possible to improve the operativity of GUI of a visually impaired person.
また、コンピュータを、第２記憶制御手段と、第２音出力手段として機能させるとしてもよい。第２記憶制御手段は、アイテムの内容を表す識別情報を、アイテムの各々に対応付けて記憶する。識別情報の一例としては、アイテムの名称やアイテムの内容説明が挙げられる。第２音出力手段は、同期判断手段によって同期する旨の判断結果が得られた断続音に対応付けられたアイテムの識別情報を、音声出力する。これによりユーザは、断続音と同期するクリック信号を入力することで、断続音とアイテムの内容との対応を音声で確認することができる。よって、ユーザの利便性をさらに高めることが可能となる。 Further, the computer may function as a second storage control unit and a second sound output unit. The second storage control means stores identification information representing the contents of the item in association with each item. Examples of identification information include item names and item descriptions. The second sound output means outputs the identification information of the item associated with the intermittent sound for which the determination result indicating that the synchronization is determined by the synchronization determination means is obtained. Thereby, the user can confirm the correspondence between the intermittent sound and the content of the item by voice by inputting a click signal synchronized with the intermittent sound. Therefore, it is possible to further improve the convenience for the user.
また、コンピュータを、距離算出手段と、アイテム選出手段として機能させるとしてもよい。距離算出手段は、アイテム位置情報とポインタ位置情報とに基づいて、アイテムとポインタとの相互距離を算出する。また、アイテム選出手段は、アイテムが画面上に複数表示されている場合に、相互距離が小さいアイテムから順に第１所定個数のアイテムを選出する。第１所定個数は、予めユーザなどによって定められるとしてもよい。また、第１音出力手段は、アイテム選出手段で選出されたアイテムに対応付けられた断続音を出力する、としてもよい。これにより、例えば、多数のアイテムが画面上に表示されている場合においても、ポインタの近傍の第１所定個数のアイテムについてのみ断続音を発生させることが可能となる。よって、同時に多数の断続音が発生するためにアイテムの識別性が低下する、という事態を防止することができる。 The computer may function as a distance calculation unit and an item selection unit. The distance calculation means calculates the mutual distance between the item and the pointer based on the item position information and the pointer position information. The item selection means selects a first predetermined number of items in order from the item having the smallest mutual distance when a plurality of items are displayed on the screen. The first predetermined number may be determined in advance by a user or the like. Moreover, a 1st sound output means is good also as outputting the intermittent sound matched with the item selected by the item selection means. Thereby, for example, even when a large number of items are displayed on the screen, it is possible to generate an intermittent sound only for the first predetermined number of items near the pointer. Therefore, it is possible to prevent a situation in which the identification of an item is deteriorated because a large number of intermittent sounds are generated at the same time.
また、アイテム選出手段は、アイテムが画面上に複数表示されている場合に、相互距離が予め定められる所定距離内のアイテムを選出する、としてもよい。所定距離は、予めユーザなどによって定められるとしてもよい。これにより、例えば、多数のアイテムが画面上に表示されている場合においても、ポインタを中心とする所定半径内に存在するアイテムについてのみ断続音を発生させることが可能となる。よって、同時に多数の断続音が発生するためにアイテムの識別性が低下する、という事態を防止することができる。 Further, the item selection means may select an item within a predetermined distance in which the mutual distance is predetermined when a plurality of items are displayed on the screen. The predetermined distance may be determined in advance by a user or the like. Thereby, for example, even when a large number of items are displayed on the screen, it is possible to generate intermittent sound only for items existing within a predetermined radius centered on the pointer. Therefore, it is possible to prevent a situation in which the identification of an item is deteriorated because a large number of intermittent sounds are generated at the same time.
また、断続音は繰り返し周期を有する音であるとしてもよい。また、繰り返し周期には、複数の音が含まれるとしてもよい。また、断続周期は繰り返し周期の中で変化するとしてもよい。繰り返し周期に複数の音が含まれる場合に、音と音との断続周期が変化することによって、リズムを有した断続音を生成することが可能となる。これにより、多数種類のリズムを有する断続音を生成することができるため、断続音により識別することができるアイテム数を増加させることが可能となる。 The intermittent sound may be a sound having a repetition period. In addition, the repetition cycle may include a plurality of sounds. Further, the intermittent period may be changed in the repetition period. When a plurality of sounds are included in the repetition cycle, an intermittent sound having a rhythm can be generated by changing the intermittent cycle between the sound and the sound. Thereby, since intermittent sounds having many kinds of rhythms can be generated, the number of items that can be identified by the intermittent sounds can be increased.
また、コンピュータを、複数種類のアプリケーションを実行するアプリケーション実行手段として機能させるとしてもよい。アプリケーションの一例としては、ワープロソフト、表計算ソフト、写真加工ソフトなどが挙げられ、それぞれが単数あるいは複数のウインドウを持つ。また、アイテムは、アプリケーションへの指令入力用のインターフェースであり、ウインドウ上に配置される。指令入力用のインターフェースの一例としては、ＯＫボタン、ＣＡＮＣＥＬボタン、文字入力用のウインドウ、などが挙げられる。これにより、アプリケーションの操作性をさらに高めることが可能となる。 The computer may function as an application execution unit that executes a plurality of types of applications. Examples of applications include word processing software, spreadsheet software, photo processing software, etc., each having one or more windows. The item is an interface for command input to the application, and is arranged on the window. Examples of the command input interface include an OK button, a CANCEL button, and a character input window. As a result, the operability of the application can be further improved.
また、コンピュータを、ウインドウ表示手段と、ウインドウ選択手段として機能させるとしてもよい。ウインドウ表示手段は、画面上に表示される複数種類の各ウインドウの表示位置を表すウインドウ位置情報を、記憶手段に記憶する。また、ウインドウ位置情報の一例としては、ウインドウの画面上における座標や、ウインドウのサイズが挙げられる。また、ウインドウ表示手段は、ウインドウ位置情報に応じた表示位置を有するウインドウを、画面上に表示する。ウインドウ選択手段は、ポインティングデバイスからの入力を受け付け、操作対象のウインドウを選択する。ポインティングデバイスからの入力の一例としては、画面上に表示されるウインドウ上にポインタを移動させた上で、ポインティングデバイスのボタンをクリックする入力操作が挙げられる。また、操作対象とされているウインドウの一例としては、アクティブウインドウ化されているウインドウが挙げられる。また、第１記憶制御手段は、ウインドウごとに固有の周波数を有する連続音を、ウインドウの各々に対応付けて記憶する、としてもよい。連続音は、無音部を有さず、途切れ目の存在しない音である。また、第１音出力手段は、ウインドウ選択手段によって操作対象として選択されているウインドウに対応付けられた連続音を、断続音と共に出力するとしてもよい。 Further, the computer may function as window display means and window selection means. The window display means stores window position information indicating the display position of each of the plurality of types of windows displayed on the screen in the storage means. Examples of window position information include the coordinates of the window on the screen and the size of the window. The window display means displays a window having a display position corresponding to the window position information on the screen. The window selection means receives an input from the pointing device and selects an operation target window. As an example of input from the pointing device, there is an input operation in which a pointer is moved on a window displayed on a screen and then a button of the pointing device is clicked. An example of a window that is an operation target is an active window. The first storage control means may store a continuous sound having a unique frequency for each window in association with each window. A continuous sound is a sound which does not have a silence part and does not have a discontinuity. The first sound output means may output the continuous sound associated with the window selected as the operation target by the window selection means together with the intermittent sound.
これにより、アイテムごとに固有の周波数（音の高さ）を有する断続音と、ウインドウごとに固有の周波数（音の高さ）を有する連続音とが、同時期に発生される。そして、断続音と連続音とが同時期に発生している場合においても、断続音は無音部を有するため、当該無音部において連続音を聞き取ることができる。すると、連続音によってウインドウを識別できると同時に、断続音によってアイテムを識別することが可能となる。よって、ウインドウの識別とアイテムの識別とを同時期に行うことができるため、ユーザの利便性をさらに高めることが可能となる。 Thereby, an intermittent sound having a unique frequency (pitch) for each item and a continuous sound having a unique frequency (pitch) for each window are generated at the same time. Even when the intermittent sound and the continuous sound are generated at the same time, since the intermittent sound has a silent part, the continuous sound can be heard in the silent part. Then, the window can be identified by the continuous sound, and at the same time, the item can be identified by the intermittent sound. Therefore, since the identification of the window and the identification of the item can be performed at the same time, it is possible to further improve the convenience for the user.
また、第１音出力手段は、相互距離が小さくなることに応じて断続音の断続周期を短くする、としてもよい。また、第１音出力手段は、相互距離が小さくなることに応じて断続音の音量を大きくする、としてもよい。これにより、ポインタがアイテムに近づく程、断続音の断続周期が短くなる（音と音との間隔が狭くなる）ことや、断続音の音量が大きくなることが行われる。よって、ユーザは断続音の断続周期や音量により、ポインタとアイテムとの相互距離についても認識することができるため、ユーザの利便性をさらに高めることが可能となる。そして、アイテム位置を把握しているユーザにあっては、ポインタを移動させて断続周期や音量の変化を聞き分けることにより、位置を把握しているアイテムに対応付けられたアイテム断続音を認識することができる。これにより、ユーザは、断続音の種類を予め記憶することなく、アイテムの種類を識別することが可能となる。 Moreover, a 1st sound output means is good also as shortening the intermittent period of an intermittent sound according to a mutual distance becoming small. Further, the first sound output means may increase the volume of the intermittent sound according to a decrease in the mutual distance. Thereby, as the pointer approaches the item, the intermittent period of the intermittent sound is shortened (the interval between the sounds is narrowed) and the volume of the intermittent sound is increased. Therefore, since the user can recognize the mutual distance between the pointer and the item based on the intermittent period and volume of the intermittent sound, the convenience of the user can be further enhanced. And, for a user who knows the item position, it recognizes the item intermittent sound associated with the item whose position is known by moving the pointer and listening to the change in intermittent period and volume. Can do. Thereby, the user can identify the type of the item without previously storing the type of intermittent sound.
また、第１音出力手段は、相互距離に応じて、断続音の有音部と無音部との比率であるデューティ比を変化させる、としてもよい。これにより、ユーザは、断続音のデューティの変化によってもポインタとアイテムとの相互距離について認識することができるため、ユーザの利便性をさらに高めることが可能となる。また、これにより、アイテム断続音の断続周期を一定にしたまま、多数種類のデューティ比を有する断続音を生成することができるため、断続音により識別することができるアイテム数を増加させることが可能となる。また、ユーザの操作性をさらに高めることができる。 Further, the first sound output means may change a duty ratio that is a ratio between a sounded part and a silent part of the intermittent sound according to the mutual distance. Thereby, since the user can recognize the mutual distance between the pointer and the item even by the change in the duty of the intermittent sound, it is possible to further improve the convenience for the user. In addition, this makes it possible to generate an intermittent sound having many types of duty ratios while keeping the intermittent period of the item intermittent sound constant, thereby increasing the number of items that can be identified by the intermittent sound. It becomes. In addition, user operability can be further enhanced.
また、第１音出力手段は、入力手段から第１指示が入力されることに応じて、アイテムに対応付けられた断続音と、アイテムの内容を表す識別情報とを関連付けて音声出力する、としてもよい。第１指示の一例としては、第１指示の入力用に割り当てられたキーボード上のキーが押下されることにより行われる指示が挙げられる。また、断続音と識別情報とを関連付けて音声出力する方法としては、例えば、断続音の音声出力直後に識別情報を音声出力する、といった方法が挙げられる。これによりユーザは、第１指示を入力することで、断続音とアイテムの内容との対応を確認することができるため、ユーザの利便性をさらに高めることが可能となる。 In addition, the first sound output means outputs the sound in association with the intermittent sound associated with the item and the identification information representing the content of the item in response to the input of the first instruction from the input means. Also good. As an example of the first instruction, there is an instruction performed when a key on the keyboard assigned for inputting the first instruction is pressed. Further, as a method of outputting a sound by associating the intermittent sound with the identification information, for example, a method of outputting the identification information as a sound immediately after the sound of the intermittent sound is output may be mentioned. Thereby, since the user can confirm the correspondence between the intermittent sound and the content of the item by inputting the first instruction, the convenience of the user can be further enhanced.
また、第１音出力手段は、入力手段から第２指示が入力されることに応じて、第２所定個数のアイテムの各々についての断続音の断続周期を所定割合で大きくする、としてもよい。入力手段の一例としては、キーボードが挙げられる。また第２指示の一例としては、第２指示の入力用に割り当てられたキーボード上のキーが押下されることにより行われる指示が挙げられる。 The first sound output means may increase the intermittent period of the intermittent sound for each of the second predetermined number of items by a predetermined ratio in response to the second instruction input from the input means. An example of the input means is a keyboard. Further, as an example of the second instruction, there is an instruction given when a key on the keyboard assigned for inputting the second instruction is pressed.
これにより、複数の断続音を聞き分ける際に、断続周期が小さくて聞き分けが困難である場合には、第２指示を行うことで断続周期を広げることができる。よって、断続周期によるアイテムの識別性をさらに高めることが可能となる。
また、所定割合で断続周期を広げるため、複数の断続音の間における断続周期の大小関係は保たれる。よって、断続周期によるアイテムの識別性を維持することができる。
Thereby, when distinguishing a plurality of intermittent sounds, if the intermittent period is small and difficult to distinguish, it is possible to widen the intermittent period by performing the second instruction. Therefore, it becomes possible to further improve the identification of items by the intermittent period.
In addition, since the intermittent period is expanded at a predetermined rate, the magnitude relationship of the intermittent periods among a plurality of intermittent sounds is maintained. Therefore, it is possible to maintain the item identifiability due to the intermittent period.
また、アイテム選出手段は、入力手段から第２指示が入力されることに応じて、相互距離が小さいアイテムから順に、第１所定個数よりも少ない第２所定個数のアイテムを選出する、としてもよい。
また、第１音出力手段は、第２所定個数のアイテムの各々についての断続音の断続周期を、所定割合で大きくする、としてもよい。所定割合は、予めユーザなどによって定められるとしてもよい。
Further, the item selection means may select a second predetermined number of items that are smaller than the first predetermined number in order from the items having a smaller mutual distance in response to the input of the second instruction from the input means. .
The first sound output means may increase the intermittent period of the intermittent sound for each of the second predetermined number of items by a predetermined ratio. The predetermined ratio may be determined in advance by a user or the like.
これにより、多数の断続音が同時期に発生しており聞き分けが困難である場合においても、第２指示を行うことで、断続音の発生数を第１所定個数よりも少ない第２所定個数に減らすことができる。よって、識別対象のアイテムをさらに絞り込むことができるため、アイテムの識別性をさらに高めることが可能となる。 As a result, even when a large number of intermittent sounds are generated at the same time and it is difficult to distinguish them, the number of generated intermittent sounds is reduced to a second predetermined number smaller than the first predetermined number by performing the second instruction. Can be reduced. Therefore, since the items to be identified can be further narrowed down, it becomes possible to further improve the item identification.
第１実施形態に係る入力装置１の構成を説明する。図１で示すように、入力装置１は、制御部１０、キーボード２、スピーカ４、モニタ６、マウス８を備える。入力装置１の例としては、パーソナルコンピュータ（ＰＣ）などが挙げられる。キーボード２には、スペースキー、リターンキー、ファンクションキー（Ｆ３キーやＦ４キーなど）、数字キー、などが備えられている。スピーカ４は、音声出力プログラム２６によって生成された音声情報を出力する。モニタ６には、後述するアイテムやポインタなどが表示される。マウス８は、右クリックボタンおよび左クリック力ボタンを備える。マウス８は、後述するポインタ位置情報や、クリックボタンのクリック操作に関する情報を、制御部１０に送信する。
A configuration of the
制御部１０は、ＣＰＵ１４、記憶装置２０、ＲＡＭ３０、インターフェース１３が、バス１２を介して接続される。記憶装置２０は、ハードディスクやＮＶＲＡＭなどの不揮発性の記憶装置である。記憶装置２０には、制御プログラム２１、音声出力プログラム２６、パラメータ記憶領域２７などが格納されている。制御プログラム２１は、電源管理、入出力管理、各プログラムの制御など、入力装置１の全体を制御するプログラムである。音声出力プログラム２６は、アイテム名などを音声情報に変換し、読み上げるプログラムである。音声出力プログラム２６の例としては、ＯＳ（Operating System）に装備されているボイスオーバー機能などの、周知のソフトウエアが挙げられる。パラメータ記憶領域２７は、ＣＰＵ１４が制御プログラム２１に従って処理を実行する際に利用される、各種パラメータを記憶するための記憶領域である。パラメータ記憶領域２７には、ウインドウテーブル２０１およびアイテムテーブル３０１が記憶される。
The
図４（Ａ）に、ウインドウテーブル２０１のテーブル例を示す。ウインドウテーブル２０１は、ウインドウについての各種設定が登録される。ウインドウとは、描画ソフト、ワープロソフト、表計算ソフトなどの、ある特定の目的のために設計されたアプリケーションにより表示されるものである。入力装置１で実行されたアプリケーションは、ウインドウとしてモニタ６に表示される。ウインドウテーブル２０１には、ウインドウ識別番号２０２、ウインドウ名２０３、ウインドウ連続音周波数２０４、ウインドウ連続音音量２０５が登録される。ウインドウ識別番号２０２は、ウインドウを区別するための数字である。ウインドウ名２０３は、ウインドウの名称である。ウインドウ連続音周波数２０４は、ウインドウ連続音の周波数である。ウインドウ連続音は、ウインドウごとに固有の周波数で、ウインドウの各々に対応付けられる音である。また、連続音は、無音部を有さず途切れ目の存在しない音である。ウインドウ連続音周波数２０４が高くなることに応じて、ウインドウ連続音の高さは高くなる。ユーザは、ウインドウ連続音の高さを聞き分けることによって、ウインドウの種類を識別することが可能となる。ウインドウ連続音音量２０５は、ウインドウ連続音の音量である。ユーザは、ウインドウ連続音の音量を聞き分けることによっても、ウインドウの種類を識別することが可能となる。このウインドウテーブル２０１には、新たなウインドウが表示される毎に、そのウインドウが追加され、またウインドウが消されるごとに消去される。この処理は、ウインドウの追加機能および消去機能を有するサービスをＯＳの一部として組み込むことにより実現される。
FIG. 4A shows a table example of the window table 201. In the window table 201, various settings for windows are registered. A window is displayed by an application designed for a specific purpose, such as drawing software, word processing software, or spreadsheet software. The application executed on the
図４（Ｂ）に、ウインドウ名２０３＝ウインドウ１に関するアイテムテーブル３０１のテーブル例を示す。アイテムテーブル３０１は、ウインドウごとに作成される。アイテムテーブル３０１には、アイテムについての各種設定が登録される。アイテムとは、モニタ６上で小さな絵や記号で表わされた、ポインタによって選択可能な対象である。アイテムの一例としては、ＯＫボタンなどの各種ボタンや、文字入力に用いられるテキストボックスなどが挙げられる。アイテムテーブル３０１には、アイテム識別番号３０２、アイテム種類３０３、アイテム名３０４、アイテム断続音周波数３０５、断続周期３０６、アイテム断続音音量３０７が登録される。アイテム識別番号３０２は、アイテムを区別するための数字である。アイテム種類３０３は、ボタンやテキストボックスなど、アイテム種類を表す情報である。アイテム名３０４は、アイテムの名称である。アイテム断続音周波数３０５は、アイテム断続音の周波数の初期値である。アイテム断続音は、アイテムごとに固有の周波数で、アイテムの各々に対応付けられる音である。また、断続音は、無音部を有して途切れ途切れに発生する音である。アイテム断続音周波数３０５が高くなることに応じて、アイテム断続音の高さは高くなる。断続周期３０６は、断続音の音と音との間隔時間の初期値である。アイテム断続音音量３０７は、断続音の音量である。なお、アイテムに割り当てられるアイテム断続音周波数３０５、断続周期３０６、アイテム断続音音量３０７の値は、任意の値でよい。
FIG. 4B shows a table example of the item table 301 related to
ＲＡＭ３０は、揮発性の読み書き可能なメモリであり、選択入力処理における種々の情報を一時的に記憶する領域である。ワークエリア３１は、選択アイテムテーブル４０１、アイテム位置情報、ポインタ位置情報、クリックカウント数、などを記憶する記憶領域である。
The
図４（Ｃ）に、選択アイテムテーブル４０１のテーブル例を示す。選択アイテムテーブル４０１には、選択対象アイテム４０２、第１フラグ４０３、第２フラグ４０４が登録される。選択対象アイテム４０２には、本実施形態に係るアイテム選択フローを用いて選択されたアイテムのアイテム識別番号３０２が、記憶される。第１フラグ４０３および第２フラグ４０４は、マウス８から入力される左クリック信号の信号周期と、アイテム断続音の断続周期３０６とが同期するか否かを判断するために用いられるフラグである。第１フラグ４０３は、左クリック信号とアイテム断続音との１回目の同期が行われた場合にＯＮになるフラグである。第２フラグ４０４は、左クリック信号とアイテム断続音との２回目の同期が行われた場合にＯＮになるフラグである。連続して入力される左クリック信号が、２回続けてアイテム断続音と同期する時に第２フラグ４０４がＯＮとされる。
FIG. 4C shows a table example of the selection item table 401. In the selection item table 401, a
モニタ６上での、アイテムやポインタなどの表示形態について、図５の表示例を用いて説明する。ＣＰＵ１４は、ポインタによって選択されたアプリケーションの実行を行う。例えば、アプリケーションを表すアイコン上にポインタが位置する状態で、マウス８の入力ボタンをダブルクリックすることにより、当該アプリケーションが実行対象として選択され、プログラムの実行が開始される。アプリケーションは同時に複数実行可能であり、ひとつのアプリケーションは１ないし複数のウインドウをモニタ６上に表示する。図５の例では、ウインドウ識別番号２０２＝１００１に該当するウインドウ１が実行され、ウインドウＷ１として表示されている。また、ウインドウ識別番号２０２＝１００２に該当するウインドウ２が実行され、ウインドウＷ２として表示されている。
A display form such as an item or a pointer on the
また、ＣＰＵ１４は、各種アイテムのモニタ６上の表示位置を表すアイテム位置情報を、ワークエリア３１に記憶する。アイテム位置情報は、アイテムのモニタ６上の座標を含んだ情報である。そして、ＣＰＵ１４は、アイテム位置情報に応じたモニタ６上の表示位置に、アイテムを表示する。図５の例では、ウインドウＷ１内には、アイテム識別番号３０２の１０１ないし１０６のアイテムが表示される。また、ウインドウＷ２内には、アイテム識別番号が１１１および１１２のアイテムが表示される。
Further, the
また、ＣＰＵ１４は、マウス８から、ポインタの移動方向や移動量を表すポインタ位置情報を受信して、ワークエリア３１に記憶する。また、ＣＰＵ１４は、ポインタ位置情報に応じて、モニタ６上にポインタを移動可能に表示する。図５の例では、矢印形状のポインタＰ１が、モニタ６上に表示される。
Further, the
また、ＣＰＵ１４は、操作対象として選択されるウインドウ（入力フォーカスを持つウインドウ）を、強調表示する。ウインドウを操作対象として選択する方法の一例としては、ウインドウ上にポインタが位置する時にマウス８の入力ボタンをクリックする方法が挙げられる。図５の例では、ウインドウ１が操作対象として選択され、ウインドウＷ１がアクティブウインドウとされている場合を説明する。アクティブとされたウインドウＷ１は、最前面に配置されることにより、強調表示される。また、アクティブとされたウインドウＷ１の枠（実線）が、非アクティブのウインドウＷ２の枠（点線）よりも濃く表示されることにより、強調表示される。
Further, the
第１実施形態に係る入力装置１の動作を説明する。図２を用いて、本実施形態に係るポインタ位置の監視フローを説明する。Ｓ１において、ＣＰＵ１４は、操作対象として選択されたウインドウが存在するか否かを判断する。存在しないと判断された場合（Ｓ１：ＮＯ）には、Ｓ３へ進み、ＣＰＵ１４は、ウインドウ連続音をＯＦＦ状態にする。そしてＳ７へ進み、ＣＰＵ１４は、アイテム断続音をＯＦＦ状態にした上で、Ｓ１へ戻る。
The operation of the
一方、操作対象として選択されたウインドウが存在すると判断された場合（Ｓ１：ＹＥＳ）には、Ｓ４へ進む。Ｓ４において、ＣＰＵ１４は、操作対象として選択されたウインドウに対応付けられたウインドウ連続音周波数２０４およびウインドウ連続音音量２０５を、ウインドウテーブル２０１から検索する。そして、検索したウインドウ連続音周波数２０４およびウインドウ連続音音量２０５を有するウインドウ連続音を、スピーカ４から出力する。図５の例では、ウインドウ１に対応するウインドウ連続音周波数２０４＝１．０（ＫＨｚ）、ウインドウ連続音音量２０５＝レベル８で、スピーカ４からウインドウ連続音が出力される。
On the other hand, when it is determined that the window selected as the operation target exists (S1: YES), the process proceeds to S4. In S4, the
Ｓ５に進むと、ＣＰＵ１４は、操作対象として選択されたウインドウ上に、ポインタが存在するか否かを判断する。ポインタが存在しない場合（Ｓ５：ＮＯ）にはＳ７へ進み、アイテム断続音がＯＦＦされる。一方、ポインタが存在する場合（Ｓ５：ＹＥＳ）にはＳ１７へ進む。
In S5, the
Ｓ１７において、ＣＰＵ１４は、Ｆ５キーが押下中であるか否かを判断する。Ｆ５キーは、後述するように、断続音を発生させるアイテムを絞り込むための命令を入力するキーである。Ｆ５キーが押下中ではないと判断される場合（Ｓ１７：ＮＯ）には、Ｓ２５へ進み、広範囲から所望のアイテムを探索する処理が行われる。
In S17, the
Ｓ２５において、ＣＰＵ１４は、ポインタが存在するウインドウ内に表示されている各アイテムと、ポインタとの相互距離の計算を行う。具体的には、ＣＰＵ１４は、アイテム位置情報に含まれるアイテムの座標と、ポインタ位置情報を用いて算出されたポインタの座標とに基づいて、アイテムとポインタとの相互距離を算出する。図５の例では、ポインタＰ１が存在するウインドウＷ１内に表示されている、アイテム識別番号が１０１ないし１０６のアイテムと、ポインタＰ１との相互距離が計算される（矢印Ｙ１ないしＹ６）。なお、ポインタＰ１が存在しないウインドウＷ２内に表示されている、アイテム識別番号が１１１および１１２のアイテムと、ポインタＰ１との相互距離については、計算は行われない。
In S <b> 25, the
Ｓ２７に進むと、ＣＰＵ１４は、ポインタ近傍に存在する３つのアイテムを選出する。具体的には、ＣＰＵ１４は、アイテムがウインドウ内に複数表示されている場合には、相互距離が小さいアイテムから順に３個のアイテムを選出する。なお、選出されるアイテム数は、予めユーザなどによって定められるとしてもよい。また「ＯＫボタン」など、使用頻度の高いものについては優先的に選出されるようにしてもよい。図５の例では、相互距離が小さいアイテムから順に、アイテム識別番号３０２＝１０１、１０２、１０３の３つのアイテムが選出される（矢印Ｙ１ないしＹ３）。
In S27, the
これにより、例えば、多数のアイテムがウインドウＷ１内に表示されている場合においても、ポインタＰ１の近傍の３個のアイテムについてのみアイテム断続音を発生させることが可能となる。よって、同時に多数のアイテム断続音が発生するためにアイテムの識別性が低下する、という事態を防止することができる。 Thereby, for example, even when a large number of items are displayed in the window W1, it is possible to generate an item intermittent sound only for three items in the vicinity of the pointer P1. Therefore, it is possible to prevent a situation in which the identification of an item is deteriorated because a large number of item intermittent sounds are generated at the same time.
Ｓ２９において、ＣＰＵ１４は、相互距離から断続周期３０６の変更量を決定する。具体的には、相互距離が小さくなることに応じて、断続周期３０６の値を小さくするように変更する。これにより、ポインタがアイテムに近づく程、アイテム断続音の断続周期が短くなる（音と音との間隔が狭くなる）。よって、ユーザは断続周期３０６の変化により、ポインタとアイテムとの相互距離についても認識することができるため、ユーザの利便性をさらに高めることが可能となる。
なお、ここでは相互距離に応じてアイテム断続音の断続周期３０６を変えるようにしているが、相互距離に応じてアイテム断続音の音量を変える形態にしてもよい。上記構成により、ウインドウ上のアイテム位置を把握しているユーザにあっては、マウス８を動かしてアイテム断続音の断続周期変動あるいは音量変動を聞き分けることにより、位置を把握しているアイテムに対応付けられたアイテム断続音を容易に認識することができる。本実施例では、後述するように、アイテム断続音とアイテムとの対応一覧をユーザに知らしめる仕組みを提供することも可能であるが、その仕組みを使うことなく迅速にアイテム選択を可能とすることができる。
In S29, the
Here, although the
Ｓ３１において、ＣＰＵ１４は、近傍３アイテムに対応付けられたアイテム断続音をＯＮにする。図５の例では、アイテム識別番号３０２が１０１から１０３の３つのアイテムについてのアイテム断続音が、同時期に出力される。図６に、アイテム識別番号の１０１から１０３の３つのアイテム断続音の出力例を示す。図６において、横軸は時間であり、黒点は断続音が鳴っている時間を示す。黒点間の間隔が、断続周期３０６である。
In S31, the
Ｓ３３において、ＣＰＵ１４は、ポインタ位置の監視フローを終了するか否かを判断する。終了すると判断された場合（Ｓ３３：ＹＥＳ）にはフローが終了され、終了しないと判断された場合（Ｓ３３：ＮＯ）にはＳ１へ戻る。
In S33, the
また、Ｓ１７において、Ｆ５キーが押下中であると判断される場合（Ｓ１７：ＹＥＳ）には、Ｓ４１へ進み、絞り込んだ範囲から所望のアイテムを探索する処理が行われる。Ｓ４１において、ＣＰＵ１４は、ポインタが存在するウインドウ内に表示されている各アイテムと、ポインタとの相互距離の計算を行う。Ｓ４３に進むと、ＣＰＵ１４は、ポインタ近傍に存在する２つのアイテムを選出する。Ｓ４３で選択されるアイテム数（２個）が、Ｓ２７で選択されるアイテム数（３個）よりも少なくされることで、探索対象のアイテム数を絞り込むことができる。
If it is determined in S17 that the F5 key is being pressed (S17: YES), the process proceeds to S41, and a process for searching for a desired item from the narrowed range is performed. In S41, the
Ｓ４５において、ＣＰＵ１４は、ポインタの近傍２アイテムについてのアイテム断続音の断続周期３０６を、所定割合で大きくする。なお、所定割合は、予めユーザなどによって定められるとしてもよい。
In S <b> 45, the
Ｓ４７において、ＣＰＵ１４は、近傍２アイテムに対応付けられたアイテム断続音をＯＮにする。図５の例では、アイテム識別番号３０２が１０１および１０２の２つのアイテムについてのアイテム断続音が、同時期に出力される。
In S47, the
これにより、３つのアイテム断続音が同時期に発生しており聞き分けが困難である場合においても、Ｆ５キーを押下することで、アイテム断続音の発生数を２つに減らすことができる。よって、探索対象のアイテムをさらに絞り込むことができるため、アイテムの識別性をさらに高めることが可能となる。また、３つのアイテム断続音を聞き分ける際に、断続周期３０６が小さくて聞き分けが困難である場合においても、Ｆ５キーを押下することで、断続周期３０６を広げることができる。よって、断続周期３０６によるアイテムの識別性をさらに高めることが可能となる。また、所定割合で断続周期を広げるため、２つのアイテム断続音の間における断続周期３０６の大小関係は保たれる。よって、断続周期３０６によるアイテムの識別性を維持することができる。
Thereby, even when three item intermittent sounds are generated at the same time and it is difficult to distinguish them, the number of item intermittent sounds can be reduced to two by pressing the F5 key. Therefore, since the items to be searched can be further narrowed down, it becomes possible to further improve the item identification. Further, when the three item intermittent sounds are recognized, even when the
次に、第１実施形態に係るアイテム選択フローを、図３を用いて説明する。なお、初期値として、第１および第２フラグは共にＯＦＦとなっている。第１実施形態に係るアイテム選択操作では、アイテム断続音に同期した左クリック信号が入力されることにより、当該アイテム断続音が割り当てられたアイテムのアイテム名が読み上げられる。そして左右のクリック信号が同時に入力されることにより、当該アイテム断続音が割り当てられたアイテム上にポインタが移動する。例として、アイテム識別番号が１０２（ＣＡＮＣＥＬ）のアイテムを、第１実施形態に係るアイテム選択フローを用いて選択する場合を説明する。この場合には、ユーザは、アイテム識別番号が１０２のアイテムに対応するアイテム断続音（図６）に同期して、左クリック信号の入力を行う。 Next, an item selection flow according to the first embodiment will be described with reference to FIG. Note that both the first and second flags are OFF as initial values. In the item selection operation according to the first embodiment, an item name of an item to which the item intermittent sound is assigned is read out by inputting a left click signal synchronized with the item intermittent sound. When the left and right click signals are input simultaneously, the pointer moves over the item to which the item intermittent sound is assigned. As an example, a case will be described in which an item having an item identification number 102 (CANCEL) is selected using the item selection flow according to the first embodiment. In this case, the user inputs the left click signal in synchronization with the item intermittent sound corresponding to the item whose item identification number is 102 (FIG. 6).
まず、図６の時刻ｔ１において、シフトキーを押しながらマウス８の左クリックボタンの１回目のクリックが行われた場合の処理を説明する。左クリック信号が入力されることに応じて、アイテム選択フローが開始され、Ｓ７１へ進む。Ｓ７１において、ＣＰＵ１４は、経過時間の計測中である場合には、計測を中止する。経過時間の計測の詳細については、後述する。１回目の左クリック信号の入力時においては、経過時間の計測が行われていないため、計測の中止は行われずに、Ｓ７３へ進む。
First, the processing when the first click of the left click button of the
Ｓ７３において、ＣＰＵ１４は、シフトキーが押下されているか否かを判断する。シフトキーは、第１実施形態に係るアイテム選択フローを用いるか否かの命令を入力するキーである。シフトキーが押下されていない場合（Ｓ７３：ＮＯ）は、第１実施形態に係るアイテム選択操作を用いない場合であり、主に健常者が入力装置１を操作する場合である。この場合にはＳ１０５に進み、ＣＰＵ１４は、選択アイテムテーブル４０１の第１フラグ４０３および第２フラグ４０４をＯＦＦにする。そしてＳ１０７に進み、ＣＰＵ１４は、通常のマウスクリック処理を行う。通常のマウスクリック処理とは、第１実施形態でのアイテム選択のための処理（所望のアイテム上へポインタを動かすためのクリック処理）とは異なる処理である。通常のマウスクリック処理の一例としては、アイコン上にポインタが位置する状態でクリックボタンをクリックすることにより、当該アイコンを選択する処理が挙げられる。
In S73, the
一方、シフトキーが押下されている場合（Ｓ７３：ＹＥＳ）は、第１実施形態に係るアイテム選択操作を用いる場合であり、主に視覚障害者が入力装置１を操作する場合である。この場合にはＳ７５へ進む。Ｓ７５において、ＣＰＵ１４は、マウス８の左クリックボタンのクリックと同時に、右クリックボタンもクリックされているか否かを判断する。右クリックボタンもクリックされていないと判断された場合（Ｓ７５：ＮＯ）には、Ｓ７７へ進む。ここでは、左クリックボタンのみクリックされている場合を説明しているため、Ｓ７７へ進む。
On the other hand, when the shift key is pressed (S73: YES), the item selection operation according to the first embodiment is used, and the visually impaired person mainly operates the
Ｓ７７において、ＣＰＵ１４は、左クリックボタンのクリック動作が、アイテム断続音と同期しているか否かを判断する。ここで同期とは、断続音の発生タイミングと、左クリック信号の入力タイミングとが所定誤差内で一致することである。同期していないと判断される場合（Ｓ７７：ＮＯ）には、Ｓ１０５へ進み、通常のマウスクリック処理が行われる。一方、同期していると判断される場合（Ｓ７７：ＹＥＳ）には、Ｓ７９へ進む。ここでは、図６の時刻ｔ１において、アイテム識別番号１０２のアイテム断続音の発生タイミングと、左クリック信号の入力タイミングとが同期している場合を説明しているため、Ｓ７９へ進む。
In S77, the
Ｓ７９において、ＣＰＵ１４は、選択アイテムテーブル４０１（図４（Ｃ））の第１フラグ４０３がＯＮとされているか否かを判断する。ＯＮであると判断される場合（Ｓ７９：ＹＥＳ）にはＳ８７ヘ進み、ＯＮでないと判断される場合（Ｓ７９：ＮＯ）にはＳ８１ヘ進む。ここでは、時刻ｔ１での同期が１回目であり、第１フラグ４０３はＯＦＦの状態であるため、Ｓ８１へ進む。Ｓ８１において、ＣＰＵ１４は、選択アイテムテーブル４０１の第１フラグ４０３をＯＮにする。
In S79, the
Ｓ８３に進むと、ＣＰＵ１４は、経過時間の計測を開始する。この計測の処理は、本フローチャートと並行して走る別スレッドとして行われる。このスレッド中のＳ８５において、ＣＰＵ１４は、計測が開始されてからの経過時間が、入力タイムアウト時間を超えているか否かを判断する。ここで、入力タイムアウト時間は、アイテム断続音の断続周期３０６の最大値以下の値を有する時間である。そして、２回目の左クリック信号が入力タイムアウト時間内に入力されない場合には、Ｓ８５において経過時間が入力タイムアウト時間に到達したと判断され、Ｓ１０５へ進む。これにより、偶然にアイテム断続音と同期して入力された左クリック信号の入力を、検出することができる。よって、ユーザがアイテム選択の処理を意図しない場合に、偶発的にアイテム選択の処理が行われてしまう事態が防止され、通常のマウスクリックの処理が行われる。
In S83, the
次に、図６の時刻ｔ２において、シフトキーを押しながらマウス８の左クリックボタンの２回目のクリックが行われた場合を説明する。左クリック信号が入力されることに応じて、アイテム選択フローが開始され、Ｓ７１へ進む。Ｓ７１において、ＣＰＵ１４は、前述のＳ８３で開始された経過時間の計測中である場合には、計測を中止する処理を行う。これにより、前述の別スレッドで行われているＳ８５での入力タイムアウト時間の計測処理が中止される。ここでは、２回目の左クリック信号の入力時を説明しているため、経過時間の計測中である。よって、計測が中止され、Ｓ７３へ進む。また、シフトボタンが押されている場合を説明しているため（Ｓ７３：ＹＥＳ）、Ｓ７５へ進む。また、右クリックボタンが押されていない場合を説明しているため（Ｓ７５：ＮＯ）、Ｓ７７へ進む。Ｓ７７において、前回左クリック信号が同期していたアイテム断続音に、再度左クリック信号が同期しているか否かが判断される。このとき、前回左クリック信号が同期していない他のアイテム断続音に対して、左クリック信号が同期した場合にあっては、非同期と判断される。ここでは、図６の時刻ｔ２において、アイテム断続音の発生タイミングと、左クリック信号の入力タイミングとが同期している場合を説明しているため（Ｓ７７：ＹＥＳ）、Ｓ７９へ進む。また、選択アイテムテーブル４０１の第１フラグ４０３がＯＮである場合を説明しているため（Ｓ７９：ＹＥＳ）、Ｓ８７へ進む。
Next, a case where the second click of the left click button of the
Ｓ８７において、ＣＰＵ１４は、アイテム断続音と左クリック信号とが同期していると判断し、選択アイテムテーブル４０１の第１フラグ４０３をＯＦＦにし、第２フラグ４０４をＯＮにする。
In S <b> 87, the
Ｓ８９に進むと、ＣＰＵ１４は、左クリック信号と同期するアイテム断続音から、選択対象アイテム（ユーザが選択を所望するアイテム）を決定する。第１実施形態の説明例（図６）では、左クリック信号と、アイテム識別番号＝１０２のアイテムのアイテム断続音とが同期していると判断される。よって、選択対象アイテムは、アイテム識別番号＝１０２のアイテムに決定される。
When proceeding to S89, the
Ｓ９１に進むと、ＣＰＵ１４は、選択対象アイテムとして決定したアイテムのアイテム識別番号を、選択アイテムテーブル４０１の選択対象アイテム４０２に対応して記憶する。第１実施形態の説明例（図４（Ｃ））では、アイテム識別番号＝１０２が記憶される。
In S91, the
Ｓ９３において、ＣＰＵ１４は、選択対象アイテム４０２の読み上げ処理を行う。具体的には、ＣＰＵ１４は、選択対象アイテム４０２に対応するアイテム名３０４を、アイテムテーブル３０１から検索する。そして、音声出力プログラム２６を実行することにより、検索したアイテム名３０４を音声読み上げする処理を行う。第１実施形態の説明例（図４（Ｂ））では、アイテム識別番号＝１０２のアイテムに対応するアイテム名「ＣＡＮＣＥＬ」が音声読み上げされ、スピーカ４から出力される。そして、フローが終了される。
In S <b> 93, the
次に、図６の時刻ｔ３において、シフトキーを押しながらマウス８の左右のクリックボタンが同時にクリックされた場合を説明する。左クリック信号が入力されることに応じて、アイテム選択フローが開始され、Ｓ７１へ進む。第１実施形態の説明例では、シフトボタンが押されている場合を説明しているため（Ｓ７３：ＹＥＳ）、Ｓ７５へ進む。また、右クリックボタンが押されている場合を説明しているため（Ｓ７５：ＹＥＳ）、Ｓ９５へ進む。
Next, a case where the left and right click buttons of the
Ｓ９５において、ＣＰＵ１４は、選択アイテムテーブル４０１（図４（Ｃ））の第２フラグ４０４がＯＮとされているか否かを判断する。ＯＮではないと判断される場合（Ｓ９５：ＮＯ）にはＳ１０５へ進み、ＯＮであると判断される場合（Ｓ９５：ＹＥＳ）にはＳ９７へ進む。第１実施形態の説明例では、時刻ｔ２で２回目の同期が行われており、第２フラグ４０４はＯＮの状態であるため、Ｓ９７へ進む。
In S95, the
Ｓ９７において、ＣＰＵ１４は、左右クリックボタンの同時クリックによる同時クリック信号が、有効な入力信号であるか否かを判断する。具体的には、ＣＰＵ１４は、第２フラグ４０４がＯＮとされてから、同時クリック信号が入力されるまでの経過時間が、確定タイムアウト時間を超えているか否かを判断する。なお、確定タイムアウト時間は任意の時間でよく、予めユーザなどによって定められるとしてもよい。経過時間が確定タイムアウト時間を超える場合には、有効な入力信号ではないと判断され（Ｓ９７：ＮＯ）、Ｓ１０５へ進み、第２フラグ４０４がＯＦＦとされる。一方、経過時間が確定タイムアウト時間を超えない場合には、有効な入力信号であると判断され（Ｓ９７：ＹＥＳ）、Ｓ９９へ進む。これにより、確定タイムアウト時間内に同時クリック信号が入力されなかった場合には、第２フラグ４０４がＯＦＦとされることで、アイテム断続音と同期する左クリック信号が入力されている旨の判断が破棄される。よって、確定タイムアウト時間分遡った時間よりも過去の時点において行われた古い同期判断結果によって、意図しないアイテム選択の処理が偶発的に行われてしまう、という事態を防止することができる。
In S97, the
Ｓ９９に進むと、ＣＰＵ１４は、Ｓ９３における読み上げ処理が処理中である場合には、読み上げ処理を中止する。
In S99, if the reading process in S93 is being processed, the
Ｓ１０１に進むと、ＣＰＵ１４は、選択対象アイテム４０２として選択されたアイテム上に、ポインタを移動させる。具体的には、ＣＰＵ１４は、ポインタ位置情報を用いて算出されたポインタの座標を、選択対象アイテム４０２として選択されたアイテムの座標に一致させる。これにより、選択対象アイテム４０２として選択されたアイテム上にポインタが位置し、クリックによる選択の確定待ち状態とされる。
In step S <b> 101, the
第１実施形態の説明例（図５）では、アイテム識別番号＝１０２のアイテム「ＣＡＮＣＥＬ」上に、ポインタＰ１が吸い寄せられるように移動し、ＣＡＮＣＥＬ動作の確定待ち状態とされる。 In the explanation example of the first embodiment (FIG. 5), the pointer P1 is moved onto the item “CANCEL” having the item identification number = 102, and the CANCEL operation is awaiting confirmation.
Ｓ１０３に進むと、ＣＰＵ１４は、選択アイテムテーブル４０１の第２フラグ４０４をＯＦＦにする。そして、アイテム選択フローが終了される。この状態で、ユーザがシフトキーの押下を解除して通常のクリックを行うことにより、ポインタが指し示しているアイテムの機能を使用することができる。この場合のフローは、Ｓ７３の処理にてＮＯと判断され、Ｓ１０５を経てＳ１０７が実行されるフローである。第１実施形態の説明例（図５）では、アイテム識別番号＝１０２のアイテム「ＣＡＮＣＥＬ」上にポインタＰ１が位置する状態で、左クリックボタンをクリックすることで、ＣＡＮＣＥＬ動作を確定することができる。
In S103, the
第１実施形態に係る発明の効果を以下に説明する。ユーザは、選択を所望するアイテムに対応付けられたアイテム断続音の断続周期と同期するように、マウス８から左クリック信号を入力することで、所望するアイテム上にポインタを移動させることができる。よって、所望するアイテムをポインタで選択する動作を、聴覚を用いて行うことが可能となる。これにより、視覚障害者のＧＵＩの操作性を高めることが可能となる。
The effects of the invention according to the first embodiment will be described below. The user can move the pointer onto the desired item by inputting a left click signal from the
また、ユーザは、アイテム断続音に同期させて左クリック信号を入力することにより、同期させたアイテム断続音とアイテムの内容との対応を音声で確認することができる。そしてユーザは、アイテム断続音の種類を聞き分けることで、選択を所望するアイテムを見つけ出すことができる。よって、ユーザの利便性をさらに高めることが可能となる。 Moreover, the user can confirm the correspondence between the synchronized item intermittent sound and the content of the item by voice by inputting the left click signal in synchronization with the item intermittent sound. The user can find out the item desired to be selected by distinguishing the type of the item intermittent sound. Therefore, it is possible to further improve the convenience for the user.
また、断続周期が短いためにクリック動作をアイテム断続音と同期させることが困難な場合にあっては、シフトキーと同時にＦ５キーを押下することにより、断続周期を広げ、クリック動作の同期を行いやすくすることができる。なお、マウス８の操作により、断続周期を大きくする方向（遠ざける方向）にポインタを移動させてから、アイテム断続音と同期したクリック動作を行うとしてもよい。
If it is difficult to synchronize the click operation with the item intermittent sound because the intermittent cycle is short, pressing the F5 key at the same time as the shift key widens the intermittent cycle and makes it easy to synchronize the click operation. can do. Note that a click operation synchronized with the item intermittent sound may be performed after moving the pointer in the direction of increasing the intermittent period (the direction of moving away) by operating the
また、ポインタとアイテムとの相互距離に応じて、アイテム断続音の断続周期が変化する。よって、アイテム位置を把握しているユーザにあっては、ポインタを移動させて断続周期の変化を聞き分けることにより、位置を把握しているアイテムに対応付けられたアイテム断続音を認識することができる。これにより、ユーザは、アイテム断続音の音の高さを予め記憶することなく、アイテムの種類を識別することが可能となる。 Moreover, the intermittent period of the item intermittent sound changes according to the mutual distance between the pointer and the item. Therefore, the user who knows the item position can recognize the item intermittent sound associated with the item whose position is known by moving the pointer and listening to the change in the intermittent period. . Thereby, the user can identify the item type without storing the pitch of the item intermittent sound in advance.
第２実施形態を説明する。第２実施形態は、アイテム断続音がリズムを有している形態である。なお、第２実施形態に係る入力装置１の構成は、第１実施形態に係る入力装置１の構成と同様であるため、ここでは詳細な説明は省略する。
A second embodiment will be described. In the second embodiment, the item intermittent sound has a rhythm. The configuration of the
第２実施形態に係る入力装置１の動作を、図７を用いて説明する。図７は、アイテム識別番号の１０１から１０３の３つのアイテムについての、リズムを有するアイテム断続音の出力例である。アイテム識別番号が１０１のアイテム断続音について説明する。アイテム断続音は、繰り返し周期ＣＴ１を有する。繰り返し周期ＣＴ１には、２つの断続音Ｓ１およびＳ２が含まれる。よって、繰り返し周期ＣＴ１に含まれる断続音数は２つである。また、断続周期は、繰り返し周期ＣＴ１の中で、周期Ｔ１からＴ２へ変化する。このように、１つの繰り返し周期内で断続周期を変化させることによって、多種類のリズムを有したアイテム断続音を生成することが可能となる。
The operation of the
同様に、アイテム識別番号が１０２のアイテムのアイテム断続音は、繰り返し周期ＣＴ２を有し、繰り返し周期ＣＴ２に含まれる断続音数は３つである。また、アイテム識別番号が１０３のアイテムのアイテム断続音は、繰り返し周期ＣＴ３を有し、繰り返し周期ＣＴ３に含まれる断続音数は４つである。このように、１つの繰り返し周期に含まれる断続音の数を異ならせることによっても、多種類のリズムを有するアイテム断続音を生成することが可能となる。なお、これらの多種類のリズムと各種アイテムとの対応関係が、アイテムテーブル３０１に記憶されるとしてもよい。
Similarly, the item intermittent sound of the item having the
次に、第２実施形態に係るアイテム選択操作を、図３のフローを用いて説明する。例として、アイテム識別番号が１０２（ＣＡＮＣＥＬ）のアイテムを、第２実施形態に係るアイテム選択操作を用いて選択する場合を説明する。この場合には、ユーザは、アイテム識別番号が１０２のアイテム断続音（図７）に同期して、左クリック信号の入力を行う。 Next, an item selection operation according to the second embodiment will be described using the flow of FIG. As an example, a case will be described in which an item whose item identification number is 102 (CANCEL) is selected using the item selection operation according to the second embodiment. In this case, the user inputs a left click signal in synchronization with the item intermittent sound whose item identification number is 102 (FIG. 7).
まず、図７の期間ＴＲ１において、シフトキーを押しながら、マウス８の左クリックボタンをアイテム断続音に同期させて３回クリックする操作が行われる。これにより、Ｓ８１において、第１フラグ４０３がＯＮになる。次に、期間ＴＲ２において、シフトキーを押しながら、マウス８の左クリックボタンをアイテム断続音に同期させて３回クリックする操作が行われる。これにより、Ｓ８７において、第２フラグ４０４がＯＮになる。そして、Ｓ８９において、アイテム識別番号＝１０２のアイテムが選択対象アイテムに決定される。このように、アイテム断続音がリズムを有する場合においても、クリック入力によるアイテム選択操作が可能とされる。
First, in the period TR1 in FIG. 7, an operation is performed in which the left click button of the
次に、アイテムとアイテム断続音との対応確認フローについて、図８および図９を用いて説明する。対応確認フローは、アイテム断続音を確認したい場合などの必要に応じて、ユーザによりシフトキーとＦ４キーとが同時押下されることにより開始されるフローである。例として、断続音数が３つのアイテム断続音に対応付けられたアイテムを確認する場合を説明する。 Next, the correspondence confirmation flow between items and item intermittent sounds will be described with reference to FIGS. 8 and 9. The correspondence confirmation flow is a flow that is started when the user simultaneously presses the shift key and the F4 key as necessary when confirming an item intermittent sound. As an example, a case will be described in which an item associated with an item intermittent sound whose number of intermittent sounds is three is confirmed.
対応確認フローは、クリック監視フロー（図８）と、キー解除監視フロー（図９）とを備える。まず、クリック監視フローを説明する。マウス８の左クリックボタンのクリックに応じて、フローが開始され、Ｓ１１１へ進む。Ｓ１１１において、ＣＰＵ１４は、シフトキーとＦ４キーとが同時に押下中であるか否かを判断する。押下中であると判断された場合（Ｓ１１１：ＹＥＳ）には、Ｓ１１５へ進み、ワークエリア３１に記憶されるクリックカウント数を１つカウントアップする。そしてクリック監視フローを終了する。
The correspondence confirmation flow includes a click monitoring flow (FIG. 8) and a key release monitoring flow (FIG. 9). First, the click monitoring flow will be described. In response to clicking of the left click button of the
一方、Ｓ１１１において、シフトキーとＦ４キーとが同時に押下中ではないと判断された場合（Ｓ１１１：ＮＯ）には、Ｓ１１３へ進み、通常のクリック処理が行われる。そして、Ｓ１１７に進み、ＣＰＵ１４は、ワークエリア３１に記憶されたクリックカウント数をクリアする。そしてクリック監視フローを終了する。なお、クリック監視フローは、左クリックボタンのクリックが行われるたびに繰り返される。
On the other hand, if it is determined in S111 that the shift key and the F4 key are not pressed simultaneously (S111: NO), the process proceeds to S113, and a normal click process is performed. In step S117, the
本説明例では、断続音数が３つのアイテム断続音に対応付けられたアイテムを確認する場合を説明しているため、シフトキーとＦ４キーとの押下中に、左クリックボタンが３回クリックされる。これにより、図８のフローが３回繰り返されることで、クリックカウント数が３回とされる。 In this example, since the case where an item associated with three item intermittent sounds is confirmed is described, the left click button is clicked three times while the shift key and the F4 key are pressed. . Thereby, the flow of FIG. 8 is repeated three times, so that the click count number is three.
次に、キー監視フロー（図９）を説明する。Ｓ１２１において、ＣＰＵ１４は、シフトキーとＦ４キーとの同時押下が解除されたか否かを判断する。解除されていないと判断された場合（Ｓ１２１：ＮＯ）には、Ｓ１２３へ進み、ＣＰＵ１４は、通常のキー処理を行う。一方、解除されたと判断された場合（Ｓ１２１：ＹＥＳ）には、Ｓ１２５へ進む。Ｓ１２５において、ＣＰＵ１４は、ワークエリア３１からクリックカウント数を取得する。
Next, a key monitoring flow (FIG. 9) will be described. In S121, the
Ｓ１２７において、ＣＰＵ１４は、クリックカウント数に対応する断続音数を有するアイテムを、アイテムテーブル３０１から検索する。そして、検索したアイテムのアイテム名３０４を読み上げる処理を行う。なお、Ｓ１２７で音声出力される情報は、アイテムの識別を可能とする情報であればよいため、アイテム名３０４に限らず、アイテム種類３０３などであってもよい。本説明例では、断続音数が３つのアイテム断続音（図７）に対応付けられた、アイテム識別番号が１０２（ＣＡＮＣＥＬ）のアイテムが検索され、アイテム名「ＣＡＮＣＥＬ」が読み上げられる。
In S127, the
Ｓ１２９において、ＣＰＵ１４は、選択対象アイテム４０２に対応するアイテム上にポインタを移動させる。具体的には、ＣＰＵ１４は、ポインタ位置情報を用いて算出されたポインタの座標を、選択対象アイテム４０２のアイテム位置情報に含まれるアイテムの座標に一致させる。これにより、選択対象アイテム４０２として選択されたアイテム上にポインタが位置し、クリックによる選択の確定待ち状態とされる。
In S <b> 129, the
これにより、ユーザは、クリック操作により断続音数を入力することで、アイテム断続音とアイテムの内容との対応を確認することができるため、ユーザの利便性をさらに高めることが可能となる。 Thereby, since the user can confirm the correspondence between the item intermittent sound and the content of the item by inputting the number of intermittent sounds by a click operation, the convenience of the user can be further enhanced.
次に、アイテムとアイテム断続音との、全体確認フローについて、図１０を用いて説明する。全体確認フローは、全てのアイテム断続音を確認したい場合などの必要に応じて、ユーザによりＦ３キーが押下されることにより開始されるフローである。Ｆ３キーの押下に応じて、Ｓ１３１へ進む。Ｓ１３１において、ＣＰＵ１４は、アイテム選択を行う。アイテム選択は、例えば、ポインタが存在するウインドウ内に表示されている各アイテムのうち、ポインタとの相互距離が小さいアイテムから順に選択されるとしてもよい。
Next, the overall confirmation flow of items and item intermittent sounds will be described with reference to FIG. The overall confirmation flow is a flow that is started when the user presses the F3 key as necessary, for example, when it is desired to confirm all item intermittent sounds. In response to pressing of the F3 key, the process proceeds to S131. In S131, the
Ｓ１３３において、ＣＰＵ１４は、Ｓ１３１で選択されたアイテムのアイテム名を音声出力する。Ｓ１３５に進むと、ＣＰＵ１４は、Ｓ１３１で選択されたアイテムに対応付けられた断続音数を、アイテムテーブル３０１から検索する。そして、検索した断続音数を、音声読み上げする処理を行う。なお、全体確認フローを第１の実施形態に応用する場合は、Ｓ１３５において、断続音数の音声読み上げに代えて、アイテム断続音を所定回数出力すればよい。
In S133, the
Ｓ１３７に進むと、ＣＰＵ１４は、全てのアイテムについて、アイテム断続音の断続音数の確認操作が終了したか否かを判断する。終了していないと判断された場合（Ｓ１３７：ＮＯ）にはＳ１３１へ戻り、終了したと判断された場合（Ｓ１３７：ＹＥＳ）にはフローを終了する。
When proceeding to S137, the
これにより、ユーザは、Ｆ３キーを押下することで、アイテム断続音の断続音数とアイテムの内容との対応を、全てのアイテムについて確認することができるため、ユーザの利便性をさらに高めることが可能となる。 Thereby, since the user can confirm the correspondence between the number of intermittent sounds of the item intermittent sound and the content of the item for all items by pressing the F3 key, the user's convenience can be further improved. It becomes possible.
第２実施形態に係る発明の効果を以下に説明する。繰り返し周期内で断続周期を変化させることや、繰り返し周期に含まれる断続音の数を異ならせることにより、多種類のリズムを有するアイテム断続音を生成することができる。これにより、アイテム断続音の種類を増加させることが出来るため、アイテム断続音により識別可能なアイテム数を増加させることが可能となる。 The effects of the invention according to the second embodiment will be described below. By changing the intermittent period within the repetition period, or by changing the number of intermittent sounds included in the repetition period, it is possible to generate an item intermittent sound having various types of rhythms. Thereby, since the kind of item intermittent sound can be increased, it becomes possible to increase the number of items which can be identified by the item intermittent sound.
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。上記の実施例の変形例を以下に列挙する。 Specific examples of the present invention have been described in detail above, but these are merely examples and do not limit the scope of the claims. The technology described in the claims includes various modifications and changes of the specific examples illustrated above. The modifications of the above embodiment are listed below.
本実施形態では、マウス８のクリックボタンのシングルクリック操作によってクリック信号が入力される場合を説明したが、この形態に限られない。ダブルクリック操作によってクリック信号が入力される形態としてもよい。
In the present embodiment, the case where a click signal is input by a single click operation of the click button of the
また本実施形態では、アイテム種類の識別のために、アイテム断続音周波数３０５、断続周期３０６、アイテム断続音音量３０７の３つの識別基準を用いる場合を説明したが、この形態に限られない。３つの識別基準のうちの何れか２つを組み合わせて用いる場合や、何れか１つのみを用いる場合にも、アイテム種類の識別が可能であることは言うまでもない。例えば、アイテムごとに固有のアイテム断続音周波数３０５およびアイテム断続音音量３０７を割り当てると共に、各アイテムに共通の断続周期３０６を用いる形態としてもよい。このとき、アイテム断続音が互いに重ならないように、アイテム断続音の発音タイミングをアイテム断続音の間で異ならせるとしてもよい。
Moreover, although this embodiment demonstrated the case where three identification criteria, the item
また、本実施形態では、ポインタ近傍のアイテムを選出する際に、ポインタとの相互距離が小さいアイテムから順に選出するとしたが、この形態に限られない。ポインタとの相互距離が、予め定められる所定距離内のアイテムを選出する形態としてもよい。なお、所定距離は、予めユーザなどによって定められるとしてもよい。 Moreover, in this embodiment, when selecting an item near the pointer, the items are selected in order from the item having the smallest mutual distance to the pointer. However, the present invention is not limited to this mode. It is good also as a form which selects the item in the mutual distance with a pointer within the predetermined distance defined beforehand. The predetermined distance may be determined in advance by a user or the like.
これにより、例えば、多数のアイテムがウインドウ内に表示されている場合においても、ポインタを中心とする所定半径内に存在するアイテムについてのみ、アイテム断続音を発生させることが可能となる。よって、同時に多数のアイテム断続音が発生するためにアイテムの識別性が低下する、という事態を防止することができる。 Thereby, for example, even when a large number of items are displayed in the window, it is possible to generate an intermittent sound only for items existing within a predetermined radius centered on the pointer. Therefore, it is possible to prevent a situation in which the identification of an item is deteriorated because a large number of item intermittent sounds are generated at the same time.
また、本実施形態では、ポインタとの相互距離が小さくなることに応じて、アイテム断続音の音量を大きくする形態を採用してもよい。これにより、ポインタがアイテムに近づく程、アイテム断続音の音量が大きくなる。よってユーザは、アイテム断続音の音量により、ポインタとアイテムとの相互距離についても認識することができるため、ユーザの利便性をさらに高めることが可能となる。また、断続音の周期はアイテムごとに固有として、ポインタとの相互距離が小さくなることに応じてそのデューティ比を変更してもよい。デューティ比とは、その断続音の有音部と無音部の比率である。これにより、アイテム断続音の周期がアイテムごとに一定となるので、その操作性をさらに向上することができる。 Moreover, in this embodiment, you may employ | adopt the form which makes the volume of an item intermittent sound large according to the mutual distance with a pointer becoming small. Thereby, the volume of the item intermittent sound increases as the pointer approaches the item. Therefore, since the user can recognize the mutual distance between the pointer and the item based on the volume of the item intermittent sound, it is possible to further improve the convenience for the user. Further, the period of the intermittent sound may be unique for each item, and the duty ratio may be changed in accordance with a decrease in the mutual distance from the pointer. The duty ratio is the ratio of the sound part and silent part of the intermittent sound. Thereby, since the period of the item intermittent sound becomes constant for each item, the operability can be further improved.
また、本実施形態では、各種の指示を入力する際にＦ３キー、Ｆ４キーなどを用いる場合を説明したが、これらのキーに限られない。キーボード２上の何れのキーを各種の指示の入力用に割り当てるかは任意であり、ユーザにより適宜設定できることは言うまでもない。
In this embodiment, the case where the F3 key, the F4 key, and the like are used when inputting various instructions has been described. However, the present invention is not limited to these keys. Needless to say, which key on the
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。 The technical elements described in this specification or the drawings exhibit technical usefulness alone or in various combinations, and are not limited to the combinations described in the claims at the time of filing. In addition, the technology illustrated in the present specification or the drawings achieves a plurality of objects at the same time, and has technical utility by achieving one of the objects.
なお、ワークエリア３１は記憶手段の一例、マウス８はポインティングデバイスの一例、Ｆ３キー押下は第１指示の一例、Ｆ５キー押下は第２指示の一例、である。
The
また、Ｓ３１、Ｓ４、Ｓ１３３、Ｓ１３５、Ｓ４５を実行する制御部は第１音出力手段の一例である。Ｓ７７を実行する制御部は同期判断手段の一例である。Ｓ１０１を実行する制御部はポインタ移動手段の一例である。Ｓ９３を実行する制御部は第２音出力手段の一例である。Ｓ２５を実行する制御部は距離算出手段の一例である。Ｓ２７、Ｓ４３を実行する制御部はアイテム選出手段の一例である。Ｓ１を実行する制御部はウインドウ選択手段の一例である。 Moreover, the control part which performs S31, S4, S133, S135, S45 is an example of a 1st sound output means. The control unit that executes S77 is an example of a synchronization determination unit. The control unit that executes S101 is an example of a pointer moving unit. The control unit that executes S93 is an example of a second sound output unit. The control unit that executes S25 is an example of a distance calculation unit. The control unit that executes S27 and S43 is an example of an item selection unit. The control unit that executes S1 is an example of a window selection unit.
１ 入力装置
６ モニタ
８ マウス
１４ ＣＰＵ
３１ ワークエリア
Ｐ１ ポインタ
Ｗ１、Ｗ２ ウインドウ
ＣＴ１ないしＣＴ３ 繰り返し周期
２０１ ウインドウテーブル
２０４ ウインドウ連続音周波数
３０１ アイテムテーブル
３０２ アイテム識別番号
３０５ アイテム断続音周波数
３０６ 断続周期
1
31 Work area P1 Pointer W1, W2 Window CT1 to
Claims (14)
ポインティングデバイスからポインタの移動方向や移動量を表すポインタ位置情報を受信して前記画面上に移動可能な前記ポインタを表示するポインタ表示手段と、
を備えるコンピュータを、
前記アイテムごとに固有の断続周期を有する断続音を前記アイテムの各々に対応付けて記憶する第１記憶制御手段と、
前記画面上に表示される前記アイテムに対応付けられた前記断続音を出力する第１音出力手段と、
前記ポインティングデバイスから複数回入力されるクリック信号の信号周期と前記断続周期とが同期するか否かを判断する同期判断手段と、
前記同期判断手段によって同期する旨の判断結果が得られた場合に、前記ポインタの表示位置を同期した前記断続音に対応する前記アイテムの表示位置に一致させるポインタ移動手段と、
して機能させるためのプログラム。 Item position information indicating the display position on the screen of a plurality of types of items displayed on the screen is stored in a storage means, and the item is displayed at the display position on the screen according to the item position information Display means;
Pointer display means for receiving pointer position information representing the movement direction and amount of movement of the pointer from a pointing device and displaying the pointer movable on the screen;
A computer comprising
First storage control means for storing an intermittent sound having a specific intermittent period for each item in association with each of the items;
First sound output means for outputting the intermittent sound associated with the item displayed on the screen;
Synchronization determination means for determining whether or not the signal period of the click signal input a plurality of times from the pointing device is synchronized with the intermittent period;
Pointer movement means for matching the display position of the pointer with the display position of the item corresponding to the synchronized intermittent sound when a determination result indicating that synchronization is obtained by the synchronization determination means;
Program to make it function.
前記同期判断手段によって同期する旨の判断結果が得られた前記断続音に対応付けられた前記アイテムの前記識別情報を音声出力する第２音出力手段と、
して前記コンピュータを機能させることを特徴とする請求項１に記載のプログラム。 Second storage control means for storing identification information representing the content of the item in association with each of the items;
Second sound output means for outputting the identification information of the item associated with the intermittent sound for which a determination result indicating synchronization is obtained by the synchronization determination means;
The program according to claim 1, wherein the computer is caused to function.
前記アイテムが前記画面上に複数表示されている場合に、前記相互距離が小さい前記アイテムから順に第１所定個数の前記アイテムを選出するアイテム選出手段と、
して前記コンピュータを機能させ、
前記第１音出力手段は、前記アイテム選出手段で選出された前記アイテムに対応付けられた前記断続音を出力する
ことを特徴とする請求項１または請求項２に記載のプログラム。 Based on the item position information and the pointer position information, distance calculation means for calculating a mutual distance between the item and the pointer;
When a plurality of the items are displayed on the screen, item selection means for selecting a first predetermined number of the items in order from the items having a smaller mutual distance;
The computer to function,
The program according to claim 1, wherein the first sound output unit outputs the intermittent sound associated with the item selected by the item selection unit.
前記アイテムが前記画面上に複数表示されている場合に、前記相互距離が予め定められる所定距離内の前記アイテムを選出するアイテム選出手段と、
して前記コンピュータを機能させ、
前記第１音出力手段は、前記アイテム選出手段で選出された前記アイテムに対応付けられた前記断続音を出力する
ことを特徴とする請求項１または請求項２に記載のプログラム。 Based on the item position information and the pointer position information, distance calculation means for calculating a mutual distance between the item and the pointer;
Item selection means for selecting the items within a predetermined distance in which the mutual distance is predetermined when a plurality of the items are displayed on the screen;
The computer to function,
The program according to claim 1, wherein the first sound output unit outputs the intermittent sound associated with the item selected by the item selection unit.
前記断続周期は前記繰り返し周期の中で変化する
ことを特徴とする請求項１ないし請求項４の何れかに記載のプログラム。 The intermittent sound is a sound having a repetition period,
The program according to any one of claims 1 to 4, wherein the intermittent period changes in the repetition period.
として前記コンピュータを機能させ、
前記アイテムは、前記アプリケーションへの指令入力用のインターフェースである
ことを特徴とする請求項１ないし請求項５の何れかに記載のプログラム。 Causing the computer to function as an application execution means for executing a plurality of types of applications;
The program according to any one of claims 1 to 5, wherein the item is an interface for inputting a command to the application.
前記ポインティングデバイスからの入力を受け付け、操作対象の前記ウインドウを選択するウインドウ選択手段と、
して前記コンピュータを機能させ、
前記第１記憶制御手段は、前記ウインドウごとに固有の周波数を有する連続音を前記ウインドウの各々に対応付けて記憶し、
前記第１音出力手段は、前記ウインドウ選択手段によって操作対象として選択されている前記ウインドウに対応付けられた前記連続音を前記断続音と共に出力する
ことを特徴とする請求項１ないし請求項６の何れかに記載のプログラム。 Window position information representing display positions on the screen of a plurality of types of windows displayed on the screen is stored in a storage means, and the windows are displayed at the display positions on the screen according to the window position information. Window display means;
Window selection means for receiving an input from the pointing device and selecting the window to be operated;
The computer to function,
The first storage control means stores a continuous sound having a unique frequency for each window in association with each of the windows,
The said 1st sound output means outputs the said continuous sound matched with the said window selected as operation object by the said window selection means with the said intermittent sound. The Claims 1 thru | or 6 characterized by the above-mentioned. A program according to any one of the above.
前記相互距離が小さくなることに応じて前記断続音の前記断続周期を短くする
ことを特徴とする請求項１ないし請求項７の何れかに記載のプログラム。 The first sound output means includes
The program according to any one of claims 1 to 7, wherein the intermittent period of the intermittent sound is shortened in accordance with a decrease in the mutual distance.
前記相互距離が小さくなることに応じて前記断続音の音量を大きくする
ことを特徴とする請求項１ないし請求項８の何れかに記載のプログラム。 The first sound output means includes
The program according to any one of claims 1 to 8, wherein the volume of the intermittent sound is increased in accordance with a decrease in the mutual distance.
前記相互距離に応じて前記断続音の有音部と無音部との比率であるデューティ比を変化させる
ことを特徴とする請求項１ないし請求項９の何れかに記載のプログラム。 The first sound output means includes
The program according to any one of claims 1 to 9, wherein a duty ratio which is a ratio of a sound part and a soundless part of the intermittent sound is changed according to the mutual distance.
入力手段から第１指示が入力されることに応じて、前記アイテムに対応付けられた前記断続音と、前記アイテムの内容を表す識別情報とを関連付けて音声出力する
ことを特徴とする請求項１ないし請求項１０の何れかに記載のプログラム。 The first sound output means includes
2. The voice is output in association with the intermittent sound associated with the item and identification information representing the content of the item in response to the input of the first instruction from the input unit. The program according to claim 10.
入力手段から第２指示が入力されることに応じて、前記アイテムの各々についての前記断続音の前記断続周期を所定割合で大きくする
ことを特徴とする請求項３または請求項４に記載のプログラム。 The first sound output means includes
5. The program according to claim 3, wherein the intermittent period of the intermittent sound for each of the items is increased by a predetermined ratio in response to a second instruction being input from the input unit. .
入力手段から前記第２指示が入力されることに応じて、前記相互距離が小さい前記アイテムから順に、前記第１所定個数よりも少ない第２所定個数の前記アイテムを選出し、
前記第１音出力手段は、前記第２所定個数の前記アイテムの各々についての前記断続音の前記断続周期を所定割合で大きくする
ことを特徴とする請求項１２に記載のプログラム。 The item selection means is:
In response to the input of the second instruction from the input means, in order from the items having a smaller mutual distance, a second predetermined number of items smaller than the first predetermined number is selected,
The program according to claim 12, wherein the first sound output means increases the intermittent period of the intermittent sound for each of the second predetermined number of items by a predetermined ratio.
ポインティングデバイスからポインタの移動方向や移動量を表すポインタ位置情報を受信して前記画面上に移動可能な前記ポインタを表示するポインタ表示手段と、
前記アイテムごとに固有の断続周期を有する断続音を前記アイテムの各々に対応付けて記憶する第１記憶制御手段と、
前記画面上に表示される前記アイテムに対応付けられた前記断続音を出力する第１音出力手段と、
前記ポインティングデバイスから複数回入力されるクリック信号の信号周期と前記断続周期とが同期するか否かを判断する同期判断手段と、
前記同期判断手段によって同期する旨の判断結果が得られた場合に、前記ポインタの表示位置を同期した前記断続音に対応する前記アイテムの表示位置に一致させるポインタ移動手段と、
を備えることを特徴とするインターフェース装置。 Item position information indicating the display position on the screen of a plurality of types of items displayed on the screen is stored in a storage means, and the item is displayed at the display position on the screen according to the item position information Display means;
Pointer display means for receiving pointer position information representing the movement direction and amount of movement of the pointer from a pointing device and displaying the pointer movable on the screen;
First storage control means for storing an intermittent sound having a specific intermittent period for each item in association with each of the items;
First sound output means for outputting the intermittent sound associated with the item displayed on the screen;
Synchronization determination means for determining whether or not the signal period of the click signal input a plurality of times from the pointing device is synchronized with the intermittent period;
Pointer movement means for matching the display position of the pointer with the display position of the item corresponding to the synchronized intermittent sound when a determination result indicating that synchronization is obtained by the synchronization determination means;
An interface device comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009050441A JP2010205018A (en) | 2009-03-04 | 2009-03-04 | Interface device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009050441A JP2010205018A (en) | 2009-03-04 | 2009-03-04 | Interface device and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010205018A true JP2010205018A (en) | 2010-09-16 |
Family
ID=42966425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009050441A Pending JP2010205018A (en) | 2009-03-04 | 2009-03-04 | Interface device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010205018A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012079027A (en) * | 2010-09-30 | 2012-04-19 | Nec Personal Computers Ltd | Window open method and apparatus |
-
2009
- 2009-03-04 JP JP2009050441A patent/JP2010205018A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012079027A (en) * | 2010-09-30 | 2012-04-19 | Nec Personal Computers Ltd | Window open method and apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101554221B1 (en) | Method for playing a musical instrument using potable terminal and apparatus thereof | |
| JP2007073042A (en) | Mobile communication terminal having content data scrolling capability and method for scrolling content data | |
| JP2003143286A (en) | Portable telephone set | |
| JP2008269456A (en) | Character input device and program for inputting character | |
| JP2009093368A (en) | Information processor and program | |
| JP2008305339A (en) | Operation time measuring instrument and method, skill level determining device and method, and program | |
| EP4130960A1 (en) | Ui control generation and trigger methods, and terminal | |
| JP2010205018A (en) | Interface device and program | |
| CN113031902B (en) | Multi-notification user interface | |
| JP6196569B2 (en) | DATA GENERATION / EDITION DEVICE, PROGRAM, AND DATA GENERATION / EDITION METHOD | |
| JP5353346B2 (en) | Schedule management apparatus and schedule management program | |
| JP2010198408A (en) | Interface device and program | |
| TWI569118B (en) | Screen generating software | |
| CN113362802A (en) | Voice generation method and device and electronic equipment | |
| US10459612B2 (en) | Select and move hint | |
| JP2012014401A (en) | Rhythm authentication device | |
| JP2001195170A (en) | Portable electronic equipment, input controller and storage medium | |
| US20140068441A1 (en) | Typetell touch screen keystroke announcer | |
| JP6447474B2 (en) | Electronics | |
| KR20100045617A (en) | Korean alphabet input method utilizing a multi-touch sensing touch screen | |
| US20120331383A1 (en) | Apparatus and Method for Input of Korean Characters | |
| JP2000330704A5 (en) | ||
| JP2016200918A (en) | Information processing apparatus, control method of the same, and program | |
| JP2011065435A (en) | Display apparatus and display system | |
| CN113908526A (en) | Operation processing method and device in music game, electronic equipment and storage medium |