JP2010205018A - インターフェース装置およびプログラム - Google Patents

Abstract

【課題】より高い操作性を有するインターフェース装置およびプログラムを提供すること。
【解決手段】ＣＰＵ１４は、アイテムのモニタ６上の表示位置を表すアイテム位置情報をワークエリア３１に記憶し、アイテム位置情報に応じた表示位置にアイテムを表示する。ＣＰＵ１４は、マウス８からポインタの移動方向や移動量を表すポインタ位置情報を受信して、モニタ６上に移動可能なポインタＰ１を表示する。ＣＰＵ１４は、アイテムごとに固有の断続周期３０６を有するアイテム断続音を、アイテムの各々に対応付けてアイテムテーブル３０１記憶する。ＣＰＵ１４は、モニタ６上に表示されるアイテムに対応付けられたアイテム断続音を出力する。ＣＰＵ１４は、マウス８から入力されるクリック信号の信号周期と断続周期３０６とが同期するか否かを判断する。ＣＰＵ１４は、同期する旨の判断結果が得られた場合に、ポインタの表示位置を、同期したアイテム断続音に対応するアイテムの表示位置に一致させる。
【選択図】図２

Description

本発明は、コンピュータをインターフェース手段として機能させるプログラムおよびインターフェース装置に関する。

近年のコンピュータでは、ＧＵＩ（Graphical User Interface）が多く採用されている。また、視覚障害者のユーザがＧＵＩを使用する際に、ＧＵＩの可用性を向上させるための技術が開示されている。例えば、コンピュータの表示装置に表示されるポインタの位置に応じて、複合可聴信号を生成する。ユーザは、この複合可聴信号を用いて、表示装置に表示されている選択オブジェクトを探し出す。

特開平５−２３３１８８号公報

しかし、視覚障害者を対象とした場合、上記技術にあっても視覚障害者に十分な操作性を提供するものではない。また、健常者を対象とした場合にあっても、常時画面を見ることが難しい使用形態にあっては、同様の問題が生じる。本明細書では、より高い操作性を有するインターフェース手段を提供することができる技術を提供する。

本発明に係るコンピュータおよびインターフェース装置は、アイテム表示手段と、ポインタ表示手段とを備える。アイテム表示手段は、画面上に表示される複数種類のアイテムの画面上の表示位置を表すアイテム位置情報を、記憶手段に記憶する。アイテムの一例としては、ＯＫボタン、ＣＡＮＣＥＬボタンなどが挙げられる。また、アイテムの表示位置の一例としては、アイテムの画面上における座標が挙げられる。また、アイテム表示手段は、アイテム位置情報に応じた表示位置を有するアイテムを、画面上に表示する。ポインタ表示手段は、ポインティングデバイスから、ポインタの移動方向や移動量を表すポインタ位置情報を受信する。ポインティングデバイスの一例としては、マウスや、ペンタブレットなどが挙げられる。ポインタの一例としては、画面上に表示される矢印などが挙げられる。また、ポインタ表示手段は、ポインタ位置情報に応じて、画面上に移動可能なポインタを表示する。

また、本発明に係るプログラムは、コンピュータを、第１記憶制御手段と、第１音出力手段と、同期判断手段と、ポインタ移動手段と、して機能させる。また、本発明に係るインターフェース装置は、第１記憶制御手段と、第１音出力手段と、同期判断手段と、ポインタ移動手段と、を備える。第１記憶制御手段は、アイテムごとに固有の断続周期を有する断続音を、アイテムの各々に対応付けて記憶する。断続周期を有する断続音とは、周期性を有して途切れ途切れに発生する音である。また、断続周期は、音と音との間隔時間である。第１音出力手段は、画面上に表示されるアイテムに対応付けられた断続音を出力する。同期判断手段は、ポインティングデバイスから複数回入力されるクリック信号の信号周期と断続周期とが同期するか否かを判断する。クリック信号の一例としては、マウスのクリックボタンを押すことによって入力される信号や、ペン先をタブレットに短時間接触させることによって入力される信号などが挙げられる。また、同期とは、断続音の発生タイミングと、クリック信号の入力タイミングとが一致することである。ポインタ移動手段は、同期判断手段によって同期する旨の判断結果が得られた場合に、ポインタの表示位置を同期した断続音に対応するアイテムの表示位置に一致させる。

これにより、ユーザは、断続音の種類によってアイテムの種類を識別し、選択を所望するアイテムを見つけ出すことが可能となる。そして、選択を所望するアイテムに対応付けられた断続音の断続周期と同期するように、ポインティングデバイスからクリック信号を入力することで、所望するアイテム上にポインタを移動させることができる。よって、所望するアイテムをポインタで選択する動作を、聴覚のみを用いて行うことが可能となる。これにより、視覚障害者のＧＵＩの操作性を高めることが可能となる。

また、コンピュータを、第２記憶制御手段と、第２音出力手段として機能させるとしてもよい。第２記憶制御手段は、アイテムの内容を表す識別情報を、アイテムの各々に対応付けて記憶する。識別情報の一例としては、アイテムの名称やアイテムの内容説明が挙げられる。第２音出力手段は、同期判断手段によって同期する旨の判断結果が得られた断続音に対応付けられたアイテムの識別情報を、音声出力する。これによりユーザは、断続音と同期するクリック信号を入力することで、断続音とアイテムの内容との対応を音声で確認することができる。よって、ユーザの利便性をさらに高めることが可能となる。

また、コンピュータを、距離算出手段と、アイテム選出手段として機能させるとしてもよい。距離算出手段は、アイテム位置情報とポインタ位置情報とに基づいて、アイテムとポインタとの相互距離を算出する。また、アイテム選出手段は、アイテムが画面上に複数表示されている場合に、相互距離が小さいアイテムから順に第１所定個数のアイテムを選出する。第１所定個数は、予めユーザなどによって定められるとしてもよい。また、第１音出力手段は、アイテム選出手段で選出されたアイテムに対応付けられた断続音を出力する、としてもよい。これにより、例えば、多数のアイテムが画面上に表示されている場合においても、ポインタの近傍の第１所定個数のアイテムについてのみ断続音を発生させることが可能となる。よって、同時に多数の断続音が発生するためにアイテムの識別性が低下する、という事態を防止することができる。

また、アイテム選出手段は、アイテムが画面上に複数表示されている場合に、相互距離が予め定められる所定距離内のアイテムを選出する、としてもよい。所定距離は、予めユーザなどによって定められるとしてもよい。これにより、例えば、多数のアイテムが画面上に表示されている場合においても、ポインタを中心とする所定半径内に存在するアイテムについてのみ断続音を発生させることが可能となる。よって、同時に多数の断続音が発生するためにアイテムの識別性が低下する、という事態を防止することができる。

また、断続音は繰り返し周期を有する音であるとしてもよい。また、繰り返し周期には、複数の音が含まれるとしてもよい。また、断続周期は繰り返し周期の中で変化するとしてもよい。繰り返し周期に複数の音が含まれる場合に、音と音との断続周期が変化することによって、リズムを有した断続音を生成することが可能となる。これにより、多数種類のリズムを有する断続音を生成することができるため、断続音により識別することができるアイテム数を増加させることが可能となる。

また、コンピュータを、複数種類のアプリケーションを実行するアプリケーション実行手段として機能させるとしてもよい。アプリケーションの一例としては、ワープロソフト、表計算ソフト、写真加工ソフトなどが挙げられ、それぞれが単数あるいは複数のウインドウを持つ。また、アイテムは、アプリケーションへの指令入力用のインターフェースであり、ウインドウ上に配置される。指令入力用のインターフェースの一例としては、ＯＫボタン、ＣＡＮＣＥＬボタン、文字入力用のウインドウ、などが挙げられる。これにより、アプリケーションの操作性をさらに高めることが可能となる。

また、コンピュータを、ウインドウ表示手段と、ウインドウ選択手段として機能させるとしてもよい。ウインドウ表示手段は、画面上に表示される複数種類の各ウインドウの表示位置を表すウインドウ位置情報を、記憶手段に記憶する。また、ウインドウ位置情報の一例としては、ウインドウの画面上における座標や、ウインドウのサイズが挙げられる。また、ウインドウ表示手段は、ウインドウ位置情報に応じた表示位置を有するウインドウを、画面上に表示する。ウインドウ選択手段は、ポインティングデバイスからの入力を受け付け、操作対象のウインドウを選択する。ポインティングデバイスからの入力の一例としては、画面上に表示されるウインドウ上にポインタを移動させた上で、ポインティングデバイスのボタンをクリックする入力操作が挙げられる。また、操作対象とされているウインドウの一例としては、アクティブウインドウ化されているウインドウが挙げられる。また、第１記憶制御手段は、ウインドウごとに固有の周波数を有する連続音を、ウインドウの各々に対応付けて記憶する、としてもよい。連続音は、無音部を有さず、途切れ目の存在しない音である。また、第１音出力手段は、ウインドウ選択手段によって操作対象として選択されているウインドウに対応付けられた連続音を、断続音と共に出力するとしてもよい。

これにより、アイテムごとに固有の周波数（音の高さ）を有する断続音と、ウインドウごとに固有の周波数（音の高さ）を有する連続音とが、同時期に発生される。そして、断続音と連続音とが同時期に発生している場合においても、断続音は無音部を有するため、当該無音部において連続音を聞き取ることができる。すると、連続音によってウインドウを識別できると同時に、断続音によってアイテムを識別することが可能となる。よって、ウインドウの識別とアイテムの識別とを同時期に行うことができるため、ユーザの利便性をさらに高めることが可能となる。

また、第１音出力手段は、相互距離が小さくなることに応じて断続音の断続周期を短くする、としてもよい。また、第１音出力手段は、相互距離が小さくなることに応じて断続音の音量を大きくする、としてもよい。これにより、ポインタがアイテムに近づく程、断続音の断続周期が短くなる（音と音との間隔が狭くなる）ことや、断続音の音量が大きくなることが行われる。よって、ユーザは断続音の断続周期や音量により、ポインタとアイテムとの相互距離についても認識することができるため、ユーザの利便性をさらに高めることが可能となる。そして、アイテム位置を把握しているユーザにあっては、ポインタを移動させて断続周期や音量の変化を聞き分けることにより、位置を把握しているアイテムに対応付けられたアイテム断続音を認識することができる。これにより、ユーザは、断続音の種類を予め記憶することなく、アイテムの種類を識別することが可能となる。

また、第１音出力手段は、相互距離に応じて、断続音の有音部と無音部との比率であるデューティ比を変化させる、としてもよい。これにより、ユーザは、断続音のデューティの変化によってもポインタとアイテムとの相互距離について認識することができるため、ユーザの利便性をさらに高めることが可能となる。また、これにより、アイテム断続音の断続周期を一定にしたまま、多数種類のデューティ比を有する断続音を生成することができるため、断続音により識別することができるアイテム数を増加させることが可能となる。また、ユーザの操作性をさらに高めることができる。

また、第１音出力手段は、入力手段から第１指示が入力されることに応じて、アイテムに対応付けられた断続音と、アイテムの内容を表す識別情報とを関連付けて音声出力する、としてもよい。第１指示の一例としては、第１指示の入力用に割り当てられたキーボード上のキーが押下されることにより行われる指示が挙げられる。また、断続音と識別情報とを関連付けて音声出力する方法としては、例えば、断続音の音声出力直後に識別情報を音声出力する、といった方法が挙げられる。これによりユーザは、第１指示を入力することで、断続音とアイテムの内容との対応を確認することができるため、ユーザの利便性をさらに高めることが可能となる。

また、第１音出力手段は、入力手段から第２指示が入力されることに応じて、第２所定個数のアイテムの各々についての断続音の断続周期を所定割合で大きくする、としてもよい。入力手段の一例としては、キーボードが挙げられる。また第２指示の一例としては、第２指示の入力用に割り当てられたキーボード上のキーが押下されることにより行われる指示が挙げられる。

これにより、複数の断続音を聞き分ける際に、断続周期が小さくて聞き分けが困難である場合には、第２指示を行うことで断続周期を広げることができる。よって、断続周期によるアイテムの識別性をさらに高めることが可能となる。
また、所定割合で断続周期を広げるため、複数の断続音の間における断続周期の大小関係は保たれる。よって、断続周期によるアイテムの識別性を維持することができる。

また、アイテム選出手段は、入力手段から第２指示が入力されることに応じて、相互距離が小さいアイテムから順に、第１所定個数よりも少ない第２所定個数のアイテムを選出する、としてもよい。
また、第１音出力手段は、第２所定個数のアイテムの各々についての断続音の断続周期を、所定割合で大きくする、としてもよい。所定割合は、予めユーザなどによって定められるとしてもよい。

これにより、多数の断続音が同時期に発生しており聞き分けが困難である場合においても、第２指示を行うことで、断続音の発生数を第１所定個数よりも少ない第２所定個数に減らすことができる。よって、識別対象のアイテムをさらに絞り込むことができるため、アイテムの識別性をさらに高めることが可能となる。

入力装置１の構成を示す図である。 ポインタ位置の監視フロー図である。 アイテム選択フロー図である。 各テーブルの表示例である。 モニタ上のアイテムおよびポインタの表示例である。 アイテム断続音の出力例を示す図（その１）である。 アイテム断続音の出力例を示す図（その２）である。 クリック監視フロー図である。 キー解除監視フロー図である。 全体確認フロー図である。

第１実施形態に係る入力装置１の構成を説明する。図１で示すように、入力装置１は、制御部１０、キーボード２、スピーカ４、モニタ６、マウス８を備える。入力装置１の例としては、パーソナルコンピュータ（ＰＣ）などが挙げられる。キーボード２には、スペースキー、リターンキー、ファンクションキー（Ｆ３キーやＦ４キーなど）、数字キー、などが備えられている。スピーカ４は、音声出力プログラム２６によって生成された音声情報を出力する。モニタ６には、後述するアイテムやポインタなどが表示される。マウス８は、右クリックボタンおよび左クリック力ボタンを備える。マウス８は、後述するポインタ位置情報や、クリックボタンのクリック操作に関する情報を、制御部１０に送信する。

制御部１０は、ＣＰＵ１４、記憶装置２０、ＲＡＭ３０、インターフェース１３が、バス１２を介して接続される。記憶装置２０は、ハードディスクやＮＶＲＡＭなどの不揮発性の記憶装置である。記憶装置２０には、制御プログラム２１、音声出力プログラム２６、パラメータ記憶領域２７などが格納されている。制御プログラム２１は、電源管理、入出力管理、各プログラムの制御など、入力装置１の全体を制御するプログラムである。音声出力プログラム２６は、アイテム名などを音声情報に変換し、読み上げるプログラムである。音声出力プログラム２６の例としては、ＯＳ（Operating System）に装備されているボイスオーバー機能などの、周知のソフトウエアが挙げられる。パラメータ記憶領域２７は、ＣＰＵ１４が制御プログラム２１に従って処理を実行する際に利用される、各種パラメータを記憶するための記憶領域である。パラメータ記憶領域２７には、ウインドウテーブル２０１およびアイテムテーブル３０１が記憶される。

図４（Ａ）に、ウインドウテーブル２０１のテーブル例を示す。ウインドウテーブル２０１は、ウインドウについての各種設定が登録される。ウインドウとは、描画ソフト、ワープロソフト、表計算ソフトなどの、ある特定の目的のために設計されたアプリケーションにより表示されるものである。入力装置１で実行されたアプリケーションは、ウインドウとしてモニタ６に表示される。ウインドウテーブル２０１には、ウインドウ識別番号２０２、ウインドウ名２０３、ウインドウ連続音周波数２０４、ウインドウ連続音音量２０５が登録される。ウインドウ識別番号２０２は、ウインドウを区別するための数字である。ウインドウ名２０３は、ウインドウの名称である。ウインドウ連続音周波数２０４は、ウインドウ連続音の周波数である。ウインドウ連続音は、ウインドウごとに固有の周波数で、ウインドウの各々に対応付けられる音である。また、連続音は、無音部を有さず途切れ目の存在しない音である。ウインドウ連続音周波数２０４が高くなることに応じて、ウインドウ連続音の高さは高くなる。ユーザは、ウインドウ連続音の高さを聞き分けることによって、ウインドウの種類を識別することが可能となる。ウインドウ連続音音量２０５は、ウインドウ連続音の音量である。ユーザは、ウインドウ連続音の音量を聞き分けることによっても、ウインドウの種類を識別することが可能となる。このウインドウテーブル２０１には、新たなウインドウが表示される毎に、そのウインドウが追加され、またウインドウが消されるごとに消去される。この処理は、ウインドウの追加機能および消去機能を有するサービスをＯＳの一部として組み込むことにより実現される。

図４（Ｂ）に、ウインドウ名２０３＝ウインドウ１に関するアイテムテーブル３０１のテーブル例を示す。アイテムテーブル３０１は、ウインドウごとに作成される。アイテムテーブル３０１には、アイテムについての各種設定が登録される。アイテムとは、モニタ６上で小さな絵や記号で表わされた、ポインタによって選択可能な対象である。アイテムの一例としては、ＯＫボタンなどの各種ボタンや、文字入力に用いられるテキストボックスなどが挙げられる。アイテムテーブル３０１には、アイテム識別番号３０２、アイテム種類３０３、アイテム名３０４、アイテム断続音周波数３０５、断続周期３０６、アイテム断続音音量３０７が登録される。アイテム識別番号３０２は、アイテムを区別するための数字である。アイテム種類３０３は、ボタンやテキストボックスなど、アイテム種類を表す情報である。アイテム名３０４は、アイテムの名称である。アイテム断続音周波数３０５は、アイテム断続音の周波数の初期値である。アイテム断続音は、アイテムごとに固有の周波数で、アイテムの各々に対応付けられる音である。また、断続音は、無音部を有して途切れ途切れに発生する音である。アイテム断続音周波数３０５が高くなることに応じて、アイテム断続音の高さは高くなる。断続周期３０６は、断続音の音と音との間隔時間の初期値である。アイテム断続音音量３０７は、断続音の音量である。なお、アイテムに割り当てられるアイテム断続音周波数３０５、断続周期３０６、アイテム断続音音量３０７の値は、任意の値でよい。

ＲＡＭ３０は、揮発性の読み書き可能なメモリであり、選択入力処理における種々の情報を一時的に記憶する領域である。ワークエリア３１は、選択アイテムテーブル４０１、アイテム位置情報、ポインタ位置情報、クリックカウント数、などを記憶する記憶領域である。

図４（Ｃ）に、選択アイテムテーブル４０１のテーブル例を示す。選択アイテムテーブル４０１には、選択対象アイテム４０２、第１フラグ４０３、第２フラグ４０４が登録される。選択対象アイテム４０２には、本実施形態に係るアイテム選択フローを用いて選択されたアイテムのアイテム識別番号３０２が、記憶される。第１フラグ４０３および第２フラグ４０４は、マウス８から入力される左クリック信号の信号周期と、アイテム断続音の断続周期３０６とが同期するか否かを判断するために用いられるフラグである。第１フラグ４０３は、左クリック信号とアイテム断続音との１回目の同期が行われた場合にＯＮになるフラグである。第２フラグ４０４は、左クリック信号とアイテム断続音との２回目の同期が行われた場合にＯＮになるフラグである。連続して入力される左クリック信号が、２回続けてアイテム断続音と同期する時に第２フラグ４０４がＯＮとされる。

モニタ６上での、アイテムやポインタなどの表示形態について、図５の表示例を用いて説明する。ＣＰＵ１４は、ポインタによって選択されたアプリケーションの実行を行う。例えば、アプリケーションを表すアイコン上にポインタが位置する状態で、マウス８の入力ボタンをダブルクリックすることにより、当該アプリケーションが実行対象として選択され、プログラムの実行が開始される。アプリケーションは同時に複数実行可能であり、ひとつのアプリケーションは１ないし複数のウインドウをモニタ６上に表示する。図５の例では、ウインドウ識別番号２０２＝１００１に該当するウインドウ１が実行され、ウインドウＷ１として表示されている。また、ウインドウ識別番号２０２＝１００２に該当するウインドウ２が実行され、ウインドウＷ２として表示されている。

また、ＣＰＵ１４は、各種アイテムのモニタ６上の表示位置を表すアイテム位置情報を、ワークエリア３１に記憶する。アイテム位置情報は、アイテムのモニタ６上の座標を含んだ情報である。そして、ＣＰＵ１４は、アイテム位置情報に応じたモニタ６上の表示位置に、アイテムを表示する。図５の例では、ウインドウＷ１内には、アイテム識別番号３０２の１０１ないし１０６のアイテムが表示される。また、ウインドウＷ２内には、アイテム識別番号が１１１および１１２のアイテムが表示される。

また、ＣＰＵ１４は、マウス８から、ポインタの移動方向や移動量を表すポインタ位置情報を受信して、ワークエリア３１に記憶する。また、ＣＰＵ１４は、ポインタ位置情報に応じて、モニタ６上にポインタを移動可能に表示する。図５の例では、矢印形状のポインタＰ１が、モニタ６上に表示される。

また、ＣＰＵ１４は、操作対象として選択されるウインドウ（入力フォーカスを持つウインドウ）を、強調表示する。ウインドウを操作対象として選択する方法の一例としては、ウインドウ上にポインタが位置する時にマウス８の入力ボタンをクリックする方法が挙げられる。図５の例では、ウインドウ１が操作対象として選択され、ウインドウＷ１がアクティブウインドウとされている場合を説明する。アクティブとされたウインドウＷ１は、最前面に配置されることにより、強調表示される。また、アクティブとされたウインドウＷ１の枠（実線）が、非アクティブのウインドウＷ２の枠（点線）よりも濃く表示されることにより、強調表示される。

第１実施形態に係る入力装置１の動作を説明する。図２を用いて、本実施形態に係るポインタ位置の監視フローを説明する。Ｓ１において、ＣＰＵ１４は、操作対象として選択されたウインドウが存在するか否かを判断する。存在しないと判断された場合（Ｓ１：ＮＯ）には、Ｓ３へ進み、ＣＰＵ１４は、ウインドウ連続音をＯＦＦ状態にする。そしてＳ７へ進み、ＣＰＵ１４は、アイテム断続音をＯＦＦ状態にした上で、Ｓ１へ戻る。

一方、操作対象として選択されたウインドウが存在すると判断された場合（Ｓ１：ＹＥＳ）には、Ｓ４へ進む。Ｓ４において、ＣＰＵ１４は、操作対象として選択されたウインドウに対応付けられたウインドウ連続音周波数２０４およびウインドウ連続音音量２０５を、ウインドウテーブル２０１から検索する。そして、検索したウインドウ連続音周波数２０４およびウインドウ連続音音量２０５を有するウインドウ連続音を、スピーカ４から出力する。図５の例では、ウインドウ１に対応するウインドウ連続音周波数２０４＝１．０（ＫＨｚ）、ウインドウ連続音音量２０５＝レベル８で、スピーカ４からウインドウ連続音が出力される。

Ｓ５に進むと、ＣＰＵ１４は、操作対象として選択されたウインドウ上に、ポインタが存在するか否かを判断する。ポインタが存在しない場合（Ｓ５：ＮＯ）にはＳ７へ進み、アイテム断続音がＯＦＦされる。一方、ポインタが存在する場合（Ｓ５：ＹＥＳ）にはＳ１７へ進む。

Ｓ１７において、ＣＰＵ１４は、Ｆ５キーが押下中であるか否かを判断する。Ｆ５キーは、後述するように、断続音を発生させるアイテムを絞り込むための命令を入力するキーである。Ｆ５キーが押下中ではないと判断される場合（Ｓ１７：ＮＯ）には、Ｓ２５へ進み、広範囲から所望のアイテムを探索する処理が行われる。

Ｓ２５において、ＣＰＵ１４は、ポインタが存在するウインドウ内に表示されている各アイテムと、ポインタとの相互距離の計算を行う。具体的には、ＣＰＵ１４は、アイテム位置情報に含まれるアイテムの座標と、ポインタ位置情報を用いて算出されたポインタの座標とに基づいて、アイテムとポインタとの相互距離を算出する。図５の例では、ポインタＰ１が存在するウインドウＷ１内に表示されている、アイテム識別番号が１０１ないし１０６のアイテムと、ポインタＰ１との相互距離が計算される（矢印Ｙ１ないしＹ６）。なお、ポインタＰ１が存在しないウインドウＷ２内に表示されている、アイテム識別番号が１１１および１１２のアイテムと、ポインタＰ１との相互距離については、計算は行われない。

Ｓ２７に進むと、ＣＰＵ１４は、ポインタ近傍に存在する３つのアイテムを選出する。具体的には、ＣＰＵ１４は、アイテムがウインドウ内に複数表示されている場合には、相互距離が小さいアイテムから順に３個のアイテムを選出する。なお、選出されるアイテム数は、予めユーザなどによって定められるとしてもよい。また「ＯＫボタン」など、使用頻度の高いものについては優先的に選出されるようにしてもよい。図５の例では、相互距離が小さいアイテムから順に、アイテム識別番号３０２＝１０１、１０２、１０３の３つのアイテムが選出される（矢印Ｙ１ないしＹ３）。

これにより、例えば、多数のアイテムがウインドウＷ１内に表示されている場合においても、ポインタＰ１の近傍の３個のアイテムについてのみアイテム断続音を発生させることが可能となる。よって、同時に多数のアイテム断続音が発生するためにアイテムの識別性が低下する、という事態を防止することができる。

Ｓ２９において、ＣＰＵ１４は、相互距離から断続周期３０６の変更量を決定する。具体的には、相互距離が小さくなることに応じて、断続周期３０６の値を小さくするように変更する。これにより、ポインタがアイテムに近づく程、アイテム断続音の断続周期が短くなる（音と音との間隔が狭くなる）。よって、ユーザは断続周期３０６の変化により、ポインタとアイテムとの相互距離についても認識することができるため、ユーザの利便性をさらに高めることが可能となる。
なお、ここでは相互距離に応じてアイテム断続音の断続周期３０６を変えるようにしているが、相互距離に応じてアイテム断続音の音量を変える形態にしてもよい。上記構成により、ウインドウ上のアイテム位置を把握しているユーザにあっては、マウス８を動かしてアイテム断続音の断続周期変動あるいは音量変動を聞き分けることにより、位置を把握しているアイテムに対応付けられたアイテム断続音を容易に認識することができる。本実施例では、後述するように、アイテム断続音とアイテムとの対応一覧をユーザに知らしめる仕組みを提供することも可能であるが、その仕組みを使うことなく迅速にアイテム選択を可能とすることができる。

Ｓ３１において、ＣＰＵ１４は、近傍３アイテムに対応付けられたアイテム断続音をＯＮにする。図５の例では、アイテム識別番号３０２が１０１から１０３の３つのアイテムについてのアイテム断続音が、同時期に出力される。図６に、アイテム識別番号の１０１から１０３の３つのアイテム断続音の出力例を示す。図６において、横軸は時間であり、黒点は断続音が鳴っている時間を示す。黒点間の間隔が、断続周期３０６である。

Ｓ３３において、ＣＰＵ１４は、ポインタ位置の監視フローを終了するか否かを判断する。終了すると判断された場合（Ｓ３３：ＹＥＳ）にはフローが終了され、終了しないと判断された場合（Ｓ３３：ＮＯ）にはＳ１へ戻る。

また、Ｓ１７において、Ｆ５キーが押下中であると判断される場合（Ｓ１７：ＹＥＳ）には、Ｓ４１へ進み、絞り込んだ範囲から所望のアイテムを探索する処理が行われる。Ｓ４１において、ＣＰＵ１４は、ポインタが存在するウインドウ内に表示されている各アイテムと、ポインタとの相互距離の計算を行う。Ｓ４３に進むと、ＣＰＵ１４は、ポインタ近傍に存在する２つのアイテムを選出する。Ｓ４３で選択されるアイテム数（２個）が、Ｓ２７で選択されるアイテム数（３個）よりも少なくされることで、探索対象のアイテム数を絞り込むことができる。

Ｓ４５において、ＣＰＵ１４は、ポインタの近傍２アイテムについてのアイテム断続音の断続周期３０６を、所定割合で大きくする。なお、所定割合は、予めユーザなどによって定められるとしてもよい。

Ｓ４７において、ＣＰＵ１４は、近傍２アイテムに対応付けられたアイテム断続音をＯＮにする。図５の例では、アイテム識別番号３０２が１０１および１０２の２つのアイテムについてのアイテム断続音が、同時期に出力される。

これにより、３つのアイテム断続音が同時期に発生しており聞き分けが困難である場合においても、Ｆ５キーを押下することで、アイテム断続音の発生数を２つに減らすことができる。よって、探索対象のアイテムをさらに絞り込むことができるため、アイテムの識別性をさらに高めることが可能となる。また、３つのアイテム断続音を聞き分ける際に、断続周期３０６が小さくて聞き分けが困難である場合においても、Ｆ５キーを押下することで、断続周期３０６を広げることができる。よって、断続周期３０６によるアイテムの識別性をさらに高めることが可能となる。また、所定割合で断続周期を広げるため、２つのアイテム断続音の間における断続周期３０６の大小関係は保たれる。よって、断続周期３０６によるアイテムの識別性を維持することができる。

次に、第１実施形態に係るアイテム選択フローを、図３を用いて説明する。なお、初期値として、第１および第２フラグは共にＯＦＦとなっている。第１実施形態に係るアイテム選択操作では、アイテム断続音に同期した左クリック信号が入力されることにより、当該アイテム断続音が割り当てられたアイテムのアイテム名が読み上げられる。そして左右のクリック信号が同時に入力されることにより、当該アイテム断続音が割り当てられたアイテム上にポインタが移動する。例として、アイテム識別番号が１０２（ＣＡＮＣＥＬ）のアイテムを、第１実施形態に係るアイテム選択フローを用いて選択する場合を説明する。この場合には、ユーザは、アイテム識別番号が１０２のアイテムに対応するアイテム断続音（図６）に同期して、左クリック信号の入力を行う。

まず、図６の時刻ｔ１において、シフトキーを押しながらマウス８の左クリックボタンの１回目のクリックが行われた場合の処理を説明する。左クリック信号が入力されることに応じて、アイテム選択フローが開始され、Ｓ７１へ進む。Ｓ７１において、ＣＰＵ１４は、経過時間の計測中である場合には、計測を中止する。経過時間の計測の詳細については、後述する。１回目の左クリック信号の入力時においては、経過時間の計測が行われていないため、計測の中止は行われずに、Ｓ７３へ進む。

Ｓ７３において、ＣＰＵ１４は、シフトキーが押下されているか否かを判断する。シフトキーは、第１実施形態に係るアイテム選択フローを用いるか否かの命令を入力するキーである。シフトキーが押下されていない場合（Ｓ７３：ＮＯ）は、第１実施形態に係るアイテム選択操作を用いない場合であり、主に健常者が入力装置１を操作する場合である。この場合にはＳ１０５に進み、ＣＰＵ１４は、選択アイテムテーブル４０１の第１フラグ４０３および第２フラグ４０４をＯＦＦにする。そしてＳ１０７に進み、ＣＰＵ１４は、通常のマウスクリック処理を行う。通常のマウスクリック処理とは、第１実施形態でのアイテム選択のための処理（所望のアイテム上へポインタを動かすためのクリック処理）とは異なる処理である。通常のマウスクリック処理の一例としては、アイコン上にポインタが位置する状態でクリックボタンをクリックすることにより、当該アイコンを選択する処理が挙げられる。

一方、シフトキーが押下されている場合（Ｓ７３：ＹＥＳ）は、第１実施形態に係るアイテム選択操作を用いる場合であり、主に視覚障害者が入力装置１を操作する場合である。この場合にはＳ７５へ進む。Ｓ７５において、ＣＰＵ１４は、マウス８の左クリックボタンのクリックと同時に、右クリックボタンもクリックされているか否かを判断する。右クリックボタンもクリックされていないと判断された場合（Ｓ７５：ＮＯ）には、Ｓ７７へ進む。ここでは、左クリックボタンのみクリックされている場合を説明しているため、Ｓ７７へ進む。

Ｓ７７において、ＣＰＵ１４は、左クリックボタンのクリック動作が、アイテム断続音と同期しているか否かを判断する。ここで同期とは、断続音の発生タイミングと、左クリック信号の入力タイミングとが所定誤差内で一致することである。同期していないと判断される場合（Ｓ７７：ＮＯ）には、Ｓ１０５へ進み、通常のマウスクリック処理が行われる。一方、同期していると判断される場合（Ｓ７７：ＹＥＳ）には、Ｓ７９へ進む。ここでは、図６の時刻ｔ１において、アイテム識別番号１０２のアイテム断続音の発生タイミングと、左クリック信号の入力タイミングとが同期している場合を説明しているため、Ｓ７９へ進む。

Ｓ７９において、ＣＰＵ１４は、選択アイテムテーブル４０１（図４（Ｃ））の第１フラグ４０３がＯＮとされているか否かを判断する。ＯＮであると判断される場合（Ｓ７９：ＹＥＳ）にはＳ８７ヘ進み、ＯＮでないと判断される場合（Ｓ７９：ＮＯ）にはＳ８１ヘ進む。ここでは、時刻ｔ１での同期が１回目であり、第１フラグ４０３はＯＦＦの状態であるため、Ｓ８１へ進む。Ｓ８１において、ＣＰＵ１４は、選択アイテムテーブル４０１の第１フラグ４０３をＯＮにする。

Ｓ８３に進むと、ＣＰＵ１４は、経過時間の計測を開始する。この計測の処理は、本フローチャートと並行して走る別スレッドとして行われる。このスレッド中のＳ８５において、ＣＰＵ１４は、計測が開始されてからの経過時間が、入力タイムアウト時間を超えているか否かを判断する。ここで、入力タイムアウト時間は、アイテム断続音の断続周期３０６の最大値以下の値を有する時間である。そして、２回目の左クリック信号が入力タイムアウト時間内に入力されない場合には、Ｓ８５において経過時間が入力タイムアウト時間に到達したと判断され、Ｓ１０５へ進む。これにより、偶然にアイテム断続音と同期して入力された左クリック信号の入力を、検出することができる。よって、ユーザがアイテム選択の処理を意図しない場合に、偶発的にアイテム選択の処理が行われてしまう事態が防止され、通常のマウスクリックの処理が行われる。

次に、図６の時刻ｔ２において、シフトキーを押しながらマウス８の左クリックボタンの２回目のクリックが行われた場合を説明する。左クリック信号が入力されることに応じて、アイテム選択フローが開始され、Ｓ７１へ進む。Ｓ７１において、ＣＰＵ１４は、前述のＳ８３で開始された経過時間の計測中である場合には、計測を中止する処理を行う。これにより、前述の別スレッドで行われているＳ８５での入力タイムアウト時間の計測処理が中止される。ここでは、２回目の左クリック信号の入力時を説明しているため、経過時間の計測中である。よって、計測が中止され、Ｓ７３へ進む。また、シフトボタンが押されている場合を説明しているため（Ｓ７３：ＹＥＳ）、Ｓ７５へ進む。また、右クリックボタンが押されていない場合を説明しているため（Ｓ７５：ＮＯ）、Ｓ７７へ進む。Ｓ７７において、前回左クリック信号が同期していたアイテム断続音に、再度左クリック信号が同期しているか否かが判断される。このとき、前回左クリック信号が同期していない他のアイテム断続音に対して、左クリック信号が同期した場合にあっては、非同期と判断される。ここでは、図６の時刻ｔ２において、アイテム断続音の発生タイミングと、左クリック信号の入力タイミングとが同期している場合を説明しているため（Ｓ７７：ＹＥＳ）、Ｓ７９へ進む。また、選択アイテムテーブル４０１の第１フラグ４０３がＯＮである場合を説明しているため（Ｓ７９：ＹＥＳ）、Ｓ８７へ進む。

Ｓ８７において、ＣＰＵ１４は、アイテム断続音と左クリック信号とが同期していると判断し、選択アイテムテーブル４０１の第１フラグ４０３をＯＦＦにし、第２フラグ４０４をＯＮにする。

Ｓ８９に進むと、ＣＰＵ１４は、左クリック信号と同期するアイテム断続音から、選択対象アイテム（ユーザが選択を所望するアイテム）を決定する。第１実施形態の説明例（図６）では、左クリック信号と、アイテム識別番号＝１０２のアイテムのアイテム断続音とが同期していると判断される。よって、選択対象アイテムは、アイテム識別番号＝１０２のアイテムに決定される。

Ｓ９１に進むと、ＣＰＵ１４は、選択対象アイテムとして決定したアイテムのアイテム識別番号を、選択アイテムテーブル４０１の選択対象アイテム４０２に対応して記憶する。第１実施形態の説明例（図４（Ｃ））では、アイテム識別番号＝１０２が記憶される。

Ｓ９３において、ＣＰＵ１４は、選択対象アイテム４０２の読み上げ処理を行う。具体的には、ＣＰＵ１４は、選択対象アイテム４０２に対応するアイテム名３０４を、アイテムテーブル３０１から検索する。そして、音声出力プログラム２６を実行することにより、検索したアイテム名３０４を音声読み上げする処理を行う。第１実施形態の説明例（図４（Ｂ））では、アイテム識別番号＝１０２のアイテムに対応するアイテム名「ＣＡＮＣＥＬ」が音声読み上げされ、スピーカ４から出力される。そして、フローが終了される。

次に、図６の時刻ｔ３において、シフトキーを押しながらマウス８の左右のクリックボタンが同時にクリックされた場合を説明する。左クリック信号が入力されることに応じて、アイテム選択フローが開始され、Ｓ７１へ進む。第１実施形態の説明例では、シフトボタンが押されている場合を説明しているため（Ｓ７３：ＹＥＳ）、Ｓ７５へ進む。また、右クリックボタンが押されている場合を説明しているため（Ｓ７５：ＹＥＳ）、Ｓ９５へ進む。

Ｓ９５において、ＣＰＵ１４は、選択アイテムテーブル４０１（図４（Ｃ））の第２フラグ４０４がＯＮとされているか否かを判断する。ＯＮではないと判断される場合（Ｓ９５：ＮＯ）にはＳ１０５へ進み、ＯＮであると判断される場合（Ｓ９５：ＹＥＳ）にはＳ９７へ進む。第１実施形態の説明例では、時刻ｔ２で２回目の同期が行われており、第２フラグ４０４はＯＮの状態であるため、Ｓ９７へ進む。

Ｓ９７において、ＣＰＵ１４は、左右クリックボタンの同時クリックによる同時クリック信号が、有効な入力信号であるか否かを判断する。具体的には、ＣＰＵ１４は、第２フラグ４０４がＯＮとされてから、同時クリック信号が入力されるまでの経過時間が、確定タイムアウト時間を超えているか否かを判断する。なお、確定タイムアウト時間は任意の時間でよく、予めユーザなどによって定められるとしてもよい。経過時間が確定タイムアウト時間を超える場合には、有効な入力信号ではないと判断され（Ｓ９７：ＮＯ）、Ｓ１０５へ進み、第２フラグ４０４がＯＦＦとされる。一方、経過時間が確定タイムアウト時間を超えない場合には、有効な入力信号であると判断され（Ｓ９７：ＹＥＳ）、Ｓ９９へ進む。これにより、確定タイムアウト時間内に同時クリック信号が入力されなかった場合には、第２フラグ４０４がＯＦＦとされることで、アイテム断続音と同期する左クリック信号が入力されている旨の判断が破棄される。よって、確定タイムアウト時間分遡った時間よりも過去の時点において行われた古い同期判断結果によって、意図しないアイテム選択の処理が偶発的に行われてしまう、という事態を防止することができる。

Ｓ９９に進むと、ＣＰＵ１４は、Ｓ９３における読み上げ処理が処理中である場合には、読み上げ処理を中止する。

Ｓ１０１に進むと、ＣＰＵ１４は、選択対象アイテム４０２として選択されたアイテム上に、ポインタを移動させる。具体的には、ＣＰＵ１４は、ポインタ位置情報を用いて算出されたポインタの座標を、選択対象アイテム４０２として選択されたアイテムの座標に一致させる。これにより、選択対象アイテム４０２として選択されたアイテム上にポインタが位置し、クリックによる選択の確定待ち状態とされる。

第１実施形態の説明例（図５）では、アイテム識別番号＝１０２のアイテム「ＣＡＮＣＥＬ」上に、ポインタＰ１が吸い寄せられるように移動し、ＣＡＮＣＥＬ動作の確定待ち状態とされる。

Ｓ１０３に進むと、ＣＰＵ１４は、選択アイテムテーブル４０１の第２フラグ４０４をＯＦＦにする。そして、アイテム選択フローが終了される。この状態で、ユーザがシフトキーの押下を解除して通常のクリックを行うことにより、ポインタが指し示しているアイテムの機能を使用することができる。この場合のフローは、Ｓ７３の処理にてＮＯと判断され、Ｓ１０５を経てＳ１０７が実行されるフローである。第１実施形態の説明例（図５）では、アイテム識別番号＝１０２のアイテム「ＣＡＮＣＥＬ」上にポインタＰ１が位置する状態で、左クリックボタンをクリックすることで、ＣＡＮＣＥＬ動作を確定することができる。

第１実施形態に係る発明の効果を以下に説明する。ユーザは、選択を所望するアイテムに対応付けられたアイテム断続音の断続周期と同期するように、マウス８から左クリック信号を入力することで、所望するアイテム上にポインタを移動させることができる。よって、所望するアイテムをポインタで選択する動作を、聴覚を用いて行うことが可能となる。これにより、視覚障害者のＧＵＩの操作性を高めることが可能となる。

また、ユーザは、アイテム断続音に同期させて左クリック信号を入力することにより、同期させたアイテム断続音とアイテムの内容との対応を音声で確認することができる。そしてユーザは、アイテム断続音の種類を聞き分けることで、選択を所望するアイテムを見つけ出すことができる。よって、ユーザの利便性をさらに高めることが可能となる。

また、断続周期が短いためにクリック動作をアイテム断続音と同期させることが困難な場合にあっては、シフトキーと同時にＦ５キーを押下することにより、断続周期を広げ、クリック動作の同期を行いやすくすることができる。なお、マウス８の操作により、断続周期を大きくする方向（遠ざける方向）にポインタを移動させてから、アイテム断続音と同期したクリック動作を行うとしてもよい。

また、ポインタとアイテムとの相互距離に応じて、アイテム断続音の断続周期が変化する。よって、アイテム位置を把握しているユーザにあっては、ポインタを移動させて断続周期の変化を聞き分けることにより、位置を把握しているアイテムに対応付けられたアイテム断続音を認識することができる。これにより、ユーザは、アイテム断続音の音の高さを予め記憶することなく、アイテムの種類を識別することが可能となる。

第２実施形態を説明する。第２実施形態は、アイテム断続音がリズムを有している形態である。なお、第２実施形態に係る入力装置１の構成は、第１実施形態に係る入力装置１の構成と同様であるため、ここでは詳細な説明は省略する。

第２実施形態に係る入力装置１の動作を、図７を用いて説明する。図７は、アイテム識別番号の１０１から１０３の３つのアイテムについての、リズムを有するアイテム断続音の出力例である。アイテム識別番号が１０１のアイテム断続音について説明する。アイテム断続音は、繰り返し周期ＣＴ１を有する。繰り返し周期ＣＴ１には、２つの断続音Ｓ１およびＳ２が含まれる。よって、繰り返し周期ＣＴ１に含まれる断続音数は２つである。また、断続周期は、繰り返し周期ＣＴ１の中で、周期Ｔ１からＴ２へ変化する。このように、１つの繰り返し周期内で断続周期を変化させることによって、多種類のリズムを有したアイテム断続音を生成することが可能となる。

同様に、アイテム識別番号が１０２のアイテムのアイテム断続音は、繰り返し周期ＣＴ２を有し、繰り返し周期ＣＴ２に含まれる断続音数は３つである。また、アイテム識別番号が１０３のアイテムのアイテム断続音は、繰り返し周期ＣＴ３を有し、繰り返し周期ＣＴ３に含まれる断続音数は４つである。このように、１つの繰り返し周期に含まれる断続音の数を異ならせることによっても、多種類のリズムを有するアイテム断続音を生成することが可能となる。なお、これらの多種類のリズムと各種アイテムとの対応関係が、アイテムテーブル３０１に記憶されるとしてもよい。

次に、第２実施形態に係るアイテム選択操作を、図３のフローを用いて説明する。例として、アイテム識別番号が１０２（ＣＡＮＣＥＬ）のアイテムを、第２実施形態に係るアイテム選択操作を用いて選択する場合を説明する。この場合には、ユーザは、アイテム識別番号が１０２のアイテム断続音（図７）に同期して、左クリック信号の入力を行う。

まず、図７の期間ＴＲ１において、シフトキーを押しながら、マウス８の左クリックボタンをアイテム断続音に同期させて３回クリックする操作が行われる。これにより、Ｓ８１において、第１フラグ４０３がＯＮになる。次に、期間ＴＲ２において、シフトキーを押しながら、マウス８の左クリックボタンをアイテム断続音に同期させて３回クリックする操作が行われる。これにより、Ｓ８７において、第２フラグ４０４がＯＮになる。そして、Ｓ８９において、アイテム識別番号＝１０２のアイテムが選択対象アイテムに決定される。このように、アイテム断続音がリズムを有する場合においても、クリック入力によるアイテム選択操作が可能とされる。

次に、アイテムとアイテム断続音との対応確認フローについて、図８および図９を用いて説明する。対応確認フローは、アイテム断続音を確認したい場合などの必要に応じて、ユーザによりシフトキーとＦ４キーとが同時押下されることにより開始されるフローである。例として、断続音数が３つのアイテム断続音に対応付けられたアイテムを確認する場合を説明する。

対応確認フローは、クリック監視フロー（図８）と、キー解除監視フロー（図９）とを備える。まず、クリック監視フローを説明する。マウス８の左クリックボタンのクリックに応じて、フローが開始され、Ｓ１１１へ進む。Ｓ１１１において、ＣＰＵ１４は、シフトキーとＦ４キーとが同時に押下中であるか否かを判断する。押下中であると判断された場合（Ｓ１１１：ＹＥＳ）には、Ｓ１１５へ進み、ワークエリア３１に記憶されるクリックカウント数を１つカウントアップする。そしてクリック監視フローを終了する。

一方、Ｓ１１１において、シフトキーとＦ４キーとが同時に押下中ではないと判断された場合（Ｓ１１１：ＮＯ）には、Ｓ１１３へ進み、通常のクリック処理が行われる。そして、Ｓ１１７に進み、ＣＰＵ１４は、ワークエリア３１に記憶されたクリックカウント数をクリアする。そしてクリック監視フローを終了する。なお、クリック監視フローは、左クリックボタンのクリックが行われるたびに繰り返される。

本説明例では、断続音数が３つのアイテム断続音に対応付けられたアイテムを確認する場合を説明しているため、シフトキーとＦ４キーとの押下中に、左クリックボタンが３回クリックされる。これにより、図８のフローが３回繰り返されることで、クリックカウント数が３回とされる。

次に、キー監視フロー（図９）を説明する。Ｓ１２１において、ＣＰＵ１４は、シフトキーとＦ４キーとの同時押下が解除されたか否かを判断する。解除されていないと判断された場合（Ｓ１２１：ＮＯ）には、Ｓ１２３へ進み、ＣＰＵ１４は、通常のキー処理を行う。一方、解除されたと判断された場合（Ｓ１２１：ＹＥＳ）には、Ｓ１２５へ進む。Ｓ１２５において、ＣＰＵ１４は、ワークエリア３１からクリックカウント数を取得する。

Ｓ１２７において、ＣＰＵ１４は、クリックカウント数に対応する断続音数を有するアイテムを、アイテムテーブル３０１から検索する。そして、検索したアイテムのアイテム名３０４を読み上げる処理を行う。なお、Ｓ１２７で音声出力される情報は、アイテムの識別を可能とする情報であればよいため、アイテム名３０４に限らず、アイテム種類３０３などであってもよい。本説明例では、断続音数が３つのアイテム断続音（図７）に対応付けられた、アイテム識別番号が１０２（ＣＡＮＣＥＬ）のアイテムが検索され、アイテム名「ＣＡＮＣＥＬ」が読み上げられる。

Ｓ１２９において、ＣＰＵ１４は、選択対象アイテム４０２に対応するアイテム上にポインタを移動させる。具体的には、ＣＰＵ１４は、ポインタ位置情報を用いて算出されたポインタの座標を、選択対象アイテム４０２のアイテム位置情報に含まれるアイテムの座標に一致させる。これにより、選択対象アイテム４０２として選択されたアイテム上にポインタが位置し、クリックによる選択の確定待ち状態とされる。

これにより、ユーザは、クリック操作により断続音数を入力することで、アイテム断続音とアイテムの内容との対応を確認することができるため、ユーザの利便性をさらに高めることが可能となる。

次に、アイテムとアイテム断続音との、全体確認フローについて、図１０を用いて説明する。全体確認フローは、全てのアイテム断続音を確認したい場合などの必要に応じて、ユーザによりＦ３キーが押下されることにより開始されるフローである。Ｆ３キーの押下に応じて、Ｓ１３１へ進む。Ｓ１３１において、ＣＰＵ１４は、アイテム選択を行う。アイテム選択は、例えば、ポインタが存在するウインドウ内に表示されている各アイテムのうち、ポインタとの相互距離が小さいアイテムから順に選択されるとしてもよい。

Ｓ１３３において、ＣＰＵ１４は、Ｓ１３１で選択されたアイテムのアイテム名を音声出力する。Ｓ１３５に進むと、ＣＰＵ１４は、Ｓ１３１で選択されたアイテムに対応付けられた断続音数を、アイテムテーブル３０１から検索する。そして、検索した断続音数を、音声読み上げする処理を行う。なお、全体確認フローを第１の実施形態に応用する場合は、Ｓ１３５において、断続音数の音声読み上げに代えて、アイテム断続音を所定回数出力すればよい。

Ｓ１３７に進むと、ＣＰＵ１４は、全てのアイテムについて、アイテム断続音の断続音数の確認操作が終了したか否かを判断する。終了していないと判断された場合（Ｓ１３７：ＮＯ）にはＳ１３１へ戻り、終了したと判断された場合（Ｓ１３７：ＹＥＳ）にはフローを終了する。

これにより、ユーザは、Ｆ３キーを押下することで、アイテム断続音の断続音数とアイテムの内容との対応を、全てのアイテムについて確認することができるため、ユーザの利便性をさらに高めることが可能となる。

第２実施形態に係る発明の効果を以下に説明する。繰り返し周期内で断続周期を変化させることや、繰り返し周期に含まれる断続音の数を異ならせることにより、多種類のリズムを有するアイテム断続音を生成することができる。これにより、アイテム断続音の種類を増加させることが出来るため、アイテム断続音により識別可能なアイテム数を増加させることが可能となる。

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。上記の実施例の変形例を以下に列挙する。

本実施形態では、マウス８のクリックボタンのシングルクリック操作によってクリック信号が入力される場合を説明したが、この形態に限られない。ダブルクリック操作によってクリック信号が入力される形態としてもよい。

また本実施形態では、アイテム種類の識別のために、アイテム断続音周波数３０５、断続周期３０６、アイテム断続音音量３０７の３つの識別基準を用いる場合を説明したが、この形態に限られない。３つの識別基準のうちの何れか２つを組み合わせて用いる場合や、何れか１つのみを用いる場合にも、アイテム種類の識別が可能であることは言うまでもない。例えば、アイテムごとに固有のアイテム断続音周波数３０５およびアイテム断続音音量３０７を割り当てると共に、各アイテムに共通の断続周期３０６を用いる形態としてもよい。このとき、アイテム断続音が互いに重ならないように、アイテム断続音の発音タイミングをアイテム断続音の間で異ならせるとしてもよい。

また、本実施形態では、ポインタ近傍のアイテムを選出する際に、ポインタとの相互距離が小さいアイテムから順に選出するとしたが、この形態に限られない。ポインタとの相互距離が、予め定められる所定距離内のアイテムを選出する形態としてもよい。なお、所定距離は、予めユーザなどによって定められるとしてもよい。

これにより、例えば、多数のアイテムがウインドウ内に表示されている場合においても、ポインタを中心とする所定半径内に存在するアイテムについてのみ、アイテム断続音を発生させることが可能となる。よって、同時に多数のアイテム断続音が発生するためにアイテムの識別性が低下する、という事態を防止することができる。

また、本実施形態では、ポインタとの相互距離が小さくなることに応じて、アイテム断続音の音量を大きくする形態を採用してもよい。これにより、ポインタがアイテムに近づく程、アイテム断続音の音量が大きくなる。よってユーザは、アイテム断続音の音量により、ポインタとアイテムとの相互距離についても認識することができるため、ユーザの利便性をさらに高めることが可能となる。また、断続音の周期はアイテムごとに固有として、ポインタとの相互距離が小さくなることに応じてそのデューティ比を変更してもよい。デューティ比とは、その断続音の有音部と無音部の比率である。これにより、アイテム断続音の周期がアイテムごとに一定となるので、その操作性をさらに向上することができる。

また、本実施形態では、各種の指示を入力する際にＦ３キー、Ｆ４キーなどを用いる場合を説明したが、これらのキーに限られない。キーボード２上の何れのキーを各種の指示の入力用に割り当てるかは任意であり、ユーザにより適宜設定できることは言うまでもない。

また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

なお、ワークエリア３１は記憶手段の一例、マウス８はポインティングデバイスの一例、Ｆ３キー押下は第１指示の一例、Ｆ５キー押下は第２指示の一例、である。

また、Ｓ３１、Ｓ４、Ｓ１３３、Ｓ１３５、Ｓ４５を実行する制御部は第１音出力手段の一例である。Ｓ７７を実行する制御部は同期判断手段の一例である。Ｓ１０１を実行する制御部はポインタ移動手段の一例である。Ｓ９３を実行する制御部は第２音出力手段の一例である。Ｓ２５を実行する制御部は距離算出手段の一例である。Ｓ２７、Ｓ４３を実行する制御部はアイテム選出手段の一例である。Ｓ１を実行する制御部はウインドウ選択手段の一例である。

１ 入力装置
６ モニタ
８ マウス
１４ ＣＰＵ
３１ ワークエリア
Ｐ１ ポインタ
Ｗ１、Ｗ２ ウインドウ
ＣＴ１ないしＣＴ３ 繰り返し周期
２０１ ウインドウテーブル
２０４ ウインドウ連続音周波数
３０１ アイテムテーブル
３０２ アイテム識別番号
３０５ アイテム断続音周波数
３０６ 断続周期

Claims (14)

1. 画面上に表示される複数種類のアイテムの前記画面上の表示位置を表すアイテム位置情報を記憶手段に記憶し、前記アイテム位置情報に応じた前記画面上の前記表示位置に前記アイテムを表示するアイテム表示手段と、
   ポインティングデバイスからポインタの移動方向や移動量を表すポインタ位置情報を受信して前記画面上に移動可能な前記ポインタを表示するポインタ表示手段と、
   を備えるコンピュータを、
   前記アイテムごとに固有の断続周期を有する断続音を前記アイテムの各々に対応付けて記憶する第１記憶制御手段と、
   前記画面上に表示される前記アイテムに対応付けられた前記断続音を出力する第１音出力手段と、
   前記ポインティングデバイスから複数回入力されるクリック信号の信号周期と前記断続周期とが同期するか否かを判断する同期判断手段と、
   前記同期判断手段によって同期する旨の判断結果が得られた場合に、前記ポインタの表示位置を同期した前記断続音に対応する前記アイテムの表示位置に一致させるポインタ移動手段と、
   して機能させるためのプログラム。
2. 前記アイテムの内容を表す識別情報を前記アイテムの各々に対応付けて記憶する第２記憶制御手段と、
   前記同期判断手段によって同期する旨の判断結果が得られた前記断続音に対応付けられた前記アイテムの前記識別情報を音声出力する第２音出力手段と、
   して前記コンピュータを機能させることを特徴とする請求項１に記載のプログラム。
3. 前記アイテム位置情報と前記ポインタ位置情報とに基づいて、前記アイテムと前記ポインタとの相互距離を算出する距離算出手段と、
   前記アイテムが前記画面上に複数表示されている場合に、前記相互距離が小さい前記アイテムから順に第１所定個数の前記アイテムを選出するアイテム選出手段と、
   して前記コンピュータを機能させ、
   前記第１音出力手段は、前記アイテム選出手段で選出された前記アイテムに対応付けられた前記断続音を出力する
   ことを特徴とする請求項１または請求項２に記載のプログラム。
4. 前記アイテム位置情報と前記ポインタ位置情報とに基づいて、前記アイテムと前記ポインタとの相互距離を算出する距離算出手段と、
   前記アイテムが前記画面上に複数表示されている場合に、前記相互距離が予め定められる所定距離内の前記アイテムを選出するアイテム選出手段と、
   して前記コンピュータを機能させ、
   前記第１音出力手段は、前記アイテム選出手段で選出された前記アイテムに対応付けられた前記断続音を出力する
   ことを特徴とする請求項１または請求項２に記載のプログラム。
5. 前記断続音は繰り返し周期を有する音であり、
   前記断続周期は前記繰り返し周期の中で変化する
   ことを特徴とする請求項１ないし請求項４の何れかに記載のプログラム。
6. 複数種類のアプリケーションを実行するアプリケーション実行手段
   として前記コンピュータを機能させ、
   前記アイテムは、前記アプリケーションへの指令入力用のインターフェースである
   ことを特徴とする請求項１ないし請求項５の何れかに記載のプログラム。
7. 前記画面上に表示される複数種類のウインドウの前記画面上の表示位置を表すウインドウ位置情報を記憶手段に記憶し、前記ウインドウ位置情報に応じた前記画面上の前記表示位置に前記ウインドウを表示するウインドウ表示手段と、
   前記ポインティングデバイスからの入力を受け付け、操作対象の前記ウインドウを選択するウインドウ選択手段と、
   して前記コンピュータを機能させ、
   前記第１記憶制御手段は、前記ウインドウごとに固有の周波数を有する連続音を前記ウインドウの各々に対応付けて記憶し、
   前記第１音出力手段は、前記ウインドウ選択手段によって操作対象として選択されている前記ウインドウに対応付けられた前記連続音を前記断続音と共に出力する
   ことを特徴とする請求項１ないし請求項６の何れかに記載のプログラム。
8. 前記第１音出力手段は、
   前記相互距離が小さくなることに応じて前記断続音の前記断続周期を短くする
   ことを特徴とする請求項１ないし請求項７の何れかに記載のプログラム。
9. 前記第１音出力手段は、
   前記相互距離が小さくなることに応じて前記断続音の音量を大きくする
   ことを特徴とする請求項１ないし請求項８の何れかに記載のプログラム。
10. 前記第１音出力手段は、
    前記相互距離に応じて前記断続音の有音部と無音部との比率であるデューティ比を変化させる
    ことを特徴とする請求項１ないし請求項９の何れかに記載のプログラム。
11. 前記第１音出力手段は、
    入力手段から第１指示が入力されることに応じて、前記アイテムに対応付けられた前記断続音と、前記アイテムの内容を表す識別情報とを関連付けて音声出力する
    ことを特徴とする請求項１ないし請求項１０の何れかに記載のプログラム。
12. 前記第１音出力手段は、
    入力手段から第２指示が入力されることに応じて、前記アイテムの各々についての前記断続音の前記断続周期を所定割合で大きくする
    ことを特徴とする請求項３または請求項４に記載のプログラム。
13. 前記アイテム選出手段は、
    入力手段から前記第２指示が入力されることに応じて、前記相互距離が小さい前記アイテムから順に、前記第１所定個数よりも少ない第２所定個数の前記アイテムを選出し、
    前記第１音出力手段は、前記第２所定個数の前記アイテムの各々についての前記断続音の前記断続周期を所定割合で大きくする
    ことを特徴とする請求項１２に記載のプログラム。
14. 画面上に表示される複数種類のアイテムの前記画面上の表示位置を表すアイテム位置情報を記憶手段に記憶し、前記アイテム位置情報に応じた前記画面上の前記表示位置に前記アイテムを表示するアイテム表示手段と、
    ポインティングデバイスからポインタの移動方向や移動量を表すポインタ位置情報を受信して前記画面上に移動可能な前記ポインタを表示するポインタ表示手段と、
    前記アイテムごとに固有の断続周期を有する断続音を前記アイテムの各々に対応付けて記憶する第１記憶制御手段と、
    前記画面上に表示される前記アイテムに対応付けられた前記断続音を出力する第１音出力手段と、
    前記ポインティングデバイスから複数回入力されるクリック信号の信号周期と前記断続周期とが同期するか否かを判断する同期判断手段と、
    前記同期判断手段によって同期する旨の判断結果が得られた場合に、前記ポインタの表示位置を同期した前記断続音に対応する前記アイテムの表示位置に一致させるポインタ移動手段と、
    を備えることを特徴とするインターフェース装置。

Images